<?xml version='1.0' encoding='utf-8'?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.2 20190208//EN" "http://jats.nlm.nih.gov/publishing/1.2/JATS-journalpublishing1.dtd">
<article article-type="research-article" dtd-version="1.2" xml:lang="ru" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink"><front><journal-meta><journal-id journal-id-type="issn">2518-1092</journal-id><journal-title-group><journal-title>Научный результат. Информационные технологии</journal-title></journal-title-group><issn pub-type="epub">2518-1092</issn></journal-meta><article-meta><article-id pub-id-type="doi">10.18413/2518-1092-2024-9-4-0-3</article-id><article-id pub-id-type="publisher-id">3665</article-id><article-categories><subj-group subj-group-type="heading"><subject>ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ПРИНЯТИЕ РЕШЕНИЙ</subject></subj-group></article-categories><title-group><article-title>&lt;strong&gt;СРАВНЕНИЕ СТРУКТУРЫ, ЭФФЕКТИВНОСТИ&amp;nbsp;И СКОРОСТИ РАБОТЫ ПОЛНОСВЯЗНЫХ,&amp;nbsp;СВЕРТОЧНЫХ И РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ&lt;/strong&gt;</article-title><trans-title-group xml:lang="en"><trans-title>&lt;strong&gt;COMPARISON OF THE STRUCTURE, EFFICIENCY,&amp;nbsp;AND SPEED OF OPERATION OF FEEDFORWARD, CONVOLUTIONAL, AND RECURRENT NEURAL NETWORKS&lt;/strong&gt;</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author"><name-alternatives><name xml:lang="ru"><surname>Шапалин</surname><given-names>Виталий Геннадиевич</given-names></name><name xml:lang="en"><surname>Shapalin</surname><given-names>Vitaliy Gennadiyevich</given-names></name></name-alternatives><email>shapalinv@gmail.com</email></contrib><contrib contrib-type="author"><name-alternatives><name xml:lang="ru"><surname>Николаенко</surname><given-names>Денис Владимирович</given-names></name><name xml:lang="en"><surname>Nikolayenko</surname><given-names>Denis Vladimirovich</given-names></name></name-alternatives><email>dv.nikolaenko@yandex.ru</email></contrib></contrib-group><pub-date pub-type="epub"><year>2024</year></pub-date><volume>9</volume><issue>4</issue><fpage>0</fpage><lpage>0</lpage><self-uri content-type="pdf" xlink:href="/media/information/2024/4/ИТ.НР.9_4_3.pdf" /><abstract xml:lang="ru"><p>Рассмотрение оптимальности работы различных архитектур нейронных сетей для различных задач является на данный момент актуальной темой для исследования. В данной статье была рассмотрена эффективность работы полносвязных, рекуррентных и сверточных нейронных сетей в контексте разработки простой модели для прогноза погоды. Были рассмотрены архитектуры и принципы работы полносвязных нейронных сетей, устройство одномерных и двумерных сверточных нейронных сетей, а также архитектуру, особенности, преимущества и недостатки рекуррентных нейронных сетей: простых рекуррентных нейронных сетей, сетей LSTM и GRU, а также их двунаправленные подвиды для каждого из трех вышеперечисленных видов. На основе имеющихся теоретических материалов были разработаны простые нейронные сети для сравнения эффективности той или иной архитектуры, где в качестве критерия выступают время обучения и величина ошибки, а в качестве данных для обучения: температура, скорость ветра и атмосферное давление. Были рассмотрены скорость обучения, минимальное и среднее значение ошибки для полносвязной нейронной сети, сверточной нейронной сети, простой рекуррентной сети, LSTM и GRU, а также для двунаправленных рекуррентных нейронных сетей. На основе полученных результатов был проведен анализ возможных причин эффективности той или иной архитектур. На основе полученных данных были построены графики зависимости скорости работы от величины ошибки для трех исследуемых наборов данных: температуры, скорости ветра и атмосферного давления, а также сделаны выводы об эффективности определенной модели в контексте прогноза временных рядов метеорологических данных. Полученные результаты планируется использовать в дальнейших работах со смежными темами, либо развивать данную тему.</p></abstract><trans-abstract xml:lang="en"><p>This article examines the efficiency of fully connected, recurrent, and convolutional neural networks in the context of developing a simple model for weather forecasting. The architectures and working principles of fully connected neural networks, the structure of one-dimensional and two-dimensional convolutional neural networks, as well as the architecture, features, advantages, and disadvantages of recurrent neural networks&amp;mdash;specifically, simple recurrent neural networks, LSTM, and GRU, along with their bidirectional variants for each of the three aforementioned types&amp;mdash;are discussed. Based on the available theoretical materials, simple neural networks were developed to compare the efficiency of each architecture, with training time and error magnitude serving as criteria, and temperature, wind speed, and atmospheric pressure as training data. The training speed, minimum and average error values for the fully connected neural network, convolutional neural network, simple recurrent network, LSTM, and GRU, as well as for bidirectional recurrent neural networks, were examined. Based on the results obtained, an analysis was conducted to explore the possible reasons for the effectiveness of each architecture. Graphs were plotted to show the relationship between processing speed and error magnitude for the three datasets examined: temperature, wind speed, and atmospheric pressure. Conclusions were drawn about the efficiency of specific models in the context of forecasting time series of meteorological data.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>LSTM</kwd><kwd>GRU</kwd><kwd>двунаправленные рекуррентные нейронные сети</kwd><kwd>сверточные нейронные сети</kwd><kwd>keras</kwd></kwd-group><kwd-group xml:lang="en"><kwd>LSTM</kwd><kwd>GRU</kwd><kwd>bidirectional recurrent neural networks</kwd><kwd>convolutional neural networks keras</kwd><kwd>tensorflow</kwd></kwd-group></article-meta></front><back><ref-list><title>Список литературы</title><ref id="B1"><mixed-citation>Рындин А.А., Ульев В.П., Исследование скорости обучения нейронных сетей [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/issledovanie-skorosti-obucheniya-neyronnyh-setey (Дата обращения: 12.10.2024)</mixed-citation></ref><ref id="B2"><mixed-citation>Быков Ф.Л., Царалов Н.Д., Современные практики применения машинного обучения в задаче прогноза погоды [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/sovremennye-praktiki-primeneniya-mashinnogo-obucheniya-v-zadache-prognoza-pogody (Дата обращения: 13.10.2024)</mixed-citation></ref><ref id="B3"><mixed-citation>Логином вики: многослойный персептрон [Электронный ресурс]. URL: https://wiki.loginom.ru/articles/multilayered-perceptron.html (Дата обращения: 03.07.2024)</mixed-citation></ref><ref id="B4"><mixed-citation>Murat H. Sazli, A brief review of feed-forward neural networks [Электронный ресурс]. URL: https://www.researchgate.net/publication/228394623_A_brief_review_of_feed-forward_neural_networks (Дата обращения: 03.07.2024)</mixed-citation></ref><ref id="B5"><mixed-citation>Полносвязные слои нейронных сетей в машинном обучении [Электронный ресурс]. URL: https://habr.com/ru/articles/718044/ (Дата обращения: 03.07.2024)</mixed-citation></ref><ref id="B6"><mixed-citation>Горбачевская Е.Н., Классификация нейронных сетей [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/klassifikatsiya-neyronnyh-setey/viewer (Дата обращения: 03.07.2024)</mixed-citation></ref><ref id="B7"><mixed-citation>Kaggle weather dataset [Электронный ресурс]. URL: https://www.kaggle.com/datasets/muthuj7/weather-dataset/data (Дата обращения: 08.07.2024)</mixed-citation></ref><ref id="B8"><mixed-citation>Shapalin Vitaliy: &amp;laquo;Forecast&amp;raquo; github repository [Электронный ресурс]. URL: https://github.com/ShapalinVitaliy/Forecast (Дата обращения: 09.07.2024)</mixed-citation></ref><ref id="B9"><mixed-citation>Keras official website [Электронный ресурс]. URL: https://keras.io/ (Дата обращения: 10.07.2024)</mixed-citation></ref><ref id="B10"><mixed-citation>Simon J. D. Prince Understanding deep learning. MIT press, udlbook.com, 2023. 161 с.</mixed-citation></ref><ref id="B11"><mixed-citation>Хабр, &amp;laquo;Свертка&amp;raquo; [Электронный ресурс]. URL: https://habr.com/ru/articles/795223/ (Дата обращения: 05.08.2024)</mixed-citation></ref><ref id="B12"><mixed-citation>Д.А. Маршалко, О.В. Кубанский, архитектура сверточных нейронных сетей [Электронный ресурс]. URL: https://cyberleninka.ru/article/n/arhitektura-svyortochnyh-neyronnyh-setey/viewer (Дата обращения: 05.08.2024)</mixed-citation></ref><ref id="B13"><mixed-citation>1D convolutional neural networks and applications: A survey [Электронный ресурс]. URL: https://www.sciencedirect.com/science/article/pii/S0888327020307846 (Дата обращения: 06.08.2024)</mixed-citation></ref><ref id="B14"><mixed-citation>Conceptual Understanding of Convolutional Neural Network- A Deep Learning Approach [Электронный ресурс]. URL: https://www.sciencedirect.com/science/article/pii/S1877050918308019 (06.08.2024)</mixed-citation></ref><ref id="B15"><mixed-citation>I. Goodfellow, I. Bengio, A. Courville Deep learning. MIT press, Deeplearningbook.org, 2023. 373 с.</mixed-citation></ref><ref id="B16"><mixed-citation>RNN, LSTM, GRU и другие рекуррентные нейронные сети [Электронный ресурс]. URL: http://vbystricky.ru/2021/05/rnn_lstm_gru_etc.html (Дата обращения: 12.07.2024)</mixed-citation></ref><ref id="B17"><mixed-citation>Robin M. Schmidt, Recurrent Neural Networks (RNNs): A gentle Introduction and Overview [Электронный ресурс]. URL: https://arxiv.org/abs/1912.05911 (Дата обращения: 13.07.2024)</mixed-citation></ref><ref id="B18"><mixed-citation>Recurrent Neural Networks (RNN) - The Vanishing Gradient Problem [Электронный ресурс]. URL: https://www.superdatascience.com/blogs/recurrent-neural-networks-rnn-the-vanishing-gradient-problem (Дата обращения: 13.07.2024)</mixed-citation></ref><ref id="B19"><mixed-citation>Paul Werbos, Backpropagation through time: what it does and how to do it [Электронный ресурс]. URL: https://www.researchgate.net/publication/2984354_Backpropagation_through_time_what_it_does_and_how_to_do_it (Дата обращения: 12.07.2024)</mixed-citation></ref><ref id="B20"><mixed-citation>LSTM &amp;mdash; нейронная сеть с долгой краткосрочной памятью [Электронный ресурс]. URL: https://neurohive.io/ru/osnovy-data-science/lstm-nejronnaja-set/ (Дата обращения: 29.07.2024)</mixed-citation></ref><ref id="B21"><mixed-citation>A survey on long short-term memory networks for time series prediction [Электронный ресурс]. URL: https://www.sciencedirect.com/science/article/pii/S2212827121003796 (Дата обращения: 30.07.2024)</mixed-citation></ref><ref id="B22"><mixed-citation>Рекуррентные блоки GRU. Пример их реализации в задаче сентимент-анализа [Электронный ресурс]. URL: https://proproprogs.ru/neural_network/rekurrentnye-bloki-gru-primer-realizacii-v-zadache-sentiment-analiza (Дата обращения: 30.07.2024)</mixed-citation></ref><ref id="B23"><mixed-citation>Двунаправленные (bidirectional) рекуррентные нейронные сети [Электронный ресурс]. URL: https://proproprogs.ru/neural_network/bidirectional-rekurrentnye-neyronnye-seti (Дата обращения: 30.07.2024)</mixed-citation></ref><ref id="B24"><mixed-citation>Mike Schuste, Kuldip K. Paliwal Bidirectional Recurrent Neural Networks [Электронный ресурс]. URL: https://deeplearning.cs.cmu.edu/S24/document/readings/Bidirectional%20Recurrent%20Neural%20Networks.pdf (Дата обращения: 30.07.2024)</mixed-citation></ref></ref-list></back></article>