<?xml version='1.0' encoding='utf-8'?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.2 20190208//EN" "http://jats.nlm.nih.gov/publishing/1.2/JATS-journalpublishing1.dtd">
<article article-type="research-article" dtd-version="1.2" xml:lang="ru" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink"><front><journal-meta><journal-id journal-id-type="issn">2518-1092</journal-id><journal-title-group><journal-title>Научный результат. Информационные технологии</journal-title></journal-title-group><issn pub-type="epub">2518-1092</issn></journal-meta><article-meta><article-id pub-id-type="doi">10.18413/2518-1092-2026-11-3-0-7</article-id><article-id pub-id-type="publisher-id">4360</article-id><article-categories><subj-group subj-group-type="heading"><subject>ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ПРИНЯТИЕ РЕШЕНИЙ</subject></subj-group></article-categories><title-group><article-title>&lt;strong&gt;ПАРАЛЛЕЛИЗАЦИЯ ВЫЧИСЛЕНИЙ&amp;nbsp;В ЖИДКИХ НЕЙРОННЫХ СЕТЯХ&amp;nbsp;С СОХРАНЕНИЕМ ГАРАНТИЙ УСТОЙЧИВОСТИ&lt;/strong&gt;</article-title><trans-title-group xml:lang="en"><trans-title>&lt;strong&gt;PARALLELIZATION OF COMPUTATIONS&amp;nbsp;IN LIQUID NEURAL NETWORKS WITH PRESERVATION&amp;nbsp;OF STABILITY GUARANTEES&lt;/strong&gt;</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author"><name-alternatives><name xml:lang="ru"><surname>Монгуш</surname><given-names>Максим Андреевич</given-names></name><name xml:lang="en"><surname>Mongush</surname><given-names>Maksim Andreevich</given-names></name></name-alternatives><email>makssun2018@gmail.com</email></contrib></contrib-group><pub-date pub-type="epub"><year>2026</year></pub-date><volume>11</volume><issue>3</issue><fpage>0</fpage><lpage>0</lpage><self-uri content-type="pdf" xlink:href="/media/information/2026/3/ИТ_НР_11_3_7.pdf" /><abstract xml:lang="ru"><p>Жидкие нейронные сети (Liquid Neural Networks, LNN) относятся к классу непрерывных моделей машинного обучения, в которых эволюция скрытого состояния описывается системой обыкновенных дифференциальных уравнений. Существенным достоинством LNN является их адаптивность во времени и наличие строгих теоретических гарантий устойчивости по входу-состоянию (Input-to-State Stability, ISS), что обеспечивает надёжную работу в условиях шумных, нерегулярных и внераспределённых входных данных. Данные свойства делают LNN перспективными для применения в системах управления, робототехнике и обработке временных рядов. Несмотря на указанные преимущества, практическое использование LNN ограничено высокой вычислительной сложностью. Численные методы решения обыкновенных дифференциальных уравнений обладают выраженной последовательной природой, что затрудняет эффективную параллелизацию вычислений и приводит к увеличению времени обучения и вывода модели, особенно при реализации на GPU и распределённых вычислительных платформах. В работе рассматривается метод параллелизации вычислений для LNN &amp;ndash; Stable Parallel Liquid Recurrence (SPLR). Подход основан на представлении задачи вычисления траектории скрытого состояния на временном интервале в виде решения системы нелинейных уравнений, эквивалентной дискретизированной динамике LNN. Для её решения применяется итерационный метод неподвижной точки, допускающий параллельное выполнение. С целью сохранения устойчивости на каждой итерации вводится стабилизирующая проекция на область параметров и состояний, в которой выполняются условия ISS. Получены теоретические результаты, устанавливающие сходимость предложенного итерационного алгоритма и сохранение свойства устойчивости по входу-состоянию при переходе к параллельной схеме вычислений. Показано, что стабилизирующая проекция предотвращает накопление численных ошибок и ограничивает рост возмущений, возникающих при параллельной обработке. В отличие от существующих методов параллелизации рекуррентных вычислений, ориентированных преимущественно на ускорение, метод SPLR сохраняет ключевое преимущество LNN &amp;ndash; устойчивость к входным и численным возмущениям. Практическая значимость работы заключается в расширении области применимости жидких нейронных сетей в системах реального времени и на встраиваемых платформах с ограниченными вычислительными ресурсами.</p></abstract><trans-abstract xml:lang="en"><p>Liquid neural networks (LNNs) are a class of continuous machine learning models in which the evolution of a hidden state is described by a system of ordinary differential equations. A significant advantage of LNNs is their time adaptability and the presence of strict theoretical guarantees of input-to-state stability (ISS), which ensures reliable operation under noisy, irregular, and undistributed input data. These properties make LNNs promising for application in control systems, robotics, and time series processing. Despite these advantages, the practical use of LNNs is limited by high computational complexity. Numerical methods for solving ordinary differential equations have a pronounced sequential nature, which complicates efficient parallelization of computations and leads to increased training and inference times, especially when implemented on GPUs and distributed computing platforms. This paper discusses a parallelization method for LNNs: Stable Parallel Liquid Recurrence (SPLR). The approach is based on representing the problem of computing the trajectory of a hidden state over a time interval as the solution of a system of nonlinear equations equivalent to the discretized dynamics of an LNN. An iterative fixed-point method, which allows parallel execution, is used to solve it. To maintain stability at each iteration, a stabilizing projection onto the parameter and state domain in which the ISS conditions are satisfied is introduced. Theoretical results are obtained establishing the convergence of the proposed iterative algorithm and the preservation of the input-state stability property upon transition to a parallel computing scheme. It is shown that the stabilizing projection prevents the accumulation of numerical errors and limits the growth of disturbances arising during parallel processing. Unlike existing methods for parallelizing recurrent computations, which are primarily focused on speedup, the SPLR method preserves the key advantage of LNNs: their robustness to input and numerical disturbances. The practical significance of this work lies in expanding the applicability of liquid neural networks in real-time systems and on embedded platforms with limited computing resources.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>жидкие нейронные сети</kwd><kwd>параллелизация</kwd><kwd>устойчивость по входу к состоянию</kwd><kwd>Neural ODE</kwd><kwd>рекуррентные нейронные сети</kwd><kwd>распределённые вычисления</kwd></kwd-group><kwd-group xml:lang="en"><kwd>liquid neural networks</kwd><kwd>parallelization</kwd><kwd>input-to-state stability</kwd><kwd>neural ODE</kwd><kwd>recurrent neural networks</kwd><kwd>distributed computing</kwd></kwd-group></article-meta></front><back><ref-list><title>Список литературы</title><ref id="B1"><mixed-citation>Appleyard J., Kocisk&amp;yacute; T., Blunsom P. Оптимизация производительности рекуррентных нейронных сетей на GPU [Электронный ресурс]. arXiv:1604.01946. 2016. URL: https://arxiv.org/abs/1604.01946 (дата обращения: 25.01.2026).</mixed-citation></ref><ref id="B2"><mixed-citation>Barabanov N.E., Prokhorov D.V. Анализ устойчивости дискретновременных рекуррентных нейронных сетей // IEEE Transactions on Neural Networks. 2002. Т. 13, № 2. С. 292-303. DOI: 10.1109/72.991416.</mixed-citation></ref><ref id="B3"><mixed-citation>Bidollahkhani M., Atasoy F., Abdellatef H. LTC-SE: расширение возможностей жидких нейронных сетей с постоянной времени для масштабируемого ИИ и встраиваемых систем [Электронный ресурс]. arXiv:2304.08691. 2023. DOI: 10.48550/ARXIV.2304.08691. URL: https://arxiv.org/abs/2304.08691 (дата обращения: 25.01.2026).</mixed-citation></ref><ref id="B4"><mixed-citation>Chahine M., Hasani R., Lechner M. et al. Робастная навигация полёта вне распределения с использованием жидких нейронных сетей // Science Robotics. 2023. Т. 8. eadc8892. DOI: 10.1126/scirobotics.adc8892.</mixed-citation></ref><ref id="B5"><mixed-citation>Chen R.T.Q., Rubanova Yu., Bettencourt J., Duvenaud D.K. Нейронные обыкновенные дифференциальные уравнения // Advances in Neural Information Processing Systems. 2018. Т. 31. С. 6572-6583.</mixed-citation></ref><ref id="B6"><mixed-citation>Cho K., van Merri&amp;euml;nboer B., Gulcehre C. et al. Обучение представлениям фраз с использованием RNN Encoder-Decoder для статистического машинного перевода // Proceedings of EMNLP 2014. 2014.</mixed-citation></ref><ref id="B7"><mixed-citation>С. 1724-1734.</mixed-citation></ref><ref id="B8"><mixed-citation>Engelken R., Wolf F., Abbott L.F. Спектры Ляпунова хаотических рекуррентных нейронных сетей&amp;nbsp;// Physical Review Research. 2023. Т. 5, № 4. 043044. DOI: 10.1103/PhysRevResearch.5.043044.</mixed-citation></ref><ref id="B9"><mixed-citation>Farkas A., Kert&amp;eacute;sz G., Lovas R. Параллельное и распределённое обучение глубоких нейронных сетей: краткий обзор // IEEE 24th International Conference on Intelligent Engineering Systems (INES). 2020.</mixed-citation></ref><ref id="B10"><mixed-citation>С. 165-170.</mixed-citation></ref><ref id="B11"><mixed-citation>Finlay C., Jacobsen J. H., Nurbekyan L., Oberman A.M. Как обучать Neural ODE: регуляризация Якобиана и кинетическая регуляризация // Proceedings of the 37th International Conference on Machine Learning (ICML). 2020. С. 3154-3164.</mixed-citation></ref><ref id="B12"><mixed-citation>Gonzalez X., Warrington A., Smith J.T.H. et al. К масштабируемой и устойчивой параллелизации нелинейных рекуррентных нейронных сетей [Электронный ресурс]. arXiv:2407.19115. 2024. URL: https://arxiv.org/abs/2407.19115 (дата обращения: 25.01.2026).</mixed-citation></ref><ref id="B13"><mixed-citation>Guarneros-Sandoval A., Ballesteros M., Salgado I. et al. Законы обучения, устойчивые по Ляпунову, для многослойных рекуррентных нейронных сетей // Neurocomputing. 2022. Т. 491. С. 644-657. DOI: 10.1016/j.neucom.2021.12.041.</mixed-citation></ref><ref id="B14"><mixed-citation>Hasani R., Lechner M., Amini A. et al. Жидкие нейронные сети с постоянной времени // Proceedings of the AAAI Conference on Artificial Intelligence. 2021. Т. 35, № 9. С. 7657-7666. DOI: 10.1609/aaai.v35i9.16936.</mixed-citation></ref><ref id="B15"><mixed-citation>Hasani R., Lechner M., Amini A. et al. Непрерывновременные нейронные сети в замкнутой форме // Nature Machine Intelligence. 2022. Т. 4, № 11. С. 992-1003. DOI: 10.1038/s42256-022-00556-7.</mixed-citation></ref><ref id="B16"><mixed-citation>Hochreiter S., Schmidhuber J. Долгая краткосрочная память // Neural Computation. 1997. Т. 9, № 8. С. 1735-1780. DOI: 10.1162/NECO.1997.9.8.1735.</mixed-citation></ref><ref id="B17"><mixed-citation>Kim S., Yoo J., Kim J. et al. Обучение Neural ODE без моделирования на парных данных [Электронный ресурс]. arXiv:2410.22918. 2024. URL: https://arxiv.org/abs/2410.22918 (дата обращения: 25.01.2026).</mixed-citation></ref><ref id="B18"><mixed-citation>Krichman M., Sontag E.D., Wang Y. Устойчивость &amp;laquo;вход-выход-состояние&amp;raquo; // SIAM Journal on Control and Optimization. 2001. Т. 39, № 6. С. 1874-1928.</mixed-citation></ref><ref id="B19"><mixed-citation>Lechner M., Hasani R., Zimmer M. et al. Политики нейронных схем [Электронный ресурс]. arXiv:1803.08554. 2018. URL: https://arxiv.org/abs/1803.08554 (дата обращения: 25.01.2026).</mixed-citation></ref><ref id="B20"><mixed-citation>Lechner M., Hasani R., Amini A. et al. Политики нейронных схем, обеспечивающие аудируемую автономность // Nature Machine Intelligence. 2020. Т. 2, № 10. С. 642-652. DOI: 10.1038/s42256-020-00237-3.</mixed-citation></ref><ref id="B21"><mixed-citation>Leng J., Zhu T., Li J. et al. Жидкие нейронные сети в &amp;laquo;умном&amp;raquo; производстве: новая возможность // Advanced Engineering Informatics. 2026. Т. 70. Art. 104222. DOI: 10.1016/j.aei.2025.104222.</mixed-citation></ref><ref id="B22"><mixed-citation>Li S., Zhao Y., Varma R. et al. PyTorch Distributed: опыт ускорения обучения при параллелизме по данным // Proceedings of the VLDB Endowment. 2020. Т. 13, № 12. С. 3005-3018. DOI: 10.14778/3415478.3415530.</mixed-citation></ref><ref id="B23"><mixed-citation>Martin E., Cundy C. Параллелизация линейных рекуррентных нейронных сетей по длине последовательности [Электронный ресурс]. arXiv:1709.04057. 2017. URL: https://arxiv.org/abs/1709.04057 (дата обращения: 25.01.2026).</mixed-citation></ref><ref id="B24"><mixed-citation>Saab Jr. S., Fu Y., Ray A., Hauser M. Динамически стабилизированная рекуррентная нейронная сеть&amp;nbsp;// Neural Processing Letters. 2022. Т. 54, № 2. С. 1195-1209. DOI: 10.1007/s11063-021-10676-7.</mixed-citation></ref><ref id="B25"><mixed-citation>Sontag E. D. Устойчивость &amp;laquo;вход-состояние&amp;raquo;: основные понятия и результаты // Nonlinear and Optimal Control Theory / eds. P. Nistri, G. Stefani. Lecture Notes in Mathematics. 2008. Т. 1932. С. 163-220. DOI: 10.1007/978-3-540-77653-6_3.</mixed-citation></ref><ref id="B26"><mixed-citation>Varshney L.R., Chen B.L., Paniagua E. et al. Структурные свойства нейронной сети Caenorhabditis elegans // PLoS Computational Biology. 2011. Т. 7, № 2. e1001066. DOI: 10.1371/journal.pcbi.1001066.</mixed-citation></ref><ref id="B27"><mixed-citation>Wang H. T. et al. Анализ устойчивости непрерывновременных переключаемых нейронных сетей с изменяющейся во времени задержкой // IEEE Transactions on Systems, Man, and Cybernetics: Systems. 2021. Т. 51, № 11. С. 7022-7033.</mixed-citation></ref><ref id="B28"><mixed-citation>White J.G., Southgate E., Thomson J.N., Brenner S. Структура нервной системы нематоды Caenorhabditis elegans // Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences. 1986. Т. 314, № 1165. С. 1-340. DOI: 10.1098/rstb.1986.0056.</mixed-citation></ref><ref id="B29"><mixed-citation>Yang A., Xiong J., Raginsky M., Rosenbaum E. Нейронные ОДУ, устойчивые по &amp;laquo;вход-состояние&amp;raquo;, и их применение к транзиентному моделированию электрических цепей // Learning for Dynamics and Control (L4DC). 2022. Т. 168. С. 663-675.</mixed-citation></ref><ref id="B30"><mixed-citation>Zhang H., Wang Z., Liu D. Комплексный обзор анализа устойчивости непрерывновременных рекуррентных нейронных сетей // IEEE Transactions on Neural Networks and Learning Systems. 2014. Т. 25, №&amp;nbsp;7. С. 1229-1262. DOI: 10.1109/TNNLS.2014.2317880.</mixed-citation></ref><ref id="B31"><mixed-citation>Zhu M., Chang B. Сверточные нейронные сети в сочетании с методами Рунге-Кутты // Neural Computing and Applications. 2023. Т. 35. С. 1629-1643. DOI: 10.1007/s00521-022-07785-2.</mixed-citation></ref></ref-list></back></article>