16+
DOI: 10.18413/2518-1092-2026-11-3-0-7

ПАРАЛЛЕЛИЗАЦИЯ ВЫЧИСЛЕНИЙ В ЖИДКИХ НЕЙРОННЫХ СЕТЯХ С СОХРАНЕНИЕМ ГАРАНТИЙ УСТОЙЧИВОСТИ

Жидкие нейронные сети (Liquid Neural Networks, LNN) относятся к классу непрерывных моделей машинного обучения, в которых эволюция скрытого состояния описывается системой обыкновенных дифференциальных уравнений. Существенным достоинством LNN является их адаптивность во времени и наличие строгих теоретических гарантий устойчивости по входу-состоянию (Input-to-State Stability, ISS), что обеспечивает надёжную работу в условиях шумных, нерегулярных и внераспределённых входных данных. Данные свойства делают LNN перспективными для применения в системах управления, робототехнике и обработке временных рядов. Несмотря на указанные преимущества, практическое использование LNN ограничено высокой вычислительной сложностью. Численные методы решения обыкновенных дифференциальных уравнений обладают выраженной последовательной природой, что затрудняет эффективную параллелизацию вычислений и приводит к увеличению времени обучения и вывода модели, особенно при реализации на GPU и распределённых вычислительных платформах. В работе рассматривается метод параллелизации вычислений для LNN – Stable Parallel Liquid Recurrence (SPLR). Подход основан на представлении задачи вычисления траектории скрытого состояния на временном интервале в виде решения системы нелинейных уравнений, эквивалентной дискретизированной динамике LNN. Для её решения применяется итерационный метод неподвижной точки, допускающий параллельное выполнение. С целью сохранения устойчивости на каждой итерации вводится стабилизирующая проекция на область параметров и состояний, в которой выполняются условия ISS. Получены теоретические результаты, устанавливающие сходимость предложенного итерационного алгоритма и сохранение свойства устойчивости по входу-состоянию при переходе к параллельной схеме вычислений. Показано, что стабилизирующая проекция предотвращает накопление численных ошибок и ограничивает рост возмущений, возникающих при параллельной обработке. В отличие от существующих методов параллелизации рекуррентных вычислений, ориентированных преимущественно на ускорение, метод SPLR сохраняет ключевое преимущество LNN – устойчивость к входным и численным возмущениям. Практическая значимость работы заключается в расширении области применимости жидких нейронных сетей в системах реального времени и на встраиваемых платформах с ограниченными вычислительными ресурсами.

Количество просмотров: 15 (смотреть статистику)
Количество скачиваний: 40
Полный текст (PDF)Скачать XMLК списку статей
  • Комментарии
  • Список литературы

Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.

Оставить комментарий: