ОПТИМИЗАЦИЯ ГИПЕРПАРАМЕТРОВ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ НА ОСНОВЕ ЭВОЛЮЦИОННЫХ АЛГОРИТМОВ И СУРРОГАТНОГО МОДЕЛИРОВАНИЯ
Актуальность. Построение высокоточных предиктивных моделей в современных интеллектуальных системах требует автоматизации поиска оптимальных гиперпараметров. Традиционные методы оптимизации демонстрируют низкую эффективность
в пространствах высокой размерности и при значительных вычислительных затратах на оценку целевой функции, что обуславливает необходимость разработки новых подходов на стыке эвристического поиска и статистической аппроксимации.
Проблема. Основная сложность заключается в необходимости нахождения глобального экстремума функции «черного ящика» при жестком ограничении бюджета вычислений. Высокая ресурсоемкость каждого обращения к полной модели машинного обучения требует минимизации количества итераций без потери точности и робастности финального решения.
Методы. Предложен гибридный алгоритм EA-SM, интегрирующий механизмы эволюционного поиска и адаптивного суррогатного моделирования на основе гауссовских процессов. Математический аппарат включает использование функции сбора данных для балансировки исследования пространства и эксплуатации найденных минимумов, а также регуляризацию Тихонова для обеспечения вычислительной устойчивости матриц ковариации.
Результаты. Экспериментальная верификация на задачах классификации стохастических объектов и прогнозирования временных рядов (AutoForecast, Chronos) подтвердила превосходство метода. Установлено сокращение числа обращений к целевой функции на 30–70% по сравнению с алгоритмами DIRECT и Optuna при сохранении высокой точности аппроксимации в окрестностях экстремумов.
Выводы. Разработанный подход обеспечивает асимптотическую сходимость к глобальному оптимуму и устойчивость к стохастическому шуму. Алгоритм пригоден для настройки нейросетевых архитектур в условиях высокой размерности, минимизируя временные и аппаратные затраты в системах мониторинга и обнаружения аномалий.
Зарипов Е.А., Лазаренко С.А. Оптимизация гиперпараметров моделей машинного обучения на основе эволюционных алгоритмов и суррогатного моделирования // Научный результат. Информационные технологии. – Т.11, №2, 2026. – С. 109-120. DOI: 10.18413/2518-1092-2026-11-2-0-9
Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.
1. Акопов А.С. Моделирование и оптимизация стратегий принятия индивидуальных решений в многоагентных социально-экономических системах с использованием машинного обучения // Бизнес-информатика. 2023. Т. 17. № 2. С. 7–19.
2. Анафиев А.С., Карюк А.С. Обзор подходов к решению задачи оптимизации гиперпараметров для алгоритмов машинного обучения // Таврический вестник информатики и математики. 2022. № 2(55).
С. 30–37.
3. Горбунов С.М., Становов В.В. Эволюционный алгоритм многокритериальной оптимизации с суррогатными моделями машинного обучения // Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия «Приборостроение». 2025. № 2(151). С. 48–62.
4. Клейнер С.Г. Исследование точности решения задачи оптимизации гиперпараметров с помощью нейронной сети // Вестник науки. 2025. Т. 3. № 6 (87). С. 1785–1791.
5. Матвеев А.Н. Инструменты построения моделей машинного обучения // E-Scio. 2023. № 6(81). С. 71–77.
6. Тимофеев А.В. Метод выбора гиперпараметров в задачах машинного обучения для классификации стохастических объектов // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 5. С. 667–676.
7. Трунов Е.Е. Алгоритм обнаружения аномального поведения пользователей автоматизированных систем на основе методов машинного обучения // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2025. № 4. С. 33–42.
8. Усова М.А., Лебедев И.Г., Штанюк А.А., Баркалов К.А. Алгоритм глобальной оптимизации для настройки гиперпараметров методов машинного обучения // Проблемы информатики. 2025. № 4 (69).
С. 52–72.
9. Ходорченко М.А., Бутаков Н.А., Насонов Д.А., Фирулик М.Ю. Программный фреймворк для оптимизации гиперпараметров тематических моделей с аддитивной регуляризацией // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23. № 1. С. 112–120.
10.Abdallah M. AutoForecast: Automatic Time-Series Forecasting Model Selection // Proceedings of the 31st ACM International Conference on Information & Knowledge Management (CIKM ’22). 2022. P. 5–14.
11.Akiba T., Sano S., Yanase T., Ohta T., Koyama M. Optuna: A Next-Generation Hyperparameter Optimization Framework // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019. P. 2623–2631.
12.Ansari A.F. Chronos: Learning the Language of Time Series // arXiv preprint arXiv:2403.07815. 2024. / Christ M. Time Series Feature Extraction on basis of Scalable Hypothesis tests (tsfresh – A Python package) // Neurocomputing. 2018. Т. 307. P. 72–77.
13.Audet C., Batailly A., Kojtych S. Escaping unknown discontinuous regions in blackbox optimization // SIAM Journal on Optimization. 2022. Т. 32. № 3. P. 1843–1870.
14.Candelieri A. Sequential model based optimization of partially defined functions under unknown constraints // Journal of Global Optimization. 2019. Т. 73. № 2. P. 281–303.
15.Conrad F. AutoML Applied to Time Series Analysis Tasks in Production Engineering // Procedia Computer Science. 2024. Т. 232. P. 849–860.
16.Filippou K., Aifantis G., Papakostas G.A., Tsekouras G.E. Structure learning and hyperparameter optimization using an automated machine learning (AutoML) pipeline // Information. 2023. Т. 14. № 4. P. 232.
17.Paulavicius R., Sergeyev Y.D., Kvasov D.E., Zilinskas J. Globally-biased BIRECT algorithm with local accelerators for expensive global optimization // Expert Systems with Applications. 2020. Т. 144. P. 113052.
18.Sergeyev Y.D., Kvasov D.E., Mukhametzhanov M.S. On the efficiency of nature-inspired metaheuristics in expensive global optimization with limited budget // Scientific Reports. 2018. Т. 8. № 1. P. 453.
19.Stripinis L., Paulavicius R. A new DIRECT-GLh algorithm for global optimization with hidden constraints // Optimization Letters. 2021. Т. 15. № 6. P. 1865–1884.
20.Sun Y., Yen G., Yi Z. IGD indicator-based evolutionary algorithm for manyobjective optimization problems // IEEE Transactions on Evolutionary Computation. 2019. Т. 23. № 2. P. 173–187.
21.Truong A. Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools // 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI). 2019. 22.P. 1471–1479.
22.Wang H., Jin Y., Doherty J. Committee-based active learning for surrogate-assisted particle swarm optimization of expensive problems // IEEE Transactions on Cybernetics. 2017. Т. 47. № 9. P. 2664–2677.
23.Waring J., Lindvall C., Umeton R. Automated machine learning: Review of the state-of-the-art and opportunities for healthcare // Artificial Intelligence in Medicine. 2020. Т. 104. P. 101822.
24.Xu N. Time Series Analysis on Monthly Beer Production in Australia // Highlights in Science, Engineering and Technology. 2024. Т. 94. P. 392–401.