Список литературы

2518-1092

Научный результат. Информационные технологии

2518-1092

10.18413/2518-1092-2026-11-2-0-9

4259

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ПРИНЯТИЕ РЕШЕНИЙ

<strong>ОПТИМИЗАЦИЯ ГИПЕРПАРАМЕТРОВ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ НА ОСНОВЕ ЭВОЛЮЦИОННЫХ АЛГОРИТМОВ И СУРРОГАТНОГО МОДЕЛИРОВАНИЯ</strong>

<strong>OPTIMIZATION OF HYPERPARAMETERS OF MACHINE LEARNING MODELS BASED ON EVOLUTIONARY ALGORITHMS AND SURROGATE MODELING</strong>

Зарипов

Евгений Андреевич

Zaripov

Evgeny Andreevich

e.a.zaripov@ya.ru

Лазаренко

Сергей Александрович

Lazarenko

Sergey Alexandrovich

sergey.lazarenko.0241@mail.ru

2026

11200

Актуальность. Построение высокоточных предиктивных моделей в современных интеллектуальных системах требует автоматизации поиска оптимальных гиперпараметров. Традиционные методы оптимизации демонстрируют низкую эффективность в пространствах высокой размерности и при значительных вычислительных затратах на оценку целевой функции, что обуславливает необходимость разработки новых подходов на стыке эвристического поиска и статистической аппроксимации. Проблема. Основная сложность заключается в необходимости нахождения глобального экстремума функции «черного ящика» при жестком ограничении бюджета вычислений. Высокая ресурсоемкость каждого обращения к полной модели машинного обучения требует минимизации количества итераций без потери точности и робастности финального решения. Методы. Предложен гибридный алгоритм EA-SM, интегрирующий механизмы эволюционного поиска и адаптивного суррогатного моделирования на основе гауссовских процессов. Математический аппарат включает использование функции сбора данных для балансировки исследования пространства и эксплуатации найденных минимумов, а также регуляризацию Тихонова для обеспечения вычислительной устойчивости матриц ковариации. Результаты. Экспериментальная верификация на задачах классификации стохастических объектов и прогнозирования временных рядов (AutoForecast, Chronos) подтвердила превосходство метода. Установлено сокращение числа обращений к целевой функции на 30–70% по сравнению с алгоритмами DIRECT и Optuna при сохранении высокой точности аппроксимации в окрестностях экстремумов. Выводы. Разработанный подход обеспечивает асимптотическую сходимость к глобальному оптимуму и устойчивость к стохастическому шуму. Алгоритм пригоден для настройки нейросетевых архитектур в условиях высокой размерности, минимизируя временные и аппаратные затраты в системах мониторинга и обнаружения аномалий.

Relevance. Building high-precision predictive models in modern intelligent systems requires automating the search for optimal hyperparameters. Traditional optimization methods demonstrate low efficiency in high-dimensional spaces and with significant computational costs for estimating the objective function, which necessitates the development of new approaches at the interface of heuristic search and statistical approximation. Problem. The main difficulty lies in the need to find the global extremum of the «black box» function with a strict limitation of the computing budget. The high resource intensity of each access to the complete machine learning model requires minimizing the number of iterations without losing the accuracy and robustness of the final solution. Methods. A hybrid EA-SM algorithm is proposed that integrates the mechanisms of evolutionary search and adaptive surrogate modeling based on Gaussian processes. The mathematical apparatus includes the use of a data collection function to balance space exploration and exploit the found minima, as well as Tikhonov regularization to ensure the computational stability of covariance matrices. Results. Experimental verification on the tasks of stochastic object classification and time series forecasting (AutoForecast, Chronos) confirmed the superiority of the method. A reduction in the number of calls to the objective function by 30-70% has been found compared to the DIRECT and Optuna algorithms, while maintaining high approximation accuracy in the vicinity of extremes. Conclusions. The developed approach provides asymptotic convergence to the global optimum and resistance to stochastic noise. The algorithm is suitable for configuring neural network architectures in high-dimensional environments, minimizing time and hardware costs in monitoring and anomaly detection systems.

оптимизация гиперпараметровэволюционные алгоритмысуррогатное моделированиегауссовские процессыактивное обучениемашинное обучениеглобальный экстремумвычислительная эффективностьвременные рядыавтоматизированное машинное обучение

hyperparameter optimizationevolutionary algorithmssurrogate modelingGaussian processesactive learningmachine learningglobal extremumcomputational efficiencytime seriesautomated machine learning

Список литературы

1.   Акопов А.С. Моделирование и оптимизация стратегий принятия индивидуальных решений в многоагентных социально-экономических системах с использованием машинного обучения // Бизнес-информатика. 2023. Т. 17. № 2. С. 7–19.

2.   Анафиев А.С., Карюк А.С. Обзор подходов к решению задачи оптимизации гиперпараметров для алгоритмов машинного обучения // Таврический вестник информатики и математики. 2022. № 2(55).

С. 30–37.

3.   Горбунов С.М., Становов В.В. Эволюционный алгоритм многокритериальной оптимизации с суррогатными моделями машинного обучения // Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия «Приборостроение». 2025. № 2(151). С. 48–62.

4.   Клейнер С.Г. Исследование точности решения задачи оптимизации гиперпараметров с помощью нейронной сети // Вестник науки. 2025. Т. 3. № 6 (87). С. 1785–1791.

5.   Матвеев А.Н. Инструменты построения моделей машинного обучения // E-Scio. 2023. № 6(81). С. 71–77.

6.   Тимофеев А.В. Метод выбора гиперпараметров в задачах машинного обучения для классификации стохастических объектов // Научно-технический вестник информационных технологий, механики и оптики. 2020. Т. 20. № 5. С. 667–676.

7.   Трунов Е.Е. Алгоритм обнаружения аномального поведения пользователей автоматизированных систем на основе методов машинного обучения // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2025. № 4. С. 33–42.

8.   Усова М.А., Лебедев И.Г., Штанюк А.А., Баркалов К.А. Алгоритм глобальной оптимизации для настройки гиперпараметров методов машинного обучения // Проблемы информатики. 2025. № 4 (69).

С. 52–72.

9.   Ходорченко М.А., Бутаков Н.А., Насонов Д.А., Фирулик М.Ю. Программный фреймворк для оптимизации гиперпараметров тематических моделей с аддитивной регуляризацией // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23. № 1. С. 112–120.

10.Abdallah M. AutoForecast: Automatic Time-Series Forecasting Model Selection // Proceedings of the 31st ACM International Conference on Information & Knowledge Management (CIKM ’22). 2022. P. 5–14.

11.Akiba T., Sano S., Yanase T., Ohta T., Koyama M. Optuna: A Next-Generation Hyperparameter Optimization Framework // Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019. P. 2623–2631.

12.Ansari A.F. Chronos: Learning the Language of Time Series // arXiv preprint arXiv:2403.07815. 2024. / Christ M. Time Series Feature Extraction on basis of Scalable Hypothesis tests (tsfresh – A Python package) // Neurocomputing. 2018. Т. 307. P. 72–77.

13.Audet C., Batailly A., Kojtych S. Escaping unknown discontinuous regions in blackbox optimization // SIAM Journal on Optimization. 2022. Т. 32. № 3. P. 1843–1870.

14.Candelieri A. Sequential model based optimization of partially defined functions under unknown constraints // Journal of Global Optimization. 2019. Т. 73. № 2. P. 281–303.

15.Conrad F. AutoML Applied to Time Series Analysis Tasks in Production Engineering // Procedia Computer Science. 2024. Т. 232. P. 849–860.

16.Filippou K., Aifantis G., Papakostas G.A., Tsekouras G.E. Structure learning and hyperparameter optimization using an automated machine learning (AutoML) pipeline // Information. 2023. Т. 14. № 4. P. 232.

17.Paulavicius R., Sergeyev Y.D., Kvasov D.E., Zilinskas J. Globally-biased BIRECT algorithm with local accelerators for expensive global optimization // Expert Systems with Applications. 2020. Т. 144. P. 113052.

18.Sergeyev Y.D., Kvasov D.E., Mukhametzhanov M.S. On the efficiency of nature-inspired metaheuristics in expensive global optimization with limited budget // Scientific Reports. 2018. Т. 8. № 1. P. 453.

19.Stripinis L., Paulavicius R. A new DIRECT-GLh algorithm for global optimization with hidden constraints // Optimization Letters. 2021. Т. 15. № 6. P. 1865–1884.

20.Sun Y., Yen G., Yi Z. IGD indicator-based evolutionary algorithm for manyobjective optimization problems // IEEE Transactions on Evolutionary Computation. 2019. Т. 23. № 2. P. 173–187.

21.Truong A. Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools // 2019 IEEE 31st International Conference on Tools with Artificial Intelligence (ICTAI). 2019. 22.P. 1471–1479.

22.Wang H., Jin Y., Doherty J. Committee-based active learning for surrogate-assisted particle swarm optimization of expensive problems // IEEE Transactions on Cybernetics. 2017. Т. 47. № 9. P. 2664–2677.

23.Waring J., Lindvall C., Umeton R. Automated machine learning: Review of the state-of-the-art and opportunities for healthcare // Artificial Intelligence in Medicine. 2020. Т. 104. P. 101822.

24.Xu N. Time Series Analysis on Monthly Beer Production in Australia // Highlights in Science, Engineering and Technology. 2024. Т. 94. P. 392–401.