Список литературы

2518-1092

Научный результат. Информационные технологии

2518-1092

10.18413/2518-1092-2024-9-2-0-8

3495

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И ПРИНЯТИЕ РЕШЕНИЙ

<strong>СРАВНИТЕЛЬНЫЙ АНАЛИЗ АЛГОРИТМОВ ГЛУБОКОГО ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ DDPG, PPO И SAC ДЛЯ УПРАВЛЕНИЯ БЕСПИЛОТНЫМ АВТОМОБИЛЕМ В СИМУЛЯТОРЕ CARLA</strong>

<strong>COMPARATIVE ANALYSIS OF DEEP LEARNING ALGORITHMS WITH REINFORCEMENT DDPG, PPO AND SAC FOR UNMANNED CAR CONTROL IN CARLA SIMULATOR</strong>

Тихонов

Максим Константинович

Tikhonov

Maksim Konstantinovich

samualgame@gmail.com

2024

9200

В данной статье представлен сравнительный анализ трех передовых алгоритмов глубокого обучения с подкреплением: Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) и Soft Actor-Critic (SAC), реализованных в библиотеке Stable Baselines 3. Целью исследования является оценка эффективности и применимости каждого из алгоритмов для задачи управления беспилотным автомобилем в сложной и динамичной среде, предоставляемой симулятором CARLA, с акцентом на такие ключевые показатели, как суммарная дистанция, суммарное вознаграждение, средняя скорость, отклонение от центра дорожной полосы и доля успешных эпизодов. Авторы подробно описывают методологию экспериментального тестирования, включая настройку параметров обучения и критерии оценки производительности. Результаты экспериментов демонстрируют различия в производительности алгоритмов, выявляя их сильные и слабые стороны в контексте автономного вождения. Статья вносит вклад в понимание преимуществ и ограничений каждого алгоритма в контексте автономного вождения и предлагает рекомендации по их практическому применению.

This paper presents a comparative analysis of three advanced deep reinforcement learning algorithms: Deep Deterministic Policy Gradient (DDPG), Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC) implemented in the Stable Baselines 3 library. The aim of the study is to evaluate the performance and applicability of each of the algorithms for the task of driving an unmanned vehicle in the complex and dynamic environment provided by the CARLA simulator, focusing on key metrics such as total distance, total reward, average speed, deviation from the center of the roadway, and success rate of episodes. The authors describe the experimental testing methodology in detail, including the tuning of training parameters and performance evaluation criteria. Experimental results demonstrate differences in the performance of the algorithms, revealing their strengths and weaknesses in the context of autonomous driving. The paper contributes to the understanding of the advantages and limitations of each algorithm in the context of autonomous driving and offers recommendations for their practical application.

глубокое обучение с подкреплениемавтономное вождениеDDPGPPOSACStable Baselines 3CARLA

deep reinforcement learningautonomous drivingDDPGPPOSACStable Baselines 3CARLA

Список литературы

Lillicrap T.P. et al. Continuous control with deep reinforcement learning // arXiv preprint arXiv:1509.02971. – 2015.

Chang C.C. et al. Autonomous driving control using the ddpg and rdpg algorithms // Applied Sciences. – 2021. – Т. 11. – №. 22. – С. 10659.

Schulman J. et al. Proximal policy optimization algorithms // arXiv preprint arXiv:1707.06347. – 2017.

Emuna R., Borowsky A., Biess A. Deep reinforcement learning for human-like driving policies in collision avoidance tasks of self-driving cars // arXiv preprint arXiv:2006.04218. – 2020.

Haarnoja T. et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor // International conference on machine learning. – PMLR, 2018. – P. 1861-1870.

Ke P., Yanxin Z., Chenkun Y. A decision-making method for Self-driving based on deep reinforcement learning // Journal of Physics: Conference Series. – IOP Publishing, 2020. – Т. 1576. – №. 1. – P. 012025.

Youssef F., Houda B. Comparative study of end-to-end deep learning methods for self-driving car // International Journal of Intelligent Systems and Applications. – 2020. – Т. 12. – P. 15-27.

Li D., Okhrin O. Modified DDPG car-following model with a real-world human driving experience with CARLA simulator // Transportation research part C: emerging technologies. – 2023. – Т. 147. – P. 103987.