ПРИМЕНЕНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ПРИ СОЗДАНИИ АССИСТИВНОЙ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ ДЛЯ ЛЮДЕЙ С НАРУШЕНИЯМИ СЛУХА
которые не обеспечивают полноценного восприятия сложной акустической среды. В качестве основы системы рассматривается мобильная архитектура, включающая обработку окружающих звуков, автоматическое распознавание речи и анализ эмоциональной окраски речи. Для сопоставления звука и цвета предложен подход, использующий текстовую промежуточную модальность и семантическое сравнение описаний звуков и цветовых оттенков. Экспериментально показано, что такое сопоставление позволяет получать устойчивые пары «звук – цвет» в HEX-формате, пригодные для дальнейшей интеграции в систему. Для классификации аудио выполнено дообучение моделей семейства EfficientAT на датасете AudioSet-Strong; установлено, что оптимальным является окно анализа 2,5 с при перекрытии 1,25 с, а модель «mn10_as» демонстрирует наилучший баланс качества и вычислительной эффективности. Для отображения эмоций речи показано преимущество непрерывного пространства Valence-Arousal-Dominance по сравнению с жесткой категориальной классификацией, поскольку оно дает более равномерное и менее субъективное представление эмоциональных состояний. Полученные результаты подтверждают перспективность применения мультимодальных методов, переноса обучения и компактных нейросетевых моделей для создания практической системы поддержки пользователей с нарушением слуха.
Великая Я.Г., Медведев А.Э., Васильев П.В., Михелев В.М. Применение методов машинного обучения при создании ассистивной интеллектуальной системы для людей с нарушениями слуха // Научный результат. Информационные технологии. – Т.11, №3, 2026. – С. 28-41. DOI: 10.18413/2518-1092-2026-11-3-0-3
Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.