DOI: 10.18413/2518-1092-2023-8-4-0-6

РАЗРАБОТКА МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ И БИБЛИОТЕКИ ИНТЕРПРЕТИРУЕМОГО ПРЕДСКАЗАТЕЛЬНОГО МОДЕЛИРОВАНИЯ ПОВЕДЕНИЯ ЧЕЛОВЕКА В ПРОЦЕССЕ ЕГО ОНЛАЙН-ПРОФАЙЛИНГА

Иван Захарович Смирнов
Анатолий Андреевич Медведев
Тимур Русланович Самигулин
Алёна Алексеевна Комарова
Артём Игоревич Тимощук-Бондарь
Михаил Витальевич Синько
Анастасия Александров Лаушкина
Ольга Олеговна Гофман
Олег Олегович Басов

Изучение индивидуально-психологических особенностей людей имеет важное значение в областях: образовании, менеджменте и управлении, обеспечении безопасности человека и сообществ. В решении задачи определения и анализа личностных особенностей существуют различные инструменты, однако они имеют ряд ограничений. Мы представляем решение, которое извлекает и с использованием машинного обучения анализирует признаки лица и речи человека из видеоряда, применимое для исследования восьми различных индивидуально-психологических характеристик в задаче цифрового онлайн-профайлинга. Пользователю предлагается использовать разработанную библиотеку Expert для получения новых характеристик путем применения и комбинации существующих ML-модулей для решения широкого класса задач.

Ключевые слова: машинное обучение, open source, мультимодальный анализ, вербальные и невербальные признаки.

Количество просмотров: 191 (смотреть статистику)

Количество скачиваний: 502

Полный текст (PDF)К списку статей

Информация для цитирования:

Смирнов И.З., Медведев А. А., Самигулин Т.Р., Комарова А.А., Тимощук-Бондарь А.И., Синько М.В., Лаушкина А.А., Гофман О.О., Басов О.О. Разработка методов машинного обучения и библиотеки интерпретируемого предсказательного моделирования поведения человека в процессе его онлайн-профайлинга // Научный результат. Информационные технологии. – Т.8, №4, 2023. – С. 59-69. DOI: 10.18413/2518-1092-2023-8-4-0-6

Комментарии
Список литературы
Благодарности

Пока никто не оставил комментариев к этой публикации.
Вы можете быть первым.

Goupil L., Ponsot E., Richardson D. et al. Listeners’ perceptions of the certainty and honesty of a speaker are associated with a common prosodic signature // Nat Commun. 2021. – №12.
Teixeira J. P., Oliveira C., Lopes C. Vocal Acoustic Analysis – Jitter, Shimmer and HNR Parameters // Procedia Technology. – 2013. – V. 9. – P. 1112-1122.
Kirillov S., Lukyanov D. Evaluation of psycho-emotional status of robotic system operator in the Arctic // IOP Conference Series: Earth and Environmental Science. – 2019. – № 302.
Rammstedt B., Danner D., Lechner C. Personality, competencies, and life outcomes: results from the German PIAAC longitudinal study // Large-scale Assess Educ 5. – 2017. – №2.
Anbesaw T., Zenebe Y., Asmamaw A., et. al. Post-traumatic stress disorder and associated factors among people who experienced traumatic events in Dessie town, Ethiopia, 2022: A community based study // Frontiers in Psychiatry. 2022. – №13.
Reeve D. Psycho-Emotional Disablism: The Missing Link? // Routledge Handbook of Disability StudiesEdition: 1stChapter: 7. 2012.
Le Duc T., Huynh S., Vu T., et. al. Personality Traits and Aggressive Behavior in Vietnamese Adolescents // Psychology Research and Behavior Management. – 2023. – №16. – Р. 1987-2003.
Cheng S., Dawson J., Thamby J., et al. How do aggression source, employee characteristics and organisational response impact the relationship between workplace aggression and work and health outcomes in healthcare employees? A cross-sectional analysis of the National Health Service staff survey in England // BMJ Open. 2020. – №10(8).
Соколова М.С. Адаптация к собеседнику как составляющая позитивной коммуникации: конститутивные признаки // Актуальные проблемы филологии и педагогической лингвистики. 2017. – №2(26).
Данилин М. В. Методика обучения аудированию в условиях мультимодальной коммуникации с использованием аутентичных аудиовидеоматериалов (английский язык, среднее общее образование): дис. канд. пед. наук: 5.8.2. – М., 2021. – 173 с.
Зобков В.А. Уверенность человека в себе в ситуациях принятия решения // Вестник Костромского государственного университета. Серия: Педагогика. Психология. Социокинетика. 2018. – №2.
Ромек В.Г. Уверенность в себе как социально-психологическая характеристика личности: автореф. дис. канд. соц. псих. наук: 19.00.05. – Ростов-на-Дону, 1997. – 12 с.
Кашапова Э.Р., Рыжкова М. В. Когнитивные искажения и их влияние на поведение индивида // Вестн. Том. гос. ун-та. Экономика. 2015. –№2(30).
Aneri R., Sonali J. Emotion Based Hate Speech Detection using Multimodal Learning // arXiv Computation and Language. 2022.
Jianyuan G., Kai H., Han W., et al. CMT: Convolutional Neural Networks Meet Vision Transformers // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2022. – Р. 12175-12185.
EmoPy: a machine learning toolkit for emotional expression // thoughtworks URL: https://www.thoughtworks.com/ (дата обращения: 13.07.2023).
Camillo L., Jiuqiang T., Hadon N., et al. EmoPy: a machine learning toolkit for emotional expression // arXiv Distributed, Parallel, and Cluster Computing. 2019.
TextBlob: Simplified Text Processing // TextBlob URL: https://textblob.readthedocs.io/en/dev/ (дата обращения: 13.07.2023).
Razzaq M.A., Hussain J., Bang J., et. al. A Hybrid Multimodal Emotion Recognition Framework for UX Evaluation Using Generalized Mixture Functions. Sensors 23. – 2023. – №23(9).
Detoxify // github URL: https://github.com/unitaryai/detoxify (дата обращения: 13.07.2023).
Boersma P., Van Heuven V. Speak and unSpeak with PRAAT // Glot International. – V. 5. – №9/10. – Р. 341-347.
Gedas B., Heng W., Lorenzo T. Is Space-Time Attention All You Need for Video Understanding? // arXiv Computer Vision and Pattern Recognition. 2021.
Grishchenko I., Ablavatski A., Kartynnik Y., et. al. Attention Mesh: High-fidelity Face Mesh Prediction in Real-time // arXiv Computer Vision and Pattern Recognition. 2022.
Samigulin T.R., Smirnov I.Z., Laushkina A.A. Determination of markers of aggressive human behavior based on analysis of audio and text channels // Scientific result. Information Technology. – 2022. – T.7. – No. 2. – pp. 56-61.
Jacob D., Ming-Wei C., Kenton L., Kristina T. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // arXiv preprint arXiv:1810.04805. 2019.
Wen Z., Lin W., Wang T., Xu G. Distract Your Attention: Multi-Head Cross Attention Network for Facial Expression Recognition // Biomimetics 8. 2023. – №2. – P. 199.
Peng Z., Lu Y., Pan S., Liu Y. Efficient Speech Emotion Recognition Using Multi-Scale CNN and Attention // ICASSP 2021 – 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – 2021. – P. 3020-3024.
Amit G., Noura Al M., Steven B. ExBERT: An External Knowledge Enhanced BERT for Natural Language Inference // arXiv Computation and Language. 2021.
Shickel B., Scott S., Martin H., at. al. Automatic Detection and Classification of Cognitive Distortions in Mental Health Text // IEEE 20th International Conference on Bioinformatics and Bioengineering (BIBE). 2019.
Xuejiao Z., Chunyan M., Zhenchang X. Identifying Cognitive Distortion by Convolutional Neural Network based Text Classification // International Journal of Information Technology. 2017. – №23.
Simms T., Ramstedt C., Rich M., et.al. Detecting Cognitive Distortions Through Machine Learning Text Analytics // 2017 IEEE International Conference on Healthcare Informatics (ICHI). – 2017. – P. 508-512.
Beck A. Cognitive therapy and the emotional disorders // New York: New American Library. 1979. – P. 374.
Breiman L. Random Forests // Machine Learning. 2001. – №45. – P. 5–32.
Ferracane E., Durrett G., Li J., et. al. Did they answer? Subjective acts and intents in conversational discourse // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2021. – P. 1626–1644.

Все журналы

Отправить статью

Научный результат. Информационные технологии включен в научную базу РИНЦ (лицензионный договор № 765-12/2014 от 08.12.2014).

Журнал индексируется следующими научными базами и платформами

Научный результат. Научный результат. Информационные технологии (ISSN 2518-1092)

The journal materials and website are licensed under Creative Commons «Attribution» 4.0 International.

Учредитель: федеральное государственное автономное образовательное учреждение высшего образования «Белгородский государственный национальный исследовательский университет» (НИУ «БелГУ»). Адрес: 308015, Белгородская область, г. Белгород, ул. Победы, 85.

Издатель: федеральное государственное автономное образовательное учреждение высшего образования «Белгородский государственный национальный исследовательский университет» (НИУ «БелГУ»). Адрес: 308015, Белгородская область, г. Белгород, ул. Победы, 85.

Редакция: главный редактор Черноморец Андрей Алексеевич, e-mail: RR_IT@bsu.edu.ru, тел.: +7 (4722) 30-13-92.

Зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор)

Свидетельство о регистрации СМИ

Информационное письмо (русс. яз)

Остались вопросы?
Можете написать нам:

✉ Контент менеджер

✉ Администратор сайта

✉ Ответственный cекретарь