Определение психоэмоционального состояния человека находит применение в различном количестве задач от диагностирования заболеваний до предупреждения аварийных дорожных ситуаций. Учитывая важность и разнообразие задач, где применяется определение психоэмоционального состояния человека, существует множество методов и подходов, но большинство из них использует только один невербальный признак, например голос или выражения лица человека. При этом одновременное использование нескольких невербальных признаков может увеличить точность по сравнению с методами, использующие только один невербальный признак. В данной работе разработан метод, использующий голос и выражение лица в качестве невербальных признаков. На основе литературного обзора и анализа существующих методов были выбраны лучшие методы и подходы, использующие голос или выражение лица, проведено сравнение разрабатываемого метода с существующими решениями. Разработанный метод позволил улучшить точность CMCNN, но при этом его Accuracy было меньше в сравнении с DisVoice + SVM. Для увеличения точности разработанного метода было предложено использовать средневзвешенное или использовать более сложную модель, способную выявить взаимосвязи между голос и выражением лица человека.
Determination of the person’s psychoemotional state finds application in a variety of tasks from the diagnosis of diseases to the prevention of emergency traffic situations. Given the importance and variety of tasks where it used, there are many methods and approaches of it exists, but most of them use only one nonverbal feature, such as a person's voice or facial expressions. At the same time, the simultaneous use of several nonverbal signs can increase accuracy compared to methods using only one nonverbal sign. In this paper, such method has been developed that uses voice and facial expression as nonverbal signs. Based on the literature review and analysis of existing methods, the best methods and approaches using voice or facial expression were selected, the developed method was compared with existing solutions. The developed method made it possible to improve the accuracy of CMCNN, but at the same time, in each test, the Accuracy of its own method was less in comparison with DisVoice + SVM. For improving developed method weighted average was proposed to use instead of usual average or using more complex model, which is able to detect interrelation between person’s voice and facial expression.