Определение психоэмоционального состояния человека находит применение в различном количестве задач от диагностирования заболеваний до предупреждения аварийных дорожных ситуаций. Учитывая важность и разнообразие задач, где применяется определение психоэмоционального состояния человека, существует множество методов и подходов, но большинство из них использует только один невербальный признак, например голос или выражения лица человека. При этом одновременное использование нескольких невербальных признаков может увеличить точность по сравнению с методами, использующие только один невербальный признак. В данной работе разработан метод, использующий голос и выражение лица в качестве невербальных признаков. На основе литературного обзора и анализа существующих методов были выбраны лучшие методы и подходы, использующие голос или выражение лица, проведено сравнение разрабатываемого метода с существующими решениями. Разработанный метод позволил улучшить точность CMCNN, но при этом его Accuracy было меньше в сравнении с DisVoice + SVM. Для увеличения точности разработанного метода было предложено использовать средневзвешенное или использовать более сложную модель, способную выявить взаимосвязи между голос и выражением лица человека.