学术动态

高端成果系列报道之二十三

Feng Zhang, Xi-Cheng Li, Chee Peng Lim, Qiang Hua, Chun-Ru Dong*, Jun-Hai Zhai, Deep Emotional Arousal Network for Multimodal Sentiment Analysis and Emotion Recognition, Information Fusion, Volume 88, July, 2022, Pages 296-304，DOI: https://doi.org/10.1016/j.inffus.2022.07.006.（IF:17.564, JCR一区TOP期刊 ）

多模态情感分析领域任务与脑神经科学中多感觉整合研究具有很高的相关性，未来多模态情感分析有望结合人类认知计算进行相关研究。如何让机器读懂人，让机器和人更聪明的交互是一个长久目标，要实现这个目标还需要多个学科共同努力。

论文主要提出一个深度情感唤醒网络(Deep Emotional Arousal Network, DEAN).该模型结合人脑处理多模态信息的处理过程，构建了跨模态Transformer模块，多模态BiLSTM系统和多模态门控模块,分别用于模拟认知科学中情感唤起模型中的知觉分析系统、认知比较器和激活机构三个亚系统的功能。实验结果表明所提模型能够获得较好的情感识别率。

Deep Emotional Arousal Network for Multimodal Sentiment Analysis and Emotion Recognition