| 标题 |
Personalized Multimodal Sentiment Analysis under Uncertain Modalities Missing via Pretraining and Online Learning 相关领域
模式
情绪分析
计算机科学
人工智能
缺少数据
在线学习
自然语言处理
机器学习
多媒体
社会科学
社会学
|
| 网址 | |
| DOI | |
| 其它 |
摘要 目前,针对缺乏不确定模态的个性化用户进行多模态情感分析(MSA)已成为一个新的挑战性问题。为了解决这个问题,我们提出了一个两步方案。首先,我们提出一个在缺失不确定模态下的有效MSA模型,并用一些公开数据集进行训练,从而使模型具备更好的初步MSA能力。然后,我们构建预训练模型,通过在线学习方法持续学习用户的个性化特征,从而使模型成长为一个稳健的个性化多站分析模型。基于这一理念,我们提出了一个针对预训练和在线学习中缺乏不确定模式的个性化MSA模型(称为PMSAPO)。对于缺乏不确定模态的个性化MSA,PMSAPO首先生成融合模态并为每个模态分配权重,并配备全联通神经网络评估模块。随后,PMSAPO通过联合特征优化模块完成基于融合模态的最终情感分类。对于预训练的PMSAPO系统,我们通过提出的在线学习技术,包括在线元学习方法、学习率自适应调整策略以及样本数据的动态权重分配策略,使其能够自主学习个性化用户。最后,基于三个公开基准数据集(IEMOCAP、MELD和CMU-MOSI),我们进行了广泛实验,证明PMSAPO完全优于十二个最先进的基线模型。(代码可在 https://github.com/SHX-AI/PMSAPO 获取。) |
| 求助人 | |
| 下载 | 该求助完结已超 24 小时,文件已从服务器自动删除,无法下载。 |
|
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|
PDF的下载单位、IP信息已删除
(2025-6-4)