| 标题 |
An adaptive auto fusion with hierarchical attention for multimodal fake news detection 基于分级注意的自适应自动融合多模态假新闻检测
相关领域
计算机科学
人工智能
模式识别(心理学)
机器学习
|
| 网址 | |
| DOI | |
| 其它 | 假新闻现象常常依赖多样的多模态证据来欺骗读者并获得广泛流行。现有融合方法旨在增强特征交互,但通常依赖连接或注意力机制 ,难以模拟多模态信息的细腻动态,原因包括缺失数据和模态异质性。为克服这些限制,我们提出了一个带有 H 层 A 倾向(AAFHA) 的 A 对应 A 型 A 型假新闻检测框架。AAFHA 将图像说明直接集成到融合流程中,以加强跨模态学习,不同于以往将图片说明视为孤立输入的方法。我们首先通过引入分层编码来捕捉局部和全局依赖关系,设计文本和字幕的多层交互,使模型能够检测微妙的跨模态关联。然后,采用以层级注意力为指导的稀疏加权技术,通过动态分配注意力在不同模态间进一步细化这些互动。这种引导聚焦通过受限的 SoftMax 函数实现,改善上下文对齐并减少孤立特征建模。为了实现自适应语义集成,我们引入了支持动态端到端训练的 Auto-Fusion 模块。该模型优化了共享表示空间中学习到的相似度度量,使文本、说明和图像特征对齐,以自适应地捕捉语义关联。此外,结合了带有对比损失的稀疏训练,以保持语义一致性并增强融合过程中的类分离性。 实验结果显示,AAFHA 优于现有基线,分别在 PolitiFact、Gossip 和 Pheme 数据集上实现了 0.094%、0.198%和 0.001%的准确性提升。这些发现证明了该模型在识别多模态假新闻方面的有效性。 |
| 求助人 | |
| 下载 | 求助已完成,仅限求助人下载。 |
|
温馨提示:该文献已被科研通 学术中心 收录,前往查看
科研通『学术中心』是文献索引库,收集文献的基本信息(如标题、摘要、期刊、作者、被引量等),不提供下载功能。如需下载文献全文,请通过文献求助获取。
|