亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Question-Driven Multiple Attention(DQMA) Model for Visual Question Answer

计算机科学 人工智能 答疑 光学(聚焦) 图像(数学) 视觉注意 感知器 自然语言处理 词(群论) 机器学习 自然语言 模式识别(心理学) 人工神经网络 认知 语言学 物理 生物 神经科学 哲学 光学
作者
Jinmeng Wu,Fulin Ge,Pengcheng Shu,Lei Ma,Yanbin Hao
标识
DOI:10.1109/aicit55386.2022.9930294
摘要

Visual Question and Answer (VQA) refers to a typical multimodal problem in the fields of computer vision and natural language processing, which aims to give an open-ended question about an image that can be answered accurately. The currently existing visual question answer models inevitably introduce redundant and inaccurate visual information when exploring the rich interaction between complex image targets and texts, and they also fail to focus effectively on the targets in the scene. To address this problem, the Question-Driven Multiple Attention Model (QDMA) is proposed. Firstly, Faster R-CNN and LSTM are used to extract visual features of images and textual features of questions. Then we design a question-driven attention network to obtain question regions of interest in images so that the model can accurately target relevant targets in complex scenes. To establish intensive interaction between the image region of interest and the question word, the co-attentive network consisting of self-attentive and guided-attentive units is introduced. Finally, the correct answer is obtained by inputting question features and image features into an answer prediction module consisting of two-layer Multi-Layer Perceptron. On the VQA2.0 dataset, the suggested method is empirically compared with other methods. The results reveal that the model outperforms other methods, demonstrating the usefulness of the framework.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
3秒前
12秒前
仁爱的觅海完成签到,获得积分10
14秒前
19秒前
zcy发布了新的文献求助10
19秒前
林lin完成签到,获得积分10
20秒前
林lin发布了新的文献求助10
23秒前
生气的美拉德汉堡关注了科研通微信公众号
24秒前
小白学生完成签到,获得积分10
25秒前
Myx完成签到,获得积分10
31秒前
求真完成签到,获得积分10
31秒前
Criminology34举报于庭的求助涉嫌违规
32秒前
35秒前
打打的应助被科研通管家采纳,获得10
36秒前
领导范儿的应助被科研通管家采纳,获得10
36秒前
完美世界的应助被sunyuexin采纳,获得10
36秒前
温柔的含双完成签到,获得积分10
39秒前
yuki发布了新的文献求助10
40秒前
52秒前
zhhua完成签到,获得积分10
55秒前
多鱼发布了新的文献求助10
56秒前
终焉完成签到 ,获得积分10
1分钟前
忧郁小松鼠完成签到,获得积分10
1分钟前
1分钟前
老年学术废物完成签到 ,获得积分10
1分钟前
1分钟前
CC完成签到,获得积分10
1分钟前
sunyuexin发布了新的文献求助10
1分钟前
小白学生关注了科研通微信公众号
1分钟前
幸福幻巧完成签到,获得积分20
1分钟前
Owen的应助被Ken921319005采纳,获得10
1分钟前
keating完成签到,获得积分10
1分钟前
生气的美拉德汉堡完成签到,获得积分10
1分钟前
诸葛明明的应助被幸福幻巧采纳,获得60
1分钟前
石宇奇完成签到,获得积分10
1分钟前
石宇奇发布了新的文献求助20
1分钟前
打打的应助被ccc采纳,获得10
1分钟前
1分钟前
虚心问旋完成签到,获得积分10
1分钟前
高分求助中
(应助此贴封号)通过应助OA文献获取积分 10000
Rosenblum, Global Change Biology 800
Computational Chemical Reaction Engineering: Modeling, Simulation, and Design with MATLAB 600
Organizational Behavior 510
Management and the Arts 510
Deformation and Fracture of the Lumbar Vertebral End Plate 500
CLSI C56QG Examples of Hemolyzed, Icteric, and Lipemic/Turbid Samples Quick Guide 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 计算机科学 工程类 纳米技术 内科学 物理 有机化学 化学工程 生物化学 复合材料 光电子学 细胞生物学 心理学 量子力学 催化作用 物理化学 电极
热门帖子
关注 科研通微信公众号,转发送积分 7802166
求助须知:如何正确求助?哪些是违规求助? 9336458
关于积分的说明 20479793
捐赠科研通 7393635
什么是DOI,文献DOI怎么找? 3326810
关于科研通互助平台的介绍 2473728
邀请新用户注册赠送积分活动 2344871