已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Representation Learning through Multimodal Attention and Time-Sync Comments for Affective Video Content Analysis

计算机科学 人工智能 代表(政治) 杠杆(统计) 模式 水准点(测量) 特征学习 嵌入 模式识别(心理学) 机器学习 政治 政治学 法学 社会科学 大地测量学 社会学 地理
作者
Jicai Pan,Shangfei Wang,Lin Fang
出处
期刊: [Association for Computing Machinery]
卷期号:: 42-50 被引量:12
标识
DOI:10.1145/3503161.3548018
摘要

Although temporal patterns inherent in visual and audio signals are crucial for affective video content analysis, they have not been thoroughly explored yet. In this paper, we propose a novel Temporal-Aware Multimodal (TAM) method to fully capture the temporal information. Specifically, we design a cross-temporal multimodal fusion module that applies attention-based fusion to different modalities within and across video segments. As a result, it fully captures the temporal relations between different modalities. Furthermore, a single emotion label lacks supervision for learning representation of each segment, making temporal pattern mining difficult. We leverage time-synchronized comments (TSCs) as auxiliary supervision, since these comments are easily accessible and contain rich emotional cues. Two TSC-based self-supervised tasks are designed: the first aims to predict the emotional words in a TSC from video representation and TSC contextual semantics, and the second predicts the segment in which the TSC appears by calculating the correlation between video representation and TSC embedding. These self-supervised tasks are used to pre-train the cross-temporal multimodal fusion module on a large-scale video-TSC dataset, which is crawled from the web without labeling costs. These self-supervised pre-training tasks prompt the fusion module to perform representation learning on segments including TSC, thus capturing more temporal affective patterns. Experimental results on three benchmark datasets show that the proposed fusion module achieves state-of-the-art results in affective video content analysis. Ablation studies verify that after TSC-based pre-training, the fusion module learns more segments' affective patterns and achieves better performance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
HaoRen完成签到,获得积分10
刚刚
香蕉觅云的应助被u511277采纳,获得10
刚刚
慕青的应助被鼻毛好胜采纳,获得10
1秒前
oceanL完成签到,获得积分10
2秒前
调皮寇完成签到 ,获得积分10
2秒前
小巧的孤丹完成签到,获得积分10
3秒前
3秒前
敏感水蜜桃完成签到,获得积分10
3秒前
小二郎的应助被zcaw采纳,获得10
3秒前
u511277发布了新的文献求助10
5秒前
全或无完成签到,获得积分10
6秒前
老实惜梦完成签到 ,获得积分10
6秒前
lzp完成签到,获得积分10
6秒前
淳简菈基茨德完成签到 ,获得积分10
7秒前
大气的绿海完成签到 ,获得积分10
7秒前
8秒前
蹦跳的小虾米完成签到 ,获得积分10
8秒前
u511277发布了新的文献求助10
8秒前
4rcanist完成签到,获得积分10
9秒前
海棠拾月完成签到 ,获得积分10
9秒前
上官若男的应助被Dtt采纳,获得10
10秒前
11秒前
u511277发布了新的文献求助10
11秒前
和信完成签到 ,获得积分10
12秒前
12秒前
刘kk完成签到 ,获得积分10
12秒前
13秒前
13秒前
Assam完成签到,获得积分10
13秒前
英姑的应助被传统的成败采纳,获得10
14秒前
u511277发布了新的文献求助10
14秒前
海流完成签到 ,获得积分10
15秒前
15秒前
沐雨完成签到,获得积分10
15秒前
aaaq发布了新的文献求助10
15秒前
16秒前
17秒前
huyu完成签到 ,获得积分10
18秒前
19秒前
90min完成签到 ,获得积分10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8194810
求助须知:如何正确求助?哪些是违规求助? 9580544
关于积分的说明 21871741
捐赠科研通 7794414
什么是DOI,文献DOI怎么找? 3437768
关于科研通互助平台的介绍 2561095
邀请新用户注册赠送积分活动 2484480