Integration of Global and Local Knowledge for Foreground Enhancing in Weakly Supervised Temporal Action Localization

计算机科学 动作(物理) 人工智能 模式识别(心理学) 量子力学 物理
作者
Tianyi Zhang,Ronglu Li,Pengming Feng,Rubo Zhang
出处
期刊:IEEE Transactions on Multimedia [Institute of Electrical and Electronics Engineers]
卷期号:26: 8476-8487 被引量:4
标识
DOI:10.1109/tmm.2024.3379887
摘要

Weakly Supervised Temporal Action Localization (WTAL) aims to identify the temporal duration of actions and classify the action categories with only video-level labels in the training stage. Motivated by the intuition that the attention maps generated from various views will assist in enhancing the foreground action temporal segments, in this paper we propose a WTAL pipeline based on a novel attention mechanism that effectively integrates global and local knowledge. Our attention mechanism is mainly composed of a global attention branch and a local attention branch. Specifically, the global attention branch is built on the inter-segment similarity to sparsely mine out the correlation knowledge within the entire video, while the local attention branch is built on the convolutional structure to densely aggregate the information within the fixed local respective field. Experiments on THUMOS14 and ActivityNet v1.3 datasets demonstrate the effectiveness of our proposed WTAL pipeline compared to state-of-the-art methods.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
自觉德天完成签到 ,获得积分10
刚刚
罗二狗发布了新的文献求助10
刚刚
7Wen发布了新的文献求助10
刚刚
刚刚
罗二狗发布了新的文献求助10
刚刚
Lucas的应助被要减肥的青荷采纳,获得10
1秒前
大模型的应助被开心德地采纳,获得10
1秒前
聪明的寒梅完成签到 ,获得积分10
1秒前
罗二狗发布了新的文献求助10
1秒前
罗二狗发布了新的文献求助10
1秒前
2秒前
3秒前
3秒前
科研通AI6.4的应助被zxy采纳,获得10
3秒前
乐乐的应助被Vater采纳,获得10
3秒前
LIUDAN发布了新的文献求助10
3秒前
852的应助被皮皮采纳,获得10
4秒前
科研通AI6.2的应助被Daria采纳,获得30
4秒前
可爱的函函的应助被开心德地采纳,获得10
4秒前
4秒前
4秒前
冬冬不是发布了新的文献求助30
5秒前
5秒前
Ava的应助被UCASGuo采纳,获得10
5秒前
烟花的应助被默默采纳,获得10
5秒前
5秒前
何莉完成签到,获得积分10
5秒前
科研通AI2S的应助被酷酷的仇天采纳,获得10
6秒前
6秒前
朴实傲晴完成签到,获得积分10
6秒前
周思完成签到,获得积分10
6秒前
Rr完成签到,获得积分10
7秒前
molihuakai的应助被开心德地采纳,获得10
7秒前
罗二狗发布了新的文献求助10
7秒前
Twinkle发布了新的文献求助30
7秒前
罗二狗发布了新的文献求助10
7秒前
Ibuprofen完成签到,获得积分10
9秒前
9秒前
9秒前
汌舟发布了新的文献求助10
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8189382
求助须知:如何正确求助?哪些是违规求助? 9576691
关于积分的说明 21849410
捐赠科研通 7787318
什么是DOI,文献DOI怎么找? 3435538
关于科研通互助平台的介绍 2559748
邀请新用户注册赠送积分活动 2482509