Multi‐scale feature learning and temporal probing strategy for one‐stage temporal action localization

计算机科学 人工智能 模式识别(心理学) 水准点(测量) 联营 特征(语言学) 卷积神经网络 运动(物理) 弹道 计算机视觉 深度学习 分割 特征学习 物理 哲学 天文 语言学 地理 大地测量学
作者
Leiyue Yao,Wei Yang,Wei Huang,Nan Jiang,Bingbing Zhou
出处
期刊:International Journal of Intelligent Systems [Wiley]
卷期号:37 (7): 4092-4112 被引量:6
标识
DOI:10.1002/int.22713
摘要

The aim of temporal action localization (TAL) is to determine the start and end frames of an action in a video. In recent years, TAL has attracted considerable attention because of its increasing applications in video understanding and retrieval. However, precisely estimating the duration of an action in the temporal dimension is still a challenging problem. In this paper, we propose an effective one-stage TAL method based on a self-defined motion data structure, called a dense joint motion matrix (DJMM), and a novel temporal detection strategy. Our method provides three main contributions. First, compared with mainstream motion images, DJMMs can preserve more pre-processed motion features and provides more precise detail representations. Furthermore, DJMMs perfectly solve the temporal information loss problem caused by motion trajectory overlaps within a certain time period. Second, a spatial pyramid pooling (SPP) layer, which is widely used in the object detection and tracking fields, is innovatively incorporated into the proposed method for multi-scale feature learning. Moreover, the SPP layer enables the backbone convolutional neural network (CNN) to receive DJMMs of any size in the temporal dimension. Third, a large-scale-first temporal detection strategy inspired by a well-developed Chinese text segmentation algorithm is proposed to address long-duration videos. Our method is evaluated on two benchmark data sets and one self-collected data set: Florence-3D, UTKinect-Action3D and HanYue-3D. The experimental results show that our method achieves competitive action recognition accuracy and high TAL precision, and its time efficiency and few-shot learning capabilities enable it to be utilized for real-time surveillance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
静5114完成签到,获得积分10
1秒前
1秒前
2秒前
rui2820完成签到,获得积分10
2秒前
zzz完成签到 ,获得积分10
2秒前
椰汁味完成签到,获得积分10
2秒前
九章发布了新的文献求助10
3秒前
3秒前
4秒前
1111发布了新的文献求助10
4秒前
5秒前
5秒前
杨茜然发布了新的文献求助10
6秒前
李爱国的应助被爱吃果冻采纳,获得10
6秒前
6秒前
hero发布了新的文献求助10
7秒前
ding的应助被天蓬猪大帅采纳,获得10
7秒前
7秒前
wu完成签到,获得积分10
7秒前
8秒前
YAM发布了新的文献求助10
8秒前
bian关注了科研通微信公众号
8秒前
耶耶业发布了新的文献求助10
9秒前
小Z发布了新的文献求助10
9秒前
10秒前
枫丶发布了新的文献求助10
11秒前
奥丁蒂法发布了新的文献求助10
12秒前
英姑的应助被强强采纳,获得10
12秒前
ty完成签到 ,获得积分10
13秒前
天蓬猪大帅完成签到,获得积分20
14秒前
14秒前
15秒前
终须有完成签到 ,获得积分10
15秒前
葡萄发布了新的文献求助30
15秒前
淡淡的香芦关注了科研通微信公众号
16秒前
even发布了新的文献求助10
17秒前
知足常乐完成签到 ,获得积分10
17秒前
小二郎的应助被尘南浔采纳,获得10
18秒前
18秒前
CodeCraft的应助被BOBO采纳,获得10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8193425
求助须知:如何正确求助?哪些是违规求助? 9579620
关于积分的说明 21866505
捐赠科研通 7793025
什么是DOI,文献DOI怎么找? 3437297
关于科研通互助平台的介绍 2560718
邀请新用户注册赠送积分活动 2484128