Dynamic Semantic-Based Spatial-Temporal Graph Convolution Network for Skeleton-Based Human Action Recognition

计算机科学 人工智能 骨架(计算机编程) 动作识别 卷积(计算机科学) 模式识别(心理学) 图形 计算机视觉 理论计算机科学 人工神经网络 程序设计语言 班级(哲学)
作者
Jianyang Xie,Yanda Meng,Yitian Zhao,Anh Nguyen,Xiaoyun Yang,Yalin Zheng
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:33: 6691-6704 被引量:25
标识
DOI:10.1109/tip.2024.3497837
摘要

Human action recognition is an essential topic in computer vision and image processing. Graph convolutional networks (GCNs) have attracted significant attention and achieved noteworthy performance in skeleton-based human action recognition tasks. However, most of the previous graph-based works are designed to refine skeleton topology without considering the types of different joints and edges and the occurrence order of the frames. Such a limitation makes them insufficient to represent intrinsic semantic information. Differently, we proposed a dynamic semantic-based spatial-temporal graph convolution network (DS-STGCN) to address the challenge. DS-STGCN has two dynamic semantic modules for spatial and temporal contexts respectively. Specifically, the joints and edge types were encoded in the spatial module implicitly, and the occurrence order of frames was encoded in the temporal module implicitly. Extensive experiments on four datasets including NTU-RGB+D 60(120), Kinetics-400, and FineGYM show that our proposed two semantic modules can bring consistent recognition performance improvement with various backbones. Meanwhile, the proposed DS-STGCN notably surpassed state-of-the-art methods on these datasets. Notably, in the more challenging dataset, such as Kinetics-400, our model significantly outperformed other state-of-the-art GCN-based methods by a large margin. The code has been released at https://github.com/davelailai/DS-STGCN.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Owen的应助被嘻嘻采纳,获得10
2秒前
2秒前
yuexiaoxi完成签到,获得积分10
2秒前
sadaff完成签到,获得积分10
2秒前
今后的应助被研友_ndVY48采纳,获得10
3秒前
cong1216发布了新的文献求助20
3秒前
麦mai发布了新的文献求助30
3秒前
xudaniel发布了新的文献求助30
4秒前
SLHY发布了新的文献求助10
4秒前
乐乐乐完成签到,获得积分10
4秒前
4秒前
999999发布了新的文献求助20
4秒前
秋风的应助被田帅采纳,获得10
4秒前
5秒前
自由井发布了新的文献求助10
5秒前
5秒前
赵陌陌完成签到,获得积分10
5秒前
秋风的应助被金阿林在科研采纳,获得20
5秒前
研途而行完成签到,获得积分10
6秒前
6秒前
梓泽丘墟完成签到,获得积分0
6秒前
科研通AI6.2的应助被小易采纳,获得10
7秒前
7秒前
科研通AI2S的应助被blueberry采纳,获得10
7秒前
7秒前
丘比特的应助被spring采纳,获得10
7秒前
7秒前
赵陌陌发布了新的文献求助10
8秒前
8秒前
烟花的应助被张宇采纳,获得10
8秒前
我是老大的应助被顺利的楷瑞采纳,获得10
8秒前
黑猫黑猫发布了新的文献求助10
8秒前
8秒前
摇摇摇完成签到 ,获得积分10
8秒前
9秒前
发nature带你共一完成签到,获得积分10
9秒前
秋风的应助被CJW采纳,获得20
9秒前
price发布了新的文献求助10
9秒前
9秒前
DAOHEWANG完成签到,获得积分10
9秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8160268
求助须知:如何正确求助?哪些是违规求助? 9555328
关于积分的说明 21727231
捐赠科研通 7750062
什么是DOI,文献DOI怎么找? 3427353
关于科研通互助平台的介绍 2552391
邀请新用户注册赠送积分活动 2471707