A Hybrid 3D CNNs Transformer Architecture for Video-Based Human Action Recognition with Improved Accuracy on UCF101 and HMDB51

计算机科学 预处理器 变压器 人工智能 卷积神经网络 动作识别 水准点(测量) 模式识别(心理学) 深度学习 特征提取 机器学习 训练集 人工神经网络 运动捕捉 特征学习 标记数据 网络体系结构 深层神经网络 钥匙(锁)
作者
Engin Seven,Eylem Yücel
出处
期刊:Journal of innovative science and engineering [Journal of Innovative Science and Engineering, Bursa Technical University]
卷期号:9 (2): 327-342
标识
DOI:10.38088/jise.1703936
摘要

Video-Based Human Action Recognition (HAR) remains challenging due to inter-class similarity, background noise, and the need to capture long-term temporal dependencies. This study proposes a hybrid deep learning model that integrates 3D Convolutional Neural Networks (3D CNNs) with Transformer-based attention mechanisms to jointly capture spatio-temporal features and long-range motion context. The architecture was optimized for parameter efficiency and trained on the UCF101 and HMDB51 benchmark datasets using standardized preprocessing and training strategies. Experimental results indicate that the proposed model reaches 97% accuracy and 96.8% mean F1-score on UCF101, and 85% accuracy, and 83.8% F1-score on HMDB51, showing consistent improvements compared to the standalone 3D CNNs and Transformer variants under identical settings. Ablation studies confirm that the combination of convolutional and attention layers significantly improves recognition performance while maintaining competitive computational cost (3.78M parameters, 17.75 GFLOPs/video, ~7 ms GPU latency). These findings highlight the effectiveness of the hybrid design for accurate and efficient HAR. Future work will address class imbalance using focal loss or weighted training, explore multimodal data integration, and develop more lightweight Transformer modules for real-time deployment on resource-constrained devices.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
充电宝应助南巷采纳,获得10
刚刚
尖叫栀子完成签到,获得积分10
1秒前
qqq完成签到,获得积分10
2秒前
科研通AI6.4应助支付宝采纳,获得10
2秒前
2秒前
2秒前
现代风格发布了新的文献求助10
2秒前
摩卡金完成签到 ,获得积分10
2秒前
fsyb发布了新的文献求助10
2秒前
合适的致远完成签到,获得积分10
2秒前
3秒前
安芳发布了新的文献求助10
3秒前
青雨发布了新的文献求助10
3秒前
共享精神应助xmut采纳,获得10
4秒前
领导范儿应助魔幻尔蓉采纳,获得10
4秒前
TR应助乱七八糟采纳,获得10
5秒前
李健应助等待的豌豆采纳,获得10
6秒前
不吃坏橘子完成签到,获得积分10
6秒前
晚随月完成签到 ,获得积分10
7秒前
张晓倩发布了新的文献求助10
7秒前
跳跃飞瑶完成签到,获得积分10
7秒前
lyyyyy完成签到,获得积分10
9秒前
9秒前
10秒前
11秒前
酷波er应助fsyb采纳,获得10
11秒前
小蘑菇应助曾经的青柏采纳,获得10
11秒前
12秒前
1376完成签到,获得积分10
12秒前
火星上的盼兰完成签到 ,获得积分10
13秒前
13秒前
打打应助Serena采纳,获得10
13秒前
魔幻尔蓉完成签到,获得积分10
13秒前
14秒前
14秒前
15秒前
15秒前
甜蜜念薇完成签到,获得积分10
15秒前
16秒前
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
A Study of the Model by which Principals’ Leadership Behaviour Influences Student Learning Outcomes in Elementary Schools 1000
Principles of town planning: translating concepts to applications 1000
Management and the Arts 510
Matrix Methods in Data Mining and Pattern Recognition Second Edition 510
核安全综合知识2024版 500
Photothermal Science and Techniques 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 内科学 物理 复合材料 催化作用 细胞生物学 无机化学 光电子学 物理化学 电极 基因
热门帖子
关注 科研通微信公众号,转发送积分 7710013
求助须知:如何正确求助?哪些是违规求助? 9266883
关于积分的说明 20062342
捐赠科研通 7286138
什么是DOI,文献DOI怎么找? 3296832
关于科研通互助平台的介绍 2451430
邀请新用户注册赠送积分活动 2303833