清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Aware Distillation for Robust Vision-Language Tracking Under Linguistic Sparsity

计算机科学 稳健性(进化) 人工智能 BitTorrent跟踪器 眼动 语言模型 机器学习 蒸馏 自然语言处理 感知 计算机视觉 杠杆(统计) 可视化 视觉对象识别的认知神经科学 模态(人机交互) 语言理解 目标检测 语言识别 视频跟踪 训练集 视觉感受 答疑 视觉语言 可视对象 模式识别(心理学) 数据建模 Boosting(机器学习) 对象(语法) 合成数据
作者
Guangtong Zhang,Bineng Zhong,Shirui Yang,Yang Wang,Tian Bai
出处
期刊:Proceedings of the ... AAAI Conference on Artificial Intelligence [Association for the Advancement of Artificial Intelligence]
卷期号:40 (15): 12439-12447 被引量:6
标识
DOI:10.1609/aaai.v40i15.38237
摘要

Vision-language object tracking overcomes the limitations of relying solely on visual features by leveraging language descriptions of objects to provide cross-modal semantic information, thereby enhancing model robustness in complex scenarios. However, most existing high-performance vision-language trackers are trained jointly on pure visual data and vision-language multimodal data. Due to the relative sparsity of language annotations in the data, the trackers tend to prioritize the localization role of visual features, diminishing the model's attention to language information. To mitigate this issue, we propose a novel vision-language tracker: Aware Distillation for Robust Vision-Language Tracking under Linguistic Sparsity (ADTrack). We introduce a knowledge distillation framework employing a knowledge-rich teacher model and a lightweight student model to establish modality correlations between vision and language, enabling efficient modeling between visual information and language descriptions. Specifically, our lightweight student module simultaneously distills language encoding capabilities from large language models through teacher-guided learning on input language, while performing target-aware perception on template images using language descriptions to generate more effective template features for subsequent visual extraction. Furthermore, to ensure perceptual robustness in linguistically sparse scenarios, we simulate language-deficient conditions during training and employ contrastive learning to enhance model adaptability. Extensive experiments demonstrate that ADTrack reduces parameters by over 50% while achieving state-of-the-art (SOTA) performance and speed on vision-language tracking benchmarks, including LaSOT, LaSOText, TNL2K, OTB-Lang and MGIT.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
3秒前
xue完成签到 ,获得积分10
5秒前
spinon完成签到,获得积分10
16秒前
光亮豌豆完成签到,获得积分10
20秒前
27秒前
30秒前
糟糕的翅膀完成签到,获得积分0
31秒前
York Chang发布了新的文献求助10
33秒前
37秒前
悲凉的问安完成签到,获得积分10
41秒前
彭于晏的应助被York Chang采纳,获得30
44秒前
48秒前
369ninja发布了新的文献求助10
53秒前
灵巧孤菱完成签到,获得积分10
55秒前
1分钟前
小巧孤兰完成签到,获得积分10
1分钟前
无限之桃完成签到,获得积分10
1分钟前
1分钟前
Maestro_S的应助被科研通管家采纳,获得10
1分钟前
1分钟前
Lanyiyang完成签到,获得积分10
1分钟前
1分钟前
迷路万天完成签到,获得积分10
1分钟前
369ninja发布了新的文献求助200
1分钟前
1分钟前
顺利的雅旋完成签到,获得积分10
1分钟前
李祺完成签到 ,获得积分10
1分钟前
SZ完成签到 ,获得积分10
1分钟前
369ninja发布了新的文献求助200
1分钟前
York Chang发布了新的文献求助30
1分钟前
神勇凡英完成签到,获得积分10
2分钟前
onw完成签到 ,获得积分10
2分钟前
JamesPei的应助被雅风采纳,获得10
2分钟前
满意野狼完成签到,获得积分10
2分钟前
woxinyouyou完成签到,获得积分0
2分钟前
忘忧Aquarius完成签到,获得积分0
2分钟前
高高的夏波完成签到,获得积分10
2分钟前
2分钟前
果哥发布了新的文献求助10
2分钟前
王世卉完成签到,获得积分10
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
Social Psychology in the Real World 600
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8179980
求助须知:如何正确求助?哪些是违规求助? 9570196
关于积分的说明 21808504
捐赠科研通 7775913
什么是DOI,文献DOI怎么找? 3433251
关于科研通互助平台的介绍 2557383
邀请新用户注册赠送积分活动 2478998