清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Unveiling the Power of Multi-Modal Template Update in RGBT Tracking

计算机科学 计算机视觉 人工智能 跟踪(教育) 功率(物理) 图像处理 雷达跟踪器 特征提取 图像分割 信号处理 算法设计 模式识别(心理学) 目标检测 噪音(视频) 稳健性(进化) 杂乱 噪声测量 边缘检测
作者
Lei Liu,Can Li,Andong Lu,Y C Zhu,Shoufei Han,Xinye Cai,Can Li
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:35: 6026-6040
标识
DOI:10.1109/tip.2026.3698355
摘要

Template update is essential for improving the adaptability of tracking algorithms to target appearance variations. While previous methods have leveraged the spatio-temporal complementarity of multi-modal templates for RGBT tracking, a comprehensive analysis of the template update mechanism remains underexplored. In this work, we propose a novel prototype-based framework that decomposes the multi-modal template update process from the perspective of prototype learning into four key components: multi-modal prototype, prototype integration, prototype evaluation, and prototype update algorithm. Our findings highlight that the multi-modal prototype is the most critical factor in enhancing tracking adaptability to appearance variations, leading to more robust target representations. While prototype integration is less crucial when the target representation is already robust, it still contributes to learning a more discriminative representation. Additionally, the accuracy of template updates is strongly influenced by prototype evaluation, which controls the accuracy of the update process. Finally, the prototype update algorithm, which determines when and how template updates occur, is key to maintaining tracking robustness. Building on these insights, we introduce the Multi-modal Prototype RGBT Tracker (MPTrack), which adapts dynamically to appearance variations through prototype learning. MPTrack combines a fixed template from the first frame with both modality-shared and modality-specific templates, forming a robust multi-modal prototype representation. It incorporates a prototype evaluation module that guides updates based on template reliability, and an adaptive update algorithm to manage templates effectively. Additionally, a prototype-guided cross-modal integration module enhances the discriminative power of multi-modal relation modeling. Experimental results on five challenging RGBT tracking benchmarks demonstrate that MPTrack consistently outperforms state-of-the-art methods, setting new performance records. The experimental data and source code will be made publicly available at: https://github.com/mmic-lcl/Datasets-and-benchmark-code.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
molihuakai的应助被科研通管家采纳,获得10
4秒前
8秒前
包容大地完成签到,获得积分10
9秒前
煲汤的螃蟹完成签到 ,获得积分10
11秒前
飘逸盛男完成签到,获得积分10
33秒前
跳跃的正豪完成签到,获得积分10
42秒前
追寻孤萍完成签到,获得积分10
42秒前
leoo完成签到,获得积分10
45秒前
诚心荟完成签到,获得积分10
53秒前
无限幻枫完成签到,获得积分10
55秒前
xun驳回了zx586440的应助
57秒前
伶俐的秀发完成签到,获得积分10
1分钟前
1分钟前
正直冰淇淋完成签到,获得积分10
1分钟前
俊秀的箴完成签到,获得积分10
1分钟前
沉默怡完成签到,获得积分10
1分钟前
如歌完成签到,获得积分10
1分钟前
1分钟前
大胆醉卉完成签到,获得积分10
1分钟前
1分钟前
1分钟前
2分钟前
乐乐的应助被科研通管家采纳,获得10
2分钟前
小蘑菇的应助被科研通管家采纳,获得10
2分钟前
鲜艳的雪曼完成签到,获得积分10
2分钟前
坚强的钻石完成签到,获得积分10
2分钟前
踏实的元蝶完成签到,获得积分10
2分钟前
高兴之柔完成签到,获得积分10
2分钟前
画龙点睛完成签到 ,获得积分10
2分钟前
英俊的傲珊完成签到,获得积分10
2分钟前
2分钟前
iman完成签到,获得积分10
2分钟前
rljsrljs完成签到 ,获得积分10
2分钟前
2分钟前
迷你的蜜粉完成签到,获得积分10
3分钟前
智者雨人完成签到 ,获得积分10
3分钟前
发嗲的服饰完成签到,获得积分10
3分钟前
震动的秋凌完成签到,获得积分10
3分钟前
完美飞凤完成签到,获得积分10
3分钟前
迷路的穆完成签到,获得积分10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158935
求助须知:如何正确求助?哪些是违规求助? 9554526
关于积分的说明 21719385
捐赠科研通 7748467
什么是DOI,文献DOI怎么找? 3427107
关于科研通互助平台的介绍 2552013
邀请新用户注册赠送积分活动 2471370