Multi-modal visual tracking: a survey

目标跟踪是计算机视觉研究中的前沿和热点问题，在安全监控、无人驾驶等领域中有着重要的应用价值。然而，目前基于可见光数据的视觉跟踪方法，在光照变化、恶劣天气下因数据质量受限难以实现鲁棒跟踪。因此，一些研究者提出了多模态视觉跟踪任务，通过引入其他模态数据，包括红外模态、深度模态、事件模态以及文本模态，在一定程度上弥补了可见光模态在恶劣天气、遮挡、快速运动和外观歧义等条件下的不足。多模态视觉跟踪旨在挖掘可见光和其他模态数据的互补优势，在视频中实现鲁棒的目标定位，对全天时全天候感知有着重要的价值和意义，受到越来越多的研究和关注。由于主流的多模态视觉跟踪方法针对可见光—红外跟踪展开，因此，本文以阐述可见光—红外跟踪方法为主，从信息融合的角度将现有方法划分为结合式融合和判别式融合，分别进行了详细介绍和分析，并对不同类方法的优缺点进行了分析和比较。然后，本文对其他多模态视觉跟踪任务的研究工作进行了介绍，并对不同多模态视觉跟踪任务的优缺点进行了分析和比较。最后，本文对多模态视觉跟踪方法进行了总结并对未来发展进行展望。