GraphAlign++: An Accurate Feature Alignment by Graph Matching for Multi-Modal 3D Object Detection

点云 人工智能 计算机科学 计算机视觉 特征(语言学) 目标检测 特征提取 模式识别(心理学) 匹配(统计) 投影(关系代数) 像素 激光雷达 数学 算法 遥感 哲学 语言学 统计 地质学
作者
Ziying Song,Caiyan Jia,Lei Yang,Haiyue Wei,Lin Liu
出处
期刊:IEEE Transactions on Circuits and Systems for Video Technology [Institute of Electrical and Electronics Engineers]
卷期号:34 (4): 2619-2632 被引量:70
标识
DOI:10.1109/tcsvt.2023.3306361
摘要

LiDAR and camera are complementary sensors for 3D object detection in autonomous driving. However, it is challenging to explore the unnatural interaction between point clouds and images, and the critical factor is how to conduct feature alignment of these heterogeneous modalities. Currently, many methods achieve feature alignment through projection calibration, without accounting for the impact of sensors misalignment errors, resulting in sub-optimal performance. In this paper, we present GraphAlign++, a more accurate feature alignment framework for 3D object detection by graph matching. Specifically, we construct the nearest neighbor relationship by calculating Euclidean distances of point cloud features within the subspaces. Through the projection calibration between the image and point cloud pairs, we project the nearest neighbors of point cloud features onto the corresponding image. Then by matching the nearest neighbors of a single point-feature of the point cloud with multiple pixel-features of the image, we search for a more appropriate feature alignment. In addition, we provide a self-attention module to enhance the weights of significant relations to fine-tune the feature alignment between these two heterogeneous modalities. Extensive experiments on nuScenes benchmark demonstrate the effectiveness and efficiency of GraphAlign++. Notably, due to the more accurate feature alignment, which contributes to increase mAP by 3.10% on KITTI test hard level, our method is remarkably beneficial for long-range object detection.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
FAN完成签到 ,获得积分10
1秒前
ku发布了新的文献求助10
1秒前
CodeCraft的应助被开心德地采纳,获得10
1秒前
MAX发布了新的文献求助10
2秒前
小绵羊完成签到,获得积分10
2秒前
无物发布了新的文献求助100
3秒前
下午茶完成签到 ,获得积分10
3秒前
LIUDAN发布了新的文献求助10
3秒前
Orange的应助被费马福尔摩斯采纳,获得10
3秒前
qwertyuiop完成签到,获得积分10
3秒前
辣椒酱拌泡面完成签到,获得积分10
3秒前
加了醋的豆浆完成签到,获得积分10
3秒前
4秒前
三眼乌鸦完成签到,获得积分10
4秒前
吴旭完成签到,获得积分10
4秒前
Search瞬间发布了新的文献求助10
4秒前
霜双双发布了新的文献求助10
4秒前
shuyiWang发布了新的文献求助10
5秒前
斯文败类的应助被开心德地采纳,获得10
5秒前
西红柿完成签到,获得积分10
6秒前
6秒前
8秒前
超级无敌发布了新的文献求助10
8秒前
脑洞疼的应助被开心德地采纳,获得10
8秒前
RONG完成签到,获得积分10
9秒前
6哈完成签到,获得积分10
9秒前
10秒前
韩跑跑完成签到 ,获得积分10
10秒前
10秒前
孤独的AD钙完成签到,获得积分0
11秒前
orixero的应助被开心德地采纳,获得10
11秒前
充电宝的应助被7Wen采纳,获得10
12秒前
13秒前
所谓伊人发布了新的文献求助10
13秒前
ML完成签到,获得积分10
13秒前
刘扣扣UU的应助被山海不远采纳,获得30
14秒前
科科完成签到,获得积分10
14秒前
linr_terran发布了新的文献求助10
14秒前
15秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8189302
求助须知:如何正确求助?哪些是违规求助? 9576666
关于积分的说明 21849295
捐赠科研通 7787245
什么是DOI,文献DOI怎么找? 3435521
关于科研通互助平台的介绍 2559748
邀请新用户注册赠送积分活动 2482509