VGGT-Det: Mining VGGT Internal Priors for Sensor-Geometry-Free Multi-View Indoor 3D Object Detection

先验概率 计算机科学 计算机视觉 人工智能 杠杆(统计) 目标检测 对象(语法) 编码器 利用 稳健性(进化) 视觉对象识别的认知神经科学 模式识别(心理学) 特征(语言学) 对象模型 可视化 特征提取 几何造型 Lift(数据挖掘) 实体造型 钥匙(锁) 三维重建 探测器 空间关系 姿势 偏移量(计算机科学) 几何数据分析 语义特征 软件部署 观察员(物理) 掉期(金融)
作者
Yang Cao,Feize Wu,Dave Zhenyu Chen,Yingji Zhong,Lanqing Hong,Dan Xu
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:5
标识
DOI:10.48550/arxiv.2603.00912
摘要

Current multi-view indoor 3D object detectors rely on sensor geometry that is costly to obtain (i.e., precisely calibrated multi-view camera poses) to fuse multi-view information into a global scene representation, limiting deployment in real-world scenes. We target a more practical setting: Sensor-Geometry-Free (SG-Free) multi-view indoor 3D object detection, where there are no sensor-provided geometric inputs (multi-view poses or depth). Recent Visual Geometry Grounded Transformer (VGGT) shows that strong 3D cues can be inferred directly from images. Building on this insight, we present VGGT-Det, the first framework tailored for SG-Free multi-view indoor 3D object detection. Rather than merely consuming VGGT predictions, our method integrates VGGT encoder into a transformer-based pipeline. To effectively leverage both the semantic and geometric priors from inside VGGT, we introduce two novel key components: (i) Attention-Guided Query Generation (AG): exploits VGGT attention maps as semantic priors to initialize object queries, improving localization by focusing on object regions while preserving global spatial structure; (ii) Query-Driven Feature Aggregation (QD): a learnable See-Query interacts with object queries to 'see' what they need, and then dynamically aggregates multi-level geometric features across VGGT layers that progressively lift 2D features into 3D. Experiments show that VGGT-Det significantly surpasses the best-performing method in the SG-Free setting by 4.4 and 8.6 mAP@0.25 on ScanNet and ARKitScenes, respectively. Ablation study shows that VGGT's internally learned semantic and geometric priors can be effectively leveraged by our AG and QD.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
1秒前
叶长亭发布了新的文献求助10
1秒前
1秒前
顺利的翠完成签到,获得积分10
1秒前
红雨灰衣完成签到 ,获得积分10
2秒前
18746005898完成签到 ,获得积分10
2秒前
jiang完成签到 ,获得积分10
2秒前
bhsadhusu完成签到 ,获得积分10
3秒前
Xia发布了新的文献求助10
4秒前
共享精神的应助被梦梦梦采纳,获得10
5秒前
激昂的玫瑰完成签到 ,获得积分10
6秒前
酷炫的盼海完成签到,获得积分20
7秒前
7秒前
7秒前
哈哈哈发布了新的文献求助10
7秒前
8秒前
Ava的应助被zhizhi采纳,获得10
8秒前
rui完成签到,获得积分10
8秒前
Ava的应助被NIKO采纳,获得10
8秒前
kuikichu完成签到,获得积分10
8秒前
你说什么完成签到,获得积分10
8秒前
Akim的应助被Ccccc采纳,获得10
8秒前
顾矜的应助被叶长亭采纳,获得10
9秒前
9秒前
nnn发布了新的文献求助30
10秒前
syc完成签到,获得积分10
10秒前
胡子轩发布了新的文献求助10
11秒前
生物小白完成签到,获得积分10
12秒前
勤奋的大白完成签到,获得积分10
12秒前
lucky发布了新的文献求助10
12秒前
白昼潜行完成签到,获得积分10
12秒前
Sh_Wen完成签到 ,获得积分10
12秒前
勤恳海莲完成签到,获得积分10
13秒前
13秒前
13秒前
13秒前
秋风的应助被pengua采纳,获得10
14秒前
随便完成签到,获得积分10
14秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8168163
求助须知:如何正确求助?哪些是违规求助? 9561243
关于积分的说明 21759855
捐赠科研通 7759477
什么是DOI,文献DOI怎么找? 3429959
关于科研通互助平台的介绍 2553757
邀请新用户注册赠送积分活动 2474496