已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection

作者
Hanoona Rasheed,Muhammad Maaz,Muhammad Uzair Khattak,Salman Khan,Fahad Shahbaz Khan
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:81
标识
DOI:10.48550/arxiv.2207.03482
摘要

Existing open-vocabulary object detectors typically enlarge their vocabulary sizes by leveraging different forms of weak supervision. This helps generalize to novel objects at inference. Two popular forms of weak-supervision used in open-vocabulary detection (OVD) include pretrained CLIP model and image-level supervision. We note that both these modes of supervision are not optimally aligned for the detection task: CLIP is trained with image-text pairs and lacks precise localization of objects while the image-level supervision has been used with heuristics that do not accurately specify local object regions. In this work, we propose to address this problem by performing object-centric alignment of the language embeddings from the CLIP model. Furthermore, we visually ground the objects with only image-level supervision using a pseudo-labeling process that provides high-quality object proposals and helps expand the vocabulary during training. We establish a bridge between the above two object-alignment strategies via a novel weight transfer function that aggregates their complimentary strengths. In essence, the proposed model seeks to minimize the gap between object and image-centric representations in the OVD setting. On the COCO benchmark, our proposed approach achieves 36.6 AP50 on novel classes, an absolute 8.2 gain over the previous best performance. For LVIS, we surpass the state-of-the-art ViLD model by 5.0 mask AP for rare categories and 3.4 overall. Code: https://github.com/hanoonaR/object-centric-ovd.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
不吃鸭梨完成签到,获得积分10
1秒前
砍柴少年发布了新的文献求助10
1秒前
无限的含羞草完成签到,获得积分10
2秒前
3秒前
清风携来春夏完成签到,获得积分10
4秒前
Ava的应助被谦让的语儿采纳,获得10
4秒前
OK的应助被林夕采纳,获得80
4秒前
砰砰里完成签到,获得积分10
5秒前
阿狸完成签到 ,获得积分10
6秒前
哈哈哈哈哈哈完成签到 ,获得积分10
6秒前
mm完成签到,获得积分10
6秒前
田様的应助被lmd采纳,获得10
8秒前
我爱科研完成签到 ,获得积分10
9秒前
9秒前
伶俐初蓝完成签到 ,获得积分10
10秒前
11秒前
科研通AI6.3的应助被Parker采纳,获得10
12秒前
molihuakai的应助被杨希采纳,获得10
13秒前
14秒前
kskfjs完成签到,获得积分10
14秒前
14秒前
李煜东完成签到,获得积分10
15秒前
CodeCraft的应助被江就采纳,获得30
15秒前
KON发布了新的文献求助10
16秒前
土豆发布了新的文献求助10
16秒前
16秒前
CAOHOU的应助被树123采纳,获得10
17秒前
Yoghurt完成签到,获得积分10
17秒前
丙午完成签到,获得积分10
17秒前
木华完成签到,获得积分10
18秒前
zzzzzzzz完成签到,获得积分10
20秒前
20秒前
20秒前
yangqisen完成签到 ,获得积分10
21秒前
大模型的应助被畅销款采纳,获得10
22秒前
Parker发布了新的文献求助10
23秒前
23秒前
24秒前
林夕发布了新的文献求助10
24秒前
juntang发布了新的文献求助10
24秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8179104
求助须知:如何正确求助?哪些是违规求助? 9569680
关于积分的说明 21806134
捐赠科研通 7774263
什么是DOI,文献DOI怎么找? 3433003
关于科研通互助平台的介绍 2556897
邀请新用户注册赠送积分活动 2478643