已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

CLIM: Contrastive Language-Image Mosaic for Region Representation

作者
Size Wu,Wenwei Zhang,Lumin Xu,Sheng Jin,Wentao Liu,Chen Change Loy
出处
期刊:Proceedings of the ... AAAI Conference on Artificial Intelligence [Association for the Advancement of Artificial Intelligence]
卷期号:38 (6): 6117-6125 被引量:20
标识
DOI:10.1609/aaai.v38i6.28428
摘要

Detecting objects accurately from a large or open vocabulary necessitates the vision-language alignment on region representations. However, learning such a region-text alignment by obtaining high-quality box annotations with text labels or descriptions is expensive and infeasible. In contrast, collecting image-text pairs is simpler but lacks precise object location information to associate regions with texts. In this paper, we propose a novel approach called Contrastive Language-Image Mosaic (CLIM), which leverages large-scale image-text pairs effectively for aligning region and text representations. CLIM combines multiple images into a mosaicked image and treats each image as a ‘pseudo region’. The feature of each pseudo region is extracted and trained to be similar to the corresponding text embedding while dissimilar from others by a contrastive loss, enabling the model to learn the region-text alignment without costly box annotations. As a generally applicable approach, CLIM consistently improves different open-vocabulary object detection methods that use caption supervision. Furthermore, CLIM can effectively enhance the region representation of vision-language models, thus providing stronger backbones for open-vocabulary object detectors. Our experimental results demonstrate that CLIM improves different baseline open-vocabulary object detectors by a large margin on both OV-COCO and OV-LVIS benchmarks. The code is available at https://github.com/wusize/CLIM.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
长情的寇完成签到 ,获得积分10
刚刚
77完成签到,获得积分10
刚刚
刚刚
1秒前
木华发布了新的文献求助10
2秒前
2秒前
胡图图完成签到 ,获得积分20
2秒前
酷波er的应助被无情妙菡采纳,获得10
3秒前
3秒前
科研通AI6.3的应助被积极北上采纳,获得10
3秒前
时老完成签到 ,获得积分10
4秒前
4秒前
Parker发布了新的文献求助10
6秒前
6秒前
hmv发布了新的文献求助10
7秒前
Arvin发布了新的文献求助10
7秒前
ar发布了新的文献求助10
8秒前
魏魏完成签到,获得积分10
8秒前
8秒前
zhzhzh发布了新的文献求助10
9秒前
Owen的应助被杨家南采纳,获得10
10秒前
10秒前
不吃鸭梨完成签到,获得积分10
12秒前
砍柴少年发布了新的文献求助10
12秒前
无限的含羞草完成签到,获得积分10
13秒前
14秒前
清风携来春夏完成签到,获得积分10
15秒前
Ava的应助被谦让的语儿采纳,获得10
15秒前
OK的应助被林夕采纳,获得80
15秒前
砰砰里完成签到,获得积分10
16秒前
阿狸完成签到 ,获得积分10
17秒前
哈哈哈哈哈哈完成签到 ,获得积分10
17秒前
mm完成签到,获得积分10
17秒前
田様的应助被lmd采纳,获得10
19秒前
我爱科研完成签到 ,获得积分10
20秒前
20秒前
伶俐初蓝完成签到 ,获得积分10
21秒前
22秒前
科研通AI6.3的应助被Parker采纳,获得10
23秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8179104
求助须知:如何正确求助?哪些是违规求助? 9569680
关于积分的说明 21806134
捐赠科研通 7774263
什么是DOI,文献DOI怎么找? 3433003
关于科研通互助平台的介绍 2556897
邀请新用户注册赠送积分活动 2478643