Thinking with Visual Primitives

计算机科学 视觉推理 人工智能 模棱两可 自然语言 空间智能 可视化 可扩展性 跳跃式监视 感知 语言模型 认知建筑学 桥接(联网) 自然语言理解 一套 人机交互 交叉口(航空) 匹配(统计) 常识推理 自然语言处理 建筑 视觉语言 比例(比率) 路径(计算) 杠杆(统计) 因果推理 弹道 视觉感受 幻觉
作者
Ruijie Lu,Yiyang Ma,Xiaokang Chen,Lingxiao Luo,Zhiyu Wu,Zizheng Pan,Xingchao Liu,Yutong Lin,Hao Li,Wen Liu,Zhewen Hao,Xi Gao,Shaoheng Nie,Yixuan Wei,Zhenda Xie,Ting Chen,Gang Zeng
出处
期刊:CERN European Organization for Nuclear Research - Zenodo
标识
DOI:10.5281/zenodo.20125350
摘要

Despite the remarkable progress in Multimodal Large Language Models (MLLMs), the pre- vailing Chain-of-Thought (CoT) paradigms remain predominantly confined to the linguistic space. While recent advancements have focused on bridging the Perception Gap through high- resolution cropping (e.g., Thinking with Images), they overlook a more fundamental bottleneck: the Reference Gap. The inherent ambiguity of natural language often fails to provide precise, unambiguous pointers to complex spatial layouts, leading to logical collapse in tasks requiring rigorous grounding. In this work, we introduce Thinking with Visual Primitives, a novel reasoning framework that elevates spatial markers—such as points and bounding boxes—to “minimal units of thought”. By interleaving these visual primitives directly into the thinking process, our model can “point” while it “reasons”, effectively grounding its cognitive trajectory in the physical coordinates of the image. Notably, our framework is built on a highly optimized architecture with extreme visual token efficiency. Despite its compact model scale and signifi- cantly lower image-token budget, our model achieves frontier-competitive performance on a focused suite of challenging visual QA tasks, matching or exceeding models such as GPT-5.4, Claude-Sonnet-4.6, and Gemini-3-Flash. This demonstrates a path toward more efficient and scalable System-2-like multimodal intelligence.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
科研通AI6.1应助路痴采纳,获得10
1秒前
小补丁完成签到 ,获得积分10
2秒前
11发布了新的文献求助10
2秒前
小马甲应助ruqayyah采纳,获得10
3秒前
3秒前
4秒前
4秒前
天天向上发布了新的文献求助10
5秒前
小大完成签到 ,获得积分10
5秒前
Joely发布了新的文献求助10
5秒前
俊逸自行车完成签到,获得积分10
5秒前
郭嘉仪发布了新的文献求助10
6秒前
6秒前
6秒前
核桃发布了新的文献求助10
7秒前
7秒前
樱桃汽水怪兽完成签到,获得积分10
8秒前
完美世界应助ttttTTTT采纳,获得10
8秒前
潇洒的惋清应助dan采纳,获得10
9秒前
sonya发布了新的文献求助10
9秒前
10秒前
马亚娇发布了新的文献求助30
10秒前
10秒前
卿亦佳人发布了新的文献求助10
10秒前
思源应助黑胡椒采纳,获得10
12秒前
12秒前
12秒前
13秒前
15秒前
汉堡包应助科研通管家采纳,获得10
15秒前
CodeCraft应助科研通管家采纳,获得10
15秒前
小蘑菇应助科研通管家采纳,获得10
15秒前
李爱国应助科研通管家采纳,获得10
15秒前
Lucas应助科研通管家采纳,获得10
15秒前
汉堡包应助科研通管家采纳,获得10
16秒前
桐桐应助科研通管家采纳,获得10
16秒前
搜集达人应助科研通管家采纳,获得10
16秒前
李爱国应助己凡采纳,获得10
16秒前
16秒前
充电宝应助科研通管家采纳,获得10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
The Graphene Handbook (2019 Edition) 800
Adhesion Science: Principles & Practice 800
Signals, Systems, and Signal Processing 610
IEST-RP-CC018: Cleanroom Cleaning and Sanitization: Operating and Monitoring Procedures 600
Fundamentals of Pharmaceutical and Biologics Regulations: A Global Perspective, Second Edition 600
How to Design, Write and Publish Qualitative Research for Insight and Impact 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 物理 内科学 复合材料 催化作用 物理化学 光电子学 电极 细胞生物学 基因 无机化学
热门帖子
关注 科研通微信公众号,转发送积分 6533670
求助须知:如何正确求助?哪些是违规求助? 8326956
关于积分的说明 17835721
捐赠科研通 5635139
什么是DOI,文献DOI怎么找? 2934023
邀请新用户注册赠送积分活动 1910294
关于科研通互助平台的介绍 1768986