亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Human-Centric Image Captioning with Subject-Centered Spatial Understanding

计算机科学 水准点(测量) 隐藏字幕 人工智能 桥(图论) 帧(网络) 空格(标点符号) 空间分析 图像(数学) 编码(集合论) 机器学习 重写 动作(物理) 空间关系 代表(政治) 计算机视觉 空间智能 脆弱性(计算) 自然语言处理 空间语境意识 模式识别(心理学) 语言模型 语义学(计算机科学)
作者
Bozhou Li,Jiahang Zhang,Yue Ding,Yushuo Guan,Bohan Zeng,Yiyan Ji,Xinlong Chen,Yang Shi,Yifan Dai,Yuran Wang,Chengzhuo Tong,Pengfei Wan,Yuanxing Zhang,Wentao Zhang
出处
期刊: [Association for Computing Machinery]
卷期号:: 4337-4346
标识
DOI:10.1145/3767308.3835525
摘要

While multimodal large language models (MLLMs) achieve remarkable performance on generic image captioning, they frequently suffer from structural hallucinations in human-centric scenarios. Accurately modeling human subjects is foundational for critical downstream applications, such as accurate avatar/video/image generation and fine-grained human action understanding. However, these tasks require highly precise subject-centered spatial grounding, such as distinguishing egocentric left/right laterality and maintaining correct anatomical-object bindings. Although catastrophic for structural integrity, these localized spatial inversions are often overshadowed by overall descriptive metrics in existing benchmarks. To systematically expose and quantify this bottleneck, we introduce SPACE (Subject-centric Poses, Appearance, and Characteristics Evaluation), a benchmark designed to evaluate subject-centered spatial understanding. On SPACE, we reveal that despite strong generic perception, current MLLMs consistently fail to ground descriptions in the subject's intrinsic frame of reference. To bridge this gap, we propose a specialized data construction and alignment pipeline. We first extract structured spatial hints from fine-grained body-part localization to guide a two-stage caption rewriting process, yielding highly spatially-faithful training data. Furthermore, we design a rubric-based reward for Group Relative Policy Optimization (GRPO) that explicitly penalizes structurally critical spatial errors during alignment. Extensive experiments on SPACE demonstrate our framework significantly improves human-centric caption quality, particularly in subject-centered spatial reasoning, achieving performance competitive with strong closed-source models. These results highlight the necessity of structured spatial alignment and set a new paradigm for generating fine-grained, anatomically grounded captions. Our benchmark and code are available at https://github.com/JHang2020/SPACE-Eval.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
8秒前
深情的从丹完成签到,获得积分10
12秒前
16秒前
阿丕啊呸完成签到,获得积分10
21秒前
24秒前
25秒前
null的应助被伊比利亚的微风采纳,获得10
26秒前
认真的笑卉完成签到,获得积分10
27秒前
35秒前
aba发布了新的文献求助10
41秒前
hamburger完成签到,获得积分10
44秒前
null的应助被等待若魔采纳,获得10
49秒前
陶醉成协完成签到,获得积分10
51秒前
haralee完成签到 ,获得积分10
55秒前
55秒前
乐正元正完成签到,获得积分10
1分钟前
时尚的蜜蜂完成签到,获得积分10
1分钟前
1分钟前
369ninja发布了新的文献求助10
1分钟前
1分钟前
1分钟前
Logan1001发布了新的文献求助10
1分钟前
1分钟前
1分钟前
bkagyin的应助被Logan1001采纳,获得10
1分钟前
hyman发布了新的文献求助10
1分钟前
1分钟前
1分钟前
生动琦完成签到,获得积分10
1分钟前
彩色的可冥完成签到,获得积分10
1分钟前
Logan1001完成签到,获得积分20
2分钟前
2分钟前
从容煜城完成签到,获得积分10
2分钟前
2分钟前
顺利秋天完成签到,获得积分10
2分钟前
甜甜的黑猫完成签到,获得积分10
2分钟前
3分钟前
等待若魔完成签到,获得积分10
3分钟前
研友_VZG7GZ的应助被落润晓采纳,获得10
3分钟前
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158789
求助须知:如何正确求助?哪些是违规求助? 9554476
关于积分的说明 21719316
捐赠科研通 7748389
什么是DOI,文献DOI怎么找? 3427080
关于科研通互助平台的介绍 2551987
邀请新用户注册赠送积分活动 2471354