Aligning machine and human visual representations across abstraction levels

计算机科学 人工智能 一般化 抽象 代表(政治) 相似性(几何) 人工神经网络 集合(抽象数据类型) 机器学习 航程(航空) 深度学习 钥匙(锁) 学习迁移 认知 视觉推理 概念学习 人类智力 特征学习 知识表示与推理 抽象层 深层神经网络 计算模型 人类视觉系统模型 自然语言处理 常识 语义学(计算机科学) 训练集 语义网络
作者
Muttenthaler, Lukas,Greff, Klaus,Born, Frieda,Spitzer, Bernhard,Kornblith, Simon,Mozer, Michael C.,Müller, Klaus-Robert,Unterthiner, Thomas,Lampinen, Andrew K.
出处
期刊:Nature [Nature Portfolio]
卷期号:647 (8089): 349-355 被引量:1
标识
DOI:10.1038/s41586-025-09631-6
摘要

Abstract Deep neural networks have achieved success across a wide range of applications, including as models of human behaviour and neural representations in vision tasks 1,2 . However, neural network training and human learning differ in fundamental ways, and neural networks often fail to generalize as robustly as humans do 3,4 , raising questions regarding the similarity of their underlying representations. We need to determine what is missing for modern learning systems to exhibit more human-aligned behaviour. Here we highlight a key misalignment between vision models and humans: whereas human conceptual knowledge is hierarchically organized from fine- to coarse-scale distinctions (for example, ref. 5 ), model representations do not accurately capture all these levels of abstraction. To address this misalignment, we first train a teacher model to imitate human judgements, then transfer human-aligned structure from its representations to refine the representations of pretrained state-of-the-art vision foundation models via fine-tuning. These human-aligned models more accurately approximate human behaviour and uncertainty across a wide range of similarity tasks, including a dataset of human judgements spanning multiple levels of semantic abstractions. They also perform better on a diverse set of machine learning tasks, increasing generalization and out-of-distribution robustness. Thus, infusing neural networks with additional human knowledge yields a best-of-both-worlds representation that is both more consistent with human cognitive judgements and more practically useful, paving the way towards more robust, interpretable and human-aligned artificial intelligence systems.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
无问完成签到,获得积分10
1秒前
1秒前
2秒前
3秒前
酷酷的面包完成签到,获得积分10
4秒前
juice关注了科研通微信公众号
4秒前
百事可乐完成签到,获得积分20
4秒前
美丽发布了新的文献求助10
4秒前
科研通AI6.4的应助被双儿采纳,获得10
5秒前
5秒前
5秒前
草莓瑶瑶乐完成签到 ,获得积分10
6秒前
6秒前
GXY发布了新的文献求助10
6秒前
7秒前
7秒前
爆米花的应助被聪明皮卡丘采纳,获得10
7秒前
cyf完成签到,获得积分20
7秒前
7秒前
泽_泽发布了新的文献求助10
8秒前
Liyingm完成签到,获得积分10
8秒前
铃木卿发布了新的文献求助10
10秒前
向天一发布了新的文献求助10
10秒前
11秒前
宝儿姐完成签到,获得积分10
11秒前
jiecom完成签到 ,获得积分10
11秒前
同心源发布了新的文献求助20
11秒前
12秒前
13秒前
14秒前
14秒前
14秒前
14秒前
俏皮的灵阳完成签到,获得积分10
15秒前
李渠发布了新的文献求助10
16秒前
16秒前
syvshc的应助被香香香采纳,获得10
16秒前
17秒前
17秒前
君无邪完成签到,获得积分10
17秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8187707
求助须知:如何正确求助?哪些是违规求助? 9575782
关于积分的说明 21843037
捐赠科研通 7785576
什么是DOI,文献DOI怎么找? 3435097
关于科研通互助平台的介绍 2559495
邀请新用户注册赠送积分活动 2481986