清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability

可解释性 计算机科学 人工智能 自然语言处理 语义学(计算机科学) 钥匙(锁) 简单(哲学) 语言理解 机器学习 特征(语言学) 语义特征 语言模型 自然语言 词汇 计算 语义属性 语义记忆 语法 计算语言学 深度学习
作者
Usha Bhalla,Alex Oesterling,Claudio Mayrink Verdun,Himabindu Lakkaraju,Flávio P. Calmon
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:14
标识
DOI:10.48550/arxiv.2511.05541
摘要

Translating the internal representations and computations of models into concepts that humans can understand is a key goal of interpretability. While recent dictionary learning methods such as Sparse Autoencoders (SAEs) provide a promising route to discover human-interpretable features, they often only recover token-specific, noisy, or highly local concepts. We argue that this limitation stems from neglecting the temporal structure of language, where semantic content typically evolves smoothly over sequences. Building on this insight, we introduce Temporal Sparse Autoencoders (T-SAEs), which incorporate a novel contrastive loss encouraging consistent activations of high-level features over adjacent tokens. This simple yet powerful modification enables SAEs to disentangle semantic from syntactic features in a self-supervised manner. Across multiple datasets and models, T-SAEs recover smoother, more coherent semantic concepts without sacrificing reconstruction quality. Strikingly, they exhibit clear semantic structure despite being trained without explicit semantic signal, offering a new pathway for unsupervised interpretability in language models.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Luoyan完成签到,获得积分10
1秒前
3秒前
优雅的傲柏完成签到,获得积分10
9秒前
14秒前
我想进步完成签到,获得积分10
16秒前
坚强含烟完成签到,获得积分10
18秒前
龙龙发布了新的文献求助10
21秒前
25秒前
26秒前
随心所欲完成签到 ,获得积分10
29秒前
Ava的应助被龙龙采纳,获得10
30秒前
怕孤单的雪瑶完成签到,获得积分10
32秒前
陈荆洲完成签到,获得积分10
49秒前
53秒前
从容的绿蝶完成签到,获得积分10
1分钟前
如意夏寒完成签到,获得积分10
1分钟前
1分钟前
1分钟前
老戎完成签到 ,获得积分10
1分钟前
1分钟前
petrichor发布了新的文献求助10
1分钟前
孤独的芹菜完成签到,获得积分10
1分钟前
1分钟前
龙龙发布了新的文献求助10
1分钟前
腼腆的雪珊完成签到,获得积分10
1分钟前
1分钟前
xiaowangwang完成签到 ,获得积分10
1分钟前
虎子完成签到 ,获得积分10
1分钟前
n01W97给Li_wang的求助进行了留言
2分钟前
JEREMIAH完成签到,获得积分10
2分钟前
2分钟前
2分钟前
欣喜的凡霜完成签到,获得积分10
2分钟前
2分钟前
2分钟前
2分钟前
神勇的半芹完成签到,获得积分10
2分钟前
陶家宁大元帅完成签到,获得积分10
2分钟前
loii举报龙傲天的求助涉嫌违规
2分钟前
tww完成签到 ,获得积分10
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173194
求助须知:如何正确求助?哪些是违规求助? 9565558
关于积分的说明 21780476
捐赠科研通 7767279
什么是DOI,文献DOI怎么找? 3431542
关于科研通互助平台的介绍 2555697
邀请新用户注册赠送积分活动 2476682