亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

VB-Adapter: Variational Bayesian Adapter for Cross-Domain Speech Representation Learning

适配器(计算) 计算机科学 代表(政治) 领域(数学分析) 语音识别 人工智能 数学 计算机硬件 政治学 政治 数学分析 法学
作者
Jing Zhao,Qimin Huang,Shanhu Wang,Shiliang Sun
出处
期刊:IEEE transactions on neural networks and learning systems [Institute of Electrical and Electronics Engineers]
卷期号:36 (10): 18300-18311 被引量:1
标识
DOI:10.1109/tnnls.2025.3589086
摘要

To leverage the abundant speech data available for pretraining, current models excel in generalization across diverse tasks. Nevertheless, real-world challenges emerge when addressing unfamiliar speech scenarios far from the pretrained speech, owing to the domain shift between pretraining (source) and fine-tuning (target) data. To overcome this barrier, we propose a variational Bayesian adapter (VB-Adapter) for cross-domain speech representation learning during fine-tuning. First, we establish a latent variable model to construct a desired posterior distribution after incorporating domain-specific knowledge to bridge the gap between the source and target domains. Then, an adaptive objective is presented to maximize the mutual information of the latent variables with and without domain-specific knowledge to facilitate model adaptation. Finally, we introduce contrastive learning on samples to optimize the lower bound of the above adaptive objective. Our experiments apply the VB-Adapter on transformers for dysarthric speech recognition (DSR) and the integration of Whisper-encoder and Llama for Mandarin speech recognition (MSR). The results reveal the effectiveness of VB-Adapter in modeling the uncertainties arising from domain shift and enhancing the robustness of speech representations.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
1秒前
1秒前
ding的应助被coco采纳,获得10
1秒前
Maestro_S的应助被纯情的阁采纳,获得10
4秒前
海藻发布了新的文献求助10
5秒前
omoily发布了新的文献求助10
5秒前
Coral369发布了新的文献求助10
7秒前
自信紫夏完成签到,获得积分10
8秒前
ze完成签到,获得积分10
14秒前
VT发布了新的文献求助10
19秒前
20秒前
22秒前
情怀的应助被肉包子采纳,获得10
25秒前
25秒前
852的应助被Hidos采纳,获得30
26秒前
26秒前
王老裂发布了新的文献求助10
27秒前
27秒前
28秒前
h11的应助被纯情的阁采纳,获得10
28秒前
ze发布了新的文献求助10
29秒前
29秒前
王老裂发布了新的文献求助10
30秒前
王老裂发布了新的文献求助10
30秒前
余铸海完成签到,获得积分10
31秒前
王老裂发布了新的文献求助10
31秒前
31秒前
清爽笙完成签到,获得积分10
32秒前
h11的应助被ming采纳,获得10
34秒前
EllenLawliet发布了新的文献求助10
37秒前
论文真难写的应助被LX有理想采纳,获得10
39秒前
爆米花的应助被EllenLawliet采纳,获得10
41秒前
42秒前
微笑的雅彤完成签到,获得积分10
45秒前
coco发布了新的文献求助10
46秒前
Maestro_S的应助被汤圆采纳,获得10
49秒前
momo完成签到 ,获得积分10
49秒前
淡定的乐安完成签到,获得积分10
52秒前
如意厉完成签到,获得积分10
53秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
What Else Can I Tell You?: A Pragmatic Study of English Rhetorical Questions as Discursive and Argumentative Acts 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158598
求助须知:如何正确求助?哪些是违规求助? 9554358
关于积分的说明 21719087
捐赠科研通 7748128
什么是DOI,文献DOI怎么找? 3427032
关于科研通互助平台的介绍 2551902
邀请新用户注册赠送积分活动 2471277