Causal Disentanglement and Cross-Modal Alignment for Enhanced Few-Shot Learning

计算机科学 人工智能 特征(语言学) 匹配(统计) 钥匙(锁) 鉴定(生物学) 集合(抽象数据类型) 约束(计算机辅助设计) 机器学习 数学
作者
Tianjiao Jiang,Zhen Zhang,Yuhang Liu,Javen Qinfeng Shi
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 890-900 被引量:9
标识
DOI:10.1109/iccv51701.2025.00091
摘要

Few-shot learning (FSL) often requires effective adaptation of models using limited labeled data. However, most existing FSL methods rely on entangled representations, requiring the model to implicitly recover the unmixing process to obtain disentangled representations using only limited supervision, which hinders effective adaptation. Recent theoretical studies show that multimodal contrastive learning methods, such as CLIP, can disentangle latent representations up to linear transformations. In light of this, we propose the Causal CLIP Adapter (CCA), a novel framework that explicitly disentangles visual features extracted from CLIP using unsupervised Independent Component Analysis (ICA). This removes the need to learn the unmixing process from the labeled data, thereby reducing the number of trainable parameters and mitigating overfitting. Taking a step further, while ICA can obtain visual disentangled representations, it may also disrupt CLIP's intra- and inter-modal alignment. To counteract this, CCA further leverages CLIP's inherent cross-modal alignment by enhancing it in two ways: unidirectionally, through fine-tuning a CLIP-based text classifier, and bidirectionally, via a cross-attention mechanism that enriches visual and textual representations through mutual interaction. Both unimodal and cross-modal classification outputs can be effectively combined linearly to improve classification accuracy. Extensive experiments on 11 benchmark datasets demonstrate that our method consistently outperforms state-of-the-art approaches in terms of few-shot performance and robustness to distributional shifts, while maintaining computational efficiency. Code will be available at https://github.com/tianjiao-j/CCA.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
可爱的函函的应助被义气铅笔采纳,获得10
1秒前
科研通AI6.4的应助被风吹麦浪采纳,获得10
3秒前
sylinmm完成签到,获得积分10
3秒前
黑色幽默完成签到 ,获得积分10
3秒前
3秒前
jiaojiao完成签到 ,获得积分10
4秒前
Jasper的应助被无私藏鸟采纳,获得10
4秒前
Maestro_S的应助被drizzle采纳,获得10
4秒前
5秒前
Akim的应助被许唐采纳,获得10
5秒前
Lucas的应助被moon采纳,获得10
5秒前
有魅力的白玉完成签到 ,获得积分10
5秒前
Ivy完成签到,获得积分10
6秒前
6秒前
FAN完成签到,获得积分10
6秒前
ANDUIN完成签到,获得积分10
6秒前
zzy完成签到,获得积分10
6秒前
幸福的手套完成签到 ,获得积分10
7秒前
li完成签到,获得积分10
7秒前
8秒前
张云发布了新的文献求助150
8秒前
niubi666完成签到,获得积分10
9秒前
隐形曼青的应助被aaaa采纳,获得10
9秒前
谢绍博发布了新的文献求助10
9秒前
9秒前
9秒前
稳重的安萱完成签到,获得积分10
10秒前
123456完成签到,获得积分10
12秒前
清秀送终发布了新的文献求助100
12秒前
白芷完成签到 ,获得积分10
12秒前
dde发布了新的文献求助10
13秒前
AAA完成签到,获得积分10
13秒前
13秒前
Ava的应助被pokexuejiao采纳,获得10
13秒前
eclipse完成签到,获得积分10
14秒前
香蕉乐萱发布了新的文献求助10
14秒前
飞快的秀发布了新的文献求助10
14秒前
unqiue的应助被科研通管家采纳,获得10
15秒前
科研通AI6.2的应助被笑然采纳,获得10
15秒前
充电宝的应助被科研通管家采纳,获得10
15秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190698
求助须知:如何正确求助?哪些是违规求助? 9577768
关于积分的说明 21854810
捐赠科研通 7789827
什么是DOI,文献DOI怎么找? 3436452
关于科研通互助平台的介绍 2560302
邀请新用户注册赠送积分活动 2483169