G-SimCLR: Self-Supervised Contrastive Learning with Guided Projection via Pseudo Labelling

作者
Souradip Chakraborty,Aritra Roy Gosthipaty,Sayak Paul
出处
期刊: [Institute of Electrical and Electronics Engineers]
卷期号:: 912-916 被引量:25
标识
DOI:10.1109/icdmw51313.2020.00131
摘要

In the realms of computer vision, it is evident that deep neural networks perform better in a supervised setting with a large amount of labeled data. The representations learned with supervision are not only of high quality but also helps the model in enhancing its accuracy. However, the collection and annotation of a large dataset are costly and time-consuming. To avoid the same, there has been a lot of research going on in the field of unsupervised visual representation learning especially in a self-supervised setting. Amongst the recent advancements in self-supervised methods for visual recognition, in SimCLR Chen et al. shows that good quality representations can indeed be learned without explicit supervision. In SimCLR, the authors maximize the similarity of augmentations of the same image and minimize the similarity of augmentations of different images. A linear classifier trained with the representations learned using this approach yields 76.5% top-1 accuracy on the ImageNet ILSVRC-2012 dataset. In this work, we propose that, with the normalized temperature-scaled cross-entropy ($\boldsymbol{NT}-\boldsymbol{Xent}$) loss function (as used in SimCLR), it is beneficial to not have images of the same category in the same batch. In an unsupervised setting, the information of images pertaining to the same category is missing. We use the latent space representation of a denoising autoencoder trained on the unlabeled dataset and cluster them with k-means to obtain pseudo labels. With this apriori information we batch images, where no two images from the same category are to be found. We report comparable performance enhancements on the CIFAR10 dataset and a subset of the ImageNet dataset11https://github.com/thunderInfy/imagenet-5-categories. We refer to our method as$\boldsymbol{G}-\boldsymbol{SimCLR}$22Code available at https://github.com/ariG23498/G-SimCLR.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
cdercder的应助被maomao采纳,获得20
刚刚
刚刚
zhhl2006发布了新的文献求助80
1秒前
知性的猎豹完成签到,获得积分10
1秒前
1122发布了新的文献求助10
1秒前
温柔静蕾完成签到 ,获得积分10
1秒前
ma完成签到 ,获得积分10
2秒前
66完成签到,获得积分10
2秒前
默默的问兰完成签到,获得积分10
2秒前
ss完成签到 ,获得积分10
4秒前
1111完成签到,获得积分10
4秒前
刘牛子发布了新的文献求助10
4秒前
宁赴湘完成签到 ,获得积分10
5秒前
mairs完成签到 ,获得积分10
5秒前
愚者完成签到,获得积分10
6秒前
JM完成签到 ,获得积分10
7秒前
udjfj完成签到,获得积分10
7秒前
无常完成签到,获得积分10
8秒前
8秒前
科研mrxu完成签到,获得积分10
8秒前
舒服的友儿完成签到,获得积分10
8秒前
shm123321完成签到,获得积分10
8秒前
Pupil完成签到,获得积分10
9秒前
席以亦完成签到,获得积分10
9秒前
Akim的应助被抗体药物偶联采纳,获得10
10秒前
KK卮完成签到,获得积分10
10秒前
鹰少完成签到,获得积分10
10秒前
睡师完成签到 ,获得积分10
10秒前
10秒前
duoduo完成签到,获得积分10
10秒前
11秒前
又见白龙完成签到,获得积分10
11秒前
树林完成签到,获得积分10
11秒前
靓丽夜蕾完成签到,获得积分10
12秒前
刘牛子完成签到,获得积分10
13秒前
sll完成签到 ,获得积分10
14秒前
333发布了新的文献求助10
14秒前
sin发布了新的文献求助10
14秒前
白日梦完成签到 ,获得积分10
15秒前
以南完成签到,获得积分10
15秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
plantTFDB 508
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8173445
求助须知:如何正确求助?哪些是违规求助? 9565680
关于积分的说明 21781107
捐赠科研通 7767599
什么是DOI,文献DOI怎么找? 3431593
关于科研通互助平台的介绍 2555855
邀请新用户注册赠送积分活动 2476788