亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Transformer Autoencoder for K-means Efficient clustering

计算机科学 自编码 聚类分析 变压器 k均值聚类 人工智能 数据挖掘 模式识别(心理学) 人工神经网络 电气工程 电压 工程类
作者
Wenhao Wu,Weiwei Wang,Xixi Jia,Xiangchu Feng
出处
期刊:Engineering Applications of Artificial Intelligence [Elsevier BV]
卷期号:133: 108612-108612 被引量:29
标识
DOI:10.1016/j.engappai.2024.108612
摘要

As a fundamental unsupervised learning task, clustering has been widely applied in exploratory data analysis in the fields of computer vision, pattern recognition, and data mining. Among existing clustering methods, K-means is the most popular one due to its simplicity and computational efficiency. However, the ubiquitous high dimensionality challenges the effectiveness and the efficiency of the K-means algorithm. Fortunately, the deep neural network provides a powerful resolution for learning low dimensional feature. To optimize the feature learning and the K-means clustering jointly, we present a new deep clustering network called Transformer AutoEncoder for K-means Efficient clustering (TAKE). It consists of two modules: the Transformer AutoEncoder (TAE) for feature learning and the KNet for clustering. The TAE incorporates the transformer structure to learn global features and the contrastive learning mechanism to enhance feature discrimination. The KNet is constructed by unrolling the accelerated projected gradient descent iterations of the relaxed K-means model. The network is trained in two phases: pretraining and clustering. In pretraining, the TAE is optimized by minimizing the cosine similarity-based reconstruction loss, the contrastive loss (CL) and the convex combination loss (CCL). The CCL encourages features of augmented neighbor data to lie in a convex hull, thus K-means friendly. In the clustering phase, the TAE and the KNet are optimized jointly by minimizing the reconstruction loss and the K-means clustering loss. The clustering results are obtained by the forward inference of the KNet. Extended experiments show that our proposed method is highly effective in unsupervised representation learning and clustering.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
2秒前
3秒前
7秒前
8秒前
9秒前
11秒前
14秒前
LJH发布了新的文献求助10
15秒前
15秒前
阳光元彤发布了新的文献求助10
16秒前
令狐大侠发布了新的文献求助30
17秒前
令狐大侠发布了新的文献求助10
17秒前
17秒前
专注凌柏发布了新的文献求助10
19秒前
令狐大侠发布了新的文献求助10
20秒前
充电宝的应助被xccccccc采纳,获得10
20秒前
令狐大侠发布了新的文献求助10
20秒前
令狐大侠发布了新的文献求助10
20秒前
令狐大侠发布了新的文献求助10
20秒前
令狐大侠发布了新的文献求助10
21秒前
LJH发布了新的文献求助10
24秒前
Alfred完成签到,获得积分10
25秒前
义气的夏旋完成签到,获得积分10
27秒前
阳光元彤完成签到,获得积分10
32秒前
LJH发布了新的文献求助10
32秒前
Alfred发布了新的文献求助10
34秒前
勤劳安波完成签到,获得积分10
35秒前
SUMI完成签到,获得积分10
36秒前
38秒前
xccccccc发布了新的文献求助10
42秒前
LJH发布了新的文献求助10
42秒前
43秒前
LJH发布了新的文献求助10
50秒前
55秒前
LJH发布了新的文献求助10
1分钟前
务实老姆完成签到,获得积分10
1分钟前
LJH发布了新的文献求助10
1分钟前
1分钟前
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8185137
求助须知:如何正确求助?哪些是违规求助? 9574052
关于积分的说明 21834040
捐赠科研通 7782575
什么是DOI,文献DOI怎么找? 3434520
关于科研通互助平台的介绍 2558743
邀请新用户注册赠送积分活动 2481206