清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Inter-Modal Masked Autoencoder for Self-Supervised Learning on Point Clouds

点云 计算机科学 自编码 人工智能 变压器 深度学习 解码方法 模式识别(心理学) 特征学习 计算机视觉 机器学习 算法 量子力学 电压 物理
作者
Jiaming Liu,Yue Wu,Maoguo Gong,Zhixiao Liu,Qiguang Miao,Wenping Ma
出处
期刊:IEEE Transactions on Multimedia [Institute of Electrical and Electronics Engineers]
卷期号:26: 3897-3908 被引量:4
标识
DOI:10.1109/tmm.2023.3317998
摘要

Masked autoencoder (MAE) is a recently widely used self-supervised learning method that has achieved great success in NLP and computer vision. However, the potential advantages of masked pre-training for point cloud understanding have not been fully explored. There is preliminary work on MAE-based point clouds using the Transformer architecture to explore low-level geometric representations in 3D space, which is insufficient for fine-grained decoding completion and downstream tasks. Inspired by multimodality, we propose Inter-MAE, a inter-modal MAE method for self-supervised learning on point clouds. Specifically, we first use Point-MAE as a baseline to partition point clouds into random low percentage of visible and high percentage of masked point patches. Then, a standard Transformer-based autoencoder is built by asymmetric design and shifting mask operations, and latent features are learned from the visible point patches aiming to recover the masked point patches. In addition, we generate image features based on ViT after point cloud rendering to form inter-modal contrastive learning with the decoded features of the completed point patches. Extensive experiments show that the proposed Inter-MAE generates pre-trained models that are effective and exhibit superior results in various downstream tasks. For example, an accuracy of 85.4% is achieved on ScanObjectNN and 86.3% on ShapeNetPart, outperforming other state-of-the-art self-supervised learning methods. Notably, our work establishes for the first time the feasibility of applying image modality to masked point clouds. The code is publicly available at https://github.com/ywu0912/TeamCode.git

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小山己几完成签到,获得积分10
3秒前
1Aaa发布了新的文献求助10
4秒前
whuhustwit完成签到,获得积分10
8秒前
8秒前
ljt发布了新的文献求助10
12秒前
小二郎应助科研通管家采纳,获得10
13秒前
九花青完成签到,获得积分10
17秒前
Xzx1995完成签到 ,获得积分10
20秒前
喵了个咪完成签到 ,获得积分10
23秒前
秦梭璋完成签到 ,获得积分10
30秒前
大力的灵雁应助tangzanwayne采纳,获得10
32秒前
传奇3应助ljt采纳,获得10
32秒前
qiongqiong完成签到 ,获得积分10
37秒前
高大的凡阳完成签到 ,获得积分10
41秒前
xurui_s完成签到 ,获得积分10
49秒前
昂无敌完成签到,获得积分10
58秒前
在水一方应助ibigbird采纳,获得10
1分钟前
小美美完成签到 ,获得积分10
1分钟前
新手完成签到 ,获得积分10
1分钟前
1分钟前
lu7完成签到 ,获得积分10
1分钟前
ibigbird发布了新的文献求助10
1分钟前
lx完成签到,获得积分10
1分钟前
图图发布了新的文献求助10
1分钟前
ibigbird完成签到,获得积分10
1分钟前
莫封叶完成签到,获得积分10
1分钟前
虚心的幻梅完成签到 ,获得积分10
1分钟前
我是老大应助杨华启采纳,获得10
1分钟前
Sitara完成签到,获得积分20
2分钟前
诚心的大炮完成签到,获得积分10
2分钟前
Upupgrowth完成签到 ,获得积分10
2分钟前
2分钟前
ljt发布了新的文献求助10
2分钟前
alanbike完成签到,获得积分10
2分钟前
ho完成签到,获得积分10
2分钟前
欣欣完成签到 ,获得积分10
2分钟前
cwanglh完成签到 ,获得积分10
2分钟前
joezhang2023完成签到,获得积分10
2分钟前
闪闪的代秋完成签到 ,获得积分10
2分钟前
发个15分的完成签到 ,获得积分0
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
AnnualResearch andConsultation Report of Panorama survey and Investment strategy onChinaIndustry 1000
卤化钙钛矿人工突触的研究 1000
Engineering for calcareous sediments : proceedings of the International Conference on Calcareous Sediments, Perth 15-18 March 1988 / edited by R.J. Jewell, D.C. Andrews 1000
Continuing Syntax 1000
Signals, Systems, and Signal Processing 610
2026 Hospital Accreditation Standards 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 物理 内科学 复合材料 催化作用 物理化学 光电子学 电极 细胞生物学 基因 无机化学
热门帖子
关注 科研通微信公众号,转发送积分 6262462
求助须知:如何正确求助?哪些是违规求助? 8084549
关于积分的说明 16891386
捐赠科研通 5333124
什么是DOI,文献DOI怎么找? 2838881
邀请新用户注册赠送积分活动 1816335
关于科研通互助平台的介绍 1670016