已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting

计算机科学 多元统计 人工智能 机器学习 变压器 嵌入 时间序列 模式识别(心理学) 系列(地层学) 语音识别 工程类 古生物学 电压 电气工程 生物
作者
Peiwang Tang,Xianchao Zhang
标识
DOI:10.1109/ictai56018.2022.00150
摘要

Large-scale self-supervised pre-training Transformer architecture have significantly boosted the performance for various tasks in natural language processing (NLP) and computer vision (CV). However, there is a lack of researches on processing multivariate time-series by pre-trained Transformer, and especially, current study on masking time-series for self-supervised learning is still a gap. Different from language and image processing, the information density of time-series increases the difficulty of research. The challenge goes further with the invalidity of the previous patch embedding and mask methods. In this paper, according to the data characteristics of multivariate time-series, a patch embedding method is proposed, and we present an self-supervised pre-training approach based on Masked Autoencoders (MAE), called MTSMAE, which can improve the performance significantly over supervised learning without pre-training. Evaluating our method on several common multivariate time-series datasets from different fields and with different characteristics, experiment results demonstrate that the performance of our method is significantly better than the best method currently available.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
陈翊完成签到 ,获得积分10
刚刚
1秒前
Lucas的应助被你爱吃鱼吗采纳,获得10
1秒前
科目三的应助被kk采纳,获得10
2秒前
syvshc的应助被kk采纳,获得10
2秒前
期许完成签到,获得积分10
2秒前
reaaa完成签到 ,获得积分10
3秒前
Jerry的应助被shaangu623采纳,获得30
3秒前
琪琪完成签到,获得积分10
3秒前
愉快的朝雪完成签到,获得积分10
3秒前
SheltonYang发布了新的文献求助30
3秒前
4秒前
米线儿完成签到,获得积分10
5秒前
毒药完成签到 ,获得积分10
5秒前
初椿完成签到 ,获得积分10
5秒前
勤奋成威完成签到,获得积分10
5秒前
阳光暖暖的完成签到 ,获得积分10
7秒前
星星完成签到,获得积分10
7秒前
小李完成签到 ,获得积分10
7秒前
哈人发布了新的文献求助10
7秒前
Tao完成签到 ,获得积分10
7秒前
NN的应助被HUANG采纳,获得10
7秒前
希望天下0贩的0的应助被HUANG采纳,获得10
7秒前
mmm完成签到,获得积分20
8秒前
风中的香寒完成签到 ,获得积分10
8秒前
小老屁发布了新的文献求助30
8秒前
8秒前
shaangu623完成签到,获得积分20
8秒前
Cakoibao的应助被科研通管家采纳,获得10
9秒前
无花果的应助被科研通管家采纳,获得10
9秒前
入司的应助被科研通管家采纳,获得10
9秒前
852的应助被科研通管家采纳,获得10
9秒前
12A完成签到,获得积分10
9秒前
汉堡包的应助被科研通管家采纳,获得10
9秒前
9秒前
Orange的应助被科研通管家采纳,获得10
9秒前
哈哈哈发布了新的文献求助30
10秒前
乐乐的应助被期许采纳,获得10
10秒前
10秒前
炫星流风完成签到,获得积分10
10秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8194810
求助须知:如何正确求助?哪些是违规求助? 9580525
关于积分的说明 21871483
捐赠科研通 7794329
什么是DOI,文献DOI怎么找? 3437718
关于科研通互助平台的介绍 2561095
邀请新用户注册赠送积分活动 2484446