清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Multi-scale convolution enhanced transformer for multivariate long-term time series forecasting

多元统计 计算机科学 时间序列 期限(时间) 系列(地层学) 卷积(计算机科学) 比例(比率) 人工智能 计量经济学 算法 数学 机器学习 人工神经网络 地质学 地图学 物理 古生物学 量子力学 地理
作者
Ao Li,Ying Li,Yunyang Xu,Xuemei Li,Caiming Zhang
出处
期刊:Neural Networks [Elsevier BV]
卷期号:180: 106745-106745 被引量:25
标识
DOI:10.1016/j.neunet.2024.106745
摘要

In data analysis and forecasting, particularly for multivariate long-term time series, challenges persist. The Transformer model in deep learning methods has shown significant potential in time series forecasting. The Transformer model's dot-product attention mechanism, however, due to its quadratic computational complexity, impairs training and forecasting efficiency. In addition, the Transformer architecture has limitations in modeling local features and dealing with multivariate cross-dimensional dependency relationship. In this article, a Multi-Scale Convolution Enhanced Transformer model (MSCformer) is proposed for multivariate long-term time series forecasting. As an alternative to modeling the time series in its entirety, a segmentation strategy is designed to convert the input original series into segmented forms with different lengths, then process time series segments using a new constructed multi-Dependency Aggregation module. This multi-Scale segmentation approach reduces the computational complexity of the attention mechanism part in subsequent models, and for each segment of length corresponds to a specific time scale, it also ensures that each segment retains the semantic information of the data sequence level, thereby comprehensively utilizing the multi-scale information of the data while more accurately capturing the real dependency of the time series. The Multi-Dependence Aggregate module captures both cross-temporal and cross-dimensional dependencies of multivariate long-term time series and compensates for local dependencies within the segments thereby captures local series features comprehensively and addressing the issue of insufficient information utilization. MSCformer synthesizes dependency information extracted from various temporal segments at different scales and reconstructs future series using linear layers. MSCformer exhibits higher forecasting accuracy, outperforming existing methods in multiple domains including energy, transportation, weather, electricity, disease and finance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
美满的幻竹完成签到,获得积分10
17秒前
18秒前
庾傀斗发布了新的文献求助10
23秒前
28秒前
钟茵沐发布了新的文献求助10
35秒前
AXEDW完成签到,获得积分10
53秒前
53秒前
AXEDW发布了新的文献求助10
57秒前
怕黑的妖丽完成签到,获得积分10
1分钟前
无私的碧玉完成签到,获得积分10
1分钟前
1分钟前
GIA发布了新的文献求助10
1分钟前
壮观问寒完成签到,获得积分10
2分钟前
迷你的蜜粉完成签到,获得积分10
2分钟前
2分钟前
camporese完成签到,获得积分10
2分钟前
REDMPTION的应助被童严柯采纳,获得100
2分钟前
落寞的姿完成签到,获得积分10
3分钟前
标致的满天完成签到 ,获得积分10
3分钟前
蓝意完成签到,获得积分0
3分钟前
虚幻的亦旋完成签到,获得积分10
3分钟前
灿烂而孤独的八戒完成签到 ,获得积分0
3分钟前
科研通AI6.4的应助被聪慧亦凝采纳,获得30
3分钟前
调皮烤鸡完成签到,获得积分10
3分钟前
4分钟前
薛定谔的猫完成签到 ,获得积分10
4分钟前
聪慧亦凝发布了新的文献求助30
4分钟前
4分钟前
玛卡巴卡爱吃饭完成签到 ,获得积分0
4分钟前
5分钟前
5分钟前
精明开山完成签到,获得积分10
5分钟前
聪慧亦凝发布了新的文献求助10
5分钟前
5分钟前
cczzhh发布了新的文献求助10
5分钟前
852的应助被科研通管家采纳,获得200
5分钟前
Vaibhav完成签到,获得积分10
5分钟前
5分钟前
心灵美懿轩完成签到,获得积分10
5分钟前
迷路的穆完成签到,获得积分10
6分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8195212
求助须知:如何正确求助?哪些是违规求助? 9580926
关于积分的说明 21872997
捐赠科研通 7795188
什么是DOI,文献DOI怎么找? 3437967
关于科研通互助平台的介绍 2561284
邀请新用户注册赠送积分活动 2484680