WDformer: A Wavelet-based Differential Transformer Model for Time Series Forecasting

作者
Xiaojian Wang,Chaoli Zhang,Zheng Zheng,Yunliang Jiang
出处
期刊: [Association for Computing Machinery]
卷期号:: 3093-3102 被引量:1
标识
DOI:10.1145/3746252.3761348
摘要

Time series forecasting has various applications, such as meteorological rainfall prediction, traffic flow analysis, financial forecasting, and operational load monitoring for various systems. Due to the sparsity of time series data, relying solely on time-domain or frequency-domain modeling limits the model's ability to fully leverage multi-domain information. Moreover, when applied to time series forecasting tasks, traditional attention mechanisms tend to over-focus on irrelevant historical information, which may introduce noise into the prediction process, leading to biased results. We proposed WDformer, a wavelet-based differential Transformer model. This study employs the wavelet transform to conduct a multi-resolution analysis of time series data. By leveraging the advantages of joint representation in the time-frequency domain, it accurately extracts the key information components that reflect the essential characteristics of the data. Furthermore, we apply attention mechanisms on inverted dimensions, allowing the attention mechanism to capture relationships between multiple variables. When performing attention calculations, we introduced the differential attention mechanism, which computes the attention score by taking the difference between two separate softmax attention matrices. This approach enables the model to focus more on important information and reduce noise. WDformer has achieved state-of-the-art (SOTA) results on multiple challenging real-world datasets, demonstrating its accuracy and effectiveness. Code is available at https://github.com/xiaowangbc/WDformer.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
哒哒哒完成签到,获得积分10
1秒前
啊唔完成签到 ,获得积分10
2秒前
zyux完成签到,获得积分10
2秒前
aaartxz完成签到 ,获得积分10
2秒前
syvshc的应助被峰哥亡命天涯采纳,获得10
3秒前
yudong97给yudong97的求助进行了留言
3秒前
Lachryz发布了新的文献求助100
3秒前
4秒前
七七完成签到 ,获得积分10
5秒前
jy完成签到,获得积分10
8秒前
Echo完成签到,获得积分10
8秒前
8秒前
一个蛋黄酥完成签到,获得积分10
9秒前
zyux发布了新的文献求助10
10秒前
和谐萤完成签到 ,获得积分10
11秒前
唐同学完成签到,获得积分10
11秒前
Akim的应助被鸢尾采纳,获得10
11秒前
13秒前
Nole的应助被清秀送终采纳,获得10
15秒前
15秒前
17秒前
angelinazh完成签到,获得积分10
17秒前
LZH发布了新的文献求助10
18秒前
syvshc的应助被沉默石头采纳,获得10
18秒前
桐桐的应助被落后凝莲采纳,获得10
19秒前
可爱的函函的应助被胡闹666采纳,获得10
20秒前
秋风的应助被WWW采纳,获得20
20秒前
顺心秋天完成签到 ,获得积分10
20秒前
flying完成签到,获得积分20
20秒前
wwy727完成签到 ,获得积分10
21秒前
21秒前
畅彤完成签到,获得积分10
22秒前
22秒前
南山无梅落完成签到,获得积分10
23秒前
23秒前
科研小小菜鸟完成签到,获得积分10
24秒前
wanci的应助被WYL采纳,获得10
25秒前
25秒前
26秒前
26秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Agyptische Geschichte der 21.30. Dynastie 510
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8192078
求助须知:如何正确求助?哪些是违规求助? 9578698
关于积分的说明 21861559
捐赠科研通 7791583
什么是DOI,文献DOI怎么找? 3436814
关于科研通互助平台的介绍 2560538
邀请新用户注册赠送积分活动 2483582