Deep Unfolding Transformers for Sparse Recovery of Video

计算机科学 稀疏矩阵 变压器 人工智能 算法 工程类 电气工程 量子力学 物理 高斯分布 电压
作者
Brent De Weerdt,Yonina C. Eldar,Nikos Deligiannis
出处
期刊:IEEE Transactions on Signal Processing [Institute of Electrical and Electronics Engineers]
卷期号:72: 1782-1796 被引量:6
标识
DOI:10.1109/tsp.2024.3381749
摘要

Deep unfolding models are designed by unrolling an optimization algorithm into a deep learning network.By incorporating domain knowledge from the optimization algorithm, they have shown faster convergence and higher performance compared to the original algorithm.We design an optimization problem for sequential signal recovery, which incorporates that the signals have a sparse representation in a dictionary and are correlated over time.A corresponding optimization algorithm is derived and unfolded into a deep unfolding Transformer encoder architecture, coined DUST.To show its improved reconstruction quality and flexibility in handling sequences of different lengths, we perform extensive experiments on video frame reconstruction from low-dimensional and/or noisy measurements, using several video datasets.We evaluate extensions to the base DUST model incorporating token normalization and multi-head attention, and compare our proposed networks with several deep unfolding recurrent neural networks (RNNs), generic unfolded and vanilla Transformers, and several video denoising models.The results show that our proposed Transformer architecture improves the reconstruction quality over state-of-the-art deep unfolding RNNs, existing Transformer networks, as well as state-of-the-art video denoising models, while significantly reducing the model size and computational cost of training and inference.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
UN发布了新的文献求助10
2秒前
2秒前
科目三的应助被科研不是科幻采纳,获得10
2秒前
Nicole发布了新的文献求助10
3秒前
4秒前
汉堡包的应助被书亚采纳,获得10
5秒前
5秒前
7秒前
7秒前
zhangweiyuan04完成签到,获得积分10
9秒前
大个的应助被lll采纳,获得10
9秒前
9秒前
开心瓜瓜瓜完成签到,获得积分10
9秒前
9秒前
哈哈哈发布了新的文献求助10
9秒前
123完成签到,获得积分20
10秒前
科目三的应助被迷人的柚子采纳,获得10
10秒前
10秒前
嘉嘉发布了新的文献求助10
11秒前
Xiao完成签到,获得积分10
11秒前
Mine完成签到,获得积分10
11秒前
llllll发布了新的文献求助10
12秒前
12秒前
NN发布了新的文献求助30
12秒前
Nuyoah完成签到,获得积分10
12秒前
ther完成签到,获得积分20
12秒前
13秒前
科研小白发布了新的文献求助10
13秒前
13秒前
14秒前
123发布了新的文献求助30
14秒前
海豚湾发布了新的文献求助10
15秒前
15秒前
一百发布了新的文献求助10
16秒前
天天发布了新的文献求助20
17秒前
qiandi发布了新的文献求助10
18秒前
大雪纷飞发布了新的文献求助10
18秒前
lxz完成签到,获得积分10
18秒前
18秒前
19秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178484
求助须知:如何正确求助?哪些是违规求助? 9569318
关于积分的说明 21803439
捐赠科研通 7773381
什么是DOI,文献DOI怎么找? 3432819
关于科研通互助平台的介绍 2556838
邀请新用户注册赠送积分活动 2478441