Recurrent Neural Networks for Snapshot Compressive Imaging

计算机科学 人工智能 快照(计算机存储) 循环神经网络 计算机视觉 压缩传感 卷积神经网络 迭代重建 残余物 深度学习 模式识别(心理学) 人工神经网络 解码方法 稳健性(进化) 带宽(计算) 医学影像学 图像复原 数据压缩 词典学习 帧速率
作者
Ziheng Cheng,Bo Chen,Ruiying Lu,Zhengjue Wang,Hao Zhang,Ziyi Meng,Xin Yuan
出处
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence [IEEE Computer Society]
卷期号:45 (2): 2264-2281 被引量:125
标识
DOI:10.1109/tpami.2022.3161934
摘要

Conventional high-speed and spectral imaging systems are expensive and they usually consume a significant amount of memory and bandwidth to save and transmit the high-dimensional data. By contrast, snapshot compressive imaging (SCI), where multiple sequential frames are coded by different masks and then summed to a single measurement, is a promising idea to use a 2-dimensional camera to capture 3-dimensional scenes. In this paper, we consider the reconstruction problem in SCI, i.e., recovering a series of scenes from a compressed measurement. Specifically, the measurement and modulation masks are fed into our proposed network, dubbed BIdirectional Recurrent Neural networks with Adversarial Training (BIRNAT) to reconstruct the desired frames. BIRNAT employs a deep convolutional neural network with residual blocks and self-attention to reconstruct the first frame, based on which a bidirectional recurrent neural network is utilized to sequentially reconstruct the following frames. Moreover, we build an extended BIRNAT-color algorithm for color videos aiming at joint reconstruction and demosaicing. Extensive results on both video and spectral, simulation and real data from three SCI cameras demonstrate the superior performance of BIRNAT.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
刚刚
朴素天问发布了新的文献求助30
刚刚
无花果的应助被yifou1110采纳,获得10
刚刚
Maestro_S的应助被echo采纳,获得10
刚刚
7dddd完成签到,获得积分10
刚刚
凡凡发布了新的文献求助10
1秒前
1秒前
zxd1999完成签到,获得积分10
1秒前
hui完成签到,获得积分10
1秒前
内向易文发布了新的文献求助10
2秒前
2秒前
2秒前
2秒前
香蕉觅云的应助被Du采纳,获得10
2秒前
Dentrolia完成签到,获得积分20
2秒前
3秒前
搜集达人的应助被1215采纳,获得10
3秒前
3秒前
3秒前
xxxx完成签到,获得积分10
3秒前
3秒前
3秒前
沉默越彬完成签到,获得积分10
3秒前
3秒前
有生之年完成签到,获得积分10
3秒前
zzz发布了新的文献求助20
3秒前
知沐完成签到,获得积分10
4秒前
5秒前
5秒前
5秒前
十一发布了新的文献求助10
5秒前
听寒完成签到,获得积分10
6秒前
6秒前
ooo发布了新的文献求助10
6秒前
汪汪发布了新的文献求助10
6秒前
完美世界的应助被kt79采纳,获得10
7秒前
houyushen发布了新的文献求助10
7秒前
天天快乐的应助被ddddd采纳,获得10
7秒前
小二郎的应助被陈醉采纳,获得10
7秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8161554
求助须知:如何正确求助?哪些是违规求助? 9556174
关于积分的说明 21732775
捐赠科研通 7751537
什么是DOI,文献DOI怎么找? 3427556
关于科研通互助平台的介绍 2552588
邀请新用户注册赠送积分活动 2472023