已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

End-to-end snapshot metalens spectral imaging based on deep unfolding half-shuffle transformer network

光谱成像 计算机科学 迭代重建 编码器 高光谱成像 人工智能 快照(计算机存储) 卷积神经网络 图像质量 人工神经网络 反问题 深度学习 图像分辨率 光学 计算机视觉 全光谱成像 编码孔径 算法 Boosting(机器学习) 迭代和增量开发 点扩散函数 自编码 图像处理 限制 高保真 医学影像学 光谱带 微波成像 模式识别(心理学) 变压器 迭代法 压缩传感 数字成像
作者
Feng Huang,yizhong Wu,maijie Cao,Zhou Wu,Wen Tang,Jinping Li,Weijie Chang,Shengyao Xu
出处
期刊:Optics Express [Optica Publishing Group]
卷期号:34 (1): 795-795
标识
DOI:10.1364/oe.576132
摘要

End-to-end computational spectral imaging based on metalens, which enables compact spectral imaging systems by co-optimization of optical encoder and computational decoder, has attracted extensive attention. However, traditional end-to-end spectral imaging systems typically employ pure data-driven convolutional neural networks (CNN) that ignore physical priors of the imaging process and long-range dependencies, limiting high-precision spectral reconstruction. In this paper, we propose and experimentally demonstrate an end-to-end snapshot metalens spectral imaging based on a physics-driven deep unfolding half-shuffle Transformer network. By unfolding the iterative process of traditional optimization algorithms into a cascaded network structure, we not only integrate the advantages of adaptive feature learning neural network and physical model, but also introduce the physical priors of optical-encoder into the network to allow physically-consistent reconstruction process. Besides, a multi-head self-attention mechanism half-shuffle Transformer network is utilized to extract both local and global information. In this way, we achieve stronger generalization and higher reconstruction quality compared with traditional CNN-based reconstruction methods. We designed and fabricated the metalens, achieving high-fidelity spectral image reconstruction across 25 channels (430-670 nm) at a spatial resolution of 512 × 512 with an average peak signal-to-noise ratio (PSNR) of 42.87 dB, while preserving rich spatial details compared with state-of-the-art (SOTA) methods. Our proposed framework facilitates full interaction between the encoder and the decoder, boosting the power of joint optimization in end-to-end design, and paves a way for the design of miniaturized spectral imaging metalenes.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
sry完成签到 ,获得积分10
1秒前
mingming完成签到 ,获得积分10
1秒前
2秒前
楓秋完成签到 ,获得积分10
2秒前
Zhangym完成签到 ,获得积分10
2秒前
爱打乒乓的轻轨完成签到,获得积分10
2秒前
葫芦侠完成签到,获得积分20
2秒前
ccc完成签到 ,获得积分10
2秒前
李爱国的应助被敏于行采纳,获得20
2秒前
Hongtao完成签到 ,获得积分10
3秒前
左岸完成签到 ,获得积分10
4秒前
阿Z完成签到 ,获得积分10
5秒前
就知道吃吃吃完成签到 ,获得积分10
5秒前
Aq完成签到 ,获得积分10
5秒前
5秒前
轩天完成签到,获得积分10
6秒前
大米饭完成签到 ,获得积分10
8秒前
锐锐完成签到 ,获得积分10
8秒前
maplesirup发布了新的文献求助30
9秒前
韦我完成签到 ,获得积分10
10秒前
陈翊完成签到 ,获得积分10
11秒前
12秒前
Lucas的应助被你爱吃鱼吗采纳,获得10
12秒前
科目三的应助被kk采纳,获得10
13秒前
syvshc的应助被kk采纳,获得10
13秒前
期许完成签到,获得积分10
13秒前
reaaa完成签到 ,获得积分10
14秒前
Jerry的应助被shaangu623采纳,获得30
14秒前
琪琪完成签到,获得积分10
14秒前
愉快的朝雪完成签到,获得积分10
14秒前
SheltonYang发布了新的文献求助30
14秒前
15秒前
米线儿完成签到,获得积分10
16秒前
毒药完成签到 ,获得积分10
16秒前
初椿完成签到 ,获得积分10
16秒前
勤奋成威完成签到,获得积分10
16秒前
阳光暖暖的完成签到 ,获得积分10
18秒前
星星完成签到,获得积分10
18秒前
小李完成签到 ,获得积分10
18秒前
哈人发布了新的文献求助10
18秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8194810
求助须知:如何正确求助?哪些是违规求助? 9580525
关于积分的说明 21871483
捐赠科研通 7794329
什么是DOI,文献DOI怎么找? 3437718
关于科研通互助平台的介绍 2561095
邀请新用户注册赠送积分活动 2484446