PPT Fusion: Pyramid Patch Transformerfor a Case Study in Image Fusion

变压器 人工智能 计算机科学 计算机视觉 模式识别(心理学) 图像融合 图像(数学) 工程类 电气工程 电压
作者
Yu Fu,Tianyang Xu,Xiao‐Jun Wu,Josef Kittler
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:44
标识
DOI:10.48550/arxiv.2107.13967
摘要

The Transformer architecture has witnessed a rapid development in recent years, outperforming the CNN architectures in many computer vision tasks, as exemplified by the Vision Transformers (ViT) for image classification. However, existing visual transformer models aim to extract semantic information for high-level tasks, such as classification and detection.These methods ignore the importance of the spatial resolution of the input image, thus sacrificing the local correlation information of neighboring pixels. In this paper, we propose a Patch Pyramid Transformer(PPT) to effectively address the above issues.Specifically, we first design a Patch Transformer to transform the image into a sequence of patches, where transformer encoding is performed for each patch to extract local representations. In addition, we construct a Pyramid Transformer to effectively extract the non-local information from the entire image. After obtaining a set of multi-scale, multi-dimensional, and multi-angle features of the original image, we design the image reconstruction network to ensure that the features can be reconstructed into the original input. To validate the effectiveness, we apply the proposed Patch Pyramid Transformer to image fusion tasks. The experimental results demonstrate its superior performance, compared to the state-of-the-art fusion approaches, achieving the best results on several evaluation indicators. Thanks to the underlying representational capacity of the PPT network, it can directly be applied to different image fusion tasks without redesigning or retraining the network.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
1秒前
GXL完成签到,获得积分10
1秒前
123发布了新的文献求助10
2秒前
小比熊发布了新的文献求助10
2秒前
开心尔琴发布了新的文献求助10
2秒前
Hao发布了新的文献求助10
3秒前
Hello应助111采纳,获得30
4秒前
hanwy完成签到,获得积分10
4秒前
尹依依完成签到 ,获得积分10
5秒前
joy发布了新的文献求助10
5秒前
5秒前
6秒前
6秒前
kyleaa完成签到,获得积分10
7秒前
dique3hao完成签到 ,获得积分10
7秒前
海绵宝宝发布了新的文献求助10
7秒前
yao发布了新的文献求助200
8秒前
搜集达人应助艾妮吗采纳,获得10
9秒前
gang发布了新的文献求助10
9秒前
august发布了新的文献求助10
10秒前
MaRt111n完成签到,获得积分10
10秒前
达不溜完成签到,获得积分10
10秒前
可爱的函函应助背后白云采纳,获得10
11秒前
悦悦发布了新的文献求助10
13秒前
布岩壁发布了新的文献求助10
14秒前
lxy完成签到,获得积分10
14秒前
清秀送终发布了新的文献求助10
15秒前
隐形曼青应助tong采纳,获得10
16秒前
小皮艇完成签到 ,获得积分10
16秒前
mahehivebv111完成签到,获得积分10
19秒前
椒江完成签到,获得积分10
19秒前
李健应助精明的烨霖采纳,获得10
20秒前
21秒前
yxj完成签到,获得积分10
21秒前
yhj完成签到,获得积分20
21秒前
22秒前
Likc完成签到,获得积分10
22秒前
共享精神应助科研通管家采纳,获得10
23秒前
冰淇淋灭火器完成签到 ,获得积分10
23秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
HYDROLYSE ACIDE DE QUELQUES DIOXASPIROCYCLANES 1314
Essentials of Carbohydrate Chemistry and Biochemistry, 4th Edition 800
Navigating Normative Orders. Interdisciplinary Perspectives 800
1 Peter and Christ's Descent to the Dead in Its Early Christian Reception 700
A Psychological Understanding of Criticism and Mental Health 600
Organizational Behavior 510
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 工程类 有机化学 化学工程 生物化学 计算机科学 内科学 物理 复合材料 催化作用 细胞生物学 无机化学 光电子学 物理化学 电极 基因
热门帖子
关注 科研通微信公众号,转发送积分 7751127
求助须知:如何正确求助?哪些是违规求助? 9298494
关于积分的说明 20246706
捐赠科研通 7333241
什么是DOI,文献DOI怎么找? 3309788
关于科研通互助平台的介绍 2461346
邀请新用户注册赠送积分活动 2322356