MS²G-Net: A Multi-Scale and Multi-Structural Guided Network for Information-Preserving Restoration of Ancient Murals

修补 人工智能 图像复原 计算机科学 计算机视觉 背景(考古学) GSM演进的增强数据速率 增采样 块(置换群论) 图像(数学) 失真(音乐) 一致性(知识库) 备份 壁画 相似性(几何) 网络体系结构 保险丝(电气) 迭代重建 图像编辑 边缘增强 图像处理 计算机图形学(图像) 工件(错误) 直方图 深度学习 图像分割
作者
Shengping Xiong,Ying Yu
出处
期刊: 卷期号:: 1-7 被引量:1
标识
DOI:10.1145/3743093.3770966
摘要

Ancient murals have significant historical, cultural, and artistic value, but have suffered severe damage due to various forms of degradation. Applying digital image inpainting techniques to mural restoration is of great importance. However, traditional and deep learning-based methods still struggle to achieve structural similarity and visual plausibility. To address this, we propose a two-stage restoration framework, MS2G-Net, comprising an Edge and HOG Refinement Network (EHRN) and an Image Refinement Network (IRN). EHRN employs a single-generator dual-discriminator architecture to simultaneously predict Edge and Histograms of Oriented Gradients (HOG) from corrupted inputs. Then, IRN utilizes these predicted structural priors to guide the image restoration process. Specifically, we design an Edge and HOG involved Mask-aware Pixel-shuffle Downsampling (EHMPD) module to hierarchically fuse multi-scale structural features and mitigate information loss during downsampling. To enable both global and local modeling while retaining useful information, we introduce a Spatial-aware Hybrid Attention (SHA) mechanism, integrated with a Gated-Dwconv Feed-forward Network (GDFN) and a Context Broadcasting Feed-forward Network (CBFN) to form a unified "GDFN-SHA-CBFN" structure, termed Spatial-aware Hybrid Attention Block (SHAB). Furthermore, we propose a Structure-Constrained Loss in the HSV color space to enhance color consistency in the restoration results. Extensive qualitative and quantitative experiments demonstrate that our method produces structurally coherent and visually plausible restorations across various mural degradations.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
1秒前
忧郁的莫茗完成签到,获得积分10
2秒前
小橘完成签到,获得积分10
4秒前
李爱国的应助被科研不是科幻采纳,获得10
4秒前
4秒前
5秒前
enkidu发布了新的文献求助10
5秒前
也未可知完成签到 ,获得积分0
5秒前
5秒前
丹丹完成签到 ,获得积分10
5秒前
yian007发布了新的文献求助10
6秒前
香辣牛排发布了新的文献求助10
6秒前
6秒前
孔之如冬完成签到 ,获得积分10
6秒前
6秒前
7秒前
chan完成签到,获得积分10
7秒前
秋风的应助被郦稀采纳,获得10
7秒前
杨青黄发布了新的文献求助10
8秒前
9秒前
mhx1234567890完成签到,获得积分20
9秒前
cjr发布了新的文献求助10
9秒前
xiejie发布了新的文献求助10
9秒前
科烟生完成签到,获得积分10
9秒前
10秒前
所所的应助被果粒橙采纳,获得10
10秒前
10秒前
huang完成签到,获得积分10
11秒前
小羊发布了新的文献求助10
12秒前
Gilhog完成签到,获得积分10
12秒前
小蘑菇的应助被PhDL1采纳,获得10
12秒前
光亮绮山完成签到,获得积分10
12秒前
Nothing完成签到,获得积分10
13秒前
14秒前
14秒前
14秒前
14秒前
3475发布了新的文献求助10
15秒前
树枝完成签到 ,获得积分10
15秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178807
求助须知:如何正确求助?哪些是违规求助? 9569558
关于积分的说明 21805222
捐赠科研通 7773974
什么是DOI,文献DOI怎么找? 3432933
关于科研通互助平台的介绍 2556873
邀请新用户注册赠送积分活动 2478593