Transformer-Based No-Reference Image Quality Assessment via Supervised Contrastive Learning

计算机科学 变压器 人工智能 图像质量 机器学习 模式识别(心理学) 图像(数学) 工程类 电气工程 电压
作者
Jinsong Shi,Pan Gao,Jie Qin
出处
期刊:Proceedings of the ... AAAI Conference on Artificial Intelligence [Association for the Advancement of Artificial Intelligence]
卷期号:38 (5): 4829-4837 被引量:35
标识
DOI:10.1609/aaai.v38i5.28285
摘要

Image Quality Assessment (IQA) has long been a research hotspot in the field of image processing, especially No-Reference Image Quality Assessment (NR-IQA). Due to the powerful feature extraction ability, existing Convolution Neural Network (CNN) and Transformers based NR-IQA methods have achieved considerable progress. However, they still exhibit limited capability when facing unknown authentic distortion datasets. To further improve NR-IQA performance, in this paper, a novel supervised contrastive learning (SCL) and Transformer-based NR-IQA model SaTQA is proposed. We first train a model on a large-scale synthetic dataset by SCL (no image subjective score is required) to extract degradation features of images with various distortion types and levels. To further extract distortion information from images, we propose a backbone network incorporating the Multi-Stream Block (MSB) by combining the CNN inductive bias and Transformer long-term dependence modeling capability. Finally, we propose the Patch Attention Block (PAB) to obtain the final distorted image quality score by fusing the degradation features learned from contrastive learning with the perceptual distortion information extracted by the backbone network. Experimental results on six standard IQA datasets show that SaTQA outperforms the state-of-the-art methods for both synthetic and authentic datasets. Code is available at https://github.com/I2-Multimedia-Lab/SaTQA.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
辞旧完成签到,获得积分10
1秒前
伶俐的念寒完成签到,获得积分10
1秒前
慕青的应助被esdeath采纳,获得10
1秒前
赘婿的应助被六层楼采纳,获得10
1秒前
JIA完成签到,获得积分10
2秒前
3秒前
huihui发布了新的文献求助10
4秒前
绝世完成签到,获得积分10
4秒前
4秒前
qq发布了新的文献求助10
4秒前
陶万军完成签到 ,获得积分10
4秒前
5秒前
Nole的应助被李麟采纳,获得10
6秒前
华哥完成签到,获得积分10
6秒前
7秒前
王宇洁完成签到,获得积分20
7秒前
汉堡包的应助被小汤不圆采纳,获得10
7秒前
稳重的傲芙完成签到,获得积分10
7秒前
7秒前
8秒前
8秒前
9秒前
9秒前
郑睿涛发布了新的文献求助10
10秒前
汉堡包的应助被elysia采纳,获得10
10秒前
11秒前
QiWangzhi完成签到,获得积分10
11秒前
LY关闭了LY的文献求助
11秒前
12秒前
orixero的应助被坦率的凉面采纳,获得10
12秒前
沐沐发布了新的文献求助10
13秒前
陈琛琛发布了新的文献求助30
13秒前
背后的胡萝卜完成签到,获得积分10
13秒前
泡泡发布了新的文献求助10
13秒前
科目三的应助被chen9u0采纳,获得10
14秒前
zsq关闭了zsq的文献求助
15秒前
白喝水了完成签到,获得积分10
15秒前
焱焱完成签到 ,获得积分10
16秒前
牧百川发布了新的文献求助10
16秒前
可爱的函函的应助被zhangxinyi采纳,获得10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Improving the wear resistance of vehicle gear oil by oil soluble LaF3 nanoparticles and typical additives of gear oil 500
Boundaries and Bodhisattvas 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8183739
求助须知:如何正确求助?哪些是违规求助? 9572996
关于积分的说明 21828615
捐赠科研通 7780904
什么是DOI,文献DOI怎么找? 3434101
关于科研通互助平台的介绍 2558294
邀请新用户注册赠送积分活动 2480564