Optimal Prompt Guided Multimodal Learning for Blind Omnidirectional Image Quality Assessment

计算机科学 人工智能 计算机视觉 质量(理念) 图像质量 图像(数学) 全向天线 图像分割 特征提取 可视化 图像处理 多模式学习 质量评定 模式识别(心理学) 多通道交互 深度学习 语音识别 机器视觉
作者
Jiebin Yan,Jiayu Zhang,Jiale Rao,Lei Wu,Pengfei Chen,Yuming Fang
出处
期刊:IEEE Transactions on Multimedia [Institute of Electrical and Electronics Engineers]
卷期号:28: 12606-12617 被引量:1
标识
DOI:10.1109/tmm.2026.3710109
摘要

Multimodal learning has garnered significant attention in the era of large models, particularly for their remarkable zero-shot generalization capabilities. This approach has also been extensively explored in the field of image quality assessment. However, its application in blind omnidirectional image quality assessment (BOIQA) remains relatively underexplored. Additionally, most existing BOIQA models rely on computationally intensive viewport or patch sequence generation, thereby limiting model flexibility and efficiency. To address these challenges, we propose an intuitive and effective BOIQA model with Optimal Prompt guided Multimodal Learning (OPML) that processes raw omnidirectional images in Equirectangular Projection (ERP) format without requiring any transformation. Specifically, OPML consists of an optimal prompt selection module for eliminating quality-irrelevant information, which mitigates the limitations of objective models when encoding lengthy text descriptions, and a hierarchical visual degradation modeling branch for capturing visual quality features, along with a multimodal quality capturing module for fusing multimodal features and predicting the global quality of an omnidirectional image. The proposed model demonstrates competitive performance on two large-scale OIQA databases, outperforming most state-of-the-art methods, and also shows great generalizability in group Maximum Differentiation (gMAD) competition methodology.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
1秒前
1秒前
努力努力再努力y完成签到 ,获得积分10
1秒前
qq1083716237发布了新的文献求助30
4秒前
研友_8DoVVZ完成签到,获得积分10
4秒前
简单老师发布了新的文献求助30
5秒前
5秒前
科研通AI6.3的应助被yj采纳,获得10
5秒前
叉叉完成签到,获得积分10
6秒前
个人热滚滚完成签到,获得积分10
6秒前
liu发布了新的文献求助10
6秒前
仇湘发布了新的文献求助10
7秒前
7秒前
想喝奶茶完成签到,获得积分10
8秒前
李妍发布了新的文献求助30
8秒前
xxzzzx发布了新的文献求助10
8秒前
hz1207发布了新的文献求助10
9秒前
10秒前
10秒前
10秒前
tomatoli完成签到,获得积分10
11秒前
di完成签到,获得积分10
11秒前
11秒前
打打的应助被kgy采纳,获得10
12秒前
12秒前
勤劳的雨筠给勤劳的雨筠的求助进行了留言
12秒前
漫漫驳回了华仔的应助
12秒前
科研小白发布了新的文献求助10
12秒前
科研通AI6.2的应助被Xu采纳,获得10
13秒前
13秒前
伍陆伍陆两完成签到,获得积分10
14秒前
zzzz发布了新的文献求助10
14秒前
14秒前
Felicity完成签到 ,获得积分10
15秒前
di发布了新的文献求助10
15秒前
迷人书蝶完成签到,获得积分10
15秒前
科研通AI6.2的应助被xxlj采纳,获得10
16秒前
16秒前
义气语兰发布了新的文献求助10
17秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181888
求助须知:如何正确求助?哪些是违规求助? 9571628
关于积分的说明 21818887
捐赠科研通 7778145
什么是DOI,文献DOI怎么找? 3433528
关于科研通互助平台的介绍 2557710
邀请新用户注册赠送积分活动 2479621