Enhancing Few-Shot Surface Defect Recognition via Pre-Trained Large Generative Models

计算机科学 生成语法 人工智能 过程(计算) 编码(集合论) 深度学习 机器学习 生成模型 数据建模 基线(sea) 训练集 模式识别(心理学) 代码生成 特征提取 数据驱动 标记数据 模板
作者
Xiaoyu Jiang,Zilong Lin,Xiangyin Kong,Jiayu Chen,Zhihuan Song,Min Xie
出处
期刊:IEEE Transactions on Automation Science and Engineering [Institute of Electrical and Electronics Engineers]
卷期号:23: 643-654 被引量:4
标识
DOI:10.1109/tase.2025.3641997
摘要

Surface Defect Recognition (SDR) is crucial in the manufacturing industry. Recent advancements in deep learning and computer vision have significantly improved the precision and efficiency of SDR. However, the scarcity of defect samples presents a challenge for training deep learning models, making few-shot learning necessary for the SDR task. For this, this paper explores innovative contributions of Large Generative Models (LGM) to few-shot SDR by integrating Large Language Models (LLM) and Multimodal Generative Models (MGM). We present an LGM-based Training-Free Data Augmentation (LTDA) method to efficiently expand few-shot datasets without additional training. LTDA employs a conditional generation framework that leverages text instructions provided by LLM as conditions to guide the generation process of MGM. Additionally, multiple prompting templates have been designed for LLM to provide more precise instructions, thereby better guiding the conditional generation process. Finally, we employ two strategies for utilizing generated data to accomplish enhanced few-shot SDR by LTDA. The effectiveness of these approaches is demonstrated through two cases of defect recognition on steel surfaces, where the results demonstrate that the proposed method achieves an average accuracy improvement of 29% and 13% over the baseline method. The code will be released at https://github.com/jackiddd/LTDA.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
同福发布了新的文献求助20
刚刚
汉堡包的应助被翟思宇采纳,获得10
1秒前
敏感初露发布了新的文献求助10
1秒前
XH发布了新的文献求助10
4秒前
CodeCraft的应助被Liu采纳,获得10
4秒前
4秒前
水煮电吹风的应助被wulin314采纳,获得10
5秒前
5秒前
星辰大海的应助被Ashley采纳,获得10
5秒前
jsm5566发布了新的文献求助10
6秒前
6秒前
多晒太阳完成签到,获得积分10
6秒前
诚心熊猫完成签到 ,获得积分10
7秒前
7秒前
7秒前
hhh完成签到,获得积分10
8秒前
yiqiaobutong完成签到,获得积分10
8秒前
8秒前
奚瑞发布了新的文献求助10
9秒前
Vivian完成签到 ,获得积分10
9秒前
9秒前
From-ZTT完成签到,获得积分10
9秒前
9秒前
10秒前
10秒前
昊自为之发布了新的文献求助10
11秒前
汉堡包的应助被nnn采纳,获得10
12秒前
礐嶨发布了新的文献求助30
12秒前
LJN.up发布了新的文献求助10
13秒前
lizzie发布了新的文献求助10
13秒前
酷波er的应助被123456采纳,获得10
13秒前
if的应助被xuz采纳,获得50
14秒前
14秒前
柴六斤完成签到,获得积分10
14秒前
ubless607发布了新的文献求助30
14秒前
crystal发布了新的文献求助10
15秒前
于佳发布了新的文献求助10
15秒前
15秒前
Orange的应助被同福采纳,获得10
15秒前
30KB的芒果干完成签到 ,获得积分10
15秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Boundaries and Bodhisattvas 500
高分子基功能界面水蒸发材料与应用研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8181940
求助须知:如何正确求助?哪些是违规求助? 9571697
关于积分的说明 21819181
捐赠科研通 7778330
什么是DOI,文献DOI怎么找? 3433556
关于科研通互助平台的介绍 2557767
邀请新用户注册赠送积分活动 2479621