亲爱的研友该休息了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!身体可是革命的本钱,早点休息,好梦!

Lightweight Text-Driven Image Editing With Disentangled Content and Attributes

计算机科学 图像编辑 人工智能 图像(数学) 编码器 过程(计算) 水准点(测量) 像素 任务(项目管理) 钥匙(锁) 计算机视觉 自然语言处理 地理 操作系统 计算机安全 大地测量学 管理 经济
作者
Bo Li,Xiao Lin,Bin Liu,Zhifen He,Yu‐Kun Lai
出处
期刊:IEEE Transactions on Multimedia [Institute of Electrical and Electronics Engineers]
卷期号:26: 1829-1841 被引量:8
标识
DOI:10.1109/tmm.2023.3289755
摘要

Text-driven image editing aims to manipulate images with the guidance of natural language description. Text is much more natural and intuitive than many other interaction modes, and attracts more attention recently. However, compared with classical supervised learning tasks, there is no standard benchmark dataset for text-driven interactive image editing up to now. Therefore, it is hard to train an end-to-end model for pixel-aligned interactive image editing driven by text. Some methods follow the paradigm of text-to-image models by incorporating the target image into the process of text-to-image generation. However, these methods relying on cross-modal text-to-image generation involve complicated and expensive models, which can lead to inconsistent editing effects. In this article, a novel text-driven image editing method is proposed. Our key observation is that this task can be more efficiently learned using image-to-image translation. To ensure effective learning for image editing, our framework takes paired text and the corresponding images for training, and disentangles each image into content and attributes, such that the content is maintained while the attributes are modified according to the text. Our network is a lightweight encoder-decoder architecture that accomplishes pixel-aligned end-to-end training via cycle-consistent supervision. Quantitative and qualitative experimental results show that the proposed method achieves state-of-the-art performance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
平常香发布了新的文献求助50
2秒前
3秒前
5秒前
tyuuoooo完成签到 ,获得积分10
6秒前
6秒前
00hello00发布了新的文献求助10
7秒前
斌几完成签到,获得积分10
9秒前
Xk发布了新的文献求助10
10秒前
清秀的向松完成签到,获得积分10
11秒前
聂的苏完成签到 ,获得积分10
14秒前
万能图书馆的应助被00hello00采纳,获得10
15秒前
Xk发布了新的文献求助10
22秒前
干净的中心完成签到,获得积分10
23秒前
yyx完成签到,获得积分10
29秒前
zilicai的应助被科研通管家采纳,获得20
29秒前
30秒前
30秒前
32秒前
wangfaqing942完成签到 ,获得积分10
32秒前
Xk发布了新的文献求助10
36秒前
36秒前
难过洙完成签到,获得积分10
38秒前
西弗勒斯完成签到 ,获得积分10
39秒前
sugar发布了新的文献求助10
41秒前
43秒前
Accepted完成签到 ,获得积分10
46秒前
Xk发布了新的文献求助10
47秒前
GENG完成签到,获得积分10
49秒前
bkagyin的应助被sugar采纳,获得10
53秒前
54秒前
Chang完成签到,获得积分10
57秒前
Xk发布了新的文献求助10
58秒前
打打的应助被FIGGIEKIO采纳,获得10
59秒前
从容棉花糖完成签到,获得积分10
1分钟前
1分钟前
Johnny19完成签到,获得积分10
1分钟前
Xk发布了新的文献求助10
1分钟前
科研通AI6.2的应助被Gp1983采纳,获得100
1分钟前
1分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Handbook of Sport Coaching Research 1000
Orthognathic Surgery - 2 Volume Set 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8195071
求助须知:如何正确求助?哪些是违规求助? 9580868
关于积分的说明 21872766
捐赠科研通 7794906
什么是DOI,文献DOI怎么找? 3437922
关于科研通互助平台的介绍 2561204
邀请新用户注册赠送积分活动 2484584