Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection

计算机科学 稳健性(进化) 过度拟合 人工智能 面子(社会学概念) 计算机视觉 深度学习 语音识别 人工神经网络 社会科学 生物化学 化学 社会学 基因
作者
Alexandros Haliassos,Konstantinos Vougioukas,Stavros Petridis,Maja Pantić
出处
期刊: 卷期号:: 5037-5047 被引量:282
标识
DOI:10.1109/cvpr46437.2021.00500
摘要

Although current deep learning-based face forgery detectors achieve impressive performance in constrained scenarios, they are vulnerable to samples created by unseen manipulation methods. Some recent works show improvements in generalisation but rely on cues that are easily corrupted by common post-processing operations such as compression. In this paper, we propose LipForensics, a detection approach capable of both generalising to novel manipulations and withstanding various distortions. LipForensics targets high-level semantic irregularities in mouth movements, which are common in many generated videos. It consists in first pretraining a spatio-temporal network to perform visual speech recognition (lipreading), thus learning rich internal representations related to natural mouth motion. A temporal network is subsequently finetuned on fixed mouth embeddings of real and forged data in order to detect fake videos based on mouth movements without overfitting to low-level, manipulation-specific artefacts. Extensive experiments show that this simple approach significantly surpasses the state-of-the-art in terms of generalisation to unseen manipulations and robustness to perturbations, as well as shed light on the factors responsible for its performance.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
募雨qaq完成签到,获得积分10
刚刚
刚刚
mate发布了新的文献求助30
1秒前
懵懂的映菱完成签到,获得积分10
2秒前
ccccc完成签到 ,获得积分10
2秒前
桃子汽水发布了新的文献求助10
2秒前
阳利发布了新的文献求助10
2秒前
科目三的应助被夏目采纳,获得20
2秒前
2秒前
紧张的道消完成签到 ,获得积分10
3秒前
3秒前
初景发布了新的文献求助10
3秒前
20030419ty2完成签到,获得积分10
3秒前
3秒前
lsx发布了新的文献求助10
3秒前
3秒前
屹男发布了新的文献求助10
3秒前
3秒前
米饭发布了新的文献求助10
4秒前
4秒前
今后的应助被科研通管家采纳,获得10
4秒前
桐桐的应助被科研通管家采纳,获得10
5秒前
orixero的应助被科研通管家采纳,获得10
5秒前
5秒前
桐桐的应助被科研通管家采纳,获得10
5秒前
Jun的应助被科研通管家采纳,获得20
5秒前
可爱的函函的应助被科研通管家采纳,获得200
5秒前
辽宁大学应用化学陈明完成签到 ,获得积分10
5秒前
彭于晏的应助被科研通管家采纳,获得10
5秒前
科研通AI65的应助被科研通管家采纳,获得10
5秒前
冻冻梨完成签到,获得积分10
5秒前
Orange的应助被科研通管家采纳,获得10
6秒前
英姑的应助被科研通管家采纳,获得10
6秒前
乐乐的应助被壮观梦易采纳,获得10
6秒前
null的应助被科研通管家采纳,获得10
6秒前
6秒前
DW的应助被科研通管家采纳,获得10
6秒前
风吹麦浪的应助被科研通管家采纳,获得10
6秒前
慕青的应助被科研通管家采纳,获得10
6秒前
汉堡包的应助被科研通管家采纳,获得10
6秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Improving the wear resistance of vehicle gear oil by oil soluble LaF3 nanoparticles and typical additives of gear oil 500
Boundaries and Bodhisattvas 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8183739
求助须知:如何正确求助?哪些是违规求助? 9572996
关于积分的说明 21828615
捐赠科研通 7780904
什么是DOI,文献DOI怎么找? 3434101
关于科研通互助平台的介绍 2558294
邀请新用户注册赠送积分活动 2480564