已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Boosting Micro-Expression Recognition via Self-Expression Reconstruction and Memory Contrastive Learning

Boosting(机器学习) 表达式(计算机科学) 人工智能 计算机科学 面部表情识别 语音识别 模式识别(心理学) 心理学 面部识别系统 程序设计语言
作者
Yongtang Bao,Chenxi Wu,Peng Zhang,Caifeng Shan,Yue Qi,Xianye Ben
出处
期刊:IEEE Transactions on Affective Computing [Institute of Electrical and Electronics Engineers]
卷期号:15 (4): 2083-2096 被引量:59
标识
DOI:10.1109/taffc.2024.3397701
摘要

Micro-expression (ME) is an instinctive reaction that is not controlled by thoughts. It reveals one's inner feelings, which is significant in sentiment analysis and lie detection. Since micro-expression is expressed as subtle facial changes within particular facial action units, learning discriminative and generalized features for Micro-expression Recognition (MER) is challenging. To achieve the purpose, this paper proposes a novel MER framework that simultaneously integrates supervised Prototype-based Memory Contrastive Learning (PMCL) for discriminative feature mining and adds Self-expression Reconstruction (SER) as an auxiliary task and regularization for better generalization. In particular, the proposed SER module is forced as a regularization by reconstructing input ME from the randomly dropped patch- wise features in the bottleneck. And, the PMCL module globally compares historical and current cluster agents learned from training instances to enhance intra-class compactness and inter-class separability. Extensive experiments are conducted on three benchmarks, e.g., SMIC, CASME II, and SAMM, under evaluation criteria of both Composite Database Evaluation (CDE) and Single Database Evaluation (SDE) protocols. The results show our method surpasses other state-of-the-art approaches under various evaluation metrics, achieving overall 86.30% unweighed F1-score and 88.30% unweighed average recall on the composite dataset. Furthermore, the ablation studies verify the effectiveness of our SER for better generalization and PMCL for better discrimination in learning feature representation from limited micro-expression samples.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
铭铭完成签到,获得积分10
1秒前
1秒前
草原完成签到,获得积分10
2秒前
CRUSADER完成签到,获得积分10
3秒前
星辰大海的应助被刻苦乐天采纳,获得10
4秒前
yayayang完成签到,获得积分10
4秒前
5秒前
开放的小Q发布了新的文献求助10
5秒前
赟糖完成签到 ,获得积分10
7秒前
u658284发布了新的文献求助60
9秒前
小马甲的应助被多多采纳,获得10
14秒前
14秒前
刻苦乐天发布了新的文献求助10
17秒前
轻松的剑成完成签到,获得积分10
18秒前
漠漠完成签到 ,获得积分10
20秒前
Asteria完成签到,获得积分10
24秒前
Kya完成签到 ,获得积分10
24秒前
氯化钠完成签到 ,获得积分10
25秒前
炙热问芙关注了科研通微信公众号
25秒前
lvli完成签到 ,获得积分10
26秒前
开放的小Q发布了新的文献求助10
26秒前
子皿发布了新的文献求助20
27秒前
dd完成签到 ,获得积分10
27秒前
叶95完成签到 ,获得积分10
28秒前
敏感难摧完成签到,获得积分10
29秒前
老实惜梦完成签到 ,获得积分10
31秒前
忧郁芷烟发布了新的文献求助10
31秒前
32秒前
小马甲的应助被飘逸小之采纳,获得10
33秒前
NOS完成签到 ,获得积分10
33秒前
Hello的应助被liza采纳,获得10
35秒前
alex的应助被xr采纳,获得10
35秒前
Y神完成签到 ,获得积分10
35秒前
汤圆完成签到,获得积分10
42秒前
阳光萝完成签到,获得积分10
43秒前
榆树皮面完成签到,获得积分10
43秒前
44秒前
47秒前
alex的应助被开放的小Q采纳,获得10
50秒前
小巧的面包完成签到 ,获得积分10
53秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8184917
求助须知:如何正确求助?哪些是违规求助? 9573843
关于积分的说明 21833352
捐赠科研通 7782304
什么是DOI,文献DOI怎么找? 3434429
关于科研通互助平台的介绍 2558581
邀请新用户注册赠送积分活动 2481082