清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Reformulating Graph Kernels for Self-Supervised Space-Time Correspondence Learning

计算机科学 图形核 人工智能 图形 模式识别(心理学) 半监督学习 特征学习 机器学习 理论计算机科学 核方法 多项式核 支持向量机
作者
Zheyun Qin,Xiankai Lu,Dongfang Liu,Xiushan Nie,Yilong Yin,Jianbing Shen,Alexander C. Loui
出处
期刊:IEEE transactions on image processing [Institute of Electrical and Electronics Engineers]
卷期号:32: 6543-6557 被引量:17
标识
DOI:10.1109/tip.2023.3328485
摘要

Self-supervised space-time correspondence learning utilizing unlabeled videos holds great potential in computer vision. Most existing methods rely on contrastive learning with mining negative samples or adapting reconstruction from the image domain, which requires dense affinity across multiple frames or optical flow constraints. Moreover, video correspondence prediction models need to uncover more inherent properties of the video, such as structural information. In this work, we propose HiGraph+, a sophisticated space-time correspondence framework based on learnable graph kernels. By treating videos as a spatial-temporal graph, the learning objective of HiGraph+ is issued in a self-supervised manner, predicting the unobserved hidden graph via graph kernel methods. First, we learn the structural consistency of sub-graphs in graph-level correspondence learning. Furthermore, we introduce a spatio-temporal hidden graph loss through contrastive learning that facilitates learning temporal coherence across frames of sub-graphs and spatial diversity within the same frame. Therefore, we can predict long-term correspondences and drive the hidden graph to acquire distinct local structural representations. Then, we learn a refined representation across frames on the node-level via a dense graph kernel. The structural and temporal consistency of the graph forms the self-supervision of model training. HiGraph+ achieves excellent performance and demonstrates robustness in benchmark tests involving object, semantic part, keypoint, and instance labeling propagation tasks. Our algorithm implementations have been made publicly available at https://github.com/zyqin19/HiGraph.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
更新
PDF的下载单位、IP信息已删除 (2025-6-4)

科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
kenchilie完成签到 ,获得积分10
3秒前
CJW完成签到 ,获得积分10
4秒前
qq完成签到 ,获得积分10
5秒前
抹缇卡完成签到 ,获得积分10
5秒前
JamesPei应助蒙萌葫采纳,获得10
8秒前
落落完成签到 ,获得积分0
8秒前
dashi完成签到 ,获得积分10
37秒前
Smile完成签到,获得积分20
47秒前
小羽应助Smile采纳,获得20
52秒前
汉堡包应助zhaochenyu采纳,获得10
57秒前
量子星尘发布了新的文献求助20
1分钟前
18340312141完成签到,获得积分10
1分钟前
1分钟前
1分钟前
科研通AI2S应助科研通管家采纳,获得10
1分钟前
领导范儿应助科研通管家采纳,获得10
1分钟前
1分钟前
1分钟前
math发布了新的文献求助10
1分钟前
科研通AI2S应助认真的寒香采纳,获得10
2分钟前
刘辰完成签到 ,获得积分10
2分钟前
fogsea完成签到,获得积分0
2分钟前
2分钟前
隐形曼青应助机智的朋友采纳,获得10
2分钟前
量子星尘发布了新的文献求助10
2分钟前
Alisha完成签到,获得积分10
2分钟前
左右完成签到 ,获得积分10
2分钟前
安然完成签到 ,获得积分10
2分钟前
2分钟前
可爱的函函应助bioseraph采纳,获得10
2分钟前
2分钟前
3分钟前
gwbk完成签到,获得积分10
3分钟前
herpes完成签到 ,获得积分0
3分钟前
3分钟前
量子星尘发布了新的文献求助10
3分钟前
科研通AI2S应助科研通管家采纳,获得10
3分钟前
4分钟前
新的旅程完成签到,获得积分10
4分钟前
蝎子莱莱xth完成签到,获得积分10
4分钟前
高分求助中
Semantics for Latin: An Introduction 1155
Genomic signature of non-random mating in human complex traits 1000
Plutonium Handbook 1000
Three plays : drama 1000
Robot-supported joining of reinforcement textiles with one-sided sewing heads 600
SPSS for Windows Step by Step: A Simple Study Guide and Reference, 17.0 Update (10th Edition) 500
Multimodal injustices: Speech acts, gender bias, and speaker’s status 400
热门求助领域 (近24小时)
化学 材料科学 医学 生物 工程类 有机化学 生物化学 物理 内科学 纳米技术 计算机科学 化学工程 复合材料 遗传学 基因 物理化学 催化作用 冶金 细胞生物学 免疫学
热门帖子
关注 科研通微信公众号,转发送积分 4105893
求助须知:如何正确求助?哪些是违规求助? 3643835
关于积分的说明 11542796
捐赠科研通 3350946
什么是DOI,文献DOI怎么找? 1841179
邀请新用户注册赠送积分活动 907911
科研通“疑难数据库(出版商)”最低求助积分说明 825065