已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Conditional-Based Transformer Network With Learnable Queries for 4D Deformation Forecasting and Tracking

计算机科学 人工智能 维数之咒 计算机视觉 运动估计 机器学习 模式识别(心理学)
作者
Liset Vázquez Romaguera,Stephanie Alley,Jean‐François Carrier,Samuel Kadoury
出处
期刊:IEEE Transactions on Medical Imaging [Institute of Electrical and Electronics Engineers]
卷期号:42 (6): 1603-1618 被引量:7
标识
DOI:10.1109/tmi.2023.3234046
摘要

Real-time motion management for image-guided radiation therapy interventions plays an important role for accurate dose delivery. Forecasting future 4D deformations from in-plane image acquisitions is fundamental for accurate dose delivery and tumor targeting. However, anticipating visual representations is challenging and is not exempt from hurdles such as the prediction from limited dynamics, and the high-dimensionality inherent to complex deformations. Also, existing 3D tracking approaches typically need both template and search volumes as inputs, which are not available during real-time treatments. In this work, we propose an attention-based temporal prediction network where features extracted from input images are treated as tokens for the predictive task. Moreover, we employ a set of learnable queries, conditioned on prior knowledge, to predict future latent representation of deformations. Specifically, the conditioning scheme is based on estimated time-wise prior distributions computed from future images available during the training stage. Finally, we propose a new framework to address the problem of temporal 3D local tracking using cine 2D images as inputs, by employing latent vectors as gating variables to refine the motion fields over the tracked region. The tracker module is anchored on a 4D motion model, which provides both the latent vectors and the volumetric motion estimates to be refined. Our approach avoids auto-regression and leverages spatial transformations to generate the forecasted images. The tracking module reduces the error by 63% compared to a conditional-based transformer 4D motion model, yielding a mean error of 1.5± 1.1 mm. Furthermore, for the studied cohort of abdominal 4D MRI images, the proposed method is able to predict future deformations with a mean geometrical error of 1.2± 0.7 mm.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
赘婿的应助被猪四郎采纳,获得10
1秒前
虚心半青完成签到 ,获得积分10
1秒前
小小研完成签到 ,获得积分10
1秒前
青木聪聪完成签到,获得积分10
2秒前
torfun发布了新的文献求助10
3秒前
torfun发布了新的文献求助10
3秒前
6秒前
10秒前
zhouairen发布了新的文献求助10
13秒前
dudu完成签到 ,获得积分10
13秒前
ccc完成签到 ,获得积分10
14秒前
14秒前
方法完成签到,获得积分10
14秒前
JamesPei的应助被高高的咖啡采纳,获得30
14秒前
17秒前
漆漆完成签到 ,获得积分10
17秒前
狗头发布了新的文献求助10
19秒前
柒_l完成签到 ,获得积分10
20秒前
元吉的应助被Tiam采纳,获得10
20秒前
学霸业的应助被torfun采纳,获得10
21秒前
22秒前
狗头发布了新的文献求助10
22秒前
24秒前
24秒前
小超完成签到,获得积分10
25秒前
25秒前
25秒前
MYJ完成签到 ,获得积分10
27秒前
pero发布了新的文献求助10
27秒前
28秒前
28秒前
在水一方的应助被Shirong_Peng采纳,获得10
28秒前
js666完成签到 ,获得积分10
28秒前
狗头发布了新的文献求助30
28秒前
zhaoxx完成签到 ,获得积分10
30秒前
狗头发布了新的文献求助10
31秒前
狗头发布了新的文献求助30
31秒前
狗头发布了新的文献求助10
31秒前
潘佳琪完成签到 ,获得积分10
32秒前
hyl完成签到,获得积分10
34秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8189908
求助须知:如何正确求助?哪些是违规求助? 9577068
关于积分的说明 21851352
捐赠科研通 7787862
什么是DOI,文献DOI怎么找? 3435817
关于科研通互助平台的介绍 2559861
邀请新用户注册赠送积分活动 2482718