已入深夜,您辛苦了!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您度过漫漫科研夜!祝你早点完成任务,早点休息,好梦!

Patch-of-Interest ViT Inference Acceleration System for Edge-Assisted Video Analytics

计算机科学 加速度 分析 人工智能 推论 计算机视觉 信号处理 视频处理 录像 实时计算 视频跟踪 图像处理 模式识别(心理学) 数字视频 卡尔曼滤波器 机器学习 可视化
作者
Haosong Peng,Wei Feng,Hui Li,Yufeng Zhan,Ren Jin,Yuanqing Xia
出处
期刊:IEEE Transactions on Computers [Institute of Electrical and Electronics Engineers]
卷期号:75 (8): 2915-2928 被引量:4
标识
DOI:10.1109/tc.2026.3699450
摘要

The advent of edge computing has made real-time intelligent video analytics feasible. Previous works, based on traditional model architecture (e.g., CNN, RNN, etc.), employ various strategies to filter out non-region-of-interest content to minimize bandwidth and computation consumption but show inferior performance in adverse environments. Recently, visual foundation models based on transformers have shown great performance in adverse environments due to their amazing generalization capability. However, they require a large amount of computation power, which limits their applications in realtime intelligent video analytics. In this paper, we find visual foundation models like Vision Transformer (ViT) also have a dedicated acceleration mechanism for video analytics. To this end, we introduce Arena, an end-to-end edge-assisted video inference acceleration system based on ViT. We leverage the capability of ViT that can be accelerated through token pruning by only offloading and feeding Patches-of-Interest to the downstream models. Additionally, we design an adaptive keyframe inference switching algorithm tailored to different videos, capable of adapting to the current video content to jointly optimize accuracy and bandwidth. Through extensive experiments, our findings reveal that Arena can boost inference speeds by up to 1.58×, 1.82× and 1.98× on average while consuming only 47%, 31% and 27% of the bandwidth, respectively, all with high inference accuracy.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
刚刚
猪四郎发布了新的文献求助10
刚刚
1秒前
晚风发布了新的文献求助10
1秒前
nonoke完成签到 ,获得积分10
1秒前
2秒前
内向的尔风完成签到 ,获得积分10
2秒前
pero发布了新的文献求助10
2秒前
悠哈不错完成签到 ,获得积分10
4秒前
4秒前
4秒前
4秒前
深情安青的应助被科研通管家采纳,获得30
5秒前
爆米花的应助被一坤年练习生采纳,获得10
5秒前
5秒前
5秒前
新新新新新发顶刊完成签到 ,获得积分10
5秒前
5秒前
Shirong_Peng发布了新的文献求助10
6秒前
星河完成签到 ,获得积分10
7秒前
哼哼哈嘿发布了新的文献求助30
7秒前
JUAN123发布了新的文献求助10
7秒前
杨涵完成签到,获得积分10
8秒前
隐形曼青的应助被梭梭采纳,获得10
8秒前
11秒前
SciGPT的应助被羽羊周周采纳,获得10
11秒前
跳跃的乐曲完成签到,获得积分10
11秒前
张口完成签到,获得积分10
12秒前
小陈完成签到 ,获得积分10
13秒前
故事完成签到 ,获得积分10
14秒前
梭梭完成签到,获得积分10
14秒前
601完成签到 ,获得积分10
14秒前
小巧的水杯完成签到 ,获得积分10
15秒前
猪四郎完成签到,获得积分10
15秒前
Nina完成签到,获得积分10
15秒前
15秒前
宫城良官完成签到 ,获得积分10
15秒前
ccccelia发布了新的文献求助20
16秒前
ZHU发布了新的文献求助10
16秒前
大力的宝川完成签到 ,获得积分10
16秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8189908
求助须知:如何正确求助?哪些是违规求助? 9577068
关于积分的说明 21851352
捐赠科研通 7787862
什么是DOI,文献DOI怎么找? 3435817
关于科研通互助平台的介绍 2559861
邀请新用户注册赠送积分活动 2482718