清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

FishDetectLLM: Multimodal instruction tuning with large language models for fish detection

鱼 计算机科学 人工智能 自然语言处理 渔业 生物
作者
Jiaxin Zhu,Shibai Yin,Xin Liu,Xingyang Wang,Yee‐Hong Yang
出处
期刊:Knowledge Based Systems [Elsevier BV]
卷期号:318: 113418-113418 被引量:10
标识
DOI:10.1016/j.knosys.2025.113418
摘要

Aquatic species play crucial roles in global ecosystems but are increasingly threatened by factors such as overfishing, coastal development and climate change . Existing deep learning methods address these challenges by employing powerful networks and large-scale, diverse datasets, separately tackling species recognition and trait identification during ongoing monitoring. However, they often exhibit limited generalization ability. Inspired by the human ability to quickly identify fish species and their locations with just a glance at an underwater image or scene, we introduce FishDetectLLM—a framework built on the lightweight TinyLLaVA architecture. FishDetectLLM utilizes the powerful reasoning capabilities and vast world knowledge of large language models (LLMs) to address the fish detection problem, providing both fish classification results and predicted bounding boxes for fish. Specifically, we create instruction dialogues for fish detection that connect fish taxonomy with classification descriptions and map location descriptions to the corresponding coordinates of bounding box in the input images from the recently released large-scale FishNet dataset. Then, we pretrain and fine-tune FishDetectLLM to achieve fish detection using the created dataset, leveraging the principle of augmenting human knowledge. Our results show that FishDetectLLM significantly outperforms existing multimodal LLMs and task-specific methods. Unlike conventional detection architectures that struggle to generalize beyond the training data, FishDetectLLM exhibits strong generalization capabilities, achieving robust performance on unseen data. This innovation paves the way for future applications of MLLMs in full research and offers valuable tools for the conservation of fish biodiversity.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
胡萝卜完成签到,获得积分10
1秒前
丘比特的应助被夏雪儿采纳,获得10
1秒前
丰富的藏鸟完成签到,获得积分10
6秒前
虚心的紫夏完成签到,获得积分10
9秒前
11秒前
粗心的书竹完成签到,获得积分10
13秒前
玛卡巴卡爱吃饭完成签到 ,获得积分10
20秒前
科研通AI6.2的应助被纯情的阁采纳,获得10
41秒前
优秀函完成签到,获得积分10
44秒前
朴素的荧荧完成签到,获得积分10
57秒前
蓝意完成签到,获得积分0
58秒前
多情莫言完成签到,获得积分10
1分钟前
null的应助被科研通管家采纳,获得10
1分钟前
1分钟前
碧蓝问玉完成签到,获得积分10
1分钟前
1分钟前
魔幻的凝丝完成签到,获得积分10
1分钟前
纯情的阁发布了新的文献求助10
1分钟前
明理紫萍完成签到,获得积分10
1分钟前
淡然的霆完成签到,获得积分10
1分钟前
科研通AI6.4的应助被纯情的阁采纳,获得10
1分钟前
喜悦半莲完成签到,获得积分10
1分钟前
怕孤独的梦寒完成签到,获得积分10
2分钟前
虚心问旋完成签到,获得积分10
2分钟前
内向的白玉完成签到 ,获得积分10
2分钟前
2分钟前
纯情的阁发布了新的文献求助10
2分钟前
aspect完成签到 ,获得积分10
2分钟前
bkagyin的应助被xun采纳,获得10
2分钟前
优秀笑槐完成签到,获得积分10
2分钟前
怕黑的又槐完成签到,获得积分10
2分钟前
随心所欲完成签到 ,获得积分0
2分钟前
酷炫安雁完成签到,获得积分10
2分钟前
3分钟前
纯情的阁完成签到,获得积分20
3分钟前
xun发布了新的文献求助10
3分钟前
3分钟前
曾经的问夏完成签到 ,获得积分10
3分钟前
怕黑的驳完成签到,获得积分10
3分钟前
科研通AI6.4的应助被纯情的阁采纳,获得10
3分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8158935
求助须知:如何正确求助?哪些是违规求助? 9554522
关于积分的说明 21719383
捐赠科研通 7748459
什么是DOI,文献DOI怎么找? 3427107
关于科研通互助平台的介绍 2552013
邀请新用户注册赠送积分活动 2471370