清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Aerospace Language Understanding Evaluation (ALUE): Large Language Benchmark with Aerospace Datasets

水准点(测量) 航空 计算机科学 自然语言处理 人工智能 工程类 航空航天工程 地质学 大地测量学
作者
Eugene Mangortey,Kunal Sarkhel,Sunil K. Singh,Shuo Chen,Bulent Ayhan,Shreya Kurdukar
标识
DOI:10.2514/6.2025-3247
摘要

Large Language Models (LLMs) present revolutionary potential for the aviation industry, enabling stakeholders to derive critical intelligence and improve operational efficiencies through automation. However, given the safety-critical nature of aviation, a rigorous domain-specific evaluation of LLMs is paramount before their integration into workflows. General-purpose LLM benchmarks often do not capture the nuanced understanding of aerospace-specific knowledge and the phraseology required for reliable application. This paper introduces the Aerospace Language Understanding Evaluation (ALUE) benchmark, an aviation-specific framework designed for scalable evaluation, assessment, and benchmarking of LLMs against specialized aviation datasets and language tasks. ALUE incorporates diverse datasets and tasks, including binary and multiclass classification for hazard identification, extractive question answering for precise information retrieval (e.g., tail numbers, runways), sentiment analysis, and multiclass token classification for fine-grained analysis of air traffic control communications. ALUE also introduces several metrics for evaluating the correctness of generated responses utilizing LLMs to identify and judge claims made in generated responses. Our findings demonstrate that structured prompts and in-context examples significantly improve model performance, highlighting that general models struggle with aviation tasks without such guidance and often produce verbose or unstructured outputs. ALUE provides a crucial tool for guiding the development and safe deployment of LLMs tailored to the unique demands of the aviation and aerospace domains.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
6秒前
choup53发布了新的文献求助10
12秒前
腼腆的夏蓉完成签到,获得积分10
14秒前
寻找组织完成签到,获得积分10
23秒前
25秒前
着急的水桃完成签到,获得积分10
28秒前
tmobiusx完成签到,获得积分10
31秒前
32秒前
32秒前
caspar发布了新的文献求助30
37秒前
暮念完成签到 ,获得积分10
48秒前
王馨完成签到 ,获得积分10
59秒前
changfox完成签到,获得积分10
1分钟前
花藤梦蝶完成签到 ,获得积分10
1分钟前
小巧慕儿完成签到,获得积分10
1分钟前
1分钟前
irisxiong发布了新的文献求助10
1分钟前
2分钟前
晞暝完成签到 ,获得积分10
2分钟前
寒冷的月亮完成签到 ,获得积分10
2分钟前
leng发布了新的文献求助10
2分钟前
兜有米完成签到 ,获得积分10
2分钟前
keyan123完成签到,获得积分10
2分钟前
英俊的傲珊完成签到,获得积分10
2分钟前
楚楚完成签到 ,获得积分0
2分钟前
3分钟前
hugeyoung发布了新的文献求助10
3分钟前
无奈的琦完成签到,获得积分10
3分钟前
jlwang完成签到,获得积分10
3分钟前
虚拟的白云完成签到,获得积分10
3分钟前
4分钟前
x夏天完成签到 ,获得积分10
4分钟前
Qian完成签到 ,获得积分10
4分钟前
复杂惜珊完成签到,获得积分10
4分钟前
Akim的应助被三水王采纳,获得10
4分钟前
woods完成签到,获得积分10
4分钟前
4分钟前
侯锐淇完成签到 ,获得积分10
4分钟前
三水王发布了新的文献求助10
4分钟前
小巧的孤丹完成签到,获得积分10
4分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190226
求助须知:如何正确求助?哪些是违规求助? 9577371
关于积分的说明 21852386
捐赠科研通 7788771
什么是DOI,文献DOI怎么找? 3436310
关于科研通互助平台的介绍 2560106
邀请新用户注册赠送积分活动 2482945