LLM Assisted Coding with Metamorphic Specification Mutation Agent

作者
Akhond, Mostafijur Rahman,Uddin, Gias
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:2
标识
DOI:10.48550/arxiv.2511.18249
摘要

Metamorphic Relations (MRs) serve as a foundational mechanism for generating semantically equivalent mutations. Software engineering has advanced significantly in recent years with the advent of Large Language Models (LLMs). However, the reliability of LLMs in software engineering is often compromised by ambiguities and inconsistencies due to improper user specification. To address this challenge, we present CodeMetaAgent (CMA), a metamorphic relation-driven LLM agent that systematically refines task specifications and generates semantically constrained test cases. Our proposed framework uses MRs with LLMs to improve generation consistency and reduce variability caused by specifications, unlike the traditional use of MRs as post validations. Our framework has been evaluated on the HumanEval-Pro, MBPP-Pro, and SWE-Bench_Lite datasets using the GPT-4o, Mistral Large, GPT-OSS, and Qwen3-Coder models. It improved code generation accuracy by up to 17% and achieved code coverage gains of up to 99.81%. These results show that metamorphic relations can be a simple but effective guide in assisting LLM-based software development.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小可爱发布了新的文献求助10
刚刚
ikssu发布了新的文献求助10
刚刚
刚刚
pluto的应助被fuzzyonion采纳,获得10
1秒前
cc完成签到,获得积分10
1秒前
意义完成签到,获得积分10
1秒前
morena的应助被天行不息采纳,获得10
1秒前
dali发布了新的文献求助10
1秒前
鸽子发布了新的文献求助10
1秒前
bright发布了新的文献求助10
2秒前
姜圆完成签到,获得积分10
2秒前
赵艾米完成签到,获得积分10
2秒前
DOC_XIONG的应助被Hunter采纳,获得10
2秒前
Jerry完成签到,获得积分10
2秒前
2秒前
KK完成签到,获得积分10
3秒前
3秒前
Wonderfool完成签到,获得积分10
3秒前
3秒前
3秒前
Song完成签到,获得积分10
3秒前
123完成签到,获得积分10
3秒前
黑猫黑猫发布了新的文献求助10
4秒前
南歪歪发布了新的文献求助30
4秒前
一叶知秋完成签到,获得积分10
4秒前
4秒前
4秒前
zzz发布了新的文献求助10
4秒前
4秒前
李健的应助被刘承昭采纳,获得10
4秒前
Ning发布了新的文献求助10
4秒前
英俊的铭的应助被碎碎采纳,获得10
5秒前
Crazy_Runner发布了新的文献求助10
5秒前
知行者完成签到,获得积分10
5秒前
长泽梓发布了新的文献求助10
5秒前
6秒前
6秒前
6秒前
Samuel发布了新的文献求助10
6秒前
小蘑菇的应助被冷艳的寒天采纳,获得10
6秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1500
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
Analyses de reconnaissances de dettes passées devant les échevins d'Ypres (1249-1291) 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8160268
求助须知:如何正确求助?哪些是违规求助? 9555328
关于积分的说明 21727231
捐赠科研通 7750062
什么是DOI,文献DOI怎么找? 3427353
关于科研通互助平台的介绍 2552391
邀请新用户注册赠送积分活动 2471707