How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation

计算机科学 机器翻译 稳健性(进化) 人工智能 翻译(生物学) 变压器 生成语法 机器学习 自然语言处理 工程类 生物化学 化学 电压 信使核糖核酸 电气工程 基因
作者
Amr Hendy,Mohamed Abdelrehim,Amr Sharaf,Vikas Raunak,Mohamed Gabr,Hitokazu Matsushita,Young Jin Kim,Mohamed Afify,Hany Hassan Awadalla
出处
期刊:Cornell University - arXiv [Cornell University]
被引量:177
标识
DOI:10.48550/arxiv.2302.09210
摘要

Generative Pre-trained Transformer (GPT) models have shown remarkable capabilities for natural language generation, but their performance for machine translation has not been thoroughly investigated. In this paper, we present a comprehensive evaluation of GPT models for machine translation, covering various aspects such as quality of different GPT models in comparison with state-of-the-art research and commercial systems, effect of prompting strategies, robustness towards domain shifts and document-level translation. We experiment with eighteen different translation directions involving high and low resource languages, as well as non English-centric translations, and evaluate the performance of three GPT models: ChatGPT, GPT3.5 (text-davinci-003), and text-davinci-002. Our results show that GPT models achieve very competitive translation quality for high resource languages, while having limited capabilities for low resource languages. We also show that hybrid approaches, which combine GPT models with other translation systems, can further enhance the translation quality. We perform comprehensive analysis and human evaluation to further understand the characteristics of GPT translations. We hope that our paper provides valuable insights for researchers and practitioners in the field and helps to better understand the potential and limitations of GPT models for translation.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
充电宝的应助被博士僧采纳,获得10
1秒前
酷酷怜雪完成签到 ,获得积分10
1秒前
1秒前
2秒前
滢滢发布了新的文献求助10
3秒前
3秒前
传奇3的应助被何88888888采纳,获得10
4秒前
4秒前
4秒前
5秒前
5秒前
5秒前
5秒前
5秒前
6秒前
6秒前
哈哈哈完成签到,获得积分10
7秒前
Log发布了新的文献求助10
7秒前
7秒前
LuXiaoyu的应助被七音秦采纳,获得10
7秒前
cocoliu完成签到,获得积分10
7秒前
lrsh421完成签到 ,获得积分10
7秒前
Log发布了新的文献求助10
7秒前
Log发布了新的文献求助10
7秒前
五十万的面包完成签到,获得积分10
8秒前
学学学写写写谢谢谢完成签到,获得积分10
8秒前
9秒前
111完成签到,获得积分10
10秒前
Log发布了新的文献求助10
10秒前
Log发布了新的文献求助10
10秒前
Aeon的应助被千春采纳,获得20
10秒前
Log发布了新的文献求助10
10秒前
Log发布了新的文献求助10
11秒前
Log发布了新的文献求助10
11秒前
WWWUBING完成签到,获得积分10
11秒前
Log发布了新的文献求助10
11秒前
白薇完成签到 ,获得积分10
11秒前
tjr完成签到,获得积分10
11秒前
12秒前
博士僧发布了新的文献求助10
12秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 2000
Sex, Aging, and Death in a Medieval Medical Compendium: Trinity College Cambridge MS R.14.52, Its Texts, Language, and Scribe 500
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
基于结构调控的功能化水诱导发电材料与器件研究 500
基于界面调控的高效湿气发电材料与器件研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8190777
求助须知:如何正确求助?哪些是违规求助? 9577843
关于积分的说明 21855214
捐赠科研通 7789932
什么是DOI,文献DOI怎么找? 3436475
关于科研通互助平台的介绍 2560308
邀请新用户注册赠送积分活动 2483192