Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models

计算机科学 词汇分析 透明度(行为) 安全性令牌 语言模型 万维网 自然语言处理 程序设计语言 人工智能 计算机安全
作者
Orevaoghene Ahia,Sachin Kumar,Hila Gonen,Jungo Kasai,David R. Mortensen,Noah A. Smith,Yulia Tsvetkov
出处
期刊: [Association for Computational Linguistics]
卷期号:: 9904-9923 被引量:320
标识
DOI:10.18653/v1/2023.emnlp-main.614
摘要

Language models have graduated from being research prototypes to commercialized products offered as web APIs, and recent works have highlighted the multilingual capabilities of these products.The API vendors charge their users based on usage, more specifically on the number of "tokens" processed or generated by the underlying language models.What constitutes a token, however, is training data and model dependent with a large variance in the number of tokens required to convey the same information in different languages.In this work, we analyze the effect of this nonuniformity on the fairness of an API's pricing policy across languages.We conduct a systematic analysis of the cost and utility of OpenAI's language model API on multilingual benchmarks in 22 typologically diverse languages.We show evidence that speakers of a large number of the supported languages are overcharged while obtaining poorer results.These speakers tend to also come from regions where the APIs are less affordable to begin with.Through these analyses, we aim to increase transparency around language model APIs' pricing policies and encourage the vendors to make them more equitable.

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
Stanley完成签到,获得积分10
刚刚
刚刚
ldno1发布了新的文献求助10
刚刚
科研通AI65的应助被Wd采纳,获得10
1秒前
oosr完成签到,获得积分10
1秒前
克克驳回了www的应助
2秒前
Moweikang完成签到,获得积分10
3秒前
电灯胆发布了新的文献求助10
3秒前
水弘的应助被TSW采纳,获得10
4秒前
4秒前
搜集达人的应助被然目之绮采纳,获得10
5秒前
今后的应助被qingtian采纳,获得10
6秒前
稳重书双发布了新的文献求助10
7秒前
不是老羊完成签到,获得积分10
7秒前
7秒前
一米阳光发布了新的文献求助10
8秒前
贤惠的翰完成签到 ,获得积分10
8秒前
田様的应助被blue采纳,获得10
8秒前
Asahi完成签到 ,获得积分10
8秒前
8秒前
泡泡发布了新的文献求助10
8秒前
wxg发布了新的文献求助10
9秒前
huoyunli发布了新的文献求助10
10秒前
威武的天思完成签到 ,获得积分10
10秒前
10秒前
风吹麦浪的应助被小SCI采纳,获得10
11秒前
Bruce_Wayne发布了新的文献求助10
11秒前
无花果的应助被steforeca采纳,获得10
11秒前
12秒前
sheryy发布了新的文献求助10
12秒前
min发布了新的文献求助10
13秒前
13秒前
nhzz2023发布了新的文献求助10
14秒前
十一发布了新的文献求助10
15秒前
稳重书双完成签到,获得积分10
16秒前
上官若男的应助被笑嘻嘻采纳,获得10
16秒前
Able完成签到 ,获得积分10
17秒前
Maestro_S的应助被平常香采纳,获得10
18秒前
一千根针完成签到 ,获得积分10
19秒前
千里洛完成签到,获得积分10
20秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
Improving the wear resistance of vehicle gear oil by oil soluble LaF3 nanoparticles and typical additives of gear oil 500
Boundaries and Bodhisattvas 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8183739
求助须知:如何正确求助?哪些是违规求助? 9572996
关于积分的说明 21828615
捐赠科研通 7780904
什么是DOI,文献DOI怎么找? 3434101
关于科研通互助平台的介绍 2558294
邀请新用户注册赠送积分活动 2480564