新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍
IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。 当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量 可能相差悬殊 。 Token 是 AI 模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为 隐性的“分词器税” ，网络内容较少的语言尤其容易受到影响。 研究发现，即使是互联网上最常用的 20 种语言，Token 消耗量也存在明显差异， 最高是最低的 1.5 至 5 倍 。如果将测试范围扩大到 200 种语言，差距还会进一步扩大。在其中一个 AI 模型中， 不同语言的 Token 消耗量最多相差 17 倍 。 研究报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都...
来自IT之家 AI的《新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍》。重点看模型能力与工程、产品发布。摘要提到：IT之家 10 月 30 日消息，使用人数较少的语言的用户，使用 AI 服务时，可能需要支付比英语及其他主流语言用户更高的费用。 当地时间 28 日，据外媒 Rest of World 报道，人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量 可能相差悬殊 。 Token 是 AI 模型处理文本等数据的基本单位，由分词器将文本、图像或音频拆分而成。研究人员将不同语言因此产生的额外成本称为 隐性的“分词器税” ，网络内容较少的语言尤其容易受到影响。 研究发现，即使是互联网上最常用的 20 种语言，Token 消耗量也存在明显差异， 最高是最低的 1.5 至 5 倍 。如果将测试范围扩大到 200 种语言，差距还会进一步扩大。在其中一个 AI 模型中， 不同语言的 Token 消耗量最多相差 17 倍 。 研究报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都...
本站只提供摘要与原文入口。完整内容请阅读原文。
来源：IT之家 AI · ithome.com