arXiv AI· Gebreslassie Teklu Reda, Yuval Pinter·· 1 天前评分43
FIDEL: Abugida-Aware Pre-tokenization for Ethiopic Languages
摘要
我们引入FIDEL(FIdäl Decomposition and Linearization),一种可逆的、对abugida-aware预分词方案,揭示辅音和元音顺序结构,将SPLINTER减少从abjad脚本扩展到埃塞俄比亚abugida,并在受控条件下在三种埃塞俄比亚语言上进行评估,保持语料库、架构、预算和协议固定,使分词为唯一变量。我们报告了BPE和UnigramLM在不同词汇规模下的内在分词统计,包括下游NLP任务,如迁移场景。我们发现FIDEL减少在较大容量下能持续提升新闻分类和命名实体识别,而更激进的方案中情感分析性能下降,但提取式问答性能保持不变。
推荐理由
请对照arXiv AI原文,核对完整说明及适用条件。
本站只提供摘要与原文入口。完整内容请阅读原文。
来源:arXiv AI · arxiv.org