Falcon-Emirati:当大语言模型学习方言、文化与细微差别时
huggingface ·
技术创新研究所发布了Falcon-Emirati-7B,这是一款专为理解和生成阿联酋阿拉伯语方言而设计的大型语言模型。该模型基于Falcon-H1-Arabic架构构建,拥有70亿参数,旨在解决通用阿拉伯语模型在适应特定文化和语言细微差别方面面临的挑战。团队采用了包含真实网络爬取数据、聚焦阿联酋遗产的现代标准阿拉伯语内容以及严格指导的合成数据的三部分数据策略,以确保准确性。评估结果显示,Falcon-Emirati-7B在Alyah基准测试中取得了84.83%的得分,优于更大的多语言竞争对手。关键在于,该模型展现出卓越的方言保真度,能够可靠地使用阿联酋方言进行回应,而不是像其他模型那样默认使用现代标准阿拉伯语。此外,它在ArabCulture-Dialogue基准测试中也获得了最高分,表明其能准确识别符合阿联酋特定场景的文化适宜性回应。此次发布强调,针对方言的训练对于捕捉字面意义之外的含义、诗歌和社会规范至关重要,而这些往往是通用模型所忽略的。
huggingface