Falcon-Emirati : Quand un LLM apprend le dialecte, la culture et les nuances
huggingface ·
L'Institut d'innovation technologique a publié Falcon-Emirati-7B, un grand modèle de langage spécialisé dans la compréhension et la génération du dialecte arabe émirien. Basé sur l'architecture Falcon-H1-Arabic, ce modèle de sept milliards de paramètres répond aux défis liés à l'adaptation des modèles arabes généraux aux nuances linguistiques et culturelles spécifiques. L'équipe a mis en œuvre une stratégie de données en trois parties, combinant des analyses web authentiques, du contenu en arabe standard moderne axé sur le patrimoine émirien et des données synthétiques strictement guidées pour garantir l'exactitude. Les résultats d'évaluation montrent que Falcon-Emirati-7B obtient un score de 84,83 % au benchmark Alyah, surpassant ainsi ses concurrents multilingues plus importants. Le modèle démontre une fidélité supérieure au dialecte, répondant de manière fiable en émirien plutôt que de basculer vers l'arabe standard moderne comme le font d'autres modèles. Il a également obtenu le meilleur score au benchmark ArabCulture-Dialogue pour sa capacité à reconnaître les réponses culturellement appropriées dans des scénarios spécifiques aux Émirats arabes unis. Cette publication souligne que la formation ciblée sur les dialectes est essentielle pour saisir les significations non littérales, la poésie et les normes sociales que les modèles génériques négligent souvent.
huggingface