InstaDeep et iCompass ont annoncé ce mardi que les deux startups spécialisées en IA offriraient TunBERT, le premier modèle de traitement du langage naturel (NLP) au monde pour le tunisien. Ce modèle sera disponible gratuitement et en open source pour stimuler davantage l’innovation dans un écosystème de technologie AI Tunisien en pleine croissance. Cet écosystème est devenu un phénomène économique et technologique en Afrique du Nord au cours de la dernière décennie.

TunBERT est un modèle linguistique pour le dialecte tunisien qui, en appliquant les dernières avancées en matière d’intelligence artificielle (IA) et d’apprentissage automatique (ML), a été entraîné pour évaluer plusieurs tâches telles que l’analyse des sentiments, la classification des dialectes et les questions-réponses pour la compréhension écrite.

“Nous sommes ravis de dévoiler TunBERT, un projet de recherche né d’une collaboration étroite  entre iCompass et InstaDeep qui offre au dialecte tunisien une technologie de pointe”,indique Karim Beguir, CEO et cofondateur d’InstaDeep. 

En rendant TunBERT disponible gratuitement à l’écosystème, InstaDeep et iCompass visent à ouvrir la voie à de nouvelles percées en recherche et développement sur multiples secteurs, accélérant ainsi l’innovation en fournissant une base sur laquelle d’autres peuvent s’appuyer pour construire des applications sur tous les domaine d’expertise.

Une collaboration qui vise à améliorer la diversité et assurer une meilleure représentation pour tous les peuples et leur langues afin de développer d’une manière équitable l’intelligence artificielle dans le futur. 

Parlé par 12 millions de personnes, le Tunisien est étroitement lié aux dialectes nord-africains qui sont parlés par environ 105 millions de personnes. Le plus grand défi en ce qui concerne le dialecte tunisien est qu’il s’agit d’une langue non standard car elle n’a pas de règles grammaticales.

Pour surmonter ces défis, les équipes de recherche d’InstaDeep et d’iCompass ont créé un ensemble de données de 67,2 Mo extrait des réseaux sociaux. La taille de l’ensemble de données peut sembler petite, mais combinée aux percées technologiques de l’IA en apprentissage profond, elle s’est avérée suffisante pour obtenir d’excellents résultats avec  un modèle performant. 

Quant à l’évaluation des performances du modèle, l’équipe a mené des expériences de référence approfondies avec six ensembles de données pour trois tâches en aval: affiner TunBERT sur l’analyse des sentiments, l’identification du dialecte et les tâches de questions-réponses.

L’article InstaDeep et iCompass inventent le premier modèle IA en langue tunisienne est apparu en premier sur Managers.

InstaDeep et iCompass révèlent aujourd’hui leur collaboration sur un modèle de traitement automatique des langues (TAL) pour les langues sous-représentées. Déployant les dernières avancées en matière d’IA et d’apprentissage automatique (ML), ces efforts visent à élargir et renforcer la recherche en IA dans l’écosystème technologique tunisien.

Le projet consiste au développement d’un modèle de traitement du langage naturel pour le dialecte tunisien, TunBERT, ainsi que son évaluation sur plusieurs problèmes comme l’analyse de sentiments, la classification de dialecte, la compréhension écrite, ou encore la réponse aux questions.

“Nous sommes ravis de dévoiler TunBert, un projet de recherche né d’une collaboration étroite entre iCompass et InstaDeep, et qui offre au dialecte tunisien une technologie de pointe. Ce travail illustre également le niveau d’excellence auquel peut aspirer l’écosystème technologique tunisien grâce à des collaborations entre les startups leaders en IA.”, dit Karim Beguir, PDG et Co-fondateur d’InstaDeep.

Renforcer les langues sous-représentées

Les modèles de Traitement Automatique du Langage (TAL) tels que le BERT (Représentations d’encodeur bidirectionnel à partir de transformateurs) sont devenus une référence pour la compréhension et traitement du langage naturel. Au vu de leur performance, ces modèles ont été appliqués sur les langues indo-européennes telles que l’anglais, le français, l’allemand, etc., mais les travaux de recherche sur des langues sous-représentées restent rares, ou embryonnaires.

Travaillant ensemble, les équipes d’ingénieurs chercheurs d’iCompass et d’InstaDeep ont développé et amélioré le code de ce modèle pour le dialecte tunisien, avec une série d’expériences réussies. «Cette collaboration fructueuse vise à faire avancer la recherche en IA dans le domaine émergent et important du TAL et des modèles de langage. Notre objectif ultime est de soutenir les talents tunisiens et de favoriser un environnement dans lequel l’innovation peut rayonner, et ensemble pousser plus loin les frontières du possible », déclare le Dr Hatem Haddad, CTO et Co-fondateur d’iCompass.

Boîte à Outils NEMO

Le modèle TunBERT repose sur le toolkit NeMo de NVIDIA, intégrant une version optimisée du modèle BERT. L’équipe de recherche a adapté et affiné le réseau de neurones sous-jacent pour obtenir un modèle de TAL pré-entraîné sur un large corpus du dialecte tunisien. L’utilisation de plusieurs cartes graphiques NVIDIA Tesla V100 a accéléré de manière significative les étapes de pré-entraînement et de raffinement, avec une convergence optimale et distribuée du modèle.

Cette implémentation a permis un apprentissage plus efficace, grâce notamment à une combinaison du Tensor Core Mixed Precision et NeMo. Ainsi, les modèles de représentation contextuelle du texte ont assimilé une vectorisation performante (“embedding”) du langage naturel, le rendant compréhensible par la machine et permettant des gains de performance significatifs. La comparaison des résultats avec d’une part le modèle BERT optimisé de NVIDIA et d’autre part le modèle BERT original montre que la version optimisée de NVIDIA fonctionne mieux sur les différentes fonctions en aval du modèle, pour une puissance de calcul équivalente.

L’article InstaDeep et iCompass lancent “TunBERT”, le premier système d’IA pour le dialecte Tunisien est apparu en premier sur Managers.