Un institut chinois d’IA a dévoilé un nouveau modèle de traitement du langage naturel (NLP) encore plus sophistiqué que ceux créés par Google et OpenAI.
Le modèle WuDao 2.0 a été créé par l’Académie d’intelligence artificielle de Pékin (BAAI) et développé avec l’aide de plus de 100 scientifiques de plusieurs organisations. Ce qui rend ce modèle d’IA pré-entraîné si spécial, c’est le fait qu’il utilise des paramètres de 1,75 milliard pour simuler des conversations, comprendre des images, écrire des poèmes et même créer des recettes.
Les paramètres sont des variables définies par les modèles d’apprentissage automatique et à mesure que ces modèles évoluent, les paramètres eux-mêmes s’améliorent également pour permettre à un algorithme de mieux trouver le résultat correct au fil du temps. Une fois qu’un modèle a été formé sur un ensemble de données spécifique comme des échantillons de parole humaine, le résultat peut ensuite être appliqué à la résolution d’autres problèmes similaires.
Les modèles qui contiennent un plus grand nombre de paramètres sont souvent plus sophistiqués, mais cela nécessite d’investir plus de temps et d’argent dans leur développement.
Sommaire
Modèle WuDao 2.0
En janvier de cette année, Switch Transformer de Google a établi un nouveau record pour les modèles de langage d’IA avec 1,6 milliard de paramètres, soit six fois plus que les 175 milliards de paramètres trouvés dans le modèle GPT-3 d’OpenAI publié l’année dernière. Cependant, maintenant avec la sortie de son modèle WuDao 2.0, BAAI a battu les records établis par Google et OpenAI.
WuDao 2.0 est capable de comprendre à la fois le chinois et l’anglais, car le nouveau modèle d’IA a été formé en étudiant 1,2 To de texte dans chaque langue et 4,9 To d’images et de texte au total. Jusqu’à présent, il compte 22 partenaires, dont Xiaomi, Meituan et Kuaishou en Chine.
Le chercheur chinois en IA Blake Yan a fourni de plus amples informations sur le Poste du matin du sud de la Chine sur la façon dont ces grands modèles de langage d’IA peuvent utiliser les connaissances dont ils disposent déjà pour apprendre de nouvelles tâches, en disant :
«Ces modèles sophistiqués, entraînés sur des ensembles de données gigantesques, ne nécessitent qu’une petite quantité de nouvelles données lorsqu’ils sont utilisés pour une fonctionnalité spécifique, car ils peuvent transférer les connaissances déjà acquises dans de nouvelles tâches, tout comme les êtres humains. Les modèles pré-entraînés à grande échelle sont aujourd’hui l’un des meilleurs raccourcis vers l’intelligence artificielle générale.
L’intelligence artificielle générale, qui fait référence à la capacité hypothétique d’une machine à apprendre n’importe quelle tâche comme un humain peut le faire, est l’objectif final de la formation de ces grands modèles de langage d’IA et avec la sortie de WuDao 2.0, il semble que nous ne formions qu’un pas plus près de l’atteindre.
Via le South China Morning Post
