La société d’IA de la Silicon Valley, Cerebras, a publié sept modèles GPT open source pour fournir une alternative aux systèmes propriétaires étroitement contrôlés disponibles aujourd’hui.

Les modèles GPT open source libres de droits, y compris les poids et la recette de formation, ont été publiés sous la licence Apache 2.0 hautement permissive par Cerebras, une infrastructure d’IA basée dans la Silicon Valley pour la société d’applications d’IA.

Dans une certaine mesure, les sept modèles GPT sont une preuve de concept pour le supercalculateur Cerebras Andromeda AI.

L’infrastructure Cerebras permet à ses clients, comme Jasper AI Copywriter, de former rapidement leurs propres modèles de langage personnalisés.

Un article de blog Cerebras sur la technologie matérielle a noté :

«Nous avons formé tous les modèles Cerebras-GPT sur un cluster 16x CS-2 Cerebras Wafer-Scale appelé Andromeda.

Le cluster a permis de terminer rapidement toutes les expériences, sans l’ingénierie traditionnelle des systèmes distribués et le réglage parallèle des modèles nécessaires sur les clusters GPU.

Plus important encore, cela a permis à nos chercheurs de se concentrer sur la conception du ML plutôt que sur le système distribué. Nous pensons que la capacité de former facilement de grands modèles est un facteur clé pour la large communauté, c’est pourquoi nous avons rendu le Cerebras Wafer-Scale Cluster disponible sur le cloud via le Cerebras AI Model Studio.

Modèles Cerebras GPT et transparence

Cerebras cite la concentration de la propriété de la technologie de l’IA sur quelques entreprises seulement pour justifier la création de sept modèles GPT open source.

OpenAI, Meta et Deepmind gardent une grande quantité d’informations sur leurs systèmes privées et étroitement contrôlées, ce qui limite l’innovation à tout ce que les trois sociétés décident que d’autres peuvent faire avec leurs données.

Un système à source fermée est-il le meilleur pour l’innovation en IA ? Ou l’open source est-il l’avenir ?

Cerebras écrit :

«Pour que les LLM soient une technologie ouverte et accessible, nous pensons qu’il est important d’avoir accès à des modèles de pointe ouverts, reproductibles et libres de droits pour la recherche et les applications commerciales.

À cette fin, nous avons formé une famille de modèles de transformateurs en utilisant les dernières techniques et des ensembles de données ouverts que nous appelons Cerebras-GPT.

Ces modèles sont la première famille de modèles GPT formés à l’aide de la formule Chinchilla et publiés via la licence Apache 2.0.

Ainsi, ces sept modèles sont publiés sur Hugging Face et GitHub pour encourager davantage de recherche grâce à un accès ouvert à la technologie de l’IA.

Ces modèles ont été formés avec le supercalculateur Andromeda AI de Cerebras, un processus qui n’a pris que des semaines à accomplir.

Cerebras-GPT est entièrement ouvert et transparent, contrairement aux derniers modèles GPT d’OpenAI (GPT-4), Deepmind et Meta OPT.

OpenAI et Deepmind Chinchilla n’offrent pas de licences pour utiliser les modèles. Meta OPT propose uniquement une licence non commerciale.

Le GPT-4 d’OpenAI n’a absolument aucune transparence sur ses données d’entraînement. Ont-ils utilisé les données de Common Crawl ? Ont-ils récupéré Internet et créé leur propre ensemble de données ?

OpenAI garde ces informations (et plus) secrètes, contrairement à l’approche Cerebras-GPT qui est totalement transparente.

Ce qui suit est entièrement ouvert et transparent  :

  • Modèle d’architecture
  • Données d’entraînement
  • Poids du modèle
  • Points de contrôle
  • Statut d’entraînement optimal pour le calcul (oui)
  • Licence d’utilisation : Licence Apache 2.0

Les sept versions sont disponibles en modèles 111M, 256M, 590M, 1.3B, 2.7B, 6.7B et 13B.

IL a été annoncé :

« Dans une première parmi les entreprises de matériel d’IA, les chercheurs de Cerebras ont formé, sur le supercalculateur Andromeda AI, une série de sept modèles GPT avec les paramètres 111M, 256M, 590M, 1.3B, 2.7B, 6.7B et 13B.

Généralement une entreprise de plusieurs mois, ce travail a été achevé en quelques semaines grâce à l’incroyable vitesse des systèmes Cerebras CS-2 qui composent Andromeda et à la capacité de l’architecture de streaming de poids de Cerebras à éliminer la douleur du calcul distribué.

Ces résultats démontrent que les systèmes de Cerebras peuvent former les charges de travail d’IA les plus importantes et les plus complexes aujourd’hui.

C’est la première fois qu’une suite de modèles GPT, formés à l’aide de techniques d’efficacité de formation de pointe, est rendue publique.

Ces modèles sont formés avec la plus grande précision pour un budget de calcul donné (c’est-à-dire une formation efficace à l’aide de la recette Chinchilla) afin qu’ils aient un temps de formation plus court, un coût de formation inférieur et utilisent moins d’énergie que tous les modèles publics existants.

IA open source

La fondation Mozilla, fabricant du logiciel open source Firefox, a créé une société appelée Mozilla.ai pour créer des systèmes GPT et de recommandation open source fiables et respectueux de la vie privée.

Databricks a également récemment publié un clone GPT open source appelé Dolly qui vise à démocratiser « la magie de ChatGPT ».

En plus de ces sept modèles Cerebras GPT, une autre société, Nomic AI, a lancé GPT4All, un GPT open source pouvant fonctionner sur un ordinateur portable.

Aujourd’hui, nous publions GPT4All, un chatbot de style assistant distillé à partir de 430 000 sorties GPT-3.5-Turbo que vous pouvez exécuter sur votre ordinateur portable.

Lire l’annonce officielle :

Cerebras Systems lance sept nouveaux modèles GPT entraînés sur les systèmes CS-2 Wafer-Scale

Image sélectionnée par Shutterstock/Merkushev Vasiliy

Categories: SEO

S’abonner
Notification pour
guest

Commentaires
Commentaires en ligne
Afficher tous les commentaires
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x