La société d’IA de la Silicon Valley, Cerebras, a publié sept modèles GPT open source pour fournir une alternative aux systèmes propriétaires étroitement contrôlés disponibles aujourd’hui.
- La société d\'IA de la Silicon Valley, Cerebras, a publié sept modèles GPT open source pour fournir une alternative aux systèmes propriétaires étroitement contrôlés disponibles aujourd\'hui.
- Les modèles GPT open source libres de droits ont été publiés sous licence Apache 2.0 par Cerebras Systems, ce qui permet un accès facile à la technologie de pointe pour les chercheurs et les entreprises.
- Avec leur supercalculateur Andromeda AI, Cerebras Systems espère montrer que leur architecture est capable de former rapidement des modèles GPT complexes et précis sans avoir besoin d\'une ingénierie traditionnelle du système ou d\'un réglage parallèle sur les clusters GPU.
- Le mouvement en faveur de l'IA open-source prend de l'ampleur avec la publication également récente d'autres systèmes tels que Dolly et GPT4All. Si cette tendance se confirme, elle pourrait mener à un changement dans l'écosystème de l'innovation en IA qui ne serait plus dominée par quelques grandes entreprises.
Les modèles GPT open source libres de droits, y compris les poids et la recette de formation, ont été publiés sous la licence Apache 2.0 hautement permissive par Cerebras, une infrastructure d’IA basée dans la Silicon Valley pour la société d’applications d’IA.
Dans une certaine mesure, les sept modèles GPT sont une preuve de concept pour le supercalculateur Cerebras Andromeda AI.
L’infrastructure Cerebras permet à ses clients, comme Jasper AI Copywriter, de former rapidement leurs propres modèles de langage personnalisés.
Un article de blog Cerebras sur la technologie matérielle a noté :
«Nous avons formé tous les modèles Cerebras-GPT sur un cluster 16x CS-2 Cerebras Wafer-Scale appelé Andromeda.
Le cluster a permis de terminer rapidement toutes les expériences, sans l’ingénierie traditionnelle des systèmes distribués et le réglage parallèle des modèles nécessaires sur les clusters GPU.
Plus important encore, cela a permis à nos chercheurs de se concentrer sur la conception du ML plutôt que sur le système distribué. Nous pensons que la capacité de former facilement de grands modèles est un facteur clé pour la large communauté, c’est pourquoi nous avons rendu le Cerebras Wafer-Scale Cluster disponible sur le cloud via le Cerebras AI Model Studio.
Modèles Cerebras GPT et transparence
Cerebras cite la concentration de la propriété de la technologie de l’IA sur quelques entreprises seulement pour justifier la création de sept modèles GPT open source.
OpenAI, Meta et Deepmind gardent une grande quantité d’informations sur leurs systèmes privées et étroitement contrôlées, ce qui limite l’innovation à tout ce que les trois sociétés décident que d’autres peuvent faire avec leurs données.
Un système à source fermée est-il le meilleur pour l’innovation en IA ? Ou l’open source est-il l’avenir ?
Cerebras écrit :
«Pour que les LLM soient une technologie ouverte et accessible, nous pensons qu’il est important d’avoir accès à des modèles de pointe ouverts, reproductibles et libres de droits pour la recherche et les applications commerciales.
À cette fin, nous avons formé une famille de modèles de transformateurs en utilisant les dernières techniques et des ensembles de données ouverts que nous appelons Cerebras-GPT.
Ces modèles sont la première famille de modèles GPT formés à l’aide de la formule Chinchilla et publiés via la licence Apache 2.0.
Ainsi, ces sept modèles sont publiés sur Hugging Face et GitHub pour encourager davantage de recherche grâce à un accès ouvert à la technologie de l’IA.
Ces modèles ont été formés avec le supercalculateur Andromeda AI de Cerebras, un processus qui n’a pris que des semaines à accomplir.
Cerebras-GPT est entièrement ouvert et transparent, contrairement aux derniers modèles GPT d’OpenAI (GPT-4), Deepmind et Meta OPT.
OpenAI et Deepmind Chinchilla n’offrent pas de licences pour utiliser les modèles. Meta OPT propose uniquement une licence non commerciale.
Le GPT-4 d’OpenAI n’a absolument aucune transparence sur ses données d’entraînement. Ont-ils utilisé les données de Common Crawl ? Ont-ils récupéré Internet et créé leur propre ensemble de données ?
OpenAI garde ces informations (et plus) secrètes, contrairement à l’approche Cerebras-GPT qui est totalement transparente.
Ce qui suit est entièrement ouvert et transparent :
- Modèle d’architecture
- Données d’entraînement
- Poids du modèle
- Points de contrôle
- Statut d’entraînement optimal pour le calcul (oui)
- Licence d’utilisation : Licence Apache 2.0
Les sept versions sont disponibles en modèles 111M, 256M, 590M, 1.3B, 2.7B, 6.7B et 13B.
IL a été annoncé :
« Dans une première parmi les entreprises de matériel d’IA, les chercheurs de Cerebras ont formé, sur le supercalculateur Andromeda AI, une série de sept modèles GPT avec les paramètres 111M, 256M, 590M, 1.3B, 2.7B, 6.7B et 13B.
Généralement une entreprise de plusieurs mois, ce travail a été achevé en quelques semaines grâce à l’incroyable vitesse des systèmes Cerebras CS-2 qui composent Andromeda et à la capacité de l’architecture de streaming de poids de Cerebras à éliminer la douleur du calcul distribué.
Ces résultats démontrent que les systèmes de Cerebras peuvent former les charges de travail d’IA les plus importantes et les plus complexes aujourd’hui.
C’est la première fois qu’une suite de modèles GPT, formés à l’aide de techniques d’efficacité de formation de pointe, est rendue publique.
Ces modèles sont formés avec la plus grande précision pour un budget de calcul donné (c’est-à-dire une formation efficace à l’aide de la recette Chinchilla) afin qu’ils aient un temps de formation plus court, un coût de formation inférieur et utilisent moins d’énergie que tous les modèles publics existants.
IA open source
La fondation Mozilla, fabricant du logiciel open source Firefox, a créé une société appelée Mozilla.ai pour créer des systèmes GPT et de recommandation open source fiables et respectueux de la vie privée.
Databricks a également récemment publié un clone GPT open source appelé Dolly qui vise à démocratiser « la magie de ChatGPT ».
En plus de ces sept modèles Cerebras GPT, une autre société, Nomic AI, a lancé GPT4All, un GPT open source pouvant fonctionner sur un ordinateur portable.
Aujourd’hui, nous publions GPT4All, un chatbot de style assistant distillé à partir de 430 000 sorties GPT-3.5-Turbo que vous pouvez exécuter sur votre ordinateur portable. pic.twitter.com/VzvRYPLfoY
– Nomic AI (@nomic_ai) 28 mars 2023
Le mouvement de l’IA open source en est à ses balbutiements mais prend de l’ampleur.
La technologie GPT donne naissance à des changements massifs dans tous les secteurs et il est possible, voire inévitable, que les contributions open source modifient le visage des secteurs à l’origine de ce changement.
Si le mouvement open source continue d’avancer à ce rythme, nous sommes peut-être sur le point d’assister à un changement dans l’innovation de l’IA qui l’empêche de se concentrer entre les mains de quelques entreprises.
Lire l’annonce officielle :
Cerebras Systems lance sept nouveaux modèles GPT entraînés sur les systèmes CS-2 Wafer-Scale
Image sélectionnée par Shutterstock/Merkushev Vasiliy
FAQ
Comment créer un gpt ?
Pour créer un gpt, il est nécessaire de suivre différentes étapes. Tout d'abord, il faut déterminer le type de données que l'on souhaite utiliser et établir une liste de mots clés pertinents.
Ensuite, il faut sélectionner un modèle de langage approprié et entraîner le gpt en utilisant ces données et ces mots clés. Une fois l'entraînement terminé, il suffit de tester le gpt avec des phrases pour vérifier son fonctionnement et d'éventuellement ajuster certains paramètres si besoin.
Comment fonctionne le gpt gratuit français ?
Le GPT gratuit français fonctionne en utilisant un algorithme sophistiqué pour générer du texte basé sur les entrées fournies par l'utilisateur. Il analyse également des milliers de données linguistiques et contextuelles pour produire une réponse pertinente et cohérente.
Ce système est constamment amélioré grâce à l'apprentissage automatique, lui permettant d'offrir des réponses de plus en plus précises au fil du temps. Les utilisateurs peuvent ainsi bénéficier d'un outil fiable et performant pour répondre à leurs besoins de recherche ou de génération de contenu textuel original.
Gpt en français gratuit ?
Le Gpt en français gratuit est une plateforme en ligne qui permet aux utilisateurs de générer du texte de manière automatique. Cette solution est particulièrement utile pour les personnes ayant besoin d'une assistance dans la rédaction, la traduction ou même l'apprentissage du français. Avec le Gpt gratuit en français, il est possible d'obtenir des résultats fiables et précis en un temps record.
Grâce à cette technologie, vous pouvez économiser du temps et améliorer votre niveau de langue facilement.
Gpt gratuit en ligne ?
Un Gpt gratuit en ligne est une plateforme qui permet de gagner de l'argent en effectuant des tâches simples telles que répondre à des sondages, cliquer sur des publicités ou regarder des vidéos. Ces sites sont souvent facilement accessibles et ne nécessitent aucune compétence particulière, ce qui les rend populaires auprès d'un large public en quête de gains supplémentaires.
Cependant, il convient de rester vigilant car certains Gpt peuvent être frauduleux et ne pas rémunérer leurs utilisateurs.
Comment utiliser auto gpt ?
Pour utiliser Auto GPT, il faut tout d'abord se rendre sur le site dédié ou télécharger l'application. Ensuite, il suffit de suivre les instructions pour créer un compte et paramétrer ses préférences en matière de génération de textes.
Une fois cela fait, il ne reste plus qu'à saisir une phrase ou un thème dans la barre de recherche et Auto GPT se chargera de générer du contenu correspondant à votre requête. Il est important de noter que ces textes sont produits par une intelligence artificielle et peuvent donc nécessiter quelques modifications en fonction de vos besoins spécifiques.