Des dizaines d'entreprises à travers le monde tentent aujourd'hui de reproduire le succès du modèle linguistique ChatGPT. Des développeurs de l'université de Stanford ont toutefois réussi à le faire à leur manière.
Ils ont créé Alpaca 7B, qui fonctionne comme ChatGPT, mais qui est basé sur un modèle de langage libre. Son entraînement ne coûte que 600 dollars, alors que ChatGPT vaut des millions de dollars.
Il est basé sur le modèle Meta LLaMA 7B, qui a été entraîné d'une certaine manière. Il est important de noter qu'il s'agit du plus petit modèle de la série LLaMA. Dans la version de base, il était à la traîne de ChatGPT dans la plupart des tâches, mais après l'entraînement nécessaire, il l'a même surpassé.
Lors des tests portant sur des tâches impliquant le courrier électronique, les médias sociaux et les outils de performance, Alpaca a remporté 90 de ces tests, et GPT 89.
"Nous avons été surpris par ce résultat, compte tenu de la petite taille du modèle et de la quantité modeste de données nécessaires à l'exécution des instructions. Outre cet ensemble d'évaluations statiques, nous avons également testé Alpaca de manière interactive et nous avons constaté qu'il se comportait souvent de manière similaire à GPT-3.5 sur diverses entrées. Nous reconnaissons que notre évaluation peut être limitée en termes de portée et de variété", ont déclaré les développeurs.
Cela dit, nous notons que de tels réseaux neuronaux peuvent être exécutés sur des PC ordinaires ou même sur des systèmes à carte unique comme le Raspberry Pi.
2023-03-21 07:00:44
Auteur: Vitalii Babkin
URL source