Il est possible de concevoir des IA sans dépenser des fortunes. La sortie de DeepSeek en janvier 2025 l’a prouvé. Et maintenant, des chercheurs de Stanford et de l’Université de Washington ont conçu une IA pour un coût modique de 50 $, qui est moins chère que ce qu’a fait OpenAI.
La société dirigée par Sam Altman a donc du mouron à se faire si de simples équipes ne possédant pas les mêmes capacités financières qu’elles arrivent à sortir une AI qui concurrence directement o1 de OpenAI. Voici ce qu’il en est.
S1, c’est quoi ?
S1-32B est un modèle de langage avancé en open-source axé sur les tâches de raisonnement. Ce qui le distingue des autres modèles d’IA, c’est son « test-time scaling ». C’est une technique qui lui permet d’itérer ses réponses en utilisant des ressources informatiques supplémentaires pendant les tests.
Puis, S1 concurrence directement le modèle de raisonnement o1 de OpenAI, car il génère des réponses aux invites en réfléchissant à des questions connexes. Cela lui permet également de vérifier ses propres réponses. Cette méthode diffère de l’approche traditionnelle qui repose uniquement sur l’entraînement préalable de grands modèles de langage.
Comment cette IA moins chère que celle de OpenAI a-t-elle été formée ?
Le modèle S1 a été conçu grâce à un ensemble de données de haute qualité nommé S1K. Cet agglomérat se compose de 1 000 questions soigneusement sélectionnées qui ont été choisies en fonction de leur difficulté, diversité et qualité.
Il est aussi composé de problèmes complexes en mathématiques, en raisonnement et en sciences. Puis, un autre aspect clé du développement du modèle est le fine-tuning supervisé (SFT) sur cet ensemble de données réduit.
Le SFT n’a nécessité que 26 minutes d’entraînement sur un processeur 16 GPU NVIDIA H100. Et malgré la petite taille de l’ensemble de données utilisé pour concevoir S1, cette IA moins chère que celle de OpenAI a atteint une grande précision de raisonnement. C’est aussi grâce à l’utilisation des connaissances intégrées dans un modèle de base pré-entraîné, le Qwen2.5-32B-Instruct.
Google a également servi d’exemple dans l’élaboration de S1
Pour suivre, S1 est également basé sur un modèle de langage prêt à l’emploi. En effet, il a été formé pour raisonner en étudiant des questions et réponses du modèle expérimental de pensée Flash Thinking de Google, Gemini 2.0.
Le modèle de Google montre le raisonnement derrière chaque processus de réponse. Cela a permis aux développeurs de S1 d’équiper leur modèle d’une quantité réduite de données d’entraînement. Ce sont justement les 1 000 questions sélectionnées avec leurs réponses. Ils ont essentiellement appris au modèle S1 à imiter le processus de pensée de Gemini.
S1, une IA modèle ?
La transparence et les contributions open-source dans le développement de l’IA ont contribué à la naissance de l’IA S1. De plus, son processus de développement est désormais disponible au public. Cela montre qu’il est parfaitement possible de fabriquer une IA moins chère que celle de OpenAI.
C’est pourquoi, les chercheurs espèrent davantage de collaborations et d’innovations dans ce domaine actuellement. Le défi reste de surmonter les limitations du test-time scaling, suggérant d’explorer des méthodes alternatives de contrainte budgétaire. Et il faut appliquer des techniques d’apprentissage par renforcement pour améliorer encore les capacités de raisonnement.
Restez toujours informé avec TECHNPLAY.COM !
Abonnez-vous à notre chaîne YouTube et suivez-nous sur Google Actualités pour ne rien rater.
- Partager l'article :
Au cœur de l'équipe TechNPlay, en tant que rédactrice en chef, je suis votre sentinelle dédiée à l'univers fascinant des montres connectées et des véhicules électriques. Etant donné que la technologie évolue à la vitesse de la lumière, ces petits bijoux technologiques suscitent mon admiration et ma curiosité. Chaque avancée...
