Data, Machine learning, SLMs et LLMs
Exemple de BloombergGPT, Walmart
Bonjour,
Si vous trouvez cette newsletter utile, vous pouvez vous abonner et la partager. N'hésitez pas à me faire part de vos questions et vos feedbacks. Merci !
Un aperçu sur l’évolution des LLMs
La première génération des LLMs comme GPT 1, BLOOM, BERT, et d’autres transformers, a la particularité d’être entraînée sur des mégas datas textuelles non étiquetées ou non annotées. La deuxième génération des LLMs est réentraînée sur la data annotée soit en utilisant un apprentissage renforcé avec un feedback humain ou un apprentissage supervisé classique. L’exemple le plus connu de cette deuxième génération est ChatGPT.
La différence entre Small Language Model (SLM) and Large Language Model (LLM)
La différence est en nombre de paramètres et qui se traduit par la possibilité d’effectuer des tâches complexes liées au traitement automatique du langage. Un LLM peut faire de la traduction automatique, de l’analyse des sentiments, de la classification, etc. Par contre, un SLM est spécifique à une tâche.
Dans les deux cas, la qualité de la data est essentielle dans l’apprentissage automatique (machine learning), c’est à dire qu’elle détermine la performance du modèle.
Bloomberg développe son propre BloombergGPTTM
Bloomberg exploite sa data sur la finance accumulée pendant 40 ans. BloombergGPT a non seulement pour objectif d’améliorer des processus liés au traitement automatique du langage comme l’analyse des sentiments, la classification, la reconnaissance des entités nommées, etc. mais aussi d’accéder aux entrailles de la data et de chercher des nouvelles opportunités business. Un bon exemple sur comment transformer la data en asset. BloombergGPT a été entraîné sur 50 milliards de paramètres. A titre de comparaison, gpt 2 a 1,5 milliard de paramètres. (source)
Un entreprise, qui détient une quantité considérable de data et qui augmente avec le temps comme Walmart, décide de se lance également dans l’IA générative. (source)
Merci de m’avoir lu.
N’hésiter pas à me faire un feedback ou me dire ce qui pourrait vous intéresser comme sujet.
A bientôt!
Sofia