L’apprentissage préalable, supervisé ou pas, s’effectue en entraînant les réseaux de neurones à fournir la réponse adaptée à l’objectif assigné à partir d’un très grand ensemble de données (textes, images, etc.) dont la taille peut dépasser plusieurs centaines de giga-octets.

Les IA dites génératives, telles que ChatGPT ou Midjourney, sont basées sur des réseaux de neurones artificiels, qui sont des modèles informatiques inspirés du cerveau humain. Ces réseaux de neurones sont entraînés à fournir, via une analyse prédictive, un résultat répondant à un objectif simple, par exemple déterminer quel sera le prochain mot le plus probable complétant le début d’une phrase.

Afin d’éviter les phénomènes de biais pouvant fausser la prédiction, les données doivent être préalablement soigneusement sélectionnées, organisées et nettoyées.

Les algorithmes d’apprentissage utilisés par les réseaux de neurones des IA prédictives reposent généralement sur les grands modèles de langage ou LLM (Large Language Model) qui font intervenir plusieurs centaines de milliards de paramètres. Ces derniers sont réglés progressivement durant la phase d’apprentissage afin de faire converger la réponse prédite par l’IA vers celle attendue.
Une fois la phase d’apprentissage achevée, les IA génératives peuvent créer des contenus similaires aux données utilisées lors de leur entraînement avec un certain niveau de nouveauté, donnant l’illusion d’un comportement humain.