Terme IA

La température est un paramètre utilisé lors de la génération de texte par les modèles de langage. 

Elle régule le degré d'incertitude ou de variabilité des prédictions. 

À une température proche de 0, le modèle tend à choisir les mots les plus probables. Cela donne des résultats plus déterministes et souvent plus cohérents. 

À l'inverse, une température élevée pousse le modèle à prendre des libertés, explorant des choix de mots plus inattendus, introduisant plus de variété dans les résultats.

Un token ou "jeton" représente une séquence de caractères courantes. 

Par exemple, la chaîne « tokenization » est décomposée en « token » et « ization », tandis qu’un mot court et courant comme « la » est représenté comme un seul jeton. Notez que dans une phrase, le premier jeton de chaque mot commence généralement par un espace.

En règle générale, 1 token ou 1  jeton correspond à environ 4 caractères ou 0,75 mot pour un texte anglais.


* une couleur = un token

Sources : OpenAI

Les "transformers" sont une architecture de modèle en intelligence artificielle, particulièrement influente et révolutionnaire dans le domaine du traitement du langage naturel (NLP). Leur relation avec les IA génératives de texte est directe et fondamentale, car ils constituent la base technique de certains des systèmes de génération de texte les plus avancés aujourd'hui.

Térawatt-heure est une unité de mesure d'énergie correspondant à 10 puissance 12 wattheures, le wattheure étant l'énergie consommée par un appareil d'une puissance d'un watt fonctionnant pendant une heure.