Terme IA

Explication : Dans les modèles de traitement du langage naturel comme ChatGPT, la fenêtre contextuelle détermine la quantité d'informations passées (comme les questions précédentes et les réponses) que le modèle peut utiliser pour comprendre et répondre à une nouvelle question. Si la fenêtre contextuelle est trop petite, le modèle peut perdre des informations importantes et donc ne pas comprendre le contexte complet, ce qui affecte la pertinence de sa réponse.

Démonstration avec comparaison : Imaginons deux scénarios :

1. Fenêtre contextuelle standard : Supposons une limite de 2048 tokens (mots ou morceaux de mots). Si vous avez une conversation longue, le modèle ne se souviendra que des 2048 derniers tokens. Les informations antérieures à ces tokens seront "oubliées". Cela peut être un problème si la conversation nécessite de se référer à des informations plus anciennes.

2. Fenêtre contextuelle étendue à 32K dans ChatGPT Plus : Ici, le modèle peut se rappeler jusqu'à 32 000 tokens. Cela signifie que, dans une longue conversation, il peut se référer à des informations beaucoup plus anciennes sans les "oublier". Cela permet une meilleure compréhension du contexte global et des réponses plus précises et cohérentes sur de longues sessions.

Le "few-shot prompting" est une méthode qui consiste à donner à un modèle de langage comme GPT plusieurs exemples (shots) pour aider à informer le modèle sur la tâche spécifique à réaliser. Cela permet au modèle de mieux comprendre le contexte et l'objectif de la requête, même si celle-ci est complexe ou nuancée. Voici un exemple de "few-shot" prompting conçu pour un modèle de langage, où l'objectif est de transformer des phrases passives en phrases actives.

Prompt :
Transforme les phrases suivantes de la voix passive à la voix active :

1. Le livre a été lu par Marie.
2. Les cookies ont été faits par les enfants.
3. La chanson est chantée par l'artiste.

Réponses :
1.
2.
3.


Réponse attendue du modèle :
1. Marie a lu le livre.
2. Les enfants ont fait les cookies.
3. L'artiste chante la chanson.


Dans cet exemple de "few-shot" prompting, on fournit au modèle un format clair pour la tâche demandée : transformer des phrases de la voix passive à la voix active.

Les exemples sont directement suivis par des espaces pour les réponses, indiquant au modèle la structure attendue pour sa sortie.

Ce type d'instruction aide le modèle à comprendre non seulement le type de transformation linguistique souhaité, mais aussi le format dans lequel la réponse doit être formulée.

Le "finetuning", "Fine-tuning" ou ajustement fin en français, est une technique de machine learning qui consiste à prendre un modèle pré-entraîné sur une grande quantité de données (généralement dans une tâche générale ou un large domaine) et à le ré-entraîner (ou affiner) sur un ensemble de données plus petit spécifique à une tâche ou un domaine particulier. Cette approche permet de tirer parti des connaissances apprises par le modèle lors de son entraînement initial, ce qui peut améliorer significativement sa performance sur des tâches spécifiques avec relativement peu de données d'entraînement additionnelles.

Le freemium (mot-valise des mots anglais free : gratuit, et premium : prime) est une stratégie commerciale par laquelle on propose un produit ou le plus souvent un service gratuit, en libre accès, qui est destiné à attirer un grand nombre d’utilisateurs. On cherche ensuite à convertir ces utilisateurs en clients pour une version ou des services complémentaires premium du produit ou du service plus évolué, haut de gamme mais surtout payant.

Sources : Wikipédia