La fenêtre contextuelle est la limite de texte (mots, phrases, ou caractères) que le modèle de langage peut "voir" ou prendre en compte lorsqu'il génère une réponse. Cette limite est déterminée par la capacité de mémoire et de traitement du modèle.
Limité à 8 K pour la version gratuite ChatGPT 3.5 Augmentée à 32 à partir de la version ChatGPT Plus 4.0
Explication : Dans les modèles de traitement du langage naturel comme ChatGPT, la fenêtre contextuelle détermine la quantité d'informations passées (comme les questions précédentes et les réponses) que le modèle peut utiliser pour comprendre et répondre à une nouvelle question. Si la fenêtre contextuelle est trop petite, le modèle peut perdre des informations importantes et donc ne pas comprendre le contexte complet, ce qui affecte la pertinence de sa réponse.
Démonstration avec comparaison : Imaginons deux scénarios :
Fenêtre contextuelle standard : Supposons une limite de 2048 tokens (mots ou morceaux de mots). Si vous avez une conversation longue, le modèle ne se souviendra que des 2048 derniers tokens. Les informations antérieures à ces tokens seront "oubliées". Cela peut être un problème si la conversation nécessite de se référer à des informations plus anciennes.
Fenêtre contextuelle étendue à 32K dans ChatGPT Plus : Ici, le modèle peut se rappeler jusqu'à 32 000 tokens. Cela signifie que, dans une longue conversation, il peut se référer à des informations beaucoup plus anciennes sans les "oublier". Cela permet une meilleure compréhension du contexte global et des réponses plus précises et cohérentes sur de longues sessions.
Exemple :
Conversation avec fenêtre contextuelle standard :
Utilisateur : "Quels sont les meilleurs romans de science-fiction ?"
ChatGPT : "Des romans comme 'Dune' de Frank Herbert et 'Fondation' d'Isaac Asimov sont très appréciés."
[Conversation continue avec plusieurs autres sujets]
Utilisateur, plus tard : "Qui en est l'auteur ?"
ChatGPT : "Pouvez-vous préciser à quel roman vous faites référence ?"
Conversation avec fenêtre contextuelle étendue (ChatGPT Plus) :
Même début de conversation.
[Conversation continue avec plusieurs autres sujets]
Utilisateur, plus tard : "Qui en est l'auteur ?"
ChatGPT : "Si vous faites référence à 'Dune', l'auteur est Frank Herbert."
Dans le second cas, grâce à la fenêtre contextuelle plus grande, ChatGPT peut maintenir le contexte sur une plus longue période, permettant ainsi une conversation plus fluide et contextuellement cohérente.
