La technologie du long texte devient la nouvelle norme pour les grands modèles, que signifie une augmentation de 100 fois de la longueur du contexte ?

La longueur du contexte des grands modèles augmente à une vitesse incroyable, passant de 4000 tokens à 400 000 tokens. La capacité à traiter de longs textes semble être devenue la nouvelle "norme" pour les fournisseurs de grands modèles.

À l'étranger, OpenAI a augmenté la longueur du contexte de GPT-4 à 32 000 tokens grâce à plusieurs mises à jour. Anthropic a quant à lui étendu la longueur de contexte de son modèle Claude à 100 000 tokens. LongLLaMA a même porté ce chiffre à 256 000 tokens.

Le pays ne se laisse pas faire non plus. Selon les informations, la startup Mois de l'Obscurité a lancé Kimi Chat, qui peut prendre en charge l'entrée d'environ 400 000 tokens. La technologie LongLoRA, développée conjointement par l'Université Chinoise de Hong Kong et le MIT, peut étendre la longueur du texte d'un modèle de 70B à 32 000 tokens.

Actuellement, de nombreuses entreprises de modèles de grande taille de premier plan, y compris OpenAI, Anthropic, Meta et Moon's Dark Side, mettent l'accent sur l'expansion de la longueur du contexte comme point de mise à niveau. Aucune de ces entreprises n'échappe à l'attention du marché des capitaux. Par exemple, OpenAI a reçu près de 12 milliards de dollars d'investissements ; la valorisation d'Anthropic devrait atteindre 30 milliards de dollars ; Moon's Dark Side a complété deux tours de financement totalisant près de 2 milliards de yuans en seulement six mois.

Pourquoi les entreprises de grands modèles accordent-elles une si grande importance à la technologie des longs textes, que signifie réellement l'augmentation de la longueur du contexte par un facteur de 100 ?

En apparence, cela signifie que la quantité de texte que le modèle peut traiter a considérablement augmenté. Le Kimi Chat de 400 000 tokens peut déjà lire un roman entier. Mais la signification plus profonde réside dans le fait que la technologie des longs textes est en train de propulser l'application des grands modèles dans des domaines spécialisés tels que la finance, la justice et la recherche.

Cependant, la longueur du texte n'est pas nécessairement meilleure si elle est plus longue. Des études montrent que le soutien des modèles pour des entrées de contexte plus longues ne se traduit pas simplement par une amélioration des performances. La clé réside dans la manière dont le modèle utilise efficacement le contenu du contexte.

Actuellement, l'exploration de la longueur des textes dans l'industrie n'a pas encore atteint le "point critique". 400 000 tokens n'est peut-être qu'un début.

Le fondateur de l'ombre de la lune, Yang Zhilin, a déclaré que la technologie des longs textes peut résoudre certains problèmes précoces des grands modèles, améliorer certaines fonctionnalités, et est également une technologie clé pour faire progresser l'application industrielle. Cela marque l'entrée du développement des grands modèles dans une nouvelle phase, passant de LLM à Long LLM.

La percée de la technologie des longs textes a apporté une série de nouvelles fonctionnalités, telles que l'extraction des informations clés des longs textes, l'analyse de résumé, la génération de code complexe, ainsi que des dialogues de jeu de rôle personnalisés. Ces fonctionnalités poussent les chatbots vers une évolution spécialisée, personnalisée et approfondie.

Cependant, la technologie des longs textes est également confrontée au dilemme du "triangle impossible" : il est difficile de concilier la longueur du texte, l'attention et la puissance de calcul. Le principal défi provient du mécanisme d'auto-attention dans la structure Transformer, dont la charge de calcul augmente de manière exponentielle avec la longueur du contexte.

Il existe actuellement trois solutions principales : utiliser des outils externes pour aider au traitement, optimiser le calcul du mécanisme d'attention, et optimiser le modèle lui-même. Chaque solution a ses avantages et ses inconvénients, et l'essentiel est de trouver le meilleur compromis entre la longueur du texte, l'attention et la puissance de calcul.

Bien que la technologie des longs textes soit encore confrontée à de nombreux défis, elle constitue sans aucun doute une étape importante vers l'industrialisation des grands modèles. À l'avenir, avec les percées technologiques, nous pouvons nous attendre à voir davantage d'applications innovantes basées sur la technologie des longs textes.