En général, il y a eu peu de changements dans mon esprit en 2023, mais il y a eu plus de changements dans ma vie.

Pour faire un bilan, je vais choisir quelques domaines du LLM sur lesquels j'ai passé du temps en 2023 et écrire des prévisions pour l'année à venir (ou peut-être les cinq prochaines années) en me basant sur mon intuition.

Parmi les prévisions de 2022, environ 50% des prévisions concernant la blockchain et la DeFi étaient correctes, environ 80% des prévisions concernant les politiques de prévention des épidémies en Chine étaient correctes, et environ 40% des prévisions concernant la sécurité de l'information étaient correctes.

L'impact des grands modèles linguistiques

• Un meilleur framework open source que Langchain apparaît : Langchain a actuellement de nombreux bugs, une gestion assez chaotique et des abstractions de code insatisfaisantes. Lorsque OpenAI lancera de nouvelles fonctionnalités et API lors de la prochaine itération, il est possible qu'un framework plus compétitif apparaisse.
• AWS commence à proposer des API à bas prix comme OpenAI (Azure) : Sagemaker propose actuellement le déploiement de grands modèles linguistiques tels que Llama2 pour les petites et moyennes entreprises, mais de nombreux utilisateurs ont besoin d'API moins chères plutôt que de finetuning. Actuellement, 80% des startups utilisent RAG, et ce dont elles ont le plus besoin, ce sont des API.
• Combinaison des compilateurs et des grands modèles linguistiques : Les gens commenceront à prendre conscience qu'il est temps de mettre à jour l'ensemble de la chaîne d'outils, et pas seulement des complétions de code comme Copilot au niveau de l'application. Les grands modèles linguistiques seront meilleurs pour gérer les erreurs et les suggestions dans les compilateurs, vous n'aurez plus besoin de copier-coller les messages d'erreur pour les donner à ChatGPT.
• Refonte des outils de création : Il ne suffit plus d'ajouter simplement une fonctionnalité de chat IA à un outil existant. Il faut repenser toute l'interaction du produit selon la logique de l'IA. Dans la partie centrale de l'interaction de création que j'ai observée, il y a : création, observation, utilisation d'outils pour créer à nouveau, observation à nouveau, ajustement à nouveau. Ce type d'interaction ne peut pas être réalisé simplement par une conversation. La combinaison simple de NUI et de GUI ne fonctionnera pas nécessairement, il faudra creuser plus profondément dans les habitudes humaines pour créer de meilleurs outils.
• Des résultats de recherche plus précis pour les moteurs de recherche : Les grands modèles linguistiques peuvent annoter des vidéos, des images, des fichiers audio, etc. Ils comprennent également mieux la sémantique, ce qui permettra d'obtenir des résultats de recherche plus précis.
• Apparition de crawlers basés sur des grands modèles linguistiques matures : Un outil de crawling de niveau Scrapy apparaîtra, avec un grand modèle linguistique comme base pour l'extraction d'informations. Des startups correspondantes apparaîtront également.

Sécurité de l'information et confidentialité

• Les problèmes de confidentialité et de droits d'auteur deviennent de plus en plus importants : L'utilisation à grande échelle de l'intelligence artificielle amènera les entreprises à prendre conscience de l'importance des données. Une fois que les données sont collectées, elles sont faciles à divulguer et à utiliser de manière abusive.
• Apparition et maturité des frameworks d'attaque par injection de prompt : Avec la combinaison du LLM et de divers services, l'injection de prompt, qui fonctionne selon des principes similaires aux attaques XSS et SQL injection, commence à devenir populaire.
• Augmentation de la fréquence des incidents majeurs sur les serveurs cloud : Dans l'infrastructure centralisée actuelle d'Internet, les services cloud se concentrent de plus en plus entre les mains de quelques fournisseurs. Les lignes de produits de ces fournisseurs deviennent également de plus en plus complexes, et avec une accumulation de couches, les services centraux deviennent de plus en plus complexes. Au cours des prochaines années, il est inévitable que nous entendions parler d'une panne majeure d'AWS.
• L'utilisation du LLM dans des solutions de sécurité basées sur l'injection de symboles : Peu importe le nombre de règles que l'on écrit pour les filtres XSS, il est plus efficace de les soumettre à l'API d'OpenAI pour vérifier s'il y a des chaînes d'injection. Bien que l'API d'OpenAI puisse être lente, nous pouvons tout à fait entraîner un modèle plus rapide avec moins de paramètres.
• Apparition d'outils de test de pénétration centrés sur LLM : Le test de pénétration, qui suit un certain ordre de processus et traite de contenus hautement liés aux chaînes de caractères, est très adapté pour construire un ensemble d'outils basés sur LLM.

Politiques intérieures de la Chine.

• Application des grands modèles linguistiques à la censure de contenu : Au cours des dernières années, les commandes de sécurité gouvernementales ont soutenu de nombreuses entreprises de reconnaissance faciale. À l'avenir, les commandes gouvernementales seront importantes dans le domaine de la vérification des médias sociaux.
• Les commandes dans l'industrie militaire et de la sécurité sont beaucoup moins nombreuses que dans le domaine des puces et de la sécurité : Après la purge des personnes liées à l'industrie militaire, il faut du temps pour effectuer les ajustements nécessaires au niveau du personnel. Les ajustements du personnel et les ajustements des politiques se font à la même fréquence. Les politiques ne sont ajustées qu'après la fin des ajustements du personnel, c'est un modèle de comportement constant.
• Il n'y aura pas de travaux révolutionnaires dans les domaines des puces et de l'intelligence artificielle : Au cours des soixante dernières années, que ce soit dans la recherche scientifique ou dans le monde des entreprises, tous les trois ans, presque tout le monde doit suivre un cycle de transition en fonction des politiques, ce qui entraîne une accumulation relativement faible dans tous les domaines technologiques. Par conséquent, les possibilités de travaux révolutionnaires sont très minces.
• Augmentation significative des investissements spéculatifs : En raison de l'instabilité et de l'incohérence des politiques, tous les calculs d'investissement auront des cycles plus courts. Les investissements à long terme se retireront de la Chine ou se transformeront en investissements spéculatifs à court terme.
• Augmentation des événements de masse : En raison de la situation économique actuelle et des attentes de la démondialisation, les entreprises prévoient de prendre des décisions supplémentaires pour réduire les coûts de main-d'œuvre. Les problèmes accumulés dans le passé se propageront progressivement du bord vers le cœur, entraînant une augmentation des événements de masse et une tension croissante entre les différentes parties prenantes.

Heidegger dit que la poésie est l'autre face de la réflexion (la poésie et la pensée sont une manière de parler de la voie, et c'est une manière remarquable de parler de la voie). Je vais écrire un poème vulgaire pour ma vie vulgaire. Au revoir, 2023 !