Im Großen und Ganzen gab es nicht viele Veränderungen in meinem Gehirn im Jahr 2023, aber es gab größere Veränderungen im Leben.

Für meinen eigenen Rückblick werde ich einige Bereiche des LLM, in denen ich im Jahr 2023 Zeit investiert habe, intuitiv betrachten und Prognosen für das kommende Jahr (oder möglicherweise die nächsten fünf Jahre) aufschreiben.

Von meinen Prognosen für 2022 waren etwa 50% der Vorhersagen zu Blockchain und DeFi korrekt, etwa 80% der Vorhersagen zur chinesischen Epidemiepolitik korrekt und etwa 40% der Vorhersagen zur Informationssicherheit korrekt.

Auswirkungen von großen Sprachmodellen

• Es wird möglicherweise ein besseres Open-Source-Framework als Langchain geben: Langchain hat derzeit viele Fehler, eine eher chaotische Verwaltung und unzureichende Codeabstraktion. Bei der nächsten Iteration von OpenAI mit neuen Funktionen und APIs könnten wettbewerbsfähigere Frameworks auftauchen.
• AWS beginnt, wie OpenAI (Azure) kostengünstige APIs anzubieten: Sagemaker bietet derzeit Bereitstellungsmöglichkeiten für große Sprachmodelle wie Llama2, um kleine und mittlere Unternehmen zu bedienen. Allerdings benötigen die meisten Benutzer möglicherweise keine Feinabstimmung, sondern günstigere APIs. Aktuell nutzen 80% der Start-ups RAG, und das Wichtigste für sie sind APIs, nicht Feinabstimmung.
• Kombination von Compilern und großen Sprachmodellen: Die Leute werden allmählich erkennen, dass es an der Zeit ist, die gesamte Toolchain zu aktualisieren, nicht nur auf der Anwendungsebene wie bei Copilot, sondern auch bei der Fehlerbehebung und den Hinweisen des großen Sprachmodells für Compiler. In Zukunft müssen Sie Fehlermeldungen nicht mehr manuell an ChatGPT kopieren und einfügen.
• Neugestaltung von Kreativwerkzeugen: Bald werden wir uns einig sein, dass es nicht ausreicht, einer vorhandenen Tools eine KI-Chat-Funktion hinzuzufügen. Die gesamte Interaktion des Produkts muss nach den Prinzipien der KI neu gestaltet werden. Die wichtigsten Interaktionen beim kreativen Prozess sind: Kreation, Beobachtung, erneute Verwendung von Tools, erneute Kreation, erneute Beobachtung, erneute Anpassung. Diese Art der Interaktion kann nicht einfach durch eine einfache Konversation erreicht werden. Eine einfache Kombination von NUI und GUI ist nicht immer effektiv. Es erfordert eine tiefere Erforschung menschlicher Gewohnheiten, um bessere Werkzeuge zu entwickeln.
• Genauere Suchergebnisse von Suchmaschinen: Große Sprachmodelle können Videos, Bilder, Audiodateien usw. besser annotieren. Sie haben auch eine bessere semantische Verständnisfähigkeit, was zu genaueren Suchergebnissen führen kann.
• Erscheinen ausgereifter Webcrawler auf Basis großer Sprachmodelle: Es wird ein Webcrawler-Tool auf dem Niveau von Scrapy geben, das auf großen Sprachmodellen basiert und Informationen sammelt. Es werden auch entsprechende Start-ups entstehen.

Informationssicherheit und Privatsphäre

• Probleme mit Privatsphäre und Urheberrechten nehmen weiter zu: Der Einsatz von KI im großen Maßstab wird Unternehmen die Bedeutung von Daten bewusst machen. Sobald Daten gesammelt werden, besteht ein hohes Risiko für Datenlecks und Missbrauch.
• Erscheinen und Reife von Prompt-Injection-Angriffsframeworks: Mit der Kombination von LLM und verschiedenen Diensten wird Prompt-Injection, ähnlich wie XSS und SQL-Injection-Angriffe, populär.
• Häufigere Vorfälle von schwerwiegenden Störungen in Cloud-Servern: In der aktuellen zentralisierten Internetstruktur konzentrieren sich Cloud-Dienste immer mehr auf wenige Anbieter. Die Produktlinien dieser Anbieter werden ebenfalls immer komplexer. In den nächsten Jahren wird es früher oder später Nachrichten über groß angelegte Ausfälle bei AWS geben.
• Anwendung von LLM auf sicherheitsrelevante Lösungen wie Symbolinjektion: Anstatt viele Regeln für XSS-Filter zu schreiben, ist es effektiver, OpenAI-APIs zu verwenden, um zu überprüfen, ob eine Zeichenkette injiziert wird. Die Antwortzeit der OpenAI-API mag zwar langsam sein, aber wir können ein Modell mit schnellerer Reaktionszeit und weniger Modellparametern vollständig trainieren.
• Erscheinen von LLM-basierten Penetrationstest-Tools: Der Penetrationstest ist ein Prozess mit einer bestimmten Reihenfolge und hängt stark von Inhalten und Zeichenketten ab. Es eignet sich daher sehr gut, um mit LLM ein Toolset aufzubauen.

Inlandsrichtlinien in China

• Einsatz großer Sprachmodelle zur Inhaltsüberprüfung: In den letzten Jahren haben Regierungsaufträge im Bereich der Sicherheit viele Unternehmen unterstützt, die sich mit Gesichtserkennung befassen. In Zukunft werden Regierungsaufträge auch für die Überprüfung von sozialen Medieninhalten wichtig sein.
• Bestellungen im Militär- und Sicherheitsbereich sind im Vergleich zur vorherigen Chip- und Sicherheitsrunde deutlich geringer: Nach der Aufräumaktion im Militärbereich bedarf es entsprechender Zeit für personelle Anpassungen. Personelle und politische Anpassungen erfolgen in der gleichen Frequenz. Erst nach Abschluss der personellen Anpassungen erfolgt die politische Anpassung. Dies ist ein gängiges Verhaltensmuster.
• Es wird keine bahnbrechende Arbeit in den Bereichen Chips und künstliche Intelligenz geben: In den letzten sechzig Jahren, von der Forschung bis zur Unternehmenswelt, von Chen Bodas bis zu Xiao Yaqings, wechseln fast alle Menschen alle drei Jahre im Einklang mit den politischen Richtlinien. Dies führt dazu, dass die Akkumulation in jeder technischen Richtung relativ schwach ist. Daher ist die Möglichkeit, bahnbrechende Arbeit zu leisten, sehr gering.
• Spekulative Investitionen nehmen stark zu: Aufgrund der instabilen und inkonsistenten Politik verkürzt sich der Investitionszyklus. Langfristige Investitionen werden entweder aus China abgezogen oder in kurzfristige Spekulationen umgewandelt.
• Zunahme von Massenereignissen: Aufgrund der anhaltenden wirtschaftlichen Abwärtsentwicklung aufgrund der De-Globalisierung werden Unternehmen voraussichtlich weitere Entscheidungen zur Kostensenkung treffen. Probleme, die sich bisher an den Grenzen angesammelt haben, breiten sich allmählich bis ins Zentrum aus. Es wird immer mehr Massenereignisse geben und die Spannungen zwischen den verschiedenen Komponenten werden zunehmen.

Heidegger sagte, dass Poesie die andere Seite des Denkens ist (Poesie und Denken sind eine Art des Sagens und eine herausragende Art des Sagens). Hier schreibe ich vulgär ein vulgäres Gedicht für mein vulgäres Leben. Auf Wiedersehen, 2023!