In generale, nel 2023, ci sono state poche modifiche nella mia mente, ma ci sono state maggiori cambiamenti nella mia vita.

Per riassumere, selezionerò alcuni settori LLM su cui ho dedicato tempo nel 2023 e scriverò alcune previsioni per l'anno a venire (o forse per i prossimi cinque anni) basate sull'intuizione.

Le previsioni del 2022 riguardanti blockchain e Defi erano corrette al 50%, quelle riguardanti le politiche di prevenzione delle epidemie in Cina erano corrette all'80%, mentre quelle riguardanti la sicurezza delle informazioni erano corrette al 40%.

L'impatto dei grandi modelli di linguaggio

• Potrebbero emergere framework open source migliori di langchain: attualmente langchain ha molti bug, una gestione piuttosto caotica e un'astrazione del codice insoddisfacente. Quando openai introdurrà nuove funzionalità e API nella prossima iterazione, potrebbero comparire framework più competitivi.
• AWS inizia a offrire API economiche come openai (azure): attualmente sagemaker offre il rilascio di grandi modelli di linguaggio come llama2, servendo piccole e medie imprese. Tuttavia, la maggior parte degli utenti non ha bisogno di finetune, ma di API più economiche. Attualmente, l'80% delle startup utilizza RAG e ciò di cui hanno maggiormente bisogno sono le API.
• L'integrazione tra compilatori e grandi modelli di linguaggio: presto ci renderemo conto che è giunto il momento di aggiornare l'intera catena di strumenti, non solo limitandoci a completare il codice a livello di applicazione come copilot. I grandi modelli di linguaggio saranno in grado di gestire meglio gli errori e le segnalazioni del compilatore, eliminando la necessità di copiare e incollare i messaggi di errore su chatgpt.
• Ristrutturazione dei prodotti di creazione di strumenti: presto si raggiungerà un consenso sul fatto che aggiungere una semplice funzione di chat AI a uno strumento esistente non sia sufficiente. Sarà necessario ristrutturare l'interazione dell'intero prodotto secondo la logica dell'IA. La parte più cruciale dell'interazione nella creazione è: creare, osservare, utilizzare gli strumenti per creare nuovamente, osservare nuovamente, regolare nuovamente. Questo tipo di interazione non può essere completato con una semplice conversazione. La combinazione di NUI e GUI potrebbe non essere sufficiente, sarà necessario approfondire le abitudini umane per creare strumenti migliori.
• Risultati di ricerca dei motori di ricerca più accurati: i grandi modelli di linguaggio saranno in grado di etichettare video, immagini, file audio e altri tipi di file. Saranno in grado di comprendere meglio il significato semantico, quindi i risultati di ricerca potrebbero essere più accurati.
• Emergere di crawler basati su grandi modelli di linguaggio maturi: verrà sviluppato uno strumento di crawling di livello scrapy basato su grandi modelli di linguaggio per l'estrazione di informazioni e ci saranno aziende emergenti corrispondenti.

Sicurezza delle informazioni e privacy

• Aumento delle preoccupazioni sulla privacy e sui diritti d'autore: l'uso su larga scala dell'intelligenza artificiale porterà inevitabilmente le aziende a comprendere l'importanza dei dati. Una volta raccolti, i dati sono facilmente esposti a rischi di violazione e abuso.
• Emergere e consolidarsi di framework di attacco di iniezione di prompt: con l'integrazione di LLM e vari servizi, inizierà a diffondersi l'iniezione di prompt, un principio di attacco simile a xss e sql injection.
• Aumento della frequenza di incidenti significativi sui server cloud: nell'attuale struttura centralizzata di Internet, i servizi cloud si stanno concentrando sempre di più in poche aziende. Le linee di prodotti di queste aziende stanno diventando sempre più complesse e, in un contesto di sovrapposizione di servizi, i servizi centrali stanno diventando sempre più complessi. Nei prossimi anni, non sarà sorprendente sentire notizie di grandi interruzioni di servizio da parte di AWS.
• LLM sarà applicato alle soluzioni di sicurezza per l'iniezione di simboli: invece di scrivere regole per i filtri XSS, è meglio inviare una richiesta all'API di OpenAI per verificare la presenza di stringhe di iniezione. Potrebbe richiedere più tempo per ottenere una risposta dall'API di OpenAI, ma possiamo addestrare un modello con una risposta più rapida e meno parametri.
• Sono emersi strumenti di test di penetrazione basati su LLM: il test di penetrazione ha una sequenza di processi e coinvolge fortemente le stringhe, quindi LLM è molto adatto per costruire un set di strumenti.

Politiche interne della Cina.

• L'uso dei grandi modelli di linguaggio per la moderazione dei contenuti: negli ultimi anni, gli ordini di sicurezza del governo hanno sostenuto molte aziende di riconoscimento facciale. In futuro, gli ordini governativi saranno importanti per la moderazione dei social media.
• Il numero di ordini nell'industria militare e della sicurezza è molto inferiore rispetto all'ultimo ciclo di chip e sicurezza: dopo l'eliminazione del personale dell'industria militare, sarà necessario un periodo di adeguamento del personale. L'adeguamento del personale e l'adeguamento delle politiche avvengono alla stessa frequenza, le politiche verranno modificate solo dopo l'adeguamento del personale, questo è un comportamento costante.
• Non ci saranno lavori rivoluzionari nel settore dei chip e dell'intelligenza artificiale: negli ultimi sessant'anni, sia nella ricerca scientifica che nel settore aziendale, ogni tre anni quasi tutti devono adattarsi a un nuovo ciclo politico, il che rende l'accumulo di competenze in qualsiasi direzione tecnologica molto debole, quindi le possibilità di lavori rivoluzionari sono molto scarse.
• Aumento degli investimenti speculativi: a causa dell'instabilità e dell'incoerenza delle politiche, tutti i calcoli degli investimenti avranno un periodo più breve, gli investimenti a lungo termine si ritireranno dalla Cina o si trasformeranno in speculazioni a breve termine.
• Aumento degli eventi di massa: a causa della situazione economica in declino e delle aspettative di una globalizzazione ridotta, le aziende prevedono di prendere decisioni per ridurre ulteriormente i costi del personale. I problemi accumulati in passato si diffonderanno gradualmente dal confine al nucleo e ci saranno sempre più eventi di massa, con una tensione crescente tra le varie componenti.

Heidegger dice che la poesia è il lato del pensiero (la poesia e il pensiero sono il modo di parlare del Dao, e sono il modo prominente di parlare del Dao). Scrivo una poesia banale per la mia vita banale, addio 2023!