In generale, nel 2023, ci sono state poche modifiche nella mia mente, ma ci sono state maggiori cambiamenti nella mia vita.

Per riassumere, selezionerò alcuni settori LLM su cui ho dedicato tempo nel 2023 e scriverò alcune previsioni per l'anno a venire (o forse per i prossimi cinque anni) basate sull'intuizione.

Le previsioni del 2022 riguardanti blockchain e Defi erano corrette al 50%, quelle riguardanti le politiche di prevenzione delle epidemie in Cina erano corrette all'80%, mentre quelle riguardanti la sicurezza delle informazioni erano corrette al 40%.

L'impatto dei grandi modelli di linguaggio

• RAG促使出现比langchain 更好的开源框架：langchain 现在很多bug，管理也比较混乱，代码抽象也不令人满意。openai 下一次迭代新的功能和API的时候，可能会有更有竞争力的框架出现。
• AWS inizia a offrire API economiche come openai (azure): attualmente sagemaker offre il rilascio di grandi modelli di linguaggio come llama2, servendo piccole e medie imprese. Tuttavia, la maggior parte degli utenti non ha bisogno di finetune, ma di API più economiche. Attualmente, l'80% delle startup utilizza RAG e ciò di cui hanno maggiormente bisogno sono le API.
• L'integrazione tra compilatori e grandi modelli di linguaggio: presto ci renderemo conto che è giunto il momento di aggiornare l'intera catena di strumenti, non solo limitandoci a completare il codice a livello di applicazione come copilot. I grandi modelli di linguaggio saranno in grado di gestire meglio gli errori e le segnalazioni del compilatore, eliminando la necessità di copiare e incollare i messaggi di errore su chatgpt.
• 比copilot更好的创作工具产品重构：很快大家会达成共识，仅仅在某个原有的工具上增加一个AI chat的功能是不够的，不得不按照AI的逻辑来重构整个产品的交互。我看到的创作交互的部分最核心的交互是：创作，观察，使用工具再次创作，再次观察，再次调整。这种交互并不是一个简单的交谈就可以完成的。简单的NUI和GUI的结合并不一定奏效，必然是更加深入地挖掘人类的习惯，做出更好的工具。
• Risultati di ricerca dei motori di ricerca più accurati: i grandi modelli di linguaggio saranno in grado di etichettare video, immagini, file audio e altri tipi di file. Saranno in grado di comprendere meglio il significato semantico, quindi i risultati di ricerca potrebbero essere più accurati.
• Emergere di crawler basati su grandi modelli di linguaggio maturi: verrà sviluppato uno strumento di crawling di livello scrapy basato su grandi modelli di linguaggio per l'estrazione di informazioni e ci saranno aziende emergenti corrispondenti.

Sicurezza delle informazioni e privacy

• Aumento delle preoccupazioni sulla privacy e sui diritti d'autore: l'uso su larga scala dell'intelligenza artificiale porterà inevitabilmente le aziende a comprendere l'importanza dei dati. Una volta raccolti, i dati sono facilmente esposti a rischi di violazione e abuso.
• Emergere e consolidarsi di framework di attacco di iniezione di prompt: con l'integrazione di LLM e vari servizi, inizierà a diffondersi l'iniezione di prompt, un principio di attacco simile a xss e sql injection.
• Aumento della frequenza di incidenti significativi sui server cloud: nell'attuale struttura centralizzata di Internet, i servizi cloud si stanno concentrando sempre di più in poche aziende. Le linee di prodotti di queste aziende stanno diventando sempre più complesse e, in un contesto di sovrapposizione di servizi, i servizi centrali stanno diventando sempre più complessi. Nei prossimi anni, non sarà sorprendente sentire notizie di grandi interruzioni di servizio da parte di AWS.
• LLM sarà applicato alle soluzioni di sicurezza per l'iniezione di simboli: invece di scrivere regole per i filtri XSS, è meglio inviare una richiesta all'API di OpenAI per verificare la presenza di stringhe di iniezione. Potrebbe richiedere più tempo per ottenere una risposta dall'API di OpenAI, ma possiamo addestrare un modello con una risposta più rapida e meno parametri.
• Sono emersi strumenti di test di penetrazione basati su LLM: il test di penetrazione ha una sequenza di processi e coinvolge fortemente le stringhe, quindi LLM è molto adatto per costruire un set di strumenti.

Politiche interne della Cina.

• L'uso dei grandi modelli di linguaggio per la moderazione dei contenuti: negli ultimi anni, gli ordini di sicurezza del governo hanno sostenuto molte aziende di riconoscimento facciale. In futuro, gli ordini governativi saranno importanti per la moderazione dei social media.
• Il numero di ordini nell'industria militare e della sicurezza è molto inferiore rispetto all'ultimo ciclo di chip e sicurezza: dopo l'eliminazione del personale dell'industria militare, sarà necessario un periodo di adeguamento del personale. L'adeguamento del personale e l'adeguamento delle politiche avvengono alla stessa frequenza, le politiche verranno modificate solo dopo l'adeguamento del personale, questo è un comportamento costante.
• Non ci saranno lavori rivoluzionari nel settore dei chip e dell'intelligenza artificiale: negli ultimi sessant'anni, sia nella ricerca scientifica che nel settore aziendale, ogni tre anni quasi tutti devono adattarsi a un nuovo ciclo politico, il che rende l'accumulo di competenze in qualsiasi direzione tecnologica molto debole, quindi le possibilità di lavori rivoluzionari sono molto scarse.
• Aumento degli investimenti speculativi: a causa dell'instabilità e dell'incoerenza delle politiche, tutti i calcoli degli investimenti avranno un periodo più breve, gli investimenti a lungo termine si ritireranno dalla Cina o si trasformeranno in speculazioni a breve termine.
• Aumento degli eventi di massa: a causa della situazione economica in declino e delle aspettative di una globalizzazione ridotta, le aziende prevedono di prendere decisioni per ridurre ulteriormente i costi del personale. I problemi accumulati in passato si diffonderanno gradualmente dal confine al nucleo e ci saranno sempre più eventi di massa, con una tensione crescente tra le varie componenti.

Heidegger dice che la poesia è il lato del pensiero (la poesia e il pensiero sono il modo di parlare del Dao, e sono il modo prominente di parlare del Dao). Scrivo una poesia banale per la mia vita banale, addio 2023!