En general, no hubo muchos cambios en mi mente en 2023, pero sí hubo cambios significativos en mi vida.

Para resumir, elegiré algunas áreas de LLM en las que invertí tiempo en 2023 y escribiré predicciones para el próximo año (o quizás los próximos cinco años) basadas en mi intuición.

De mis predicciones para 2022, alrededor del 50% de las predicciones sobre blockchain y DeFi fueron correctas, alrededor del 80% de las predicciones sobre las políticas de prevención de epidemias en China fueron correctas y alrededor del 40% de las predicciones sobre seguridad de la información fueron correctas.

El impacto de los grandes modelos de lenguaje.

• RAG促使出现比langchain 更好的开源框架：langchain 现在很多bug，管理也比较混乱，代码抽象也不令人满意。openai 下一次迭代新的功能和API的时候，可能会有更有竞争力的框架出现。
• AWS comienza a ofrecer API asequibles al igual que OpenAI (Azure): actualmente, SageMaker ofrece implementaciones de grandes modelos de lenguaje como Llama2 para servir a pequeñas y medianas empresas, pero muchos usuarios necesitan API más económicas. Actualmente, el 80% de las empresas emergentes utilizan RAG, y lo que más necesitan son API, no ajustes finos.
• La combinación de compiladores y grandes modelos de lenguaje: gradualmente, todos nos daremos cuenta de que es hora de actualizar toda la cadena de herramientas, no solo en términos de completar código en la capa de aplicaciones como Copilot, sino también en términos de manejo de errores y sugerencias por parte de los grandes modelos de lenguaje en los compiladores. En el futuro, no tendrás que copiar y pegar mensajes de error para ChatGPT.
• 比copilot更好的创作工具产品重构：很快大家会达成共识，仅仅在某个原有的工具上增加一个AI chat的功能是不够的，不得不按照AI的逻辑来重构整个产品的交互。我看到的创作交互的部分最核心的交互是：创作，观察，使用工具再次创作，再次观察，再次调整。这种交互并不是一个简单的交谈就可以完成的。简单的NUI和GUI的结合并不一定奏效，必然是更加深入地挖掘人类的习惯，做出更好的工具。
• Resultados de búsqueda en motores de búsqueda más precisos: los grandes modelos de lenguaje pueden etiquetar archivos de video, imágenes, audio, etc. de manera más precisa. También tienen una mejor comprensión semántica, lo que puede llevar a resultados de búsqueda más precisos.
• Aparición de rastreadores basados en grandes modelos de lenguaje maduros: surgirá una herramienta de rastreo de nivel Scrapy que se basa en grandes modelos de lenguaje como su núcleo para la extracción de información, y también habrá empresas emergentes correspondientes.

Seguridad de la información y privacidad.

• El problema de la privacidad y los derechos de autor se intensificará: el uso a gran escala de la inteligencia artificial hará que las empresas se den cuenta de la importancia de los datos. Una vez que se recopilan los datos, es fácil que se filtren y se utilicen de manera indebida.
• Aparición y madurez de marcos de ataque de inyección de prompt: con la combinación de LLM y varios servicios, comenzará a ser popular un marco de ataque de inyección de prompt similar a los principios de ataque de XSS y SQL injection.
• Continuará aumentando la frecuencia de los grandes incidentes en los servidores en la nube: en la estructura centralizada actual de Internet, los servicios en la nube se están concentrando cada vez más en unas pocas empresas. Las líneas de productos de estas empresas también se están volviendo cada vez más complejas, lo que lleva a una mayor complejidad en los servicios principales. En los próximos años, tarde o temprano escucharemos noticias sobre grandes apagones de AWS.
• Se aplicarán soluciones de seguridad basadas en grandes modelos de lenguaje a problemas de inyección de símbolos: en lugar de escribir muchas reglas para los filtros XSS, es mejor enviarlas a la API de OpenAI para que las revise en busca de cadenas de inyección. Es posible que la API de OpenAI tenga una respuesta lenta, pero podemos entrenar completamente un modelo con una respuesta rápida y menos parámetros.
• Aparece una herramienta de pruebas de penetración centrada en LLM: Las pruebas de penetración tienen un cierto orden de procesos y están altamente relacionadas con el contenido y las cadenas de caracteres, por lo que son muy adecuadas para construir una herramienta basada en LLM.

Políticas internas de China.

• Aplicación de modelos de lenguaje grandes en la revisión de contenido: En los últimos años, los pedidos de seguridad del gobierno han mantenido a flote a muchas empresas de reconocimiento facial. En el futuro, los pedidos gubernamentales serán importantes en la auditoría de redes sociales.
• La cantidad de pedidos en la industria militar y de seguridad es mucho menor que en la última ronda de chips y seguridad: Después de la limpieza y la investigación en la industria militar, se necesita tiempo para ajustar el personal correspondiente. Los ajustes de personal y los ajustes de políticas ocurren con la misma frecuencia. Las políticas se ajustarán después de que finalicen los ajustes de personal, esto es un comportamiento consistente.
• No habrá trabajos innovadores en chips, inteligencia artificial, etc.: En los últimos sesenta años, desde la investigación científica hasta el mundo empresarial, desde Chen Bodai hasta Xiao Yaqing, casi todas las personas deben seguir un ciclo de políticas cada tres años, lo que resulta en una acumulación débil en cualquier dirección tecnológica. Por lo tanto, la posibilidad de trabajos innovadores es muy pequeña.
• Aumento significativo de inversiones especulativas: Debido a la inestabilidad e incoherencia de las políticas, todos los cálculos de inversión se acortarán. Las inversiones a largo plazo se retirarán de China o se convertirán en inversiones especulativas a corto plazo.
• Aumento de eventos colectivos: Dado que la situación económica a la baja causada por la desglobalización no ha cambiado, las empresas esperan tomar decisiones para reducir aún más los costos laborales. Los problemas acumulados en el pasado se están extendiendo gradualmente desde las regiones fronterizas hacia el núcleo, lo que resultará en un aumento de eventos colectivos y una mayor tensión entre las diferentes partes.

Heidegger dijo que la poesía es el otro lado del pensamiento (la poesía y el pensamiento son una forma de hablar, y además, una forma destacada de hablar). Permíteme escribir un poema vulgar para mi vida vulgar, adiós, 2023.