Em geral, houve poucas mudanças em minha mente em 2023, mas houve mudanças significativas na vida.

Para resumir, escolhi algumas áreas de LLM nas quais investi tempo em 2023 e escrevi previsões para o próximo ano (ou talvez para os próximos cinco anos) com base em minha intuição.

Das previsões feitas para 2022, cerca de 50% das previsões sobre blockchain e DeFi estavam corretas, cerca de 80% das previsões sobre as políticas de prevenção de epidemias na China estavam corretas e cerca de 40% das previsões sobre segurança da informação estavam corretas.

O impacto dos grandes modelos de linguagem

• Surgirão frameworks de código aberto melhores que o Langchain: O Langchain atualmente possui muitos bugs, uma gestão confusa e abstração de código insatisfatória. Quando a OpenAI lançar novas funcionalidades e APIs na próxima iteração, é possível que surjam frameworks mais competitivos.
• A AWS começará a oferecer APIs baratas, assim como a OpenAI (Azure): O Sagemaker atualmente oferece implantação de grandes modelos de linguagem, como o Llama2, para atender pequenas e médias empresas, mas muitos usuários precisam de APIs mais baratas. Atualmente, 80% das empresas iniciantes usam o RAG, e o que elas mais precisam são APIs, não o finetune.
• A combinação de compiladores e grandes modelos de linguagem: As pessoas gradualmente perceberão que é hora de atualizar toda a cadeia de ferramentas, não apenas para completar o código em nível de aplicativo, como o Copilot, mas também para melhorar o tratamento de erros e sugestões nos compiladores com a ajuda de grandes modelos de linguagem. No futuro, você não precisará mais copiar e colar mensagens de erro para o ChatGPT.
• Refatoração de ferramentas de criação: Em breve, todos concordarão que adicionar apenas uma funcionalidade de chat de IA a uma ferramenta existente não é suficiente. Será necessário reestruturar toda a interação do produto de acordo com a lógica da IA. A parte mais essencial da interação na criação é: criar, observar, usar ferramentas para criar novamente, observar novamente e ajustar novamente. Essa interação não pode ser concluída apenas com uma simples conversa. A combinação simples de NUI e GUI nem sempre é eficaz; é necessário explorar mais profundamente os hábitos humanos e criar melhores ferramentas.
• Resultados de busca em mecanismos de pesquisa mais precisos: Grandes modelos de linguagem podem fornecer anotações para vídeos, imagens, arquivos de áudio e outros tipos de arquivos. A compreensão semântica também será mais precisa, o que pode levar a resultados de busca mais precisos.
• Surgimento de rastreadores baseados em grandes modelos de linguagem maduros: Surgirá uma ferramenta de rastreamento de informações com nível de scrapy, que terá como núcleo um grande modelo de linguagem. Isso também levará ao surgimento de empresas iniciantes correspondentes.

Segurança da informação e privacidade

• Aumento contínuo dos problemas de privacidade e direitos autorais: O uso em larga escala de inteligência artificial inevitavelmente fará com que as empresas percebam a importância dos dados. Quando os dados são coletados, é fácil ocorrer vazamentos e abusos.
• Surgimento e amadurecimento de frameworks de ataque de injeção de prompt: Com a combinação de LLM e vários serviços, a injeção de prompt, que funciona de maneira semelhante aos princípios de ataques XSS e de injeção de SQL, começará a se popularizar.
• A frequência de grandes acidentes em servidores em nuvem continuará aumentando: Na estrutura centralizada atual da internet, os serviços em nuvem estão se concentrando cada vez mais em poucos fornecedores. As linhas de produtos desses fornecedores também estão se tornando cada vez mais complexas, e, com a sobreposição de serviços, os serviços principais estão se tornando cada vez mais complexos. Nos próximos anos, é inevitável que ouçamos notícias sobre grandes quedas de serviço da AWS.
• LLM será aplicado a soluções de segurança baseadas em injeção de símbolos: Não importa quantas regras sejam escritas para os filtros XSS, é mais eficiente enviar para a API da OpenAI para verificar se há strings injetadas. Embora a API da OpenAI possa ter tempos de resposta lentos, podemos treinar completamente um modelo com resposta rápida e menos parâmetros.
• Aparece a ferramenta de teste de penetração centrada no LLM: O teste de penetração, que tem uma certa sequência de processos e está altamente relacionado ao conteúdo e às strings, é muito adequado para construir um conjunto de ferramentas com o LLM.

Políticas internas da China

• Grandes modelos de linguagem aplicados à revisão de conteúdo: Nos últimos anos, os pedidos de segurança do governo têm sustentado muitas empresas de reconhecimento facial, e no futuro, os pedidos do governo serão importantes na auditoria de mídias sociais.
• O número de pedidos na indústria militar e de segurança é muito menor do que na última rodada de chips e segurança: Após a limpeza e investigação das pessoas envolvidas na indústria militar, é necessário um tempo adequado para ajustes de pessoal. Ajustes de pessoal e ajustes de políticas ocorrem na mesma frequência, e as políticas só serão ajustadas após o término dos ajustes de pessoal, esse é o padrão de comportamento consistente.
• Não haverá trabalhos inovadores em chips, inteligência artificial, etc.: Nos últimos sessenta anos, desde a pesquisa científica até o mundo empresarial, de Chen Boda a Xiao Yaqing, quase todas as pessoas têm que acompanhar um ciclo de políticas a cada três anos, o que leva a uma acumulação relativamente fraca em qualquer direção tecnológica, portanto, a possibilidade de surgimento de trabalhos inovadores é muito pequena.
• O investimento especulativo aumenta significativamente: Devido à instabilidade e incoerência das políticas, o período de cálculo de todos os investimentos será reduzido, e os investimentos de longo prazo serão retirados da China ou transformados em especulações de curto prazo.
• Aumento de eventos em massa: Devido à situação atual e às expectativas de desaceleração econômica causadas pela desglobalização, as empresas esperam tomar decisões para reduzir ainda mais os custos de mão de obra. Os problemas acumulados no passado estão se espalhando gradualmente do limite para o núcleo, e haverá cada vez mais eventos em massa, aumentando as tensões entre as diferentes partes.

Heidegger disse que a poesia é o outro lado do pensamento (a poesia e o pensamento são a maneira de falar da verdade, e é uma maneira proeminente de falar da verdade). Vou escrever um poema vulgar para a minha vida vulgar e dizer adeus a 2023!