В целом, в 2023 году у меня не произошло много изменений в моем мозге, но больше изменилась моя жизнь.

Чтобы сделать свой собственный обзор, я выбрал несколько областей LLM, в которые я вложил свое время в 2023 году, и написал прогноз на следующий год (или пять лет) на основе своей интуиции.

В моих прогнозах на 2022 год около 50% прогнозов о блокчейне и DeFi были верными, около 80% прогнозов о китайской политике по борьбе с эпидемией были верными, и около 40% прогнозов о информационной безопасности были верными.

Влияние больших языковых моделей

• RAG促使出现比langchain 更好的开源框架：langchain 现在很多bug，管理也比较混乱，代码抽象也不令人满意。openai 下一次迭代新的功能和API的时候，可能会有更有竞争力的框架出现。
• AWS начинает предоставлять доступные API, как openai (azure): sagemaker в настоящее время предоставляет развертывание больших языковых моделей, обслуживая малые и средние предприятия, но большинству пользователей нужны не только финетюнинг, но и более доступные API. В настоящее время 80% стартапов используют RAG, и им больше всего нужны API.
• Сочетание компилятора и больших языковых моделей: люди постепенно осознают, что пришло время обновить всю инструментальную цепочку, а не только такие приложения, как copilot, которые предлагают автозаполнение кода на уровне приложения. Большие языковые модели лучше обрабатывают ошибки компилятора, предлагают подсказки и т.д., и вам больше не нужно копировать и вставлять сообщения об ошибках в chatgpt.
• 比copilot更好的创作工具产品重构：很快大家会达成共识，仅仅在某个原有的工具上增加一个AI chat的功能是不够的，不得不按照AI的逻辑来重构整个产品的交互。我看到的创作交互的部分最核心的交互是：创作，观察，使用工具再次创作，再次观察，再次调整。这种交互并不是一个简单的交谈就可以完成的。简单的NUI和GUI的结合并不一定奏效，必然是更加深入地挖掘人类的习惯，做出更好的工具。
• Более точные результаты поисковых систем: большие языковые модели могут размечать видео, изображения, аудио и другие файлы. Они также лучше понимают семантику, поэтому результаты поиска могут быть более точными.
• Появление зрелых пауков на основе больших языковых моделей: появится инструмент для парсинга информации на уровне scrapy, с использованием больших языковых моделей в качестве основы. Это также приведет к появлению соответствующих стартапов.

Информационная безопасность и конфиденциальность

• Проблемы конфиденциальности и авторских прав становятся все более острыми: массовое использование искусственного интеллекта обязательно заставит компании осознать важность данных. Когда данные собираются, они легко могут быть украдены или злоупотреблены.
• Появление и развитие атак с внедрением промптов: с развитием LLM и различных сервисов становится популярным использование атак, подобных prompt injection, основанных на принципах атак, таких как xss и sql injection.
• Частота серьезных сбоев в облачных серверах продолжает расти: в текущей централизованной структуре Интернета облачные сервисы становятся все более концентрированными в руках нескольких поставщиков. Продуктовые линии этих поставщиков также становятся все более сложными, и при таком нагромождении ядро сервиса становится все сложнее. В ближайшие годы неизбежно услышим новости о масштабных сбоях AWS.
• LLM будет применяться в решениях безопасности, связанных с символьным внедрением: вместо написания множества правил для фильтрации xss, лучше отправить их на проверку в openai api на наличие внедрения строк. Возможно, время отклика openai api будет медленным, но мы можем полностью обучить модель с быстрым откликом и меньшим количеством параметров.
• Появление инструментов для пентестинга, основанных на LLM: Пентестинг, имеющий определенную последовательность процесса и тесно связанный с обработкой высокоуровневого контента и строк, идеально подходит для создания набора инструментов на основе LLM.

Внутренняя политика Китая

• Применение крупных языковых моделей в контент-модерации: В последние годы правительственные заказы в области безопасности обеспечили множество компаний, занимающихся распознаванием лиц. В будущем заказы от правительства будут важны в области модерации социальных медиа.
• Количество заказов в военной и безопасности значительно меньше, чем в предыдущей волне чипов и безопасности: После очистки военных и безопасностных структур требуется время для соответствующих перестановок. Перестановки персонала и перестановки политики происходят с одинаковой частотой. Политика будет изменена только после завершения перестановок персонала. Это типичная практика.
• В области чипов, искусственного интеллекта и т. д. не будет появляться революционных работ: За последние шестьдесят лет, от научных исследований до бизнес-сферы, от Чэнь Боды до Сяо Яциня, каждые три года почти все люди должны перестраиваться вместе с политикой, что приводит к недостаточной накопленной экспертизе в любом технологическом направлении. Поэтому вероятность появления революционных работ крайне низка.
• Значительный рост спекулятивных инвестиций: Из-за нестабильности и несогласованности политики, все инвестиции рассчитываются на более короткий период времени. Долгосрочные инвестиции либо покидают Китай, либо превращаются в краткосрочные спекуляции.
• Увеличение массовых событий: Из-за текущего и ожидаемого экономического спада, вызванного глобализацией, предприятия ожидают принятия решения о дальнейшем сокращении затрат на персонал. Проблемы, накопленные в прошлом, постепенно распространяются из пограничных регионов в центральные, что приводит к увеличению массовых событий и увеличению напряженности между различными компонентами.

Гайдеггер говорит, что поэзия - это другая сторона мышления (поэзия и мышление - это выдающийся способ сказать о пути). Я хочу написать поэму о своей пошлой жизни для пошлых людей. Прощай, 2023!