В целом, в 2023 году у меня не произошло много изменений в моем мозге, но больше изменилась моя жизнь.

Чтобы сделать свой собственный обзор, я выбрал несколько областей LLM, в которые я вложил свое время в 2023 году, и написал прогноз на следующий год (или пять лет) на основе своей интуиции.

В моих прогнозах на 2022 год около 50% прогнозов о блокчейне и DeFi были верными, около 80% прогнозов о китайской политике по борьбе с эпидемией были верными, и около 40% прогнозов о информационной безопасности были верными.

Влияние больших языковых моделей

• Появление более качественного открытого фреймворка, чем langchain: в настоящее время у langchain много ошибок, управление также хаотичное, и абстракция кода неудовлетворительная. Когда openai выпустит следующую итерацию новых функций и API, могут появиться более конкурентоспособные фреймворки.
• AWS начинает предоставлять доступные API, как openai (azure): sagemaker в настоящее время предоставляет развертывание больших языковых моделей, обслуживая малые и средние предприятия, но большинству пользователей нужны не только финетюнинг, но и более доступные API. В настоящее время 80% стартапов используют RAG, и им больше всего нужны API.
• Сочетание компилятора и больших языковых моделей: люди постепенно осознают, что пришло время обновить всю инструментальную цепочку, а не только такие приложения, как copilot, которые предлагают автозаполнение кода на уровне приложения. Большие языковые модели лучше обрабатывают ошибки компилятора, предлагают подсказки и т.д., и вам больше не нужно копировать и вставлять сообщения об ошибках в chatgpt.
• Перестройка продуктов для творчества: вскоре все придут к соглашению, что просто добавить функцию AI-чата к существующему инструменту недостаточно, и придется перестраивать всю интеракцию продукта в соответствии с логикой искусственного интеллекта. Важнейшая часть взаимодействия в создании - это создание, наблюдение, повторное использование инструментов, повторное создание, повторное наблюдение, повторная настройка. Это взаимодействие нельзя считать простым разговором. Простое сочетание NUI и GUI не всегда эффективно, необходимо более глубокое изучение привычек человека и создание лучших инструментов.
• Более точные результаты поисковых систем: большие языковые модели могут размечать видео, изображения, аудио и другие файлы. Они также лучше понимают семантику, поэтому результаты поиска могут быть более точными.
• Появление зрелых пауков на основе больших языковых моделей: появится инструмент для парсинга информации на уровне scrapy, с использованием больших языковых моделей в качестве основы. Это также приведет к появлению соответствующих стартапов.

Информационная безопасность и конфиденциальность

• Проблемы конфиденциальности и авторских прав становятся все более острыми: массовое использование искусственного интеллекта обязательно заставит компании осознать важность данных. Когда данные собираются, они легко могут быть украдены или злоупотреблены.
• Появление и развитие атак с внедрением промптов: с развитием LLM и различных сервисов становится популярным использование атак, подобных prompt injection, основанных на принципах атак, таких как xss и sql injection.
• Частота серьезных сбоев в облачных серверах продолжает расти: в текущей централизованной структуре Интернета облачные сервисы становятся все более концентрированными в руках нескольких поставщиков. Продуктовые линии этих поставщиков также становятся все более сложными, и при таком нагромождении ядро сервиса становится все сложнее. В ближайшие годы неизбежно услышим новости о масштабных сбоях AWS.
• LLM будет применяться в решениях безопасности, связанных с символьным внедрением: вместо написания множества правил для фильтрации xss, лучше отправить их на проверку в openai api на наличие внедрения строк. Возможно, время отклика openai api будет медленным, но мы можем полностью обучить модель с быстрым откликом и меньшим количеством параметров.
• Появление инструментов для пентестинга, основанных на LLM: Пентестинг, имеющий определенную последовательность процесса и тесно связанный с обработкой высокоуровневого контента и строк, идеально подходит для создания набора инструментов на основе LLM.

Внутренняя политика Китая

• Применение крупных языковых моделей в контент-модерации: В последние годы правительственные заказы в области безопасности обеспечили множество компаний, занимающихся распознаванием лиц. В будущем заказы от правительства будут важны в области модерации социальных медиа.
• Количество заказов в военной и безопасности значительно меньше, чем в предыдущей волне чипов и безопасности: После очистки военных и безопасностных структур требуется время для соответствующих перестановок. Перестановки персонала и перестановки политики происходят с одинаковой частотой. Политика будет изменена только после завершения перестановок персонала. Это типичная практика.
• В области чипов, искусственного интеллекта и т. д. не будет появляться революционных работ: За последние шестьдесят лет, от научных исследований до бизнес-сферы, от Чэнь Боды до Сяо Яциня, каждые три года почти все люди должны перестраиваться вместе с политикой, что приводит к недостаточной накопленной экспертизе в любом технологическом направлении. Поэтому вероятность появления революционных работ крайне низка.
• Значительный рост спекулятивных инвестиций: Из-за нестабильности и несогласованности политики, все инвестиции рассчитываются на более короткий период времени. Долгосрочные инвестиции либо покидают Китай, либо превращаются в краткосрочные спекуляции.
• Увеличение массовых событий: Из-за текущего и ожидаемого экономического спада, вызванного глобализацией, предприятия ожидают принятия решения о дальнейшем сокращении затрат на персонал. Проблемы, накопленные в прошлом, постепенно распространяются из пограничных регионов в центральные, что приводит к увеличению массовых событий и увеличению напряженности между различными компонентами.

Гайдеггер говорит, что поэзия - это другая сторона мышления (поэзия и мышление - это выдающийся способ сказать о пути). Я хочу написать поэму о своей пошлой жизни для пошлых людей. Прощай, 2023!