대체로 말해서, 2023년에는 내 머리 속의 변화는 그리 많지 않았고, 삶의 변화가 더 컸습니다.

스스로에게 남길 요약으로, 2023년에 내가 시간을 보낸 LLM 분야 중 몇 가지를 직관적으로 선택하여 내년 (또는 다섯 년)의 예측을 써보려고 합니다.

2022년 예측에서 블록체인과 Defi에 대한 예측은 약 50% 정확했고, 중국의 방역 정책에 대한 예측은 약 80% 정확했으며, 정보 보안에 대한 예측은 약 40% 정확했습니다.

대형 언어 모델의 영향

• Langchain보다 더 좋은 오픈 소스 프레임워크 등장: 현재 Langchain에는 많은 버그가 있으며, 관리도 상당히 혼란스럽고, 코드 추상화도 만족스럽지 않습니다. OpenAI가 다음 기능 및 API 반복에서는 더 경쟁력 있는 프레임워크가 등장할 수 있습니다.
• AWS가 OpenAI (Azure)처럼 저렴한 API를 제공하기 시작: 현재 SageMaker는 Llama2와 같은 대형 언어 모델을 배포하여 중소기업에 서비스를 제공하지만, 더 많은 사용자가 필요로 하는 것은 finetune이 아니라 더 저렴한 API일 수 있습니다. 현재 80%의 스타트업 회사가 사용하는 것은 RAG이며, 가장 필요한 것은 API입니다.
• 컴파일러와 대형 언어 모델의 결합: 사람들은 점차 전체 도구 체인을 업데이트해야 할 시기임을 깨닫게 될 것이며, 응용 프로그램 수준의 코드 완성인 Copilot과 같은 것뿐만 아니라 대형 언어 모델은 컴파일러의 오류 및 힌트 처리에 더 우수한 성능을 발휘할 것입니다. 미래에는 오류 정보를 chatgpt에 복사하여 붙여넣을 필요가 없을 것입니다.
• 창작 도구 제품의 재구성: 곧 사람들은 AI 채팅 기능을 기존 도구에 추가하는 것만으로는 충분하지 않으며, 전체 제품 상호작용을 AI의 논리에 따라 재구성해야 할 것입니다. 내가 본 창작 상호작용의 핵심은: 창작, 관찰, 도구 사용을 통한 다시 창작, 다시 관찰, 다시 조정입니다. 이러한 상호작용은 간단한 대화로만 완료될 수 없습니다. 단순한 NUI와 GUI의 결합이 항상 효과적이지는 않으며, 반드시 인간의 습관을 더 깊이 파고들어 더 나은 도구를 만들어야 합니다.
• 검색 엔진 결과의 정확도 향상: 대형 언어 모델은 비디오, 이미지, 오디오 등의 파일에 대한 주석을 달 수 있습니다. 의미 이해도도 더욱 정확해져 검색 결과가 더 정확해질 수 있습니다.
• 대형 언어 모델 기반의 성숙한 웹 크롤러 등장: 대형 언어 모델을 핵심으로 하는 scrapy 수준의 웹 크롤러 도구가 등장하며, 이에 따라 관련 스타트업 회사들도 등장할 것입니다.

정보 보안과 개인 정보 보호

• 개인 정보 보호 및 저작권 문제가 점점 심화: 대규모 인공 지능의 사용은 기업들이 데이터의 중요성을 깨닫게 할 것이며, 데이터가 수집되면 쉽게 유출되고 남용될 수 있습니다.
• 프롬프트 주입 공격 프레임워크의 등장과 성숙: LLM과 다양한 서비스의 결합으로 인해 xss, sql 주입 공격 원리와 유사한 프롬프트 주입이 유행하기 시작합니다.
• 클라우드 서버의 중대 사고 빈도가 계속 증가: 현재 중앙 집중식 인터넷 구조에서 클라우드 서비스는 점점 소수의 공급업체에 집중되고 있습니다. 이러한 공급업체의 제품 라인도 점점 복잡해지며, 중요한 서비스는 점점 복잡해지고 있습니다. 앞으로 몇 년 안에 AWS의 대규모 장애에 대한 뉴스를 반드시 듣게 될 것입니다.
• LLM이 심볼 주입과 같은 보안 솔루션에 적용될 것입니다: xss 필터에 규칙을 더 많이 작성하는 것보다 openai api에 주입 문자열이 있는지 확인해보는 것이 더 효과적일 수 있습니다. openai api의 응답 시간은 느릴 수 있지만, 빠른 응답, 적은 모델 매개변수를 가진 모델을 완전히 훈련시킬 수 있습니다.
• LLM을 중심으로 한 침투 테스트 도구의 등장: 침투 테스트는 일정한 절차와 높은 수준의 내용 및 문자열 처리와 관련이 있어 LLM을 이용하여 도구를 구축하는 데 매우 적합합니다.

중국의 국내 정책

• 대언어 모델이 콘텐츠 검수에 적용: 지난 몇 년 동안 정부의 안보 주문으로 얼굴 인식 회사들이 많이 생겨났으며, 향후 정부 주문은 소셜 미디어 검수에 매우 중요합니다.
• 군공과 안보 주문은 이전 라운드의 칩 및 안보 주문보다 훨씬 적습니다: 군공 분야의 인력은 정리되고 정리된 후에는 인사 조정 시간이 필요합니다. 인사 조정과 정책 조정은 동일한 주파수로 이루어지며, 인사 조정이 끝나면 정책이 조정됩니다. 이는 일관된 행동 패턴입니다.
• 칩, 인공지능 등에서 혁신적인 작업은 발생하지 않을 것입니다: 지난 60년 동안, 연구부터 기업계까지, 천보다부터 샤오야칭까지, 정책 변화에 따라 거의 모든 사람들은 3년마다 주기를 따라야 하기 때문에 어떤 기술 분야에서도 축적이 상대적으로 약합니다. 따라서 혁신적인 작업이 발생할 가능성은 매우 적습니다.
• 투기적 투자가 크게 증가했습니다: 정책의 불안정성과 일관성 부재로 인해 모든 투자 계산 주기가 단축됩니다. 장기 투자는 중국에서 철수하거나 단기 투기로 전환됩니다.
• 집단적 사건이 증가하고 있습니다: 글로벌화로 인한 경제 하강 상황과 예상이 변하지 않았기 때문에 기업들은 인력 비용을 더욱 줄일 것으로 예상하고 있습니다. 과거에 축적된 문제가 점차 국경에서 핵심으로 퍼지며, 집단적 사건은 점점 더 많아지며 구성 요소 간의 긴장은 커질 것입니다.

하이데거는 시는 사고의 다른 면이라고 말합니다 (시와 사고는 말하는 방식이며, 동시에 강조되는 방식입니다). 나는 흔해빠진 삶에 대해 흔해빠진 시를 쓰겠습니다. 안녕, 2023년!