总的来说,2023年,我大脑里的变化不是很多,生活的变化更大一些。
总结留给自己,挑几个我在2023年花过时间的LLM领域,从直觉出发,写写未来一年(也可能是五年)的预测。
2022年的预测中,关于区块链和Defi的预测约有50%正确,关于中国防疫政策的预测约80%正确,关于信息安全的预测约40%正确。
大语言模型的影响
- 出现比langchain 更好的开源框架:langchain 现在很多bug,管理也比较混乱,代码抽象也不令人满意。openai 下一次迭代新的功能和API的时候,可能会有更有竞争力的框架出现。
- aws 开始如openai (azure )提供廉价API:sagemaker目前提供如llama2这种大语言模型的部署,服务中小企业,但是更多的用户需要的可能并不是finetune,而是更加便宜的API。当前80%的创业公司用的RAG,最需要的也不是finetune,而是api。
- 编译器和大语言模型的结合:大家会逐渐意识到,是时候要更新整个工具链了,而不仅仅是copilot这种在应用层面上的代码补全,大语言模型对于编译器的报错,提示等处理会更好,你未来不必再把报错信息复制粘贴给chatgpt。
- 创作工具产品重构:很快大家会达成共识,仅仅在某个原有的工具上增加一个AI chat的功能是不够的,不得不按照AI的逻辑来重构整个产品的交互。我看到的创作交互的部分最核心的交互是:创作,观察,使用工具再次创作,再次观察,再次调整。这种交互并不是一个简单的交谈就可以完成的。简单的NUI和GUI的结合并不一定奏效,必然是更加深入地挖掘人类的习惯,做出更好的工具。
- 搜索引擎搜索结果更加准确:大语言模型可以对视频,图片,音频等文件的标注。对语义的理解也更加准确,搜索得出的结果可能会更加准确。
- 成熟的基于大语言模型的爬虫出现:出现一个scrapy级别的爬虫工具,以大语言模型为核心,进行信息爬取,也会有相应的创业公司出现。
信息安全与隐私
- 隐私问题和版权问题愈演愈烈:大规模的人工智能的使用,必然会让企业认识到数据的重要性,当数据被收集起来以后,很容易泄漏,也很容易滥用。
- prompt injection 攻击框架出现和成熟:随着LLM和各种服务相结合,类似于xss,sql injection 攻击原理的prompt injection 开始流行
- 云服务器的重大事故频率继续增加:当前的中心化的互联网结构下,云服务越来越集中在少数几家厂商。这几家厂商的产品线也越来越复杂,在叠床架屋的情况下,核心服务越来越复杂。未来几年,迟早会听到AWS 大规模宕机的新闻。
- LLM会被应用到符号注入类的安全解决方案:xss过滤器写再多规则,不如发给openai api审查一下是否有注入字符串,可能openai api响应时间慢,但是我们完全训练一个响应快的,模型参数少的。
- 以LLM为核心的渗透测试工具出现: 渗透测试这种有一定的流程顺序,并且处理的内容高度和字符串有关,非常适合用LLM构建一套工具。
中国的国内政策
- 大语言模型应用于内容审查:过去几年,政府的安防订单养活了不少做人脸识别的公司,将来在社交媒体审核方面,来自政府的订单很重要。
- 军工和安防的订单数量远少于上一轮芯片和安防:军工系的人马被查处清理之后,需要相应的人事调整时间。人事调整和政策调整是同频率的,人事调整结束后,政策才会调整,这是一贯的行为模式。
- 在芯片,人工智能等方面不会出现开创性的工作:过去六十年,从科研到企业界,从陈伯达到肖亚庆,每隔三年近乎所有人要随着政策转一个周期,导致任何技术方向上积累都比较薄弱,所以产生开创性工作的可能性非常微小。
- 投机性的投资大幅增加:由于政策的不稳定和不连贯,所有的投资计算的周期都会变短,长期投资要么撤出中国,要么转变为短期投机。
- 群体性事件增加:由于去全球化导致的经济下行的现状和预期没有改变,企业预计会作出进一步压缩人力成本的决策,过去积累的问题逐渐从边疆蔓延到核心,群体性事件会越来越多,各个组成部分之间的张力会越来越大。
海德格尔说诗歌是思考的另一面(诗与思乃是道说的方式,而且是道说的突出方式)我就来庸俗地为我庸俗的人生写首庸俗的诗,再见,2023!
六千米深的海底,两万里高的大气
泡沫和浪潮奔涌,日夜不停
雨滴奔涌在天地之间
带着万千思绪涌上心头
人生飘然在一转身之间
世界遇见了我
十亿年的太阳明天会照常升起