高质量的语料数据 ,是大模型的“香饽饽”。
眼看着2023就要过去了,没想到年底又曝出一个大瓜。
近期据《The Verge》报道:
字节跳动因使用ChatGPT的API,来开发自家大模型,被OpenAI“封号”了。
尽管在事后,字节澄清,表示自己此举“仅为测试”,且早已勒令停止。
然而,这终归是一件让人浮想联翩的事……
字节被封号的背后,打的究竟是什么算盘?
01 字节想要什么?
虽然在《The Verge》报道中,没有明确指出字节究竟是怎么用OpenAI的API来开发自身大模型的,但可能的训练路径来说,用一个大模型(例如OpenAI的GPT)来训练另一个大模型的过程,往往有以下几种。
其中一种,就是“师傅带徒弟”的模式。
想象一下,师傅(已有的大模型)在处理各种任务时,会生成一些输出(例如文本、图像等)。徒弟(新的大模型)会观察师傅的行为,尝试模仿这些输出。
这样,徒弟就能学会如何处理类似的任务。在实际应用中,这可以通过让新模型学习旧模型生成的数据来实现。
还有一种方式,就是通过联合训练,让“师傅”和“徒弟”一起处理任务。
在实际应用中,这可以通过让两个模型共享一些层次或参数来实现,新旧模型就可以互相学习、互相帮助,共同完成任务。
从技术可行性来判断,在这次事件中,字节使用的更有可能是*种方法。
即利用了OpenAI API生成的数据作为训练数据。
因此,在这次风波中,字节真正想要的,是ChatGPT生成的高质量语料数据。
而这样的数据,也是任何一个训练中的大模型,最渴望的“香饽饽”。
但由于之前OpenAI的协议中,已明确表示禁止用其大模型去开发竞品,因此,字节被OpenAI“封号”也是一种必然。
问题是:作为一家实力雄厚的大厂,字节理应不缺相应的人手和资金,去做这些数据爬取、语料标注方面的工作,为何要走这一步“险棋”呢?
02 为何犯险?
其实,在现阶段的大模型赛道上,字节缺的不是人才和资金,而是时间。
与百度、讯飞等国内大厂相比,字节真正入局大模型的时间,可以说是相当晚了。
从时间上看,字节真正推出*款大模型豆包的时间,是今年的8月中旬,而那时,大模型之火已经燃烧了近半年之久。
任何真正想入局大模型的玩家都知道,模型层的竞争,是有时间窗口的。
在大模型领域,先进入市场的企业往往能够积累更多的用户、数据和经验,从而形成竞争优势。后来者要想迎头赶上,需要付出更多的努力和成本。
尽管8月上线的豆包,让字节勉强赶上了模型层的晚班车,但从性能和定位上看,那更像是一个“尝鲜”的应景之作,无法真正与字节现有的业务相契合。
作为一个在移动互联网时代制造了抖音这类爆款的大厂,字节真正想要的,是像文心一言那样更通用、更全能,且能整合或嵌入进自身的各类APP中的大模型。
这才有了后来字节的“种子计划”——计划在今年年底前,打造与 GPT-3.5 性能相匹敌的Seed 大模型。
问题是,大模型的训练,终归不是件一蹴而就的事。
标注数据、提取优质语料等等一系列繁琐的前期工作,都需要时间。
那如何在有限的、紧迫的时间内,搜集到足够多的高质量语料数据?
一个最靠谱的办法,就是直接使用那些已经验证过的,成熟度较高的模型的数据,例如ChatGPT。
03 模型层的窗口期
其实,不只是字节,即使是身处一线的AI玩家谷歌,也为了“急于求成”,做出了类似小动作。
本月月初,谷歌曾失望地宣布,被其寄予厚望的大模型Gemini,由于无法较好地处理非英语领域的查询任务,而被推迟了上线。
可鬼使神差的是,之后没过几天,谷歌就来了个回马枪,在12月6日郑重推出了Gemini,似乎之前提到的“缺陷”已经不是问题。
后来,网友经过测试才发现,原来谷歌早就从百度的文心一言那里找到了“解决之策”。
经过微博大V@阑夕夜等众多网友的测试,在与Gemini-Pro用中文交流时,如果问“你是谁”,Gemini-Pro上来就回答:我是百度文心大模型。
如此状况,让人纷纷猜测,是谷歌直接用了百度文心一言的中文语料进行训练。
为了反超GPT-4,谷歌真是赶鸭子上架了。
不过,从长远来看,这种大厂互相薅羊毛的行为,终归是一种暂时的现象。
毕竟,经过这么几回“露馅”后,各个大厂一定会对自家的数据看得更严,更死。
但即便如此,这种互相套用数据的行为,也让众多用户、投资人不禁暗自嘀咕:如果各个模型之间的数据,在技术上能轻易地互相套用,那将来除了ChatGPT等少数顶流外,还有哪些模型是有“真材实料”的?
这样的担忧背后,其实有一个更重要的前置性问题,那就是:
我们为什么需要那么多雷同的大模型?
毕竟,人类的语料数据,终归是有限的,顶流团队的模型(如ChatGPT)已经挖走了绝大部分,剩下的那一小撮专有数据,也早已被各个垂直行业瓜分完毕。
在模型层创业已近尾声的今天,比起数据,更能拉开差距的,是侧重点不同的训练方式,以及由此打造的各种功能。
而这样成为了用户能否容忍这种“套用”行为的关键。
在这点上,谷歌的Gemini给出的答卷,是更强的原生多模态功能(有夸大之嫌)。
而字节的Seed大模型,将来能否逆风翻盘,赢得用户的信任,也得看有没有“一美遮百丑”的亮点。
【本文由投资界合作伙伴微信公众号:AI新智能授权发布,本平台仅提供信息存储服务。】如有任何疑问,请联系(editor@zero2ipo.com.cn)投资界处理。