据路透消息,OpenAI 正在探索制造自己的 AI 芯片。
知情人士透露,至少从去年开始,OpenAI 就在想各种方案去解决 AI 芯片的短缺和昂贵等问题,这些方案中就包括构建自己的人工智能芯片。
其实,OpenAI 对芯片这事儿忧心已久了。
OpenAI 的 CEO 阿尔特曼( Altman )其实很早就开始对 GPU 相关问题有意见了,在今年 5 月底,他曾表示向 Humanloop 表示目前 OpenAI 的 GPU 极其有限,这推迟了他们的许多短期计划。
“ 大部分问题都是 GPU 短缺造成的 ” 他说。
首先 OpenAI 很多客户都在抱怨 API 的可靠性和速度,在没有足够的 GPU 的情况下,这是没有办法被解决的。
第二,由于算力的紧缺,ChatGPT 更长的 32k 上下文能力( 大约是 24000 个词的上下文能力 )也暂时无法推送给更广的客户。
第三,由于算力的紧缺,ChatGPT 的模型微调 API 也做不到很好的支持,不能使用 LoRa 等高效的微调方法。
第四,由于算力的紧缺,OpenAI 没办法卖给客户更多的专有定制化模型,现在的解决办法是要求客户预先支付高达 10 万美元的定金。
基于以上种种问题,阿尔特曼和 OpenAI 现在非常的焦虑,虽然他们是大模型浪潮的缔造者,但他们却不得不仰仗于英伟达的产能,英伟达在 AI 领域占有近 80% 的市场份额,英伟达的产能一天上不来,OpenAI 就没办法尽快发展。
于是,在与英伟达进一步加深合作的同时,OpenAI 考虑开始着手自行制造芯片,达成方式是向英伟达定制( 可能是买断部分产能 )以及收购相关的芯片公司,据路透社报道,OpenAI 现在正在考虑对收购标的进行尽职调查。
除去产能问题,自研芯片还会可以预见的降低成本,我们前文提到过英伟达在 AI 芯片市场占据非常强势的主导地位,所以在产能紧缺的情况下基本上价格是没得谈的。
由于英伟达 GPU 的价格高企,根据 Bernstein 的分析,ChatGPT 每回复一条消息的成本大概为 4 美分,按现在的汇率来算就是大概 3 毛钱人民币一条,非常昂贵。Bernstein 预测ChatGPT 的规模如果增长到 Google 搜索规模的十分之一,将会需要价值 481 亿美元的 GPU,并且每年要追加大概 160 亿美元的新芯片投入。
钱再多,如此巨额的投入也是让人吃不消的,所以自研芯片降低成本也成为了 OpenAI 持续良性发展的一个不错选择。
有趣的是,关于 OpenAI 这次的动向,路透的形容是其想制造自己的 “ AI 芯片 ” 而不是 “ GPU ”,所以知危编辑部怀疑OpenAI 可能会像 Google 当年为 TensorFlow 量身定做 TPU 芯片一样,搞出个诸如 “ OPU ” 的东西。
至于 OpenAI 的计划能否成功,现在还很难说。自研芯片需要每年投入数亿美元,并且不知道一共要投入多久,与此同时,研发也不是能保证成功的,很有可能前期投入很多最后得不到什么效果。
比如,Meta 作为大模型的玩家之一,虽然不像 OpenAI 一样是行业领头羊,但它的 Llama 也有很高的市场地位,它曾萌生出跟 OpenAI 同样的想法:自己做 AI 芯片。
但在 2021 年左右,Meta 放弃了自己正在研发的自有人工智能芯片,原因在于他们发现自己的自研芯片在性能上比不上英伟达的 GPU,并且针对不同类型任务的灵活性也不如英伟达。
随后,2022 年,Meta 改变了方向,向英伟达订购了价值数十亿美元的 GPU。( 最近,不死心的 Meta 又重启了自研芯片的计划 )
在财力和技术上都如此强悍的 Meta 都在自研 AI 芯片的路上吃了瘪,作为创业公司的 OpenAI 未必能好到哪里去。
不过,OpenAI 总是能给我们带来惊喜,就像他做出了遥遥*于 Meta 和 Google 的 ChatGPT 一样。
或许,在 AI 芯片上,它能带来同样的惊喜。
至于英伟达,可能还是会继续做很长一阵子 “ 世界主宰” 了。