投资界(ID:pedaily2012)6月3日消息,据36氪报道,AI推理部署解决方案厂商“清昴智能”完成了数千万元Pre-A+轮融资,启赋资本、达晨财智领投,老股东奇绩创坛跟投。此前,清昴智能已获得某世界500强科技巨头公司的千万元战略投资。据了解,资金将主要用于人才梯队组建,产品研发和市场落地。
“清昴智能”成立于2022年10月,通过提供AI模型的推理和部署优化工具链,从而降低下游客户模型的部署和使用成本和门槛。
早在2022年6月,在Stable Diffusion等AIGC模型爆发的风口,清昴智能团队就开始着手布局模型部署和推理优化工具链的研发。针对AIoT(AI物联网)、自动驾驶等智慧场景,清昴智能推出了第一代AI模型推理优化工具链MLGuider。除英伟达之外,MLGuider还支持AMD、高通、昇腾等国内外芯片的部署。
基于市场需求,MLGuider的功能和框架也进行了不断迭代。清昴智能CEO关超宇表示,早期的MLGuider主要针对边端芯片和传统小模型,采取量化、蒸馏、稀疏化等一系列优化方法。
随着市场对大模型的需求爆发,清昴智能联合模型优化、分布式优化和编译优化等优化技术栈,打造了面向基础模型和底层算力硬件的全链路工具链,着重对大模型和底层AI芯片,尤其是国产芯片的适配优化进行了功能迭代。除模型推理部署优化工具链外,清昴智能还推出了企业级基础模型开发部署平台LLMOps、大模型一体化整机方案、大模型本地化及边端部署方案等解决方案矩阵。
关超宇认为,中间层厂商的困境,往往在于如何让商业化成规模。对此,清昴智能在直接面向企业客户提供解决方案的同时,还着力与芯片厂商、地方算力中心达成生态合作。“我们能够通过链接芯片、服务器以及模型解决方案商等生态伙伴,为客户提供端到端的整体解决方案。”关超宇解释。
模型推理部署工具链,做的是算力层和模型层的软硬件适配工作,因此也被称作中间层。关超宇认为,中间层的任务就是将模型的运行效果能无限趋近于硬件的峰值性能,充分挖掘模型和硬件的潜能。
在人才组织层面,清昴智能核心成员主要来自清华大学、华为、阿里等高校和公司。创始人兼CEO关超宇毕业于清华大学计算机系,2021年西尔贝学者奖学金获得者(全球不到百人),并带队研发世界首个自动图学习项目AutoGL。科学家顾问朱文武为清华大学计算机科学与技术系教授,曾任微软亚洲研究院主任、英特尔中国研究院首席科学家。