论道AI | 大模型的应用突破有赖于边缘

随着生成式AI的不断演进,大模型在图片、音视频等多模态领域的表现展露了其在产业端应用的巨大潜能;尤其在“效率提升”与“解决可预测性”方面,大模型已将其广泛的应用领域与强大的行业渗透性展露于世人眼前;据发布的研究报告显示,以大模型为代表的生成式AI仅仅在出现的一年间,就创造了近30亿美元的总收入,是传统SaaS行业需要花费10年时间创造的总量。但与之相随的便是算力、数据处理与存储需求的指数级暴增,让智能计算体系的结构发生了根本性变化。同时,也让能够有效解决上述问题的边缘计算及边缘端模型成为业界关注的焦点。

AI和SaaS收入增速对比,摘自2024年合伙人Pat Grady的分享

如果类比人类的两套推理系统,即直觉思考的快系统和理性思考的慢系统,那么大模型更多代表快系统的延伸,而边缘侧模型就成为了理性思考的慢系统的化身。人类之所以能够用较少的“代价”进行思考,而获得更为准确、快速的推理判断与决策,依赖于快系统与慢系统的相互配合。快系统解决的是底层、下意识的技术路径,慢系统解决的是精度、本地化推理与部署的问题。

那么,边缘侧模型的价值体现在哪里?未来的市场前景如何?怎样应用落地?围绕上述话题,我们采访到了边缘智能计算重庆市重点实验室,特斯联首席科学家杨旸博士,重点实验室管理委员会委员、特斯联高级副总裁刘斌博士,中国科学院重庆绿色智能技术研究院副研究员,陈琳博士,以及上海交通大学重庆人工智能研究院AI大模型中心副主任沈国阳博士,共同探讨边缘侧在大模型时代下的发展趋势。

“边缘智能计算重庆市重点实验室”由特斯联与中国科学院重庆绿色智能技术研究院(以下简称重庆研究院)共建,该实验室即聚焦于边缘智能与计算服务,探索大模型技术在边缘侧的落地及应用。

Q1:边缘计算是什么?智能边缘为何尤其重要?

杨旸博士:边缘计算是伴随物联网设备大量出现而诞生的技术领域。以前用户负责把信息传递到网上,用手机决定把什么视频、什么图象上传。人是“聪明”的,终端是“笨”的,云是“聪明”的,网络是“笨”的。大量物联网器件布局后,设备数量远远超过用户的数量。我们将看到一个情况,比如,在很多智慧城市、智慧楼宇的场景,房间的温度,每5分钟发送一次规定好的信息,不判断该信息相较之前的变化,不判断其重要程度,机械地上传。

边缘智能计算重庆市重点实验室副主任、特斯联首席科学家杨旸博士

海量数据产生的边缘的节点是“笨”的,是按照程序来,网络也是“笨”的,只有云是“聪明”的,所有数据送到云上才能处理,这是无法实现的。因而需要把这些数据在本地加一层边缘计算的节点,保证边缘有智慧的单元,而无需所有数据都传到云上处理。

就好像,一个高校,不可能所有的需求都提报给校长处理。除校长外,还有系主任、中层管理者。边缘计算也是如此,它能够解决很多本地的需求——能够解决的就地解决,不能解决的再送到云端处理。比如温度,只需要告诉用户此次的温度相较上一次测量是否有显著变化即可,没有变化就不再需要重复上传。

Q2:边缘计算的市场如何?

杨旸博士:当前,边缘计算的需求十分旺盛。我们面临的情况是用户数量有限,但传感器数量无限。在电信网络,传感器数量远远超过人的数量。

边缘计算的概念大概在2017年左右被提出。对生活和产业产生巨大影响是在2020年以后。随着5G技术的发展,及其所支持的物联网场景的发展,数据风暴开始冲击到越来越多的用户,主要体现在几方面:

其一,通信网络有越来越多的数据无法上传,很多重要的数据也被无效信息研磨。

其二,网络阻塞导致了越来越长的服务时延。就像高速路刚建成时车辆少,不会堵,后来车多了就会拥堵,效率就会降低。同时降低的还有安全性,数据要上传几次才能成功,本地化处理则可以保障数据只为自己服务、确保隐私安全。

以智能制造场景为例,制造业对时效性要求很高。生产线上有很多工作人员检测生产瑕疵。原来依靠人工,现在则有大量传感器拍摄产品图片,判断是否有瑕疵。如果这些数据只能在云端处理,在云端“兜一圈”回来,再指出哪里出了问题,耗时很长、响应速度慢,流水线可能就已经生产了大量废品。因而工厂通常有两个诉求,一是数据要留在本地,不希望通过运营商传到云上;二是响应速度快,希望检测到问题时就能立刻知道、立刻停止。

Q3:当前国内外边缘计算发展到了怎样的阶段?在这个领域特斯联的角色是怎样的?

刘斌博士:边缘计算在国外起步比较早。在国内,原本通信行业和计算行业是两个不同的行业。但伴随物联网技术的发展,需要这两个行业融合来应对新的挑战,这就是特斯联所专注的AIoT领域的价值体现。

边缘智能计算重庆市重点实验室管理委员会委员、特斯联高级副总裁刘斌博士

通信行业和计算行业融合的时候会遇到各种各样实际的问题,针对这些问题我们可以分析、建模,做一些共性的研究,并进行结合产业的微调,为终端用户创造价值。我们打破原来不同方向的边界,本质上是为了解决用户的问题。

Q4:大模型技术与边缘计算的结合有怎样的意义?

杨旸博士:我们在现实场景中遇到的问题并不能完全依赖大模型解决。因此,我们需要在边缘节点把大模型分拆,将部分大模型的能力部署到小模型或行业模型中。这样一来,就可以在边缘节点处理本地数据驱动的模型。模型不需要很大,不需要高昂的成本来训练,只处理相对单一然而对用户非常重要的数据,这就是大模型在边缘侧的应用。

对于云端通用大模型的开发者来说,他们希望实现的是解决全世界、所有人的问题。你想问哪里买菜便宜,他想问国外旅游的路线如何规划,云端大模型都可以回答。然而,这种模型对行业用户,如智能制造这样的专业场景来讲,并不实用。边缘模型则可解决这种垂直场景的需求。在本地数据驱动下,边缘模型能给行业用户*价值。

MIT也曾发布报告认为这是未来十大技术之一,他们称之为微小AI。一方面是尖端AI,一方面是微小AI,每个边缘节点都可以做微小智能,积少成多。

Q5:边缘大模型和云端大模型协同,能解决什么实际痛点?

刘斌博士:市面上强调的大模型,更多是大语言模型。比如文生视频,和现实世界的互动不大。而特斯联专注的大模型是基于AIoT技术的,我们致力于通过AIoT技术实现大模型和真实物理世界的互动。通常我们通过语言与模型互动,指令需要尽可能精准。比如,通过喊话控制照明、暖风,要开空调,就只能说:“开空调”,当你说我有点热,模型无法理解,因而就无法响应。

现在我们希望基于AIoT技术及边缘计算提升大语言模型的理解能力,让模型知道人的意图。比如在AI PARK,当我说我有点渴,AI PARK的机器人就会送一瓶水过来。我们能够把大模型具体能力结合业务场景,结合客户需求做实际落地。这就是AIoT。

此外,特斯联提出了模型+系统的思路。不同大模型之间需要融合,大模型和传统小模型间需要融合,模型和既有的信息化系统也需要融合。将大模型技术产品化、工程化,这也是特斯联的能力所在。我们通过边缘智能计算,将大模型落到边缘侧和端侧。有些大模型和终端设备融合,变成智能的设备。针对边缘侧,特斯联也打造了系列边缘计算产品,目前已经可以部署10B规模、百亿级的大模型。端侧大模型,边缘侧大模型,云端大模型,根据不同场景分别部署、协同,解决不同客户,不同场景的不同需求。

Q6:如何看待边缘智能计算在未来的发展机遇?

沈国阳博士:缘智能计算的应用场景非常广阔。诸多终端设备都需要边缘智能计算来实现,比如虚拟现实设备、感知设备、可穿戴设备等等,市场中也会有愈来愈多的感知设备出现。

上海交通大学重庆人工智能研究院AI大模型中心副主任沈国阳博士

同时,算力成本的下降也将加速边缘侧及端侧大模型的出现。未来推理成本将以每年十倍的速度下降,明年的推理成本会是今年的1/10。导致成本下降的因素有很多,包括算力成本的降低,包括推理框架加速性能的提升,包括模型训练能力的提升。

现在已经有很多企业及机构在研究小模型,小模型的能力也在逼近大模型,有些1B的模型能力已经接近10B的模型。从成本角度、模型的能力角度来说,边缘计算及端侧计算场景都会迎来突飞猛进的发展。

Q7:特斯联与中科院重庆研究院合作打造边缘智能计算重庆重点实验室的机缘是怎样的,合作方向是什么?

陈琳博士:中科院专注于基础性研究。特斯联拥有广泛的应用场景。特斯联在一线,中科院在后方。特斯联有机会接触到产业的真实需求,能够与重庆研究院共同探索如何利用技术去实现。因而我们的合作可谓强强联合。

中国科学院重庆绿色智能技术研究院副研究员,陈琳博士

我们的合作聚焦几个方向:

一、联合的人才培养。中科院将会与特斯联共同建设博士后重庆站,为领域培养既懂技术又懂产业的人才。

二、共同解决技术“卡脖子”问题。包括国家级、重庆市省级的各种重大项目,课题的联合申报,携手解决一些国家科技方面重大卡脖子的问题。

三、在具身智能等方向开展联合研究。

四、技术的产业化落地。中科院有很好的技术背景,在重庆完成了很多标志性的研究,特斯联是市场化的,我们会携手进行联合产品的打磨,组建成有核心竞争力的方案推向市场。

五、资本合作。特斯联有丰富的产融实践经验,我们也期待特斯联与中科院重庆研究院共同找到优质项目,孵化有潜力的企业,构建完善的供应链生态。