AI正加速落地教育行业。
继猿辅导在世界人工智能大会展示其自研大模型支撑的教育产品“全家桶”,其中包括飞象星球、猿编程、小猿学练机、海豚AI学等国内教育服务产品,以及旗下两款AI教育出海产品Check Math、Leap Math后。
在日前粉笔举办的“粉笔AI智教无界”发布会上,粉笔正式推出自主研发的*专注职教行业的垂域大模型,并宣布即将上线粉笔AI老师“粉笔头”。
据悉,粉笔AI老师包含个性化学习规划及指导、学习成果检测及辅导、题目答疑及其他做题辅导、知识点答疑讲解、考情答疑及报考指导、督学提醒和解压疏导七大功能。
粉笔CTO陈建华在发布会上称,根据内部测算数据,以题目答疑场景为例,在“粉笔垂域大模型+RAG”的作用下,粉笔AI老师在言语、资料、常识、判断、数量多方面表现均优于市面上主流通用大模型产品。
但资本市场对粉笔AI老师并不买单,发布会结束后,粉笔股价依然处在下行区间。拉长时间维度来看,顶着港股“职业教育*股”光环的粉笔,自2023年1月成功登陆港交所后,股价持续走跌。今年7月9日粉笔股价*点来到3.51港元/股,这一股价和上市之初的14.2港元/股相比,已跌去75%。
图源:雪球
若是从粉笔上市首年财报来看,2023年粉笔不仅结束2022年的负增长时代,且上市首年实现盈利。但近两年国内考公人数持续增长,每年更是不断刷新纪录。
图源:粉笔财报 DoNews制图
公开数据显示,2024年国内考公人数首次突破300万大关,多省份报考人数高达10万以上,部分热门岗位*竞争比更是高达1818:1。但粉笔2023年的增速却并没有随着考公人数的激增而暴涨,且2023年的7.51%的增速更是大幅度低于2020年和2021年。
图源:基于公开信息整理DoNews制图
粉笔CEO张小龙表示,这是主动调节的结果。“为了品牌口碑宁愿牺牲短期的收益。”但主动调节之下却是粉笔销售成本激增、售后不断,这些问题又岂是能靠AI来解决?
01 大模型“考公”,无一进入“面试”
为让大模型体验考公的难度,我们让GPT-4o、讯飞星火、智谱AI、文心一言四个大模型参与“考公”。首轮测试中,我们选取2023年国考真题中的常识判断题,正确选项依次为A\C\A\D\B。
图源:2023年国考真题
本轮实测中,GPT-4o给出的答案分别是A\B\A\D\C,讯飞星火给出的答案分别是A\C\A\D\B,智谱AI给出的答案分别是A\B\A\B\D,文心一言给出的答案为A\C\A\D\B,正确率分别为40%、100%、40%、100%。且智谱AI只是简单给出结果,并无解析过程。换言之,在常见的知识判断题中,仅有百度文心一言合格。
图源:GPT-4o
图源:讯飞星火
图源:智谱AI
图源:文心一言
我们将难度稍微升级,继续测试通用大模型2023年国考真题的数量关系,这里重点测试大模型的数学计算和逻辑推理,四道题的正确答案分别为B/D/C/B。
图源:2023年国考真题
GPT-4o给出的答案分别为B\A\C\A,讯飞星火给出的答案分别为B\C\C\A,智谱AI给出的答案分别为B\C\A\B,准确率分别为25%、50%、50%。
图源:GPT-4o
图源:讯飞星火
图源:智谱AI
相较于这三个大模型勉强还能给出答案,文心一言的表现相对糟糕。四道题目仅能给出一道题目答案,其他三道题中或称某选项可能是正确答案,或称需更多信息才能计算答案。且*给出的选项,也是错误答案。换言之,在数学题目的计算上,通用大模型几乎全军覆没。
图源:文心一言
我们将难度彻底升级,选取2023年国考真题中的判断推理,这里重点测试大模型的OCR识图技术以及逻辑推理,准确答案分别为C\D\B。
图源:2023年国考真题
GPT-4o给出的答案分别为B\D\C,讯飞星火给出的答案分别为B\C\D,智谱AI给出的答案分别为D\A\B,且并未给出完整的解析过程,仅单纯输出答案。但整体来看,三家大模型的准确率均偏低。
图源:GPT-4o
图源:讯飞星火
图源:智谱AI
文心一言的表现更是糟糕,称无法识别图像,只能给出解题过程。三轮测试下来我们发现,按照当前通用大模型的能力去考公,几乎没有能够进入到面试环节。且数学计算和逻辑推理能力欠佳,更是通用大模型的通病。
图源:文心一言
数据、算法、算力是大模型应用研发的“三驾马车”,不可否认的是,相较于通用大模型厂商,粉笔基于过去多年在垂直考公领域如考点、图书、课程、知识库、试题、考情等数据的深耕,在数据积累上更具有优势。这也是国内垂直大模型和通用大模型竞争时的优势,毕竟用户更看重大模型输出质量而非价格。尤其是教育类大模型更不允许频频出错,进而误导考生。
但仍需指出的是,国内外通用大模型厂商在数学计算和逻辑推理表现欠佳的背后,和当前大模型缺乏推理能力、数据和训练方法限制、错误检测和自我修正的困难、缺乏监管等多种因素有关。
以数据和训练方法限制为例,LMs通常是在大规模文本数据上进行训练的,这些数据并不专门针对数学和逻辑推理任务。基于此,模型在处理这类问题时缺乏足够的专门训练数据和优化算法。
此外,即使模型在某些数学数据集上的表现有所提升,如GSM8K和MATH数据集,准确率仍然较低。
海外有学者尝试使用Zero-shot-CoT方法试图解决该问题,但输出答案依然不稳定。相较于不缺资金、不缺AI人才的通用大模型厂商,2023年研发投入仅2.51亿元的粉笔,又能否解决这一问题,进而保证AI老师的输出质量呢?这或许只有等到其AI老师上线后才能给出答案。
图源:《Math Prompter:使用大型语言模型进行数学推理》
02 AI老师只是锦上添花,并非雪中送炭
除粉笔外,自2023年至今,包括科大讯飞、网易有道、学而思在内的众多厂商纷纷推出AI老师。如网易有道基于子曰大模型推出小P老师,可通过多轮交互问答的方式,引导学生解决各种学科问题。
目前厂商围绕AI老师主流厂商纷纷将AI老师内置到学习机中,并以AI帮你学、帮你打地基、帮你查漏补缺提供个性化学习等为卖点,通过售卖硬件产品实现盈利。
但在京东平台上,包括科大讯飞LUMIE10、作业帮X28、松鼠AI学习机、有道X20等多款学习机评论量不足万条,这侧面说明AI学习机动销不佳。这背后或和AI学习机高昂的售价劝退部分家长有关,本质上在于AI难以改变传统教育的底层逻辑,这决定AI老师商业化未来仍有很长的路要走。
图源:京东
一方面,AI的算法训练模型决定AI老师的弊端特别模型。来自河南省周口市的赵丹告诉我们,你根本不知道现在10后的孩子有多么“聪明”。针对AI老师查漏补缺给出的训练题目,自家儿子直接将这些题目用手机拍照,并在网络平台搜索正确答案给到AI老师,试图蒙混过关。
AI老师误以为自家儿子这类知识点已完全掌握,自动进行训练下一个知识点训练。AI老师和自家儿子“互相欺骗”下,想要提高成绩几乎是天方异谈。
另一方面,虽然AI老师也会像真人老师那样,针对自制力差的学生进行监管提醒。但因缺乏真人老师的威慑力,很多学生并不畏惧AI老师,这让AI老师的教学质量大打折扣。
同理,AI老师也难以改变传统考公市场的底层逻辑。粉笔2023年财报显示,线下小班培训课程已成为带动公司营收增长的重要来源。但线下考公市场核心为招生、增设更多区域市场、比拼真人名师资源。
图源:粉笔2023年财报
一方面,考公、考研等教育培训,因商业模式、服务模式趋同以及行业准入门槛低,导致市场鱼龙混杂。企业吸引考生报名的关键,往往以真人老师教学经验、资历为背书,进而打出差异化竞争。典型代表就是,考研名师张雪峰的个人IP。但2023年粉笔讲师人员,相较2022年却在大幅度减少。
图源:粉笔2023年财报
另一方面,考公市场是一个典型的信息不透明市场。高校生源或可通过发展校园代理、借助高校学生会关系、举办相关讲座等方式进行拓展。但在职类考公人群往往却无法洞察需求,且综合考虑到各省份省考差异、区域文化等因素,企业若想把盘子做大,需拓展更多区域市场。
但区域市场所带来的房租、人力等高成本,以及粉笔小班培训费用动辄七八千元,协议班动辄几万元。相对较高的费用,客户流失率自然偏高,这需粉笔投入较高的销售费用。2023年粉笔销售费用不仅占到当年营收的22%,更是大幅度高于研发费用。换言之,粉笔更多还是销售驱动业绩增长。
图源:粉笔2023年财报
但想要将线下考公市场真正跑通并不容易,中公教育深陷跑路传闻、退费争议、股价波动等局面。中公教育董事长李永新,日前在中公严选抖音直播间内称,“给我们点时间”,“欠学生的每一分钱一定会还完”。
华图教育母公司华图山鼎2024年Q1财报显示,该季度营收和净利润分别同比45倍和29倍,分别至今6.95亿元和7255.84万元,但这份高增长却以高负债为代价。
该季度末华图山鼎合同负债同比增226倍至5.45亿元,预收非学历培训经费“暴增”。销售费用更是同比暴增357倍至1.79亿元。华图山鼎称主要系预收非学历教育培训费的增加。
另据天眼查显示,华图教育股权已被冻结,涉及各类案件175起,公司创始人、董事长易定宏被广东省深圳市福田区人民法院列为被执行人,被执行金额高达2.54亿元。
中公教育和华图教育遇困虽给粉笔提供一定空间,但也成为资本市场对粉笔的担忧之处。换言之,如何在业务扩张和盈利之间实现平衡,正成为粉笔的大考。
图源:天眼查
03 售后问题频繁,能靠AI解决?
为获取更多生源,粉笔也将AI老师和相关课程融合。据粉笔相关销售透露,后续粉笔AI老师将和粉笔线上系统版融合。融合后用户可在粉笔APP内使用AI老师进行题目训练,和当前AI学习机所具有的查漏补缺、夯实知识点类似,价格也将从现有的980元调价至1280元。
图源:粉笔官方
这一价格相较昂贵的学习机确实更具有性价比,但此前粉笔线上课程存在的各种乱象很容易劝退不少用户。在黑猫投诉平台上,不少用户称粉笔线上课程不支持无限期无次数观看,且退款存在各种问题。
图源:黑猫投诉
在和粉笔销售沟通过程中,粉笔销售建议我们*还是选择线下集训班或协议班。理由是现在是考公竞争压力大,自学效率有限不能尽快上岸,这或许也是上文提到的粉笔小班培训收入不断增加的原因。
但在黑猫投诉平台上,仍有不少消费者称,黑猫投诉培训班一对一质量不稳定、培训机构不退费、强制消费等问题。
图源:黑猫投诉
针对黑猫投诉平台上消费者的各种投诉,粉笔相关负责人此前在回复《消费者报道》时称,一是粉笔投诉量目前在行业内*,该平台投诉问题,投诉用户主要是因很多要求退费的用户,并不符合退费条件。对于有特殊情况的用户,粉笔还会酌情放宽要求,*程度地满足需求。
图源:黑猫投诉
用户在提交相关材料后,10个工作日可完成退款。涉及协议班时,用户下单时会再一次提供完整协议内容,以便用户查阅细则,更好掌握协议内容,更好保障消费者权益,并通过制度对一线销售进行约束。
但考公市场的不透明,意味粉笔想要真正解决该问题仍要很长的路要走。招生难直接影响一线销售提成和收入,叠加很多初次考公学生对考公面试知之甚少,很难保证一线销售为获取更高提成,招生环节玩文字游戏、虚假宣传等。人性利益博弈,很难靠AI来解决。如何持续完善制度,减少类似事件发生,这是粉笔除大力发展AI外的长期课题。
粉笔CEO张小龙曾表示,短期之内并不会大规模扩张,而是以稳字当先。但持续低迷的股价,粉笔上市后遭遇高瓴资本大规模减持,张小龙更是开撕高领张磊,叠加当前资本市场仍遭遇融资难、退出难困境下,资本市场真的有足够耐心来听张小龙“长期主义”的故事吗?
毕竟从2023年大模型发展至今,能够依靠大模型带动厂商业绩增长的企业确实有限。未来粉笔又要向资本市场续写什么样的“粉笔故事”呢?