为医院装载“超级大脑”，商汤启动医疗多模态大模型赋能的智慧医院标杆联合共创

2024世界人工智能大会(WAIC)期间,作为全球医疗大模型创新先行者,商汤医疗携手瑞金医院、华西医院、新华医院、西京医院、中科大附属第 一医院、北京清华长庚医院,在行业内率先启动医疗多模态大模型赋能的智慧医院创新示范共创,打造由大模型“智慧中枢”驱动的智慧医院建设示范样板。

作为共创的重要成果之一,商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队,共同发布了国内*病理大模型,基于国内规模最 大的数字病理图像数据集训练,并实现全球最广泛的临床任务赋能。商汤医疗已将该成果深度嵌入业内*的数智化病理科整体解决方案,助力医院“一站式”建设大模型驱动的数字化智慧病理科,开启病理诊断“新篇章”。

图说:中华医学会病理学分会副主任委员、中国医师协会病理医师分会副会长王哲(右二),上海交通大学医学院附属新华医院临床研究与创新中心主任、新华儿童医院副院长孙新(左二),上海市数字医学创新中心专职副主任朱立峰(右三),华西生物医学大数据中心研究员、华西医院-商汤科技联合实验室主任李康(左三),中国医师协会智慧医疗专业委员会总干事、清华大学附属北京清华长庚医院科研部部长赵邑(左一),商汤科技副总裁张少霆(右一)共同启动“大模型赋能智慧医院创新示范共创仪式”

医疗大模型成智慧医院“中枢大脑”

生成式人工智能的出现,让智慧医疗大跨步迈入3.0时代。“2.0时代的医疗人工智能主要集中在‘单点应用’上,尚未实现整体‘一盘棋’布局。在3.0时代,我们希望利用医疗大模型帮助医院建立一个‘中枢大脑’,实现对智慧医院建设的底层赋能。”商汤科技副总裁张少霆表示。

要成为“中枢大脑”意味着医疗大模型必须具备综合分析多模态数据的能力,为了跨越这条“鸿沟”,WAIC期间,商汤医疗联合上海交通大学医学院附属瑞金医院、四川大学华西医院、上海交通大学医学院附属新华医院、空军军医大学西京医院、中国科学技术大学附属第 一医院、清华大学附属北京清华长庚医院,共同举行“大模型赋能智慧医院创新示范共创仪式”,打造以医疗多模态大模型为创新驱动的智慧医院建设示范样板。各方以商汤医疗大语言模型“大医”作为智慧医院建设“中枢大脑”,智能调度覆盖医学文本、放射影像、病理图像等多种数据模态的专用模型,辅助医生完成跨科室、跨模态的复杂诊断推理。

图说:商汤与合作医院启动医疗多模态大模型赋能的智慧医院标杆联合共创

上述多模态能力的实现,离不开“通才”模型和“专才”模型的默契配合。在7月6日下午举办的2024世界人工智能大会医疗大模型创新发展论坛暨上海市医疗大模型应用示范场景征集宣贯会上,张少霆受邀分享了商汤医疗在该方面的创新实践。

“通才”模型方面,“大医”的基座模型“商量”实现语言理解和交互能力全面升级,此前在中文大模型测评基准SuperCLUE中刷新了国内最 好成绩,成为*超越GPT-4 Turbo的国产大模型。得益于此,“大医”的逻辑推理和智能问答等“通才”能力再度实现飞跃。“专才”模型研发方面,商汤医疗已推出一系列精通不同模态医学图像分析的领域专用模型,持续引领智慧医疗行业创新。

结合“通才”模型强大的综合性能,与多模态“专才”模型在特定任务中的优势能力,通过“通专融合”的路径打造“医疗多模态智能体”,高效助力智慧医院建设“一盘棋”布局,帮助医院实现多场景全方位智能升级。

图说:商汤以医疗大语言模型作为智慧医院建设“中枢大脑”,智能调度多模态专用模型

发布国内*病理大模型,开启病理诊断“新篇章”

作为医疗多模态大模型联合共创的首批成果之一,WAIC期间,商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队,共同发布了国内*病理大模型PathOrchestra。

图说:中华医学会病理学分会副主任委员、中国医师协会病理医师分会副会长王哲(中),清华大学深圳国际研究生院生医健康工程研究院,生物医学工程、光学教授何永红(左),商汤科技副总裁张少霆(右)共同发布国内*病理大模型PathOrchestra

病理诊断被誉为疾病诊断的“金标准”,但该领域长期以来面临病理医生培养周期长、优质病理诊断资源分布不均匀等问题。人工智能技术的应用让国内外病理科迎来数智化转型浪潮,不过由于数字病理切片分辨率高、涉及病种多,在“大数据+精标注”的传统AI模型训练范式下,想要对每一种疾病进行精标注训练几乎是“不可能完成的任务”。

此次发布的病理大模型PathOrchestra,利用国内规模最 大的近30万张全切片数字病理图像(近300TB数据)数据集训练,并融合了文本、视频等多模态训练数据。通过对海量数据的自监督学习,无需大量精标注数据,即可让模型“触类旁通”学会分析各类器官病理图像,已覆盖肺、乳腺、肝脏、食管等20余种器官,赋能包括泛癌分类、病灶识别和检测、多癌种亚型分类、生物标志物评估等在内的百余项临床任务,已在多器官泛癌分类、淋巴瘤亚型诊断、膀胱癌筛查等近50项任务中准确率超过95%,这也是目前全球赋能临床任务最广的病理大模型。

图说:病理大模型PathOrchestra可赋能百余项临床任务

在训练过程中,研发团队还针对性地增加了食管癌、乳腺癌等中国发病率较高的癌症数据,使模型能力更符合我国临床实际需求。王哲表示:“PathOrchestra是一首由视觉模型、大语言模型以及多模态数据共同奏响的协奏曲,希望这首协奏曲能够奏出美好的曲调,为中国乃至世界的广大患者的病理诊断做出更好的服务。”

图说:王哲在发布会现场做主题分享

为了推动大模型技术在病理诊断中的应用,商汤医疗已打造大模型驱动的数智化病理科整体解决方案,串联切片数字化扫描、高性能阅片、AI智能辅助诊断、数据存储等病理智慧化诊断全流程。在病理大模型赋能下可支持百余种临床辅助诊断任务,还可适配众多品牌扫描仪及存储设备,实现千人并发秒级无卡顿调阅,满足多院区病理智能分析需求,开启大模型赋能下的病理诊断“新篇章”。

作为智慧医疗行业的先行者,商汤医疗将在这条充满挑战与机遇的道路上不懈努力,以创新驱动发展,激活医疗新质生产力,让高质量的医疗服务惠及每一个角落,践行科技惠民的企业担当。