MedBench最新评测：山海大模型医疗各项指标力压GPT-4

近日，由上海AI实验室和上海市数字医学创新中心联合推出的MedBench评测更新榜单，继4月份夺冠后，云知声山海大模型医疗行业版（UniGPT-Med）再次以综合得分82.2的优异成绩位列全球第一，各项指标全面超越GPT-4，充分展现出山海大模型在拥有业内一流的通用能力之外，更具备打造世界领先的行业大模型的能力。

MedBench致力于打造一个科学、公平且严谨的中文医疗大模型评测体系及开放平台，其基于医学权威标准，不断更新维护高质量的医学数据集，全方位多维度量化模型在各个医学维度的能力。

MedBench的五大评测维度——医学语言理解、医学语言生成、医学知识问答、复杂医学推理、医疗安全和伦理，构成了其专业评测框架的核心。这一框架吸纳了海量医学知识库和医院医学专家的丰富经验，涵盖8个公开数据集和12个自建数据集，总计约30万道中文医疗专业测评题目，覆盖了从医学考试题库到患者服务、医学问诊、病例分析以及病历生成等广泛的医学任务，致力为中文医疗大模型提供客观科学的性能评测参考。

今年5月，MedBench平台全面升级，不仅引入API评测方式，丰富了参评途径，还优化了开放域问答的评估指标。通过医学专家的精准标注，平台进一步提升了评测结果的公正性和专业性。同时，平台在数据集、评测方法和系统功能等方面也进行了升级，旨在为医疗大模型评测构建一个更加完善的社区环境，并提供更加丰富、真实的实践场景。

此次评测，云知声山海大模型医疗行业版（UniGPT-Med）通过API提交方式，不仅以82.2的综合得分刷新了MedBench评测记录，更是在各个维度上力压GPT-4，排名全球第一。这一成绩的取得，是山海大模型医疗专业能力的集中展现，也标志着其技术迭代和创新发展达到了一个新的高度。

目前，山海大模型通用能力已超越GPT-3.5，并在SuperCLUE 4月评测中跻身国内大模型Top10；与GPT-4的对战中，山海综合胜率与和率为75.55%。

在医疗专业能力上，山海大模型于2023年6月的MedQA任务中超越Med-PaLM 2，取得87.1%的优异成绩；在临床执业医师资格考试中以523分（总分600分）的优异成绩，超过99%的考生水平；其基于山海大模型孵化的医疗行业版大模型，也在CCKS 2023 PromptCBLUE医疗大模型评测中夺得通用赛道一等奖。

随着医疗行业对智能化、精准化服务需求的不断增长，云知声山海大模型医疗行业版（UniGPT-Med）有望在医疗健康领域扮演更加关键的角色，为提升医疗服务效率、优化患者体验、推动医疗科技进步提供强有力的支持。