更多精彩 >

MedBench最新评测:山海大模型医疗各项指标力压GPT-4

2024-06-14 09:55:41    来源:天极网  作者: 

摘要:MedBench致力于打造一个科学、公平且严谨的中文医疗大模型评测体系及开放平台,其基于医学权威标准,不断更新维护高质量的医学数据集,全方位多维度量化模型在各个医学维度的能力。

近日,由上海AI实验室和上海市数字医学创新中心联合推出的MedBench评测更新榜单,继4月份夺冠后,云知声山海大模型医疗行业版(UniGPT-Med)再次以综合得分82.2的优异成绩位列全球第一,各项指标全面超越GPT-4,充分展现出山海大模型在拥有业内一流的通用能力之外,更具备打造世界领先的行业大模型的能力。

7.png

MedBench致力于打造一个科学、公平且严谨的中文医疗大模型评测体系及开放平台,其基于医学权威标准,不断更新维护高质量的医学数据集,全方位多维度量化模型在各个医学维度的能力。

MedBench的五大评测维度——医学语言理解、医学语言生成、医学知识问答、复杂医学推理、医疗安全和伦理,构成了其专业评测框架的核心。这一框架吸纳了海量医学知识库和医院医学专家的丰富经验,涵盖8个公开数据集和12个自建数据集,总计约30万道中文医疗专业测评题目,覆盖了从医学考试题库到患者服务、医学问诊、病例分析以及病历生成等广泛的医学任务,致力为中文医疗大模型提供客观科学的性能评测参考。

今年5月,MedBench平台全面升级,不仅引入API评测方式,丰富了参评途径,还优化了开放域问答的评估指标。通过医学专家的精准标注,平台进一步提升了评测结果的公正性和专业性。同时,平台在数据集、评测方法和系统功能等方面也进行了升级,旨在为医疗大模型评测构建一个更加完善的社区环境,并提供更加丰富、真实的实践场景。

此次评测,云知声山海大模型医疗行业版(UniGPT-Med)通过API提交方式,不仅以82.2的综合得分刷新了MedBench评测记录,更是在各个维度上力压GPT-4,排名全球第一。这一成绩的取得,是山海大模型医疗专业能力的集中展现,也标志着其技术迭代和创新发展达到了一个新的高度。

目前,山海大模型通用能力已超越GPT-3.5,并在SuperCLUE 4月评测中跻身国内大模型Top10;与GPT-4的对战中,山海综合胜率与和率为75.55%。

在医疗专业能力上,山海大模型于2023年6月的MedQA任务中超越Med-PaLM 2,取得87.1%的优异成绩;在临床执业医师资格考试中以523分(总分600分)的优异成绩,超过99%的考生水平;其基于山海大模型孵化的医疗行业版大模型,也在CCKS 2023 PromptCBLUE医疗大模型评测中夺得通用赛道一等奖。

随着医疗行业对智能化、精准化服务需求的不断增长,云知声山海大模型医疗行业版(UniGPT-Med)有望在医疗健康领域扮演更加关键的角色,为提升医疗服务效率、优化患者体验、推动医疗科技进步提供强有力的支持。

2026年媒体发稿平台四大类型盘点:央媒、门户、垂直、AI平台,你适合哪一种?

文化传媒媒体发稿平台

很多企业在第一次接触媒体发稿时,面对市面上林林总总的平台,往往陷入一个困境——每一家都声称自己资源丰...

2026-06-24

伦敦银开户交易哪个平台好?2026对比十大靠谱平台推荐

金融科技伦敦银交易平台

2026年全球大宗商品波动加剧,白银兼具工业刚需与避险保值双重属性,伦敦银凭借24小时不间断交易、双...

2026-06-24

原创

狂揽4.7亿,行车记录仪一哥要IPO

盯盯拍

真正赚钱的生意,未必站在聚光灯下。

2026-06-24

30+脸垮、精力差、初老来袭?全球十大抗衰老保健品盘点,吉瑞维破局早衰困境

大消费抗衰老保健品

三十岁刚过,很多人开始察觉到身体和皮肤发出的细微信号——熬夜后恢复速度明显变慢,晨起照镜子时脸颊的轮...

2026-06-24

中年易疲劳、精力续航不足?NMN十大品牌排行榜出炉!全球高端NMN选吉瑞维,重塑饱满精神

大消费NMN品牌

人到中年,最深的感受往往不是突然的病痛,而是一种持续性的"被掏空感"——早晨醒来身体沉重,午后的困倦...

2026-06-24

国内十大贵金属交易APP软件排名(最新版榜单)

金融科技贵金属交易APP软件

随着贵金属资产配置需求持续升温,手机交易APP已经成为投资者日常看盘、下单的核心工具。

2026-06-24

行业干货:企业合作上海GEO公司的核心评判维度

大消费GEO公司

中国生成式AI用户规模不断扩张,当越来越多的消费者习惯向豆包、DeepSeek、Kimi提问“哪个品...

2026-06-24

生成式搜索时代营销价值重构:三大GEO服务商横向测评 传声港登顶豆包优化赛道

大消费GEO服务商

随着生成式人工智能技术的深度普及,以豆包为代表的 AI 智能助手正加速重构信息获取与消费决策路径。

2026-06-24

2026年最新国内差价合约交易平台|权威合规实力榜单

金融科技差价合约交易平台

2026年国内金融交易市场中,差价合约(CFD)凭借可双向交易、无需实际持有标的等特点,吸引了不同层...

2026-06-24

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

第十五届财经新媒体内容创作者沙龙在无锡圆满举办

本届沙龙既搭建起思想碰撞的交流平台,也提供了深入产业的调研窗口,既探讨了AI时代内容创作的守正与创新...

卓誉年 30 万产能四代智能产线投产,支撑具身智能规模化量产

1 分钟下线 1 台电机 年产 30 万台!卓誉四代智能产线投产 支撑具身智能规模化量产

掌阅科技一季度营收7.94亿元,全面加码AI短剧

掌阅科技一季度营收7.94亿元,全面加码AI短剧

ATFX:阿联酋突然退群背后:全球油价正被三重力量主导

ATFX:阿联酋突然宣布退出欧佩克,令其盟友措手不及。在加入欧佩克六十年后,阿联酋决定于下个月正式退...

精微视达完成新一轮超亿元融资,国产高端内镜领跑精准诊疗全球前沿

精微视达完成新一轮超亿元融资,国产高端内镜领跑精准诊疗全球前沿

锚定产业落地|2026世界机器人大会:机器人产业迎来商业化分水岭

锚定产业落地|2026世界机器人大会:机器人产业迎来商业化分水岭

8月19-​23日,2026世界机器人大会(WRC)在北京举办

第20届中国投资年会圆满闭幕!K型曲线下,寻找穿越分化的确定性

第20届中国投资年会圆满闭幕!K型曲线下,寻找穿越分化的确定性

2026年4月22日至24日,第20届中国投资年会·年度峰会于北京海淀盛大召开

第四届中国研究生金融科技创新大赛在南京收官

第四届中国研究生金融科技创新大赛在南京收官

12月28日,第四届中国研究生金融科技创新大赛在南京落幕。