更多精彩 >

趋境科技发布,首创“以存换算”和“全系统推理架构”,助力企业高趋境科技

2024-10-12 16:02:54   来源:投资家网  作者: 

摘要:随着大模型,尤其是开源大模型的持续进化,具备复杂推理能力的模型正在逐步应用于各行各业,并展现出超越人类专家的潜力。

随着大模型,尤其是开源大模型的持续进化,具备复杂推理能力的模型正在逐步应用于各行各业,并展现出超越人类专家的潜力。得益于此,未来的算力建设将更加聚焦于推理场景,而不仅仅是训练算力。

华福证券的研究指出,到2027年,推理端的人工智能服务器预计将占整体工作负载的72.6%。同时,OpenAI o1 所代表的大模型推理场景的 Scaling Law 也进一步助推了这一趋势的加速发展。

然而,尽管模型的效果有了显著的提升,数百亿参数、上百万上下文的一线模型在实际部署中仍面临高成本和低效率的挑战。这一现象导致了难以破解的“不可能三角”。

 

image.png

 

为了应对这一困境,亟需新型推理架构,打破传统主要为训练场景设计,以高端 GPU 为中心的算力架构设计思路。

在此背景下,趋境科技推出了“大模型知识推理一体机”,其搭载的业界首创的全系统推理架构能够通过协同存储、CPU、GPU、NPU等多种设备,充分释放异构算力,将推理成本降低10倍以上。

 

image.png

 

这一创新为企业实现大模型的高效落地提供了全新选择,开启了通向“推理自由”的新途径。

趋境大模型知识推理一体机不仅支持本地部署数百亿级别的一线大模型,还提供开放的API接口,便于第三方灵活调用。同时,用户可根据需求定制企业智能助手(assistant/copilot),实现真正的“开箱即用”。

协同 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系统异构设备,充分释放异构存力和算力资源

与当前行业主要针对 GPU 算力利用率进行单点优化的传统方案相比,趋境科技大模型知识推理一体机采用了业界首创的全系统推理架构。

 

image.png

 

其通过“以存换算”技术释放存力作为算力的补充,降低对算力的需求;同时采用“异构协同”的思路,紧密联动 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系统异构设备,突破显存容量的限制,充分释放全系统的存力和算力。

这一创新方案突破了以往方案的理论优化极限,实现了整合机器所有异构算力资源的目标,使得推理吞吐量提升超过10倍,大幅降低了大模型的落地成本。

此外,据财通证券发布的行业深度分析报告统计显示,国产GPU产品在单精度/半精度浮点算力、制程及显存容量上都与英伟达有2-4倍的显著差距。因此,仅依靠GPU单点优化,短时间内很难赶超英伟达GPU方案。

而采用全系统推理架构可以大幅降低GPU性能差距的影响,显著提升国产替代解决方案的竞争力,打破在大模型推理场景下国产GPU“卡脖子”的困境。

以存换算新范式,从“死记硬背”到“融合推理”

早期的大模型推理架构将每次推理视为独立请求,缺乏高效处理所需的“记忆”能力。尽管后续引入了近似问题缓存(Semantic Query Cache)和前缀缓存(Prefix KVCache Cache),但仍主要依赖于“死记硬背”。这些方案要求新问题与已处理问题高度一致才能利用缓存去降低算力需求。

针对这一问题,趋境科技创新性地设计了“融合推理(Fusion Attention)”技术,即便是面对全新的问题也可以从历史相关信息中提取可复用的部分内容,与现场信息进行在线融合计算。这一技术显著提升了可复用的历史计算结果,进而降低了计算量。

 

image.png

 

通过这一新思路,趋境大模型知识推理一体机充分利用了存储资源。采用“以存换算”的方式释放存力作为对于算力的补充,在RAG场景中,响应延迟降低20倍,性能提升达10倍。

全系统异构协同新架构,从GPU单点优化到全系统协同优化

除了通过“以存换算”降低算力需求外,趋境大模型知识推理一体机还进一步通过全系统异构协同架构设计,将来自存储、CPU、GPU、NPU的算力高效融合,进一步提升大模型推理性能,降低成本。

此前,趋境科技与清华 KVCache.AI 团队合作,开源了一部分异构推理框架,项目名为“KTransformers”(GitHub链接:https://github.com/kvcache-ai/ktransformers),该开源框架仅需单个消费级 GPU 即可在本地运行 Mixtral 8x22B 和DeepSeek-Coder-V2 等千亿级大模型,性能数倍于 Llama.cpp。

在长达 1M 的超长上下文推理任务中,成为业界首个仅需单 GPU 卡的高性能推理框架,生成速度达到 16.91 token/s,比 Llama.cpp 快10倍以上,同时维持接近满分的“大海捞针”能力。

 

image.png

 

趋境科技大模型知识推理一体机采用的全系统推理架构是基于“KTransformers”进一步完善的商业版本,在开源版的基础上,协同性能更强,加入了多卡高并发调度、RAG支持等策略。经过测试及客户合作验证,Prefill 和 Generate 性能大幅领先业界方案:

Prefill阶段的 TTFT(响应延迟)相比业界方案快6倍以上

Generate阶段的 TPOT(生成速度)相比业界方案快3.48倍以上

趋境x长亭:为安全大模型开启千亿大模型时代

国内顶尖的网络信息安全公司长亭科技,使用趋境科技提供的全系统异构推理架构技术策略,无缝衔接到其原有的“问津(ChaitinAI)安全大模型”、MSS 安全托管服务等产品中,问津(ChaitinAI)安全大模型升级为千亿大模型,安全性能全方位升级:

核心指标攻击识别准确率提升至95.8%,检测时延降低至秒级。另外,其对漏洞的检测能力增强,不仅提升漏洞发现数量,对应的修复建议也更准确,还能基于不同场景选择更合适的工具和策略。同时,对不良内容识别能力升级,准确率和召回率均有提升。安全报告内容生成质量和评分也显著提高,综合输出更具健壮性和稳定性。

此外,长亭科技的安全大模型的部署资源成本降低50%,助推其更多业务加入大模型能力。

技术的不断进步和市场需求为大模型的未来发展提供了广阔的空间。随着算力基础设施的不断完善,提升算力的利用效率,使大模型能与更多的行业实践结合起来,未来大模型将在更多行业中发挥更大的作用。

趋境目前也正在和更多的大模型应用厂商一同协作,希望助推全面智能化的到来。


猜你喜欢

2025中国GEO优化服务商推荐Top5:助力企业破局AI智能营销

智能+智推时代

本报告聚焦 2025 年中国 GEO服务领域,以综合能力为核心评选出 TOP5 服务商并展开分析。榜...

5天前

2025年GEO优化公司推荐:智推时代凭借深厚行业沉淀引起广泛关注

智能+智推时代

在智能搜索生态中,生成式AI技术的飞速发展使生成式引擎优化(GEO)成为企业获取竞争优势的核心环节。

5天前

GEO 服务商如何选择?智推时代—入高校课程,助品牌增效

智能+智推时代

​在智能搜索生态中,生成式AI技术的飞速发展使生成式引擎优化(GEO)成为企业获取竞争优势的核心环节...

5天前

智推时代:链接Deepseek、豆包等AI工具,助力企业解锁流量新增长

智能+智推时代

生成式AI加速落地,Deepseek、豆包等工具已成为企业降本增效的核心抓手,但“AI工具多、精准流...

5天前

2025年国内GEO赛道观察:为什么推荐智推时代?

智能+智推时代

在智能搜索生态中,生成式AI技术的飞速发展使生成式引擎优化(GEO)成为企业获取竞争优势的核心环节。

5天前

获批项目数量达47!太美医疗科技IRC服务再迎里程碑时刻

上市公司太美医疗科技

近日,伴随多款创新药物密集获批,由太美医疗科技独立评审中心提供IRC服务且获批的项目数量达到47个,...

2025-07-08

投资4.9亿元建设海南生产基地,锅圈计划开拓东南亚“朋友圈”

上市公司锅圈

“在家吃饭第一股”锅圈(02517.HK)正在加快探索海外市场的步伐。

2025-07-08

刘国中副总理调研迈瑞医疗,强调医疗器械创新与产业升级

上市公司迈瑞医疗

近日,中共中央政治局委员、国务院副总理刘国中于7月3日至5日赴广东调研。

2025-07-08

富卫集团港股上市:泛亚保险新势力叩开资本市场大门

上市公司富卫集团

作为亚洲保险行业快速崛起的重要力量,富卫集团已在泛亚地区构建起覆盖10个市场的业务版图,且在泰国、印...

2025-07-08

轻高定第一品牌,揭秘未来家居行业出清时代如何生存

大消费我乐家居

当家居行业还在为2025年的市场震荡迷茫时,我乐家居CEO汪春俊先生已抛出振聋发聩的判断:“行业淘汰...

2025-07-08

万咖壹联发布“AI+出海”双轮驱动战略,展望未来五年,剑指百亿营收

上市公司万咖壹联

7月7日,中国移动互联网行业领先的科技营销上市公司万咖壹联(01762.HK)在深圳成功举办战略发布...

2025-07-08

创业板软件ETF华夏即将重磅推出,开启高弹性软件投资新篇章

金融科技创业板软件ETF华夏

随着全球数字化转型加速推进,软件行业作为新一代信息技术的核心组成部分,正迎来前所未有的发展机遇。

2025-07-08

一座楼推动一座城,越秀商管与城市的共生秘密

创新创业越秀商管

十年深耕,百万方城市综合体矩阵崛起于大汉口核心——这是越秀商管以“空间运营+产业赋能”双轮驱动,与武...

2025-07-08

云深处科技完成近5亿元新融资,加速具身智能产业化布局

云深处科技

近日,杭州云深处科技有限公司(以下简称云深处科技)宣布完成近5亿元人民币新一轮融资。

2025-07-08

Capstan并购引全球关注!菲鹏旗下MOTE前瞻布局该赛道,创新技术行业领先

创新创业Capstan

近日,全球医药巨头艾伯维宣布以21亿美元现金收购体内CAR-T细胞疗法开发商Capstan Ther...

2025-07-07

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

在时代的浩渺长河中,“分化”宛如一条隐匿的脉络,贯穿于万物的生长、发展与变迁。从生命的进化到文明的演...

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会于2025年4月9日在匈牙利布达佩斯盛大启幕。

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

“中国投资年会”作为私募股权行业的年度盛会,已成功举办了18届,吸引了全国VC/PE领域从业者的广泛...