更多精彩 >

趋境科技发布,首创“以存换算”和“全系统推理架构”,助力企业高趋境科技

2024-10-12 16:02:54   来源:投资家网  作者: 

摘要:随着大模型,尤其是开源大模型的持续进化,具备复杂推理能力的模型正在逐步应用于各行各业,并展现出超越人类专家的潜力。

随着大模型,尤其是开源大模型的持续进化,具备复杂推理能力的模型正在逐步应用于各行各业,并展现出超越人类专家的潜力。得益于此,未来的算力建设将更加聚焦于推理场景,而不仅仅是训练算力。

华福证券的研究指出,到2027年,推理端的人工智能服务器预计将占整体工作负载的72.6%。同时,OpenAI o1 所代表的大模型推理场景的 Scaling Law 也进一步助推了这一趋势的加速发展。

然而,尽管模型的效果有了显著的提升,数百亿参数、上百万上下文的一线模型在实际部署中仍面临高成本和低效率的挑战。这一现象导致了难以破解的“不可能三角”。

 

image.png

 

为了应对这一困境,亟需新型推理架构,打破传统主要为训练场景设计,以高端 GPU 为中心的算力架构设计思路。

在此背景下,趋境科技推出了“大模型知识推理一体机”,其搭载的业界首创的全系统推理架构能够通过协同存储、CPU、GPU、NPU等多种设备,充分释放异构算力,将推理成本降低10倍以上。

 

image.png

 

这一创新为企业实现大模型的高效落地提供了全新选择,开启了通向“推理自由”的新途径。

趋境大模型知识推理一体机不仅支持本地部署数百亿级别的一线大模型,还提供开放的API接口,便于第三方灵活调用。同时,用户可根据需求定制企业智能助手(assistant/copilot),实现真正的“开箱即用”。

协同 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系统异构设备,充分释放异构存力和算力资源

与当前行业主要针对 GPU 算力利用率进行单点优化的传统方案相比,趋境科技大模型知识推理一体机采用了业界首创的全系统推理架构。

 

image.png

 

其通过“以存换算”技术释放存力作为算力的补充,降低对算力的需求;同时采用“异构协同”的思路,紧密联动 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系统异构设备,突破显存容量的限制,充分释放全系统的存力和算力。

这一创新方案突破了以往方案的理论优化极限,实现了整合机器所有异构算力资源的目标,使得推理吞吐量提升超过10倍,大幅降低了大模型的落地成本。

此外,据财通证券发布的行业深度分析报告统计显示,国产GPU产品在单精度/半精度浮点算力、制程及显存容量上都与英伟达有2-4倍的显著差距。因此,仅依靠GPU单点优化,短时间内很难赶超英伟达GPU方案。

而采用全系统推理架构可以大幅降低GPU性能差距的影响,显著提升国产替代解决方案的竞争力,打破在大模型推理场景下国产GPU“卡脖子”的困境。

以存换算新范式,从“死记硬背”到“融合推理”

早期的大模型推理架构将每次推理视为独立请求,缺乏高效处理所需的“记忆”能力。尽管后续引入了近似问题缓存(Semantic Query Cache)和前缀缓存(Prefix KVCache Cache),但仍主要依赖于“死记硬背”。这些方案要求新问题与已处理问题高度一致才能利用缓存去降低算力需求。

针对这一问题,趋境科技创新性地设计了“融合推理(Fusion Attention)”技术,即便是面对全新的问题也可以从历史相关信息中提取可复用的部分内容,与现场信息进行在线融合计算。这一技术显著提升了可复用的历史计算结果,进而降低了计算量。

 

image.png

 

通过这一新思路,趋境大模型知识推理一体机充分利用了存储资源。采用“以存换算”的方式释放存力作为对于算力的补充,在RAG场景中,响应延迟降低20倍,性能提升达10倍。

全系统异构协同新架构,从GPU单点优化到全系统协同优化

除了通过“以存换算”降低算力需求外,趋境大模型知识推理一体机还进一步通过全系统异构协同架构设计,将来自存储、CPU、GPU、NPU的算力高效融合,进一步提升大模型推理性能,降低成本。

此前,趋境科技与清华 KVCache.AI 团队合作,开源了一部分异构推理框架,项目名为“KTransformers”(GitHub链接:https://github.com/kvcache-ai/ktransformers),该开源框架仅需单个消费级 GPU 即可在本地运行 Mixtral 8x22B 和DeepSeek-Coder-V2 等千亿级大模型,性能数倍于 Llama.cpp。

在长达 1M 的超长上下文推理任务中,成为业界首个仅需单 GPU 卡的高性能推理框架,生成速度达到 16.91 token/s,比 Llama.cpp 快10倍以上,同时维持接近满分的“大海捞针”能力。

 

image.png

 

趋境科技大模型知识推理一体机采用的全系统推理架构是基于“KTransformers”进一步完善的商业版本,在开源版的基础上,协同性能更强,加入了多卡高并发调度、RAG支持等策略。经过测试及客户合作验证,Prefill 和 Generate 性能大幅领先业界方案:

Prefill阶段的 TTFT(响应延迟)相比业界方案快6倍以上

Generate阶段的 TPOT(生成速度)相比业界方案快3.48倍以上

趋境x长亭:为安全大模型开启千亿大模型时代

国内顶尖的网络信息安全公司长亭科技,使用趋境科技提供的全系统异构推理架构技术策略,无缝衔接到其原有的“问津(ChaitinAI)安全大模型”、MSS 安全托管服务等产品中,问津(ChaitinAI)安全大模型升级为千亿大模型,安全性能全方位升级:

核心指标攻击识别准确率提升至95.8%,检测时延降低至秒级。另外,其对漏洞的检测能力增强,不仅提升漏洞发现数量,对应的修复建议也更准确,还能基于不同场景选择更合适的工具和策略。同时,对不良内容识别能力升级,准确率和召回率均有提升。安全报告内容生成质量和评分也显著提高,综合输出更具健壮性和稳定性。

此外,长亭科技的安全大模型的部署资源成本降低50%,助推其更多业务加入大模型能力。

技术的不断进步和市场需求为大模型的未来发展提供了广阔的空间。随着算力基础设施的不断完善,提升算力的利用效率,使大模型能与更多的行业实践结合起来,未来大模型将在更多行业中发挥更大的作用。

趋境目前也正在和更多的大模型应用厂商一同协作,希望助推全面智能化的到来。


猜你喜欢

为全球制造业高质量发展注入新动能:工业AI超级大脑TPT 2有望重塑生产范式

智能+工业AI创新发展大会

8月28日,以“时序聚能,慧引未来”为主题的2025中控技术全球新品发布暨工业AI创新发展大会成功召...

3天前

百度搜索全新升级开学季AI工具包,上线2500万AI 解题视频、覆盖 1 万个知识点

智能+百度搜索

9月1日开学季,百度搜索全新升级一系列AI 智能学习工具。

3天前

行业最快!百度搜索生成速度超DeepSeek V3.1版5倍

智能+百度搜索

8月29日,百度搜索AI助手已全量上线极速大模型,其自研技术能够大幅提升搜索结果生成速度。

6天前

商汤 2025 年中期业绩超市场预期:半年营收达 24 亿元,同比飙升 36%

商汤智能+

商汤集团股份有限公司(" 商汤集团 " 或 " 公司 ",股份代号:0020)今日公布截至 2025...

6天前

斑马AI大模型:为每个孩子提供专属学习方案

斑马智能+

8月28日至31日,第十五届中国国际数字出版博览会在河南郑州举办,作为儿童数字内容品牌代表,斑马向与...

6天前

科创板投资迈入2.0时代 华夏上证智选科创板价值50策略ETF即将发行

金融科技华夏上证智选

随着四大宽基指数陆续推出,科创领域逐步迈入“科创板+smart beta”的“科创板投资2.0时代”...

2025-06-27

原创

华为前员工躺赚比亚迪,要IPO了

承泰科技

随着港交所“科企专线”的开启,科技公司正密集港股IPO。

2025-06-26

洪恩2025年一季度业绩:创新引领发展,全球布局加速

上市公司洪恩

财报显示,洪恩第一季度实现营业收入2.104亿元人民币,净利润为2,650万元,平均月度活跃用户数(...

2025-06-26

穿越者完成数千万元天使+轮融资,中国首艘商业载人飞船加速驶向太空

创新创业穿越者

近日,北京穿越者载人航天科技有限公司(以下简称“穿越者”)完成数千万元天使+轮融资,本轮由中天汇富、...

2025-06-26

ST路通月内再收监管函 信披迟滞触红线

上市公司ST路通

6月23日,深交所的一份关注函再次将ST路通带入投资者视野。

2025-06-26

TCL科技成功筹组国内显示面板行业首笔可持续发展挂钩境外银团贷款

上市公司TCL科技

近期,TCL科技集团股份有限公司(「TCL科技」、「集团」)宣布成功筹组集团首笔可持续发展挂钩银团贷...

2025-06-26

顶奢商圈的中国面孔:名创优品靠什么站稳脚跟?

大消费名创优品

在全球奢侈品市场降温的宏观趋势下,顶奢品牌正在全力“押注中国”。

2025-06-26

A股最火的天风证券,竟是超级反向指标?

但换个角度想,如果所有券商研报都是反向指标,那么散户反着操作,也能赚大钱的!

2025-06-26

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

分化浪潮中的坚守与突破 | 第19届中国投资年会,即将启幕

在时代的浩渺长河中,“分化”宛如一条隐匿的脉络,贯穿于万物的生长、发展与变迁。从生命的进化到文明的演...

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会于2025年4月9日在匈牙利布达佩斯盛大启幕。

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

“中国投资年会”作为私募股权行业的年度盛会,已成功举办了18届,吸引了全国VC/PE领域从业者的广泛...