您的位置:首页 >>新闻中心 > 浪潮计算机,推出基于DeepSeek模型的“推理一体机”

浪潮计算机,推出基于DeepSeek模型的“推理一体机”

发布时间:2025-03-28人气:0

浪潮计算机快速响应用户需求和大模型开源生态,联合国内AI算力厂商,推出基于DeepSeek模型的“推理一体机”,以“软硬协同”的完整方案,帮助企业摆脱复杂部署难题,实现DeepSeek全系列模型“即插即用”和大模型本地化,助力生产力有效转换。

作为面向大模型场景设计的旗舰级产品,浪潮创新技术服务器NF5468H7深度融合DeepSeek全系列模型与国内AI加速卡,打造“开箱即用”的智算解决方案:


1 全模型覆盖:全面兼容DeepSeek V3(通用底座)、R1(推理优化)、Janus Pro(多模态)等系列模型,支持智能客服与对话、文本分析、工业质检、医疗影像识别等场景快速适配。
2  硬件性能跃升:搭载国内AI算力产品,单卡FP16算力达到主流水平,支持FP32/FP16混合精度加速,单机即可完成百亿级参数模型的实时推理。
3   软硬协同优化:基于国内AI 加速卡深度定制CUDA兼容层,实现模型算子的定制优化,由此能够支持基于DeepSeek的量化及分布式推理,满足对DeepSeek系列多类型模型的多并发推理业务需求。

此次发布的“推理一体机”并非简单的“硬件堆砌”,而是通过浪潮计算机inAIP智能引擎实现从底层算力到上层模型的全局协同,为企业提供三大差异化价值:


1 快速交付:传统大模型部署需经历硬件调试、框架适配、算子优化等漫长流程,一体机结合inAIP自动化配置工具,可实现低代码部署与场景化模板,即3小时完成从开机到推理服务上线。
2 高 效利用:通过对AI算力的智能切割与动态调度,单机可同时承载多负载实时推理、数据预处理任务。能够实现资源池化,将8卡AI加速卡集群虚拟化为多份算力单元,按需分配至不同业务线程,使硬件利用率提升至92%。
3 极简运维:提供从硬件状态到模型服务的全栈可视化管理。并支持健康自检,实时监控加速卡温度、显存占用等指标,此种预测性维护提示能够降低30%宕机风险。

电话咨询

咨询电话:
18888850905

微信客服

微信客服