大模型算力新选择——宝德AI服务器采用8颗英特尔Gaudi®2加速器

近日，英特尔专门针对中国市场推出深度学习加速器Habana®Gaudi®2.以领先的性价比优势，加速AI训练及推理，提高深度学习性能和效率，从而成为大规模部署AI的更优解。作为英特尔在中国最重要的战略合作伙伴和中国AI服务器市场的TOP3.宝德计算积极携手英特尔，推出了支持8颗Gaudi®2加速器的AI加速计算服务器——PR8908WG，具有高性能、可扩展性强、高能效和开箱即用等优势，能够为AI客户尤其是大模型训练和推理提供超高性价比的算力支撑。

全新Gaudi®2训练加速器，专为深度学习而生

Gaudi®2采用7nm制程工艺，拥有高性能架构，具备24个可编程Tensor处理器核心(TPCs)，21个100Gbps(RoCEv2)以太网接口，96GB HBM2E内存容量，2.4TB/秒的总内存带宽，48MB片上SRAM，并且集成多媒体处理引擎，为训练大语言模型提供高性能、高可扩展性和高能效的AI算力，在MLCommons®MLPerf@基准测试之GPT-3模型、计算机视觉模型ResNet-50、Unet3D、以及自然语言处理模型BERT等方面均取得了优异的成绩。

生成式AI和大语言模型需要服务器集群来满足大规模且更加复杂的计算要求。英特尔Gaudi®2处理器作为一款高性能、完全可编程的AI处理器，整合了多项技术创新，具有高内存带宽/容量和基于标准以太网技术的纵向扩展能力，并支持使用外接网卡通过PCle接口实现横向扩展，可满足多节点集群需要。同时，英特尔不断打造领先、成熟的软件生态支持，SynapseAI®软件套件就针对Gaudi平台深度学习业务进行了优化，它集成了对TensorFlow和PyTorch框架的支持，并提供众多流行的计算机视觉和自然语言参考模型，能够满足深度学习开发者的多样化需求。

宝德AI服务器PR8908WG+ Gaudi®2.大模型算力新选择

宝德AI服务器PR8908WG采用第三代英特尔®至强®可扩展处理器，8U空间支持8颗OAM高速互联的Gaudi®2 AI加速器，每颗Gaudi®2芯片配置96GB HBM高速内存，GPU与 GPU 之间互联带宽达到400GB/s，提供2.1Tbps的P2P互联带宽，支持全互联拓扑，全面满足大模型训练的海量通信需求;它支持200Gb ETH和HDR高速智能网卡，支持GPU Direct RDMA，完美满足集群和超大规模扩展应用。

PR8908WG拥有32个DDR4 DIMM插槽，最大支持8TB 32x 256 GB DRAM;支持24块2.5英寸SAS/SATA热插拔硬盘位，默认支持8块直连SATA硬盘，4块NVMe U.2 SSD，同时内置2个NVMe M.2 SSD，实现 CPU 直通设计，降低 I/O 延迟;它提供2个PCIe 4.0 x16 FHFL插槽和2 个PCIe 4.0 x8 FHFL插槽;支持以太网、InfiniBand、OPA等多种不同网络选择和互联需求。

PR8908WG整机采用模块化设计，独立的GPU和CPU 热量分区设计确保系统在最苛刻的工作负载下性能和稳定性不受影响;同时板载集成BMC、支持通过RAID卡超级电容、支持IPMI 2.0远程管理等，非常方便用户对AI算力设备的维护管理。

综上，宝德AI加速计算服务器PR8908WG可以满足AI不同场景下海量数据的计算和推理需求，特别适用于大模型训练和推理、深度学习、自动驾驶、智能城市、医疗健康、大数据、高性能计算(HPC)和虚拟现实等应用场景，帮助加速更多AI技术的落地和应用。

大模型将带来AI新价值，“百模大战时代”已经来临。随着各大模型的争奇斗艳和对成本、盈利模式等的日益关注，性价比为王将成为AI算力的新标准。作为中国领先的计算产品方案提供商，宝德计算将继续发挥AI服务器领域的技术优势和市场经验，携手英特尔等合作伙伴不断创新，探索大模型算力的更多选择，打造更具性价比的AI算力和解决方案，助力中国大模型更多细分场景的落地和商业变现，共同加速中国大模型技术的发展步伐，推动中国人工智能产业的整体升级!