人工智能如火如荼，如何选择GPU服务器？

James发布于：2022-08-05阅读：0

朋友们经常问如何选择GPU用于深度学习或计算加速的配置GPU服务器，今天就和大家分享一下如何选择GPU我们正在选择服务器GPU在服务器之前，先介绍一下深度学习专业常用的计算加速卡-NVIDIATesla系列GPU和GPU服务器。

一、NVIDIATesla系列的GPU，可分为总线接口类型NV-Link接口、传统PCI-e两种总线接口。

1、NV-Link接口类型的GPU

典型代表是NVIDIAV100，采用SXM2接口。在DGX-2上有SXM3的接口。NV-Link总线标准的GPU服务器可分为两类，一类是NVIDIA公司设计的DGX另一种超级计算机是由合作伙伴设计的NV-Link接口服务器。DGX超级计算机不仅提供硬件，还提供相关软件和服务。

2、传统PCI-e总线接口的GPU

目前NVIDIA专门用于加速专业计算TeslaGPU主要有：TeslaP4/P40、P100、V以及最新的图灵架构TeslaT这些型号。比较薄，只占一个槽位P4和T4，通常用于Inference，也有成熟的推理和识别模型。

二、传统PCI-e总线的GPU服务器也分为两类:

一类是OEM服务器，经过NVIDIA比如官方测试认证H3C、DELL、Lenovo、曙光、浪潮、华为等国际品牌；

另一类是非OEM还有很多种服务器。

在选择服务器时，除了分类外，还应考虑性能指标，如精度、存储类型、存储容量和功耗。同时，一些服务器需要水冷、降噪或对温度和移动性有特殊要求。

三、如何选择GPU服务器？

选择GPU在选择合适的服务器时，首先要考虑业务需求GPU型号。在HPC在高性能计算中，也需要根据精度进行选择。例如，如果使用它，一些高性能计算需要双精度P40或者P4不合适，只能使用V100或者P100；同时，对存储容量也有要求。例如，石油或石化勘探的计算应用对存储要求较高；有些对总线标准有要求，所以选择GPU模型首先要看业务需求。

GPU服务器人工智能领域也有很多应用。在教学场景中，是的GPU虚拟化的要求相对较高。老师可能需要根据课堂人数来做GPU服务器虚拟出30甚至60个虚拟GPU，因此批量Training对GPU要求高，一般使用V100做GPU训练。模型训练后需要推理，所以推理一般都用P4或者T4.少数情况也会使用V100。

当GPU选择型号后，考虑使用什么GPU服务器。此时，我们需要考虑以下情况：

首先，边缘服务器需要根据数量进行选择T4或者P4.对于相应的服务器，还应考虑服务器的使用场景，如火网站卡口、机场卡口或公安卡口；在中心端做Inference时可能需要V服务器需要考虑吞吐量、使用场景、数量等。

第二，需要考虑客户自己使用的人群和IT运维能力，对BAT对于这类大公司来说，他们自己的经营能力比较强，这个时候会选择通用的PCI-e服务器；还有一些IT对于运维能力较弱的客户，他们更注重数字和数据标记，我们称之为数据科学家GPU服务器的标准也会有所不同。

第三，要考虑配套软件和服务的价值。

第四，要考虑整体GPU像DGX这种GPU综合超级计算机，由底部的操作系统驱动，非常成熟Docker到其他部分都是固定且优化过的，这时效率就比较高。

下面介绍一个DELLGPU服务器：适用于中小企业深度学习应用环境！

PowerEdgeR740架式服务器

优化工作负荷加速的通用服务器

PowerEdgeR740服务器在一个2U加速器卡、存储和计算资源在双路平台上的出色平衡可以帮助您最大限度地提高应用程序性能。R740提供多达3个300W或6个150W具有多种功能的加速器卡几乎可以适应任何应用程序VDI部署提供优秀的平台。R740提供多达16个2.5"或8个3.5"驱动器以及iDRAC因此，您可以根据需要进行扩展和简化IT生命周期。

适当的工作负荷：

VDI

专用云

人工智能

机器学习

借助DellEMCPowerEdge实现产品组合IT转型

R740是一种优化工作负荷加速的通用服务器。多功能，R740可以帮助您实现数据中心的转型和顺应VDI、定义存储人工智能和软件(SDS)发展趋势。

通过验证和预捆绑的定制就绪节点，简化和加速VMwarevSAN™部署。

利用英特尔®至强®与前一代至强处理器相比，处理核心数量增加27%，带宽增加50%。*

利用3个双宽GPU扩展VDI部署，支持比R730用户数量高出50%。*

使用内置优化启动M.2.释放存储空间的固态硬盘。

利用智能嵌入式管理实现自动化，提高工作效率