哪个平台运行NLP模型推理更快

而还有一项不可忽略的因素，就是二者的实际性能。

没关系，不服跑个分？！

最近，一位来自“Huggingface”的工程师，使用了NLP中的Transformer模型，分别在两大平台上测试了一组推理速度。

虽然Huggingface只是一家创业公司，但是在NLP领域有着不小的声誉，他们在GitHub上开源的项目，只需一个API就能调用27个NLP模型广受好评，已经收获1.5万星。

PyTorch和TensorFlow究竟哪个更快？下面用详细评测的数据告诉你。

运行环境

作者在PyTorch 1.3.0、TenserFlow2.0上分别对CPU和GPU的推理性能进行了测试。

两种不同的环境中具体硬件配置如下：

1. CPU推理：使用谷歌云平台上的n1-standard-32硬件，即32个vCPU、120GB内存，CPU型号为2.3GHz的英特尔至强处理器。
2. GPU推理：使用谷歌云平台上的定制化硬件，包含12个vCPU、40GB内存和单个V100 GPU（16GB显存）。

大多数情况下，这两个平台都能获得相似的结果。与PyTorch相比，TensorFlow在CPU上通常要慢一些，但在GPU上要快一些：

在CPU上，PyTorch的平均推理时间为0.748s，而TensorFlow的平均推理时间为0.823s。

在GPU上，PyTorch的平均推理时间为0.046s，而TensorFlow的平均推理时间为0.043s。

以上的数据都是在所有模型总的平均结果。结果显示，输入大小（Batch Size×序列长度）越大，对最终结果的影响也越大。

当输入太大时，PyTorch会出现内存不足的情况。作者把这些部分从结果中删除，因此这会使结果偏向PyTorch。

总的来说，PyTorch模型比TensorFlow模型更容易耗尽内存。除了Distilled模型之外，当输入大小达到8的Batch Size和1024的序列长度时，PyTorch就会耗尽内存。

至于更完整详细的清单，请参阅文末的Google文档链接。

两大平台的加速工具

除了初步的测试，作者还用上两个平台独有的加速工具，看看它们对模型推理速度有多大的提升。

（编辑：阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!