国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

TPU、GPU、CPU深度学习平台哪家强?有人做了一个

发布时间:2019/09/03标签:   模型    点击量:

原标题:TPU、GPU、CPU深度学习平台哪家强?有人做了一个
GPU、TPU、CPU 都能够用于深度进修模子的练习,那末这几个平台各实用于哪类模子,又各有哪些瓶颈?在本文中,来自哈佛的研讨者计划了一个用于深度进修的参数化基准测试套件——ParaDnn,旨在体系地对这些深度进修平台停止基准测试。ParaDnn 可能为全衔接(FC)、卷积(CNN)和轮回(RNN)神经收集天生端到真个模子。研讨者应用 6 个现实模子对谷歌的云 TPU v2/v3、英伟达的 V100 GPU、以及英特尔的 Skylake CPU 平台停止了基准测试。他们深刻研讨了 TPU 的架构,提醒了它的瓶颈,偏重点先容了可能用于将来业余体系计划的可贵教训。他们还供给了平台的片面对照,发觉每个平台对某些范例的模子都有本人奇特的上风。最初,他们量化了公用的软件客栈对 TPU 和 GPU 平台供给的疾速机能改良。 论文:Benchmarking TPU, GPU, and CPU Platforms for Deep Learning 论文链接:https://arxiv.org/pdf/1907.10701.pdf罕用硬件及基准都有啥TPU v2 公布于 2017 年 5 月,它是一款定制的公用集成电路(ASIC)。每个 TPU v2 装备可能在单板上供给 180 TFLOPS 的峰值算力。一年以后 TPU v3 公布,它将峰值机能进步到了 420 TFLOPS。云 TPU 于 2018 年 2 月开端供给学术拜访权限。这篇论文中应用的就是云 TPU。英伟达的 Tesla V100 Tensor Core 是一块存在 Volta 架构的 GPU,于 2017 年公布。CPU 曾经被证实在某些特定的用例中会愈加合适练习,因而它也是一个主要的平台,应当被包括在比拟内容中。这项研讨标明,没有一个平台在全部的场景中是最好的。基于它们各自的特色,差别的平台可能为差别的模子供给上风。别的,因为深度进修模子的疾速改良和变更,基准测试也必需连续更新并常常停止。近来的基准测试仿佛都范围于恣意的几个 DNN 模子。只盯着闻名的 ResNet50 和 Transformer 等模子能够会失掉误导性的论断。比方,Transformer 是一个大型的全衔接模子,它在 TPU 上的练习速率比在 GPU 上快了 3.5 倍;然而,存眷这一个模子并不能提醒 TPU 在超越 4000 个节点的全衔接收集上呈现的严峻的内存带宽瓶颈。这凸显了为某些模子去适度优化硬件和(或)编译器的危险。新一代硬件基准测试为了对开始进的深度进修平台停止基准测试,这篇论文提出了一个用于练习的深度进修模子聚集。为了支撑普遍和片面的基准测试研讨,研讨者引入了 ParaDnn 这一参数化的深度进修基准测试组件。ParaDnn 可能无缝地天生数千个参数化的多层模子,这些模子由全衔接(FC)模子、卷积神经收集(CNN)以及轮回神经收集(RNN)构成。ParaDnn 同意对参数范围在近乎 6 个数目级的模子长进行体系基准测试,这曾经超出了现有的基准测试的范畴。研讨者将这些参数化模子与 6 个事实模子联合起来,作为普遍模子范畴内的奇特点,以供给对硬件平台的片面基准测试。表 1 总结了本文中描写的十 14 个观看成果和看法,这些观看和看法能够为将来的特定范畴架构、体系和软件计划供给启示信息。

上一篇:细说Python的Lambda函数用法,建议收藏

下一篇:没有了

返回
版权信息Copyright © IT技术教程 版权所有    ICP备案编号:鲁ICP备09013610号