国内最专业的IT技术学习网

办公软件

当前位置:主页 > 办公软件 >

澳门银河官网网址:深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

发布时间:2019/09/11标签:   CPU      GPU      NPU    点击量:

原标题:澳门银河官网网址:深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

1获取GPU信息,配置GPU id

NPU


GPU(Graphics Processing Unit),即图形处理器,是一种由大量运算单元组成的大规模并行计算架构,专为同时处理多重任务而设计。

可编程逻辑,计算效率高,更接近底层IO,通过冗余晶体管和连线实现逻辑可编辑。本质上是无指令、无需共享内存,计算效率比CPU、GPU高。主要应用于智能手机、便携式移动设备、汽车。


多核打游戏反而更慢?谈CPU和游戏优化那点事

GPU的加速

/ FPGA /

3 获取task的输入输出信息

除NPU外,在功耗及计算能力上有一拼的还有FPGA。


想要知道其中的答案,需要我们先从CPU、GPU、NPU、FPGA它们各自的原理、架构及性能特点来了解。

以人脸识别为例,其处理基本流程及对应功能模块所需的算力分布如下:

深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

以Darknet构建的神经网络模型AlexNet、VGG-16及Restnet152在GPU Titan X, CPU Intel i7-4790K (4 GHz) 进行ImageNet分类任务预测的结果:

4接收GPU计算结果

GPU当前只是单纯的并行矩阵的乘法和加法运算,对于神经网络模型的构建和数据流的传递还是在CPU上进行。

目前,除通用CPU外,作为硬件加速的GPU、NPU、FPGA等一些芯片处理器在深度学习的不同应用中发挥着各自的优势,但孰优孰劣?

晶体管大部分构建计算单元,运算复杂度低,适合大规模并行计算。主要应用于大数据、后台服务器、图像处理。

70%晶体管用来构建Cache,还有一部分控制单元,计算单元少,适合逻辑控制运算。

什么时候才需要CPU超频?CPU超频有什么坏处?

总结GPU具有如下特点:

我们可以对比一下

CPU作为最通用的部分,协同其他处理器完成着不同的任务。GPU适合深度学习中后台服务器大量数据训练、矩阵卷积运算。NPU、FPGA在性能、面积、功耗等方面有较大优势,能更好的加速神经网络计算。而FPGA的特点在于开发使用硬件描述语言,开发门槛相对GPU、NPU高。

备注:以上数据源自https://pjreddie.com/darknet/imagenet/#reference

CPU 基本组成原理你懂了吗?

在电路层模拟神经元,通过突触权重实现存储和计算一体化,一条指令完成一组神经元的处理,提高运行效率。主要应用于通信领域、大数据、图像处理。

各芯片架构特点总结

与GPU一样,NPU同样需要CPU的协同处理才能完成特定的任务。下面,我们可以看一下GPU和NPU是如何与CPU协同工作的。

GPU虽然在并行计算能力上尽显优势,银河网上开户,但并不能单独工作,需要CPU的协同处理,银河官网,对于神经网络模型的构建和数据流的传递还是在CPU上进行。同时存在功耗高,体积大的问题。


CPU



CPU在整个运行过程中,主要是实现数据的加载和业务流程的控制,其交互流程为:

澳门银河官网网址:深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

意义在哪里?

NPU (Neural Networks Process Units)神经网络处理单元。NPU工作原理是在电路层模拟人类神经元和突触,并且用深度学习指令集直接处理大规模的神经元和突触,一条指令完成一组神经元的处理。相比于CPU和GPU,NPU通过突触权重实现存储和计算一体化,从而提高运行效率。

FPGA的内部结构如下图所示:

架构图如下所示:

与CPU相比,CPU芯片空间的不到20%是ALU,而GPU芯片空间的80%以上是ALU。即GPU拥有更多的ALU用于数据并行处理。

4 拷贝输入数据到模型内存中

这次我们看看阿里的人是如何蹂躏CPU的

实验结果显示,同等功耗下NPU 的性能是 GPU 的 118 倍。

1打开NPU专用芯片设备

NPU与GPU加速不同,主要体现为每层神经元计算结果不用输出到主内存,而是按照神经网络的连接传递到下层神经元继续计算,因此其在运算性能和功耗上都有很大的提升。

FPGA

2 加载神经元参数到GPU

随着AI的广泛应用,深度学习已成为当前AI研究和运用的主流方式。面对海量数据的并行运算,AI对于算力的要求不断提升,对硬件的运算速度及功耗提出了更高的要求。

NPU是模仿生物神经网络而构建的,CPU、GPU处理器需要用数千条指令完成的神经元处理,NPU只要一条或几条就能完成,因此在深度学习的处理效率方面优势明显。

CPU(Central Processing Unit)中央处理器,是一块超大规模的集成电路,主要逻辑架构包括控制单元Control,运算单元ALU和高速缓冲存储器(Cache)及实现它们之间联系的数据(Data)、控制及状态的总线(Bus)。

FPGA基本原理是在芯片内集成大量的数字电路基本门电路以及存储器,银河官网,而用户可以通过烧入FPGA 配置文件来定义这些门电路以及存储器之间的连线。这种烧入不是一次性的,可重复编写定义,重复配置。

CPU遵循的是冯诺依曼架构,其核心是存储程序、顺序执行。CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以它在大规模并行计算能力上极受限制,而更擅长于逻辑控制。

在计算方面 CPU核心和GPU核心有何区别?

NPU的加速

为什么会有这样的应用区分?

3 GPU加速神经网络计算

由此可见,GPU处理神经网络数据远远高效于CPU。

简单说,

FPGA的编程逻辑块(Programable Logic Blocks)中包含很多功能单元,由LUT(Look-up Table)、触发器组成。FPGA是直接通过这些门电路来实现用户的算法,没有通过指令系统的翻译,执行效率更高。

CPU/GPU/NPU/FPGA各自的特点

版权信息Copyright © 银河官网 版权所有    ICP备案编号:鲁ICP备09013610号