国内最专业的IT技术学习网

UI设计

当前位置:主页 > UI设计 >

全球首个软硬件推理平台:NVDLA 编译器正式开源

发布时间:2019/09/17标签:   编译器    点击量:

原标题:全球首个软硬件推理平台:NVDLA 编译器正式开源
2017 年,英伟达公布了深度进修减速器NVDLA,全称 NVIDIA DeepLearning Accelerator,以推进在定制硬件计划中采纳高效的 AI 推理。在英伟达的开辟套件 Jetson AGX Xavier 中,它能为 AI 模子供给7.9 TOPS/W的最好峰值效力。而近来,英伟达在 GitHub 上开源了NVDLA 编译器的源代码,这是天下上首个软硬件推理平台的完全开源代码。体系架构师和软件开辟者们,当初已可拜访这个软硬件推理平台。全球首个软硬件推理平台:NVDLA 编译器正式开源应用 NVDLA 停止物体检测在本文中,将具体先容收集图形编译器,是怎样晋升了公用硬件减速器的机能,并先容在云端,怎样构建和运转自界说 NVDLA 软硬件计划。NVDLA 编译器的机能和效力编译器是 NVDLA 软件栈的要害组件。它能天生优化的履行图,将预练习的神经收集模子层中界说的义务,映照到 NVDLA 中的各个履行单位。一方面能最大限制天时用盘算硬件,另一方面尽能够地增加数据挪动。NVDLA 中心硬件有六个特地的硬件单位,能够完成同时调理,或许在流水线设置中完成调理。全球首个软硬件推理平台:NVDLA 编译器正式开源NVDLA 架构图别的,它还存在小型和大型硬件设置文件。此中大型设置文件含有一些高等特征,如芯片上的 SRAM 接口、衔接微操纵器的才能。全球首个软硬件推理平台:NVDLA 编译器正式开源NVDLA 小型设置文件模子硬件架构是模块化的,它被计划成可自在伸缩的状态,小到嵌入式物联网计划,大到应用NVDLA 单位阵列的大型数据核心,都能完善实用。编译器能够依据多项要素停止调优:NVDLA 硬件设置、体系的 CPU 和内存操纵设置,以及利用顺序的自界说神经收集用例等等。NVDLA 是怎样晋升机能的在大型的 NVDLA 计划上,层融会和管道调理之类的编译器优化,表示机能精良,可普遍利用于多种神经收集架构,能供给高达 3 倍的机能效益。这类优化后的机动性,是完成跨大型收集模子(如ResNet-50)和小型收集模子(如 MobileNet)的机能优化的主要起因。关于较小的 NVDLA 计划,编译器优化(如 Memory tiling )也是进步机能效力的要害。Memory tiling 计划能在权重和激活数据之间,均衡芯片上缓冲区的应用,从而最小化芯片外存储的流量和能耗。用户还能够自在地创立定制的图层,并依据本人的特别用例停止调优,或许应用最新的算法停止试验。为了便利对照,能够依据上面的机能数字,评价 NVDLA 大型模子的预期机能。丈量数据来自 Jetson AGX Xavier 开辟东西上的一个 NVDLA 中心捕捉。

上一篇:七个开源的 Spring Boot 前后端分离项目

下一篇:没有了

返回
版权信息Copyright © 银河官网 版权所有    ICP备案编号:鲁ICP备09013610号