深度学习SDK

DNNDK™ (Deep Neural Network Development Kit)是深鉴科技面向 AI 异构计算平台 DPU(Deep-Learning Processor Unit,深度学习处理器)自主研发的原创深度学习 SDK, 涵盖了神经网络推理(Inference)阶段模型压缩、编译优化和高效运行时支持等各种功能需求,是为 DPU 平台各种深度学习应用开发和部署提供的一套高效全栈式解决方案。

主要特色:
  • 国内首家公开发布的深度学习SDK、引领人工智能技术研发趋势

  • 业界领先的原创深度学习全流程解决方案

  • 自动化压缩、编译和运行时支持完整优化工具链

  • 基于标准C/C++高级编程语言的轻量级应用开发APIs

  • 简单易用、开发门槛低

DNNDK框架

DNNDK 由深度压缩工具 DECENT (DEep ComprEssioN Tool),神经网络编译器DNNC™ (Deep Neural Network Compiler),神经网络汇编器 DNNAS (Deep NeuralNetwork ASsembler),神经网络运行时支持 N2Cube™ (Cube of Neural Network),Simulator 和 Profiler 等核心组件构成。
DNNDK框架图

DECENT神经网络压缩工具

深度神经网络(DNN,Deep Neural Network)模型通常存在大量的信息冗余,从模型的参数数量到参数的表示精度都存在很大的缩减空间。依托世界领先的神经网络模型压缩领域研究成果,深鉴科技研发了深度压缩工具 DECENT,创新性的结合了剪枝(Pruning)、量化(Quantization)等一系列压缩技术,在保证基本不损失算法精度的前提下可将网络模型的计算量和规模压缩数倍至数十倍,从而实现 DPU 平台深度学习应用更优的性能、更高的能效比、更低的系统内存带宽需求。
DECENT工作流程

DNNDK混合编译模型

深鉴科技自主研发的混合编译技术创新性地解决了深度学习应用在AI异构计算环境下编译和部署中的困难,用户基于C/C++高级语言开发、运行在CPU上的应用代码与运行在DPU上的神经网络指令流代码一起完成混合编译和链接,实现DPU平台深度学习应用的一键式便捷部署。
DNNDK混合编译模型

DNNC神经网络编译器

DNNC 将训练后经过 DECENT 压缩的神经网络模型映射为 DPU 上高效执行地优化指令流。通过解析网络拓扑结构来构建与之对等的编译器内部计算图中间表示 IR(Intermediate Representation)以及 IR 中的控制流和数据流信息,DNNC 基于 IR 施加各种编译优化和变换技术,包括融合计算图中不同节点间的计算操作,高效调度指令,充分复用 DPU 片上存储的数据等,在极大提高 DPU 计算性能的同时可有效降低系统访存带宽和功耗的需求。

网络模型下载/DEMO

列表下载演示
ResNet50Caffe Model视频
Inception v1Caffe Model视频
VGG16Caffe Model视频
Face Detection视频
Pedestrian Detection视频
Video Structure Analysis视频