担当者｜何琨英伟达量子比特编辑｜公众号QbitAI
2月27日，英伟达图像处理系列公开课第一期上线，与数百名开发者共同探讨如何利用NVIDIA迁移学习套件和Deepstream实现实时目标检测。
应读者要求，将分享内容整理成文，与大家分享，文末附有实战notebook。
您好，今天介绍的工具是NVIDIA Transfer Learning Toolkit（迁移学习套件，简称TLT）和DeepStream SDK。
该图很好地诠释了深度学习的框架，从应用的角度来说，视觉、语音识别、NLP、情感和推荐系统等是目前发展较快的领域。虽然有很多框架支持深度学习的应用，例如Caffe、TensorFlow和PyTorch，但支撑这些框架的基础是强大的计算能力。
NVIDIA提供了大量GPU、边缘设备等，为深度学习框架、推理训练提供了强大的支持能力。英伟达CUDA生态系统构建了cuDNN、TensorRT、DeepStream SDK、cuBLAS等一系列工具，都是中层框架应用的基础内容。
今天介绍的迁移学习工具包，是连接了下一层的工具（最后的东西除外），非常容易使用的工具。
今天的共享主要介绍TLT，并将训练好的模型部署到DeepStream SDK中。
DeepStream SDK
DeepStream SDK旨在大规模创建和部署基于AI的视频分析应用解决方案，涵盖视频处理部署阶段的所有模块，提供完整的框架和所有基本构建模块。开发人员可以专注于自己的核心深度学习网络和IP，而不是从头开始设计端到端解决方案。
最新的DeepStream已经成为通用的工具，支持多平台、跨平台的应用，支持多系列显卡，也可以放在嵌入式平台上，在内存管理方面节省计算资源，减少接口使用在编解码器的加速等方面也有所提高。
以下两个视频都基于Yolov3网络，并将Batch Sizing设置为1。
上图未被优化，其结果是大约每秒1帧的推理速度，但下图仅用DeepStream进行了优化，已经达到4.5帧每秒，即4倍的优化效果。
DeepStream推理加速的核心是TensorRT，GPU推理引擎工具，我们制作了很多解说视频和官方案例，可以在优酷搜索“英伟达中国”看到。
迁移学习工具包
另一个工具是“英伟达”Transfer Learning Tooklkit。TLT是一款基于Python的工具包，提供了大量事先训练好的模型，使流行的网络架构适应开发者自身的数据，可以训练、调整、修剪、导出和部署模型可以大幅提高高级学习工作流的效率。
TLT还有一个功能，在异种多GPU环境下模型的训练和调整效果非常好，训练所的模型可以直接配置在Tesla、Jetson等产品上。
目标检测实战
下面介绍如何从安装到导出模型。
这里列举了30多种常见的模型，你可以在代码中找到。为在计算机视觉领域应用深度学习工作流提供了全方位的方便。
首先是NGC（https：//www.nvidia.cn/gpu-cloud/）下载工具和模型，进行初步训练、剪枝、再训练。输出的模型直接放置在TensorRT上。
下一步，我建议您使用一些硬件将TLT部署到服务器。
但是，Ubuntu可以使用16.04LTS以上，GPU驱动程序需要v410以上的版本，DeepStream推荐使用4.0以上的版本。
首先，必须安装docker并生成API密钥。此密钥很重要，生成后必须保存。
然后在服务器上运行TLT镜像。
红色为v1.0.1_py2。
进入操作界面后，需要在服务器端训练模型、优化、评估、数据预处理、模型转换等过程，并在Jetson端部署使用引擎。
*下面将详细介绍代码部署。由于受限于文字描述，操作过程Notebook可以上传到网盘，同时下载实时播放、PPT等资料，学习中的合作伙伴可以直接下载查看：
要提取链接：https：//pan.baidu.com/s/1o_5yA8DYGTk3rz5i2oJmeQ
提取代码：nveu
下节课还将共享更实际的代码。此外，欢迎访问开发人员社区以获取更多资源。
-结束了
文章评论