install intel® distribution of openvino™ toolkit for macos ... · caffe*、tensorflow*、apache...

14
OpenVINO™ 工具套件 入门指南 操作步骤 指南 资源 性能信息 API 参考 OpenVINO 工具套件概述 安装面向 Linux* 操作系统的英特尔® OpenVINO工具套件分发版 o Linux* 上的英特尔® OpenVINO工具套件分发版和采用英特尔® MovidiusVPU 的英特尔® 视觉加速器设计配置指南 安装支持 FPGA、面向 Linux 的英特尔® OpenVINO工具套件分发版 o Linux 上的 OpenVINO 和采用英特尔® Arria 10 FPGA SG1/SG2 (IEIs Mustang-F100-A10) 的英特尔® 视觉加速器设计配置指南 o CentOS Ubuntu* 上的英特尔® OpenVINO工具套件分发版和采用英 特尔® Arria® 10 FPGA GX 的英特尔® 可编程加速卡配置指南 安装面向 macOS* 的英特尔® OpenVINO工具套件分发版 安装面向 Raspbian* 操作系统的英特尔® OpenVINO工具套件分发版 安装面向 Windows* 10 的英特尔® OpenVINO工具套件分发版 与英特尔® OpenVINO工具套件分发版搭配使用的英特尔® MovidiusVPU 设置指南 与英特尔® OpenVINO工具套件分发版搭配使用的英特尔® MovidiusVPU 编程指南 安装面向 Linux* 的英特尔® OpenVINO工具套件分发版(来自 Docker* 像) 安装面向 Windows* 的英特尔® OpenVINO工具套件分发版(来自 Docker* 映像) 安装面向 Linux* 的英特尔® OpenVINO工具套件分发版(使用 APT 库) 安装面向 Linux* 的英特尔® OpenVINO工具套件分发版(使用 YUM 库)

Upload: others

Post on 22-Jul-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

OpenVINO™ 工具套件

入门指南

操作步骤

指南

资源

性能信息

API 参考

OpenVINO 工具套件概述

安装面向 Linux* 操作系统的英特尔® OpenVINO™ 工具套件分发版

o Linux* 上的英特尔® OpenVINO™ 工具套件分发版和采用英特尔®

Movidius™ VPU 的英特尔® 视觉加速器设计配置指南

安装支持 FPGA、面向 Linux 的英特尔® OpenVINO™ 工具套件分发版

o Linux 上的 OpenVINO 和采用英特尔® Arria 10 FPGA SG1/SG2 (IEIs

Mustang-F100-A10) 的英特尔® 视觉加速器设计配置指南

o CentOS 或 Ubuntu* 上的英特尔® OpenVINO™ 工具套件分发版和采用英

特尔® Arria® 10 FPGA GX 的英特尔® 可编程加速卡配置指南

安装面向 macOS* 的英特尔® OpenVINO™ 工具套件分发版

安装面向 Raspbian* 操作系统的英特尔® OpenVINO™ 工具套件分发版

安装面向 Windows* 10 的英特尔® OpenVINO™ 工具套件分发版

与英特尔® OpenVINO™ 工具套件分发版搭配使用的英特尔® Movidius™ VPU

设置指南

与英特尔® OpenVINO™ 工具套件分发版搭配使用的英特尔® Movidius™ VPU

编程指南

安装面向 Linux* 的英特尔® OpenVINO™ 工具套件分发版(来自 Docker* 映

像)

安装面向 Windows* 的英特尔® OpenVINO™ 工具套件分发版(来自 Docker*

映像)

安装面向 Linux* 的英特尔® OpenVINO™ 工具套件分发版(使用 APT 库)

安装面向 Linux* 的英特尔® OpenVINO™ 工具套件分发版(使用 YUM 库)

Page 2: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

本文档

简介

开发和目标平台

概述

安装英特尔® OpenVINO™ 工具套件分发版核心组件

设置环境变量

配置模型优化器

模型优化器配置步骤

运行验证脚本,验证安装和编译示例

运行图像分类验证脚本

运行推理管道验证脚本

英特尔® 神经计算棒 2 的步骤

Hello World 教程

更多资源

安装面向 macOS* 的英特尔® OpenVINO™ 工具套件

分发版

注:

macOS* 10.14.4 或更高版本的操作系统支持英特尔® OpenVINO™ 工具套

件分发版。

此软件已在 macOS 10.14.4 上进行了验证。

按照本指南的步骤进行操作前,需要连接至互联网。如果只能通过代理服

务器访问网络,请确保您已在操作系统环境中对其进行了配置。

简介

英特尔® OpenVINO™ 工具套件分发版支持快速部署可模拟人类视觉的应用和解

决方案。该工具套件基于卷积神经网络 (CNN),可在英特尔® 硬件中扩展计算机

视觉 (CV) 工作负载,实现卓越性能。

Page 3: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

面向 macOS* 的英特尔® OpenVINO™ 工具套件分发版包括英特尔® 深度学习部

署工具套件(英特尔® DLDT)和 OpenCV*,用于在英特尔® CPU 上部署应用以

加速推理。

面向 macOS* 的英特尔® OpenVINO™ 2020.1 工具套件分发版:

在边缘支持基于 CNN 的深度学习推理

支持跨英特尔® CPU 和支持英特尔® Movidius™ VPU 的英特尔® 神经计

算棒 2 的异构执行

通过易于使用的计算机视觉函数库和预先优化的内核加快上市时间

包括针对计算机视觉标准(包括 OpenCV*)的优化调用

安装包中包含的组件

默认安装以下组件:

组件 描述

模型优化器

该工具可将在通用框架中训练的模型导入、转换和优化成适用于英

特尔工具(尤其是推理引擎)的格式。

常见框架包括 Caffe*、TensorFlow*、MXNet* 和 ONNX*。

推理引擎 这是一款运行深度学习模型的引擎。它包括一组库,可将推理轻松

集成至您的应用。

OpenCV* 针对英特尔® 硬件编译的 OpenCV* 社区版本

示例应用 一组简单的控制台应用,演示了如何在应用中使用推理引擎

演示 一组控制台应用,演示了如何在应用中使用推理引擎处理特定用例

其他工具 一组用于处理模型的工具

预训练模型

文档

针对预训练模型的文档详见 Open Model Zoo 存储库

开发和目标平台

开发和目标平台具有相同的要求,但是您可以在安装过程中根据您的预期用途,选

择不同的组件。

Page 4: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

硬件

注:当前版本的面向 macOS* 的英特尔® OpenVINO™ 工具套件分发版仅支持在

英特尔® CPU 和英特尔® 神经计算棒 2 上进行推理。

第六代—第十代英特尔® 酷睿™ 处理器

英特尔® 至强® v5 产品家族

英特尔® 至强® v6 产品家族

英特尔® 神经计算棒 2

软件要求

CMake 3.4 或更高版本

Python 3.5 或更高版本

Apple Xcode* 命令行工具

(可选)Apple Xcode* IDE(OpenVINO 不需要,但对开发有用)

操作系统

macOS* 10.14.4

概述

本指南提供有关如何安装面向 macOS* 的英特尔® OpenVINO™ 2020.1 工具套件

分发版的分步说明。

涵盖以下步骤:

1. 安装英特尔® OpenVINO™ 工具套件分发版。

2. 设置 OpenVINO 环境变量(后面可选)并更新到 .bash_profile 中。

3. 配置模型优化器。

4. 运行验证脚本验证安装以及编译示例。

安装英特尔® OpenVINO™ 工具套件分发版核心组

Page 5: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

如果您安装了旧版本的英特尔® OpenVINO™ 工具套件分发版,请重命名或删除

以下两个目录:

/home/<user>/inference_engine_samples

/home/<user>/openvino_models

下载面向 macOS* 的 OpenVINO 工具套件最新版本,然后返回本指南继续安装。

安装 OpenVINO 工具套件核心组件:

1. 前往您下载英特尔® OpenVINO™ 工具套件分发版的目录。本文假定这是

您的下载目录。默认情况下,磁盘映像文件另存为

m_openvino_toolkit_p_<version>.dmg。

2. 双击 m_openvino_toolkit_p_<version>.dmg 文件进行安装。磁盘映像安

装到 /Volumes/m_openvino_toolkit_p_<version>,并在单独的窗口中自

动打开。

3. 运行安装向导应用 m_openvino_toolkit_p_<version>.app

4. 在“用户选择 (User Selection)”界面上,选择进行安装的用户账户:

o Root

o Administrator

o 当前用户

默认安装目录路径取决于您选择的安装权限。

Page 6: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

5. 点击“下一步 (Next)”,并按照界面上的说明操作。

6. 如果缺少外部依赖项,您会看到警告界面。记录所有缺少的依赖项。安装

英特尔® OpenVINO™ 工具套件分发版核心组件后,您需要安装缺少的依

赖项。例如,下面的界面示例表示您缺少两个依赖项:

7. 点击“下一步 (Next)”。

8. “安装摘要 (Installation summary) 界面显示要安装的默认组件集:

Page 7: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

o 如果您使用 root 或 administrator 权限运行安装程序,则它会将

OpenVINO 工具套件安装到 /opt/intel/openvino_<version>/

为简单起见,它还会创建一个指向最新安装程序的符号链接:

/opt/intel/openvino/

o 如果您使用 regular user 权限运行安装程序,则它会将 OpenVINO

工具套件安装到 /home/<user>/intel/openvino_<version>/

为简单起见,它还会创建一个指向最新安装程序的符号链接:

/home/<user>/intel/openvino/

9. 如果需要,单击“自定义 (Customize)”更改安装目录或要安装的组件:

点击“下一步 (Next)”,保存安装选项并显示“安装摘要”界面。

10. 在“安装摘要 (Installation summary)”界面上,按“安装 (Install)”,开始安

装。

11. 当安装的第一部分完成时,最后一个界面将通知您已经安装了核心组件,

并且仍然需要执行其他步骤:

Page 8: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

12. 点击“完成 (Finish)”,关闭安装向导。一个新的浏览器窗口打开,进入到安

装指南的下一部分:设置环境变量。如果安装程序未提示您必须安装依赖

项,则可以继续设置环境变量。如果您收到一条缺少外部软件依赖项的消

息(列在本指南顶部的软件要求下), 则需要先安装依赖项,然后再继续进

行下一部分。

设置环境变量

您需要先更新几个环境变量,然后才能编译和运行 OpenVINO™ 应用。打开您选

择的 macOS Terminal* 或命令行界面 shell,然后运行以下脚本,临时设置环境变

量:

source /opt/intel/openvino/bin/setupvars.sh

可选:关闭 shell 后,OpenVINO 环境变量将被删除。您可以按照以下方法永久设

置环境变量:

1. 打开当前用户主目录中的 .bash_profile 文件:

vi ~/.bash_profile

2. 按 i 键,切换为插入模式。

3. 将此行添加到文件末尾:

Page 9: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

source /opt/intel/openvino/bin/setupvars.sh

1. 保存并关闭文件:按 Esc 键,键入 :wq,然后按 Enter 键。

2. 若要验证您的更改,请打开一个新终端。您将看到[setupvars.sh]

OpenVINO 环境已初始化。

环境变量已设置。继续进行下一部分:配置模型优化器。

配置模型优化器

模型优化器是一个基于 Python* 的命令行工具,用于从常用的深度学习框架(如

Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。

模型优化器是 OpenVINO 工具套件的一个关键组件。如果不通过模型优化器运行

模型,则无法对训练后的模型进行推理。当您通过模型优化器运行预训练的模型时,

您的输出是网络的中间表示 (IR) 文件。IR 是描述整个模型的一对文件:

.xml:描述网络拓扑

.bin:包含权重和偏置的二进制数据

在 CPU 硬件上,推理引擎使用通用的 API读取、加载和推理 IR 文件。

如欲了解关于模型优化器的更多信息,请参见模型优化器开发人员指南。

模型优化器配置步骤

您可以同时为所有支持框架配置模型优化器,或者一次针对一个框架进行配置。选

择最符合您需求的选项。如果看到错误消息,请验证是否已安装本指南顶部软件要

求下列出的所有依赖项。

注:如果您将 OpenVINO 安装到非默认安装目录,则将/opt/intel/改为您安装软件

的目录。

选项 1:同时为所有支持框架配置模型优化器:

1. 转至模型优化器先决条件目录:

cd /opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites

Page 10: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

2. 运行脚本,为 Caffe、TensorFlow、MXNet、Kaldi* 和 ONNX 配置模型优

化器:

sudo ./install_prerequisites.sh

选项 2:分别为每个框架配置模型优化器:

只有未选择上面的选项 1,才能单独配置各个框架。

1. 转至模型优化器先决条件目录:

cd /opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites

2. 运行模型框架的脚本。您可以运行多个脚本:

o 针对 Caffe:

sudo ./install_prerequisites_caffe.sh

o 针对 TensorFlow:

sudo ./install_prerequisites_tf.sh

o 针对 MXNet:

sudo ./install_prerequisites_mxnet.sh

o 针对 ONNX:

sudo ./install_prerequisites_onnx.sh

o 针对 Kaldi:

sudo ./install_prerequisites_kaldi.sh

模型优化器针对一个或多个框架进行了配置。

您可以通过运行验证脚本验证安装。

运行验证脚本,验证安装和编译示例

注:

Page 11: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

此处显示的步骤假设您使用默认安装目录来安装 OpenVINO 工具套件。如

果将软件安装到除 /opt/intel/ 以外的其他目录,请将目录路径更新为工具

套件的安装位置。

如果您已经以 root 用户的身份安装了该产品,必须先切换到 root 模式才能

继续执行:sudo -i。

若要验证安装并编译两个推理引擎示例,请在 CPU 上运行产品随附的验证应用:

运行图像分类验证脚本

1. 转至推理引擎演示目录:

cd /opt/intel/openvino/deployment_tools/demo

2. 运行图像分类验证脚本:

./demo_squeezenet_download_convert_run.sh

图像分类验证脚本下载公共的 SqueezeNet Caffe* 模型并运行模型优化器,将模

型转换为.bin 和 .xml 中间表示 (IR) 文件。推理引擎需要模型转换,以便将 IR 用

作输入,并在英特尔硬件上实现最佳性能。

该验证脚本创建 /home/<user>/inference_engine_samples/目录,构建图像分类

示例应用,并使用演示目录中的模型 IR 和 car.png 图像运行。验证脚本完成后,

您将获得置信度排名前十位的类别的标签:

有关中间表示 .bin 和 .xml 文件的简要说明,请参见配置模型优化器。

该脚本已完成。继续进行下一部分,运行推理管道验证脚本。

Page 12: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

运行推理管道验证脚本

1. 在 /opt/intel/openvino/deployment_tools/demo/中时,运行推理管道验证

脚本:

./demo_security_barrier_camera.sh

该验证脚本下载了 3 个经过预训练的模型 IR,构建了 Security Barrier

Camera Demo 应用并使用下载的模型以及 演示目录中的 car_1.bmp 图像

运行该应用,以显示推理管道。该验证脚本使用车辆识别功能,其中车辆

属性相互依赖,以锁定特定属性。

首先,物体被识别为车辆。该识别可作为下一个模型的输入,用于识别特定的车辆

属性,包括车牌。最后,将识别为车牌的属性用作第 3 个模型的输入,以发现车牌

中的特定字符。

验证脚本完成后,您将看到一张显示生成的帧的图像,检测结果被渲染为边界框和

文本:

Page 13: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

1. 关闭图像查看器界面,结束演示。

恭喜,您已经完成面向 macOS 的英特尔® OpenVINO™ 2020.1 分发版安装。若

要进一步了解英特尔® OpenVINO™ 工具套件分发版的功能,请参考下面提供的

更多资源。

英特尔® 神经计算棒 2 的步骤

如果您想要在基于英特尔® Movidius™ Myriad™ X VPU 的英特尔® 神经计算棒 2

上执行推理,才需要执行以下步骤。另请参见英特尔® 神经计算棒 2 入门页面。

在英特尔® 神经计算棒 2 上执行推理需要使用 libusb 库。您可以从源代码构建该

库,或使用喜欢的 macOS 软件包管理器进行安装:Homebrew*、MacPorts* 或其

他。

例如,若要使用 Homebrew* 安装 libusb,使用以下命令:

Page 14: Install Intel® Distribution of OpenVINO™ toolkit for macOS ... · Caffe*、TensorFlow*、Apache MXNet*、ONNX* 和 Kaldi*)导入经过训练的模型。 模型优化器是 OpenVINO

brew install libusb

Hello World 教程

查看英特尔 OpenVINO 工具套件分发版人脸检测和汽车检测练习的推理教程

更多资源

如欲了解关于验证应用的更多信息,请参见

/opt/intel/openvino/deployment_tools/demo/中的 README.txt。

有关预训练模型的详细说明,请转至 OpenVINO 工具套件预训练模型概述

页。

关于示例应用的更多信息。

转换您的 Caffe* 模型

转换您的 TensorFlow* 模型

转换您的 MXNet* 模型

转换您的 ONNX* 模型

英特尔 OpenVINO 工具套件分发版主页

英特尔 OpenVINO 工具套件分发版文档

有关编译器优化的更多完整信息,请参阅我们的优化声明

支持

英特尔® OpenVINO™ 工具套件分发版的英特尔® 开发人员专区论坛

Cookie

英特尔 Cookie 和类似技术声明