如何在QNAP NAS 上快速使用 Intel OpenVINO ?

作者：旅行中 2月 26, 2019

如何在QNAP NAS 上快速使用 Intel OpenVINO ?

OpenVINO 是 Intel 推出針對 AI (inference) 的軟體工具，

Intel OpenVINO https://software.intel.com/en-us/openvino-toolkit

Develop applications and solutions that emulate human vision with the Intel® Distribution of OpenVINO™ toolkit.

Based on convolutional neural networks (CNN), the toolkit extends workloads across Intel® hardware (including accelerators) and maximizes performance.

Enables CNN-based deep learning inference at the edge Supports heterogeneous execution across computer vision accelerators—CPU, GPU, Intel® Movidius™ Neural Compute Stick, and FPGA—using a common API Speeds up time to market via a library of functions and preoptimized kernels Includes optimized calls for OpenCV and OpenVX*

相關新聞報導：英特爾推出OpenVINO開發工具包，布局電腦視覺深度學習應用

這次CES 2019，QNAP 也推出基於OpenVINO的軟體工具 - OWCT。

先來看看 CES 2019 新聞稿上的介紹
QNAP 以運算、網通及儲存方案創新者現身 CES 2019，一站式 AI 解決方案與邊緣運算 PoE 網路交換器新品競出

QNAP 更首次亮相OpenVINO Workflow Consolidation Tool應用程式，其採用了Intel OpenVINO開發工具包技術，可將訓練好的AI模型部署到目標平台上進行推論操作。現場將以一台安裝PCIe FPGA加速卡的TVS-872XT NAS實機展示QNAP NAS作為推論伺服器的影像辨識應用，展現QNAP協助企業組織快速建立專屬AI推論系統的實力。

QNAP 的 OpenVINO™ Workflow Consolidation Tool (簡稱OWCT) 為融合 OpenVINO™ 執行流程的協同工具。此應用程式採用 Intel® OpenVINO™ 開發工具包技術，專為深度學習應用打造，可將訓練好的 AI 模型部署到目標平台上進行推論操作，協助企業組織以經濟、效率的方式快速部署電腦視覺 (Computer Vision) 和深度學習解決方案。

目前這個qpkg 已經可以下載，TVS-872XT的下載中心可以看到是TVS-872XT是使用QTS 4.4.0

TVS-872XT的下載中心
https://www.qnap.com/zh-tw/download?model=tvs-872xt&category=firmware

而這個qpkg的下載可以從TVS-872XT對應的app center
https://www.qnap.com/zh-tw/app_center/?II=357

可以看到OWCT 還在Beta 實驗室：

OWCT 載點：https://download.qnap.com/QPKG/OWCT_0.9_x86_64_20190201.zip

裡面已經有打包OpenVINO，包含sample model。

以下來一一介紹：

首先是首頁Home，可以看到正中間可以顯示目前使用硬體例如CPU / IGD (integrated graphics) / FPGA 等 OpenVINO 支援的硬體狀態。

操作上主要由左上角的 + OpenVINO 來作為啟動

如圖所示可以選擇pre-trained好的 model

從圖中可以看到目前選擇的model，在Intel OpenVINO網站上也有做介紹：

Pre-trained models

https://software.intel.com/en-us/openvino-toolkit/documentation/pretrained-models

(補一篇SSD普及文 SSD: Single Shot MultiBox Detector 介紹)

選完就可以會到前一頁選擇 Inference event

點擊進去會看到這個project頁面，目前為空，需要從右邊按upload 會打開 /share/OpenVINO 這個目錄，所以可以先把影片放在這裡。

在右下角會產生 inference 結果，主要呈現是 .db 檔案會先存在NAS，要用File Station 來做下載

可以用SQLite DB browser打開，結果如下：

這樣就可以呈現結果。

前面也有提到也可以上傳自己的model 如TensorFlow / Caffe

可以看Intel OpenVINO教學文：

Using the Model Optimizer to Convert TensorFlow* Models

Using the Model Optimizer to Convert Caffe* Models

其中在TensorFlow 章節有一個特別的地方：--reverse_input_channels

https://software.intel.com/en-us/articles/OpenVINO-Using-Tensorflow#when-to-reverse-input-channels

Inference Engine samples load input images in BGR channels order. But the model may be trained on images loaded with the RGB channels order. In this case, inference results using the Inference Engine samples will be incorrect. The solution is to provide --reverse_input_channels command-line parameter. Then the Model Optimizer performs first convolution or other channel dependent operation weights modification so these operations output will be like the image is passed with RGB channels order.

針對OWCT的使用上，主要是可以在Settings -> Arguments 加上參數

--reverse_input_channels