Google正式發布TensorFlow Lite預覽版，針對移動/嵌入設備的輕量級解決方案

本文作者：汪思穎

2017-11-15 14:45

導語：輕量級（Lightweight）、跨平臺（Cross-platform）、快速（Fast）

雷鋒網 AI科技評論消息，日前，谷歌正式發布 TensorFlow Lite 開發者預覽版，這是針對移動和嵌入式設備的輕量級解決方案。TensorFlow Lite 是一種全新的設計，具有三個重要功能——輕量級（Lightweight）、跨平臺（Cross-platform）、快速（Fast）。

下面是來自 Google Developers Blog 的詳細信息，雷鋒網 AI科技評論編譯如下。

今天，我們正式發布 TensorFlow Lite 開發者預覽版，這是針對移動和嵌入式設備的輕量級解決方案。TensorFlow 可以在許多平臺上運行，從機架上大量的服務器到小型的物聯網設備，但近幾年，隨著大家使用的機器學習模型呈指數級增長，因此需要將訓練模型的平臺擴展到移動和嵌入式設備上。TensorFlow Lite 支持設備上機器學習模型的低時延推理。

TensorFlow Lite 是一種全新的設計，它支持以下功能：

輕量級（Lightweight）：支持機器學習模型的推理在較小二進制數下進行，能快速初始化/啟動。
跨平臺（Cross-platform）：可以在許多不同的平臺上運行，現在支持 Android 和 iOS
快速（Fast）：針對移動設備進行了優化，包括大大減少了模型加載時間、支持硬件加速。

如今，越來越多的移動設備中含有專用的定制硬件來更高效地進行機器學習。TensorFlow Lite 支持 Android 神經網絡API（Android Neural Networks API），大家在使用 TensorFlow Lite 時可以利用這些有用的加速器。

當加速器（硬件設備）不可用時，TensorFlow Lite 會返回到 CPU 來執行，這將保證模型仍然可以在一大批設備上快速運行。

結構

下圖是 TensorFlow Lite 的結構設計：

Google正式發布TensorFlow Lite預覽版，針對移動/嵌入設備的輕量級解決方案

模塊如下:

TensorFlow Model: 存儲在硬盤上已經訓練好的 TensorFlow 模型
TensorFlow Lite Converter: 將模型轉換為 TensorFlow Lite 文件格式的程序。
TensorFlow Lite Model File: 基于 FlatBuffers 的模型文件格式，針對速度和大小進行了優化。

可以將 TensorFlow Lite Model File 部署到 Mobile App ，如上圖中所示：

Java API: 處于 Android App 中 C++ App 上，方便封裝。
C++ API: 加載 TensorFlow Lite Model File，調用解釋器（Interpreter）。

上面的這兩個庫在 Android 和 iOS 端都可用。

Interpreter：使用一組運算符來執行模型。運算符可以選擇，如果不含運算符，只有70KB，加載所有的運算符之后為300KB。比起需要1.5 M(使用一組正規的操作符)的 TensorFlow Mobile，能使容量大大減小。
在 Android 設備上，Interpreter 支持 Android神經網絡API，可以用它進行硬件加速。如果沒有可用的加速器，則默認使用CPU。

開發人員還可以使用C++ API來自定義 kernel。

模型

TensorFlow Lite 目前支持很多針對移動端訓練和優化好的模型。

MobileNet：能夠識別1000種不同對象類的視覺模型，為實現移動和嵌入式設備的高效執行而設計。
Inception v3：圖像識別模型，功能與 MobileNet 相似，它提供更高的精度，但相對來說更大。
Smart Reply：設備對話模型，可以即時回復聊天消息，在 Android Wear 上有使用這一功能。

Inception v3 和 MobileNets 已經在 ImageNet 數據集上訓練了。大家可以利用遷移學習來輕松地對自己的圖像數據集進行再訓練。

關于TensorFlow Mobile

正如大家知道的那樣，TensorFlow 可以通過 TensorFlow Mobile API 對模型進行移動和嵌入式部署。展望未來，TensorFlow Lite 應該被看作是 TensorFlow Mobile 的升級。隨著一步步的成熟，它將成為在移動和嵌入式設備上部署模型的推薦解決方案。

TensorFlow Lite 目前是預覽版，大家仍然可以使用 TensorFlow Mobile。

TensorFlow Lite 的功能有很多，目前仍處于緊鑼密鼓的開發階段。這次的發布中，我們特意使用受限平臺，來保證一些最重要的常見模型的性能不受到影響。

我們計劃根據用戶的需要來考慮未來優先擴展的功能。我們的開發目標是簡化開發人員的體驗，并讓模型能部署到一系列移動和嵌入式設備上。

很高興開發者也在幫助TensorFlow Lite項目的順利進行。我們將會以與TensorFlow項目相同的熱情來支持和啟動TensorFlow Lite社群。歡迎大家來使用TensorFlow Lite。

更多信息請點擊TensorFlow Lite文件頁面

地址：http://tensorflow.org/mobile/tflite

接下來會有持續更新。

via：Google Developers Blog

雷鋒網 AI科技評論編輯整理。