ザイリンクス、reVISION によって幅広いビジョン …reVISION...

10
© Copyright 2017 Xilinx 1| Page ザイリンクス、reVISION によって幅広いビジョンガイド機械学習アプリケーションを市場で拡大 背景説明 2017 3 13 機械学習: エッジからクラウドまで 機械学習アプリケーションはますます多くの市場へ急速に拡大し、エッジ上、クラウド内、あるいはエッジでの処理とクラウ ドベースのデータ分析を組み合わせたハイブリッド アプリケーションとして展開されています。クラウドについて、ザイリン クスは先ごろ、機械学習の推論などの幅広いコンピュート アクセラレーション アプリケーションをターゲットとするリコンフィ ギュレーション アクセラレーション スタック (2016 11 月リリース) を発表しました。エッジについては、今回ザイリンクスは 新たに reVISION™ スタックを発表し、幅広いビジョンガイド機械学習アプリケーションを市場で拡大します。新しい reVISION スタックにより、従来よりもはるかに幅広いエンベデッド ソフトウェア エンジニアやシステム エンジニアが、ハードウェア設 計の専門知識をほとんど、あるいはまったく使用せずに、ザイリンクスのテクノロジを採用したビジョンガイド機械学習アプ リケーションをより容易かつ迅速に開発できるようになります。 現在のビジョン システムと機械学習におけるザイリンクスの貢献 2 に示すように、数多くの企業がザイリンクスの製品を採用し、先進的なエンベデッド ビジョン システムを開発していま す。ザイリンクスの製品は、自動車メーカー 23 社、85 車種の ADAS モデルをはじめ、数百社に上るエンベデッド ビジョン ベンダーの数千種類のアプリケーションに採用されています。これらの企業のうち少なくとも 40 社は、機械学習テクノロジ を既に開発または展開しており、システムのインテリジェンスを飛躍的に向上させています。現在、ビジョン業界における ザイリンクスの顧客の大部分は、主に Zynq® All Programmable SoC および MPSoC をターゲットとする高度なハードウェア の専門知識を備えたエンジニアを擁しています。 Figure 1: Xilinx Broadening the Deployment of Machine Learning Applications from the Edge to the Cloud Source: Machine Learning Landscape Moor Insights & Strategy Research Paper

Transcript of ザイリンクス、reVISION によって幅広いビジョン …reVISION...

Page 1: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 1 | Page       

ザイリンクス、reVISION によって幅広いビジョンガイド機械学習アプリケーションを市場で拡大 

 

背景説明 

2017 年 3 月 13 日  

機械学習: エッジからクラウドまで 

機械学習アプリケーションはますます多くの市場へ急速に拡大し、エッジ上、クラウド内、あるいはエッジでの処理とクラウ

ドベースのデータ分析を組み合わせたハイブリッド アプリケーションとして展開されています。クラウドについて、ザイリン

クスは先ごろ、機械学習の推論などの幅広いコンピュート アクセラレーション アプリケーションをターゲットとするリコンフィ

ギュレーション アクセラレーション スタック (2016 年 11 月リリース) を発表しました。エッジについては、今回ザイリンクスは

新たに reVISION™ スタックを発表し、幅広いビジョンガイド機械学習アプリケーションを市場で拡大します。新しい reVISION 

スタックにより、従来よりもはるかに幅広いエンベデッド ソフトウェア エンジニアやシステム エンジニアが、ハードウェア設

計の専門知識をほとんど、あるいはまったく使用せずに、ザイリンクスのテクノロジを採用したビジョンガイド機械学習アプ

リケーションをより容易かつ迅速に開発できるようになります。 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

現在のビジョン システムと機械学習におけるザイリンクスの貢献 

図 2 に示すように、数多くの企業がザイリンクスの製品を採用し、先進的なエンベデッド ビジョン システムを開発していま

す。ザイリンクスの製品は、自動車メーカー 23 社、85 車種の ADAS モデルをはじめ、数百社に上るエンベデッド ビジョン 

ベンダーの数千種類のアプリケーションに採用されています。これらの企業のうち少なくとも 40 社は、機械学習テクノロジ

を既に開発または展開しており、システムのインテリジェンスを飛躍的に向上させています。現在、ビジョン業界における

ザイリンクスの顧客の大部分は、主に Zynq® All Programmable SoC および MPSoC をターゲットとする高度なハードウェア

の専門知識を備えたエンジニアを擁しています。 

 

Figure 1: Xilinx Broadening the Deployment of Machine Learning Applications from the Edge to the Cloud Source: Machine Learning Landscape ‐ Moor Insights & Strategy Research Paper 

Page 2: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 2 | Page       

 

 

 

 

 

 

 

 

 

 

 

reVISION のターゲット アプリケーションとその要請 

現在の市場においては差別化が不可欠であり、極めて高いシステム応答性が要求されるとともに、最 新のアルゴ

リズムおよびセンサーの迅速な展開が求められています。ザイリンクスの製品は、このような市場に適 合したアプ

リケーションを実現します。アプリケーションは、最先端のハイエンド コンシューマーや「プロシュー マー」、自動

車、インダストリアル、医療、航空宇宙/防衛など多くの市場に広がっています。成熟した技術を採用し て差別化し

にくい必要十分な機能のみを搭載した、大量生産のコンシューマー向けアプリケーションやコモディティ 化した一般

的なアプリケーションは、通常は大半が除

外されます。 

 

図 3 に示すように、従来のエンベデッド ビ

ジョン アプリケーションの多くは、機械学習

とセンサー フュージョンを取り込むことで急

激に変化しています。次世代アプリケー

ションには、コラボレーティブ ロボット(コ

ボット)、衝突回避ドローン、拡張現実、自

動運転車、自動監視システム、医療診断

などが含まれます。これらのシステムには、通常は次の 3 つの条件が要請されます。 

1. システムは思考するだけでなく、状況に即座に「応答」する必要があります。そのためには、感知から処理、分析、意

思決定、通信および制御に至るまで

統一的に把握しなければなりませ

ん。これらのシステムは非常に効率

的に実装する必要があり、精度   8 

ビット以下の最新の機械学習推論手

法を運用します。機械学習のトレー

Figure 3: From Embedded Vision to Vision Guided Autonomous Systems

Figure 4: The Application Mandates for Next Generation Vision Guided Systems

Figure 2: Xilinx Embedded Vision Momentum

Page 3: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 3 | Page       

ニング用に最適化されたテクノロジは、機械学習の推論用に最適化されたテクノロジとは異なることに注意してくださ

い。ザイリンクスのデバイスは推論用に最適化されています。 

2. ニューラル ネットワークおよびそれに関連するアルゴリズムの変化のペースは非常に速く、センサーも急速に進化し

ているため、ハードウェア/ソフトウェアのリコンフィギュレーションによってシステムを柔軟にアップグレードできること

が不可欠です。 

3. これらの新しいシステムは大半がネットワークに接続されるため  (IoT)、既存のレガシ マシン、将来導入される新しい

マシン、およびクラウドとの通信を行う必要があります。ザイリンクスではこれを「Any‐to‐Any」コネクティビティとして定

義しています。 

 

ザイリンクスのデバイスは、競合製品

に対する測定可能な優位性により、こ

れらの  3 つの要請をサポートします。

ザイリンクスのデバイスは、センサーか

ら効率的な推論と制御までの迅速な応

答性を実現し、最新のニューラル ネット

ワーク、アルゴリズム、センサーをサポートするリコンフィギュレーションが可能で、レガシ マシンまたは新しいマシン、ネッ

トワーク、クラウドに対する Any‐to‐Any コネクティビティをサポートします。 

 

こうしたザイリンクス デバイスの利点を活用できるのは、これまではハードウェアおよび RTL ベースの設計経験を持つエキス

パート ユーザーに限られていました。幅

広い採用を阻んできた大きな障壁は、業

界標準規格のライブラリとフレームワーク

を使用したソフトウェア定義プログラミン

グのサポートが不十分なことです。

reVISION スタックは、この採用拡大を阻

む障壁を克服する技術です。  

 

reVISION スタック 

ザイリンクスの  reVISION スタックには、

プラットフォーム、アルゴリズムおよび

アプリケーション開発向けの幅広い開

発リソースが含まれます。これには、

AlexNet 、 GoogLeNet 、 SqueezeNet 、

SSD、FCN などの広く普及したニューラ

ル ネットワークのサポートが含まれまFigure 7: Xilinx reVISION Stack

Figure 6: Barrier to Broader Adoption

Figure 5: Xilinx Unique Application Advantages

Page 4: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 4 | Page       

す。さらに、reVISION スタックは、事前定義および最適化済みの CNN ネットワーク層の実装を含む、カスタム ニューラル 

ネットワーク  (DNN/CNN) の構築に必要なライブラリを提供します。これらのライブラリは、コンピューター ビジョン処理用と

してアクセラレーションに対応した幅広い OpenCV 関数群によって補完されます。アプリケーション レベルの開発について

は、ザイリンクスは機械学習向けの Caffe やコンピューター ビジョン向けの OpenVX (2017 年中にリリース予定) などのよく

利用されるフレームワークをサポートします。reVISION スタックには、ザイリンクスとサードパーティ各社が提供する Zynq 

SoC および MPSoC ベースの開発プラットフォームも含まれます。 

 

採用拡大を阻む障壁の克服 

reVISION スタックを使用すると、ハードウェアの詳しい専

門知識は不要になります。幅広い設計チームが、ソフト

ウェア定義開発フローを使用して、機械学習アルゴリズ

ムとコンピューター ビジョン アルゴリズムの効率的な実

装を組み合わせて応答性に優れたシステムを構築でき

ます。 

 

図 8 に示すように、reVISION 開発フローは、C、C++、また

は OpenCL 言語とそれに関連するコンパイラ テクノロジ

を使用する、なじみ深い Eclipse ベースの開発環境から

始まります。これは SDSoC 開発環境と呼ばれています。

SDSoC 環境では、ソフトウェア エンジニアやシステム エ

ンジニアが reVISION ハードウェア プラットフォームをター

ゲットにすることができ、アクセラレーションに対応したコ

ンピューター ビジョン ライブラリや、提供間近の OpenVX フレームワークを利用して、アプリケーションを迅速に構築できま

す。 

 

機械学習については、Caffe などのよく利用されるフレームワークがニューラル ネットワークのトレーニングに使用されます。

Caffe で生成される  .prototxt ファイルを使用して ARM ベースのソフトウェア スケジューラーを設定し、プログラマブル ロ

ジック向けに事前に最適化された CNN 推論アクセラレータを駆動します。 

 

コンピューター ビジョン アルゴリズムやその他の独自のアルゴリズムについては、ユーザーがソフトウェア コードをプロ

ファイリングしてボトルネックを特定し、高速化および「ハードウェア最適化」の対象となるコード内の特定の関数にラベル

を付けることができます。次に「システム最適化コンパイラ」を使用して、プロセッサ/アクセラレーター インターフェイス 

(データ ムーバー) やソフトウェア ドライバーなどの高速化した実装を作成します。コンピューター ビジョンと機械学習を組

み合わせる場合、このコンパイラは両者を融合して最適化した実装を生成します。 

 

Figure 8: The reVISION Software Defined Flow 

Page 5: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 5 | Page       

図 9 の左側に示すように、従来の RTL ベースの設計フローを利用しているザイリンクス製品のエキスパート ユーザーは、

ARM ベースのソフトウェア開発者と協力しながら、設計時間を大量に費やして差別化された機械学習およびコンピュー

ター ビジョン アプリケーションを開発していました。 

 

ザイリンクスは、ハードウェアの専門家への依存を軽減してさらに設計時間を短縮するために、約 2 年前に C、C++ および 

OpenCL 言語をベースとする SDSoC 開発環境を発表しました。これにより、開発サイクルの大幅な短縮が可能なユーザー

は、1,000 社規模に拡大しました、その会社は、プラットフォーム、ライブラリ、アプリケーションを自社ベースで開発できる

会社です。しかし、さらに広範囲にわたる採用と展開を進めるには、この手法ではまだ不十分です。しかも、機械学習が加

わると、開発プロセスはさらに複雑化します。 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

図 9 の右側に示すように、ザイリンクスの新しい reVISION スタックを使用すると、従来よりもはるかに幅広いソフトウェア エ

ンジニアやシステム エンジニアが、ハードウェア設計の専門知識をほとんど、あるいはまったく使用せずに、インテリジェン

トなエンベデッド ビジョン システムをより容易かつ迅速に開発できます。たとえば、機械学習アルゴリズムとコンピューター 

ビジョン アルゴリズムの極めて効率的な実装を組み合わせて、応答性に優れたシステムを構築できます。 

 

応答性 – センサーから推論と制御までのレイテンシを最小化 

既に述べたように、ソフトウェア定義 reVISION フローにより、応答性に優れたシステムの迅速な開発が可能となります。実

際、組み込み GPU と一般的な SoC に対してパフォーマンスの測定基準を比較すると、ザイリンクスの性能はこのグループ

で最善の Nvidia を大きく上回っています。 

 

Figure 9: reVISION Stack – Removing Barriers to Broad Adoption

Page 6: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 6 | Page       

Zynq SoC をターゲットとする reVISION フローと Nvidia Tegra X1 のベンチマーク結果を比較すると、ザイリンクスは機械学習

で最大 6 倍のイメージ数/秒/ワット、コンピューター ビジョン処理で 42 倍のフレーム数/秒を実現し、リアルタイム アプリ

ケーションで重視されるレイテンシ (ミリ秒単位) を 5 分の 1 に抑えました。 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

図 11 に示すように、システム応答時間が非常に短く、予測可能であることには大きな価値があります。この例は、Zynq 

SoC ベースのザイリンクス reVISION を採用した自動車と Nvidia Tegra デバイスを搭載した自動車が、衝突の危険を感知し

てブレーキを作動させた状況を示しています。ザイリンクスのデバイスは応答性に優れているため、時速 65 マイル (約 105 

km) では (Nvidia のデバイスがどのように実装されているかに応じて) 5 ~ 33 フィート (約 1.5 ~ 10 m) 分早く停止します。

この差が安全な停止と衝突の分かれ目となる可能性は十分あります。 

 

 

 

 

 

 

 

 

 

 

 

 

Figure 10: Xilinx reVISION vs. Nvidia Tegra X1 

• Nvidia TX1 published: https://devblogs.nvidia.com/parallelforall/jetpack‐doubles‐jetson‐tx1‐deep‐learning‐inference/ • All Machine Learning Measurements taken at Batch = 1, ImageNet Images • Computer Vision: Nvidia TX1 with 256 Cores; gpu::StereoBM_GPU; OpenCV  2.4.13 • Up to 6x: based on Xilinx roadmap

Figure 11: Why Response Time Matters: Xilinx vs Nvidia Tegra X1 • Xilinx: ZU9 running GoogLeNet @ batch = 1 • Nvidia TX1: 256 Cores; running GoogLeNet @ batch = 8 • Assuming the car was driving at 65 mph 

Page 7: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 7 | Page       

 

 

このような応答時間の大きな差は、組み込み GPU と一般的な SoC に対する Zynq SoC アーキテクチャの根本的な優位性に

由来します。図 12 に示すように、組み込み GPU と一般的な SoC では、センサーからビジョン、機械学習、制御処理まで、

外部メモリへのアクセスが頻繁に必要とされます。対照的に、Zynq SoC は、プログラマブル ロジックで実装される最適化さ

れた無駄のないデータフローと、大量の内部メモリ (Nvidia Tegra X1 の最大 19 倍) を利用します。その結果、競合に対して

レイテンシが 5 分の 1 に抑えられるだけでなく、多くのリアルタイム アプリケーションで重視される、予測可能な応答時間

が実現されます。 

 

 

 

 

最新のネットワークおよびセンサーに対応したリコンフィギュレーション 

応答時間以外にも、ザイリンクスのソリューションは、リコンフィギュレーションが可能であるという独自の利点を備えていま

す。最先端のニューラル ネットワークと効率的な機械学習の推論を搭載した最高のシステムを展開するには、製品ライフ

サイクル全体を通してソフトウェアとハードウェアの両方を最適化する必要があります。図 13 に示すように、最近 2 年の機

械学習の進化は、過去 45 年間を上回る数のテクノロジを生み出しています。多くの新しいニューラル ネットワークと、それ

らを効率的に展開できる新たな手法が出現しています。現在定義される  (または将来実装される) すべての機械学習シス

テムには、ハードウェア リコンフィギュレーションによる将来性を確保する必要があります。このレベルのリコンフィギュレー

ションが可能なのは、ザイリンクスの All programmable デバイスだけです。 

Figure 12: The Source of Xilinx Response Time Advantages

Page 8: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 8 | Page       

 

 

 

 

 

 

 

 

 

 

 

 

 

 

図 14 に示すように、センサー テクノロジの急速な進化への対応のためにも、同じようにリコンフィギュレーションが必要と

されます。AI 革命は、さまざまなカテゴリでセンサー テクノロジの開発と進化を加速しています。その結果、各種のセン

サーをさまざまな組み合わせで統合し、システムの周囲環境および環境内の物体を途切れのない 360° の視界で認識す

る、新たなレベルのセンサー フュージョンへの要求が生まれます。機械学習と同様に、現在定義される  (または将来実装

される) すべてのセンサー構成には、ハードウェア リコンフィギュレーションによる将来性を確保する必要があります。この

レベルのリコンフィギュレーションが可能なのは、ザイリンクスの All programmable デバイスだけです。 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Figure 14: Why Reconfigurability Matters as Sensors Evolve 

Figure 13: Why Reconfigurability Matters as Machine Learning Evolves 

Page 9: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 9 | Page       

Any‐to‐Any コネクティビティとセンサー インターフェイス 

図 15 に示すように、Zynq ベースのビジョン プラットフォームは、堅牢な Any‐to‐Any コネクティビティとセンサー インターフェ

イスを提供します。 

Zynq ベースのセンサーとコネクティビティには、次のような利点があります。 

1.  現在販売されている競合 SoC に対して最大 12 倍の帯域幅 (ネイティブ 8K およびカスタム解像度をサポート)。 

2. センサー インターフェイス

およびチャネルの高帯域

と低帯域が非常に広く、

RADAR、LiDAR、加速度計

および力トルク  センサー

などのセンサーを組み合

わせた差別化が可能。 

3. 最新のデータ転送 /スト

レージ インターフェイスの

サポートで業界を主導し、

将来の規格に合わせた再

構成が容易。 

 

ザイリンクスと競合製品の比較 

Zynq ベース プラットフォーム独自の利点と、業界標準規格のフレームワークをサポートするライブラリ付きソフトウェア定

義開発環境を組み合わせた  reVISION は、ビジョン ベース システム開発に最適な手法と言えます。既に説明したように、

reVISION は、差別化および Time‐to‐Market と最新テクノロジが不可欠とされるインテリジェント アプリケーションの 3 つの

要請 (応答性、リコンフィギュレーション、Any‐to‐Any コネクティビティ) すべてに対応します。また reVISION は、ソフトウェア

定義プログラミングにより、採用拡大を阻む障壁を克服できます。 

 

図 16 の縦軸については、reVISION 

はセンサーから機械学習の推論お

よびコネクテッド コントロールまでの

最適化が可能であり、最高のシステ

ム応答時間を実現できます。横軸に

ついては、reVISION は高度なリコン

フィギュレーションが可能であり、

ハードウェア レベルの最適化による

アルゴリズムのアクセラレーションと

最新のセンサーおよびコネクティビ

Figure 15: Xilinx vs. Nvidia and SoCs in Sensors/Connectivity 

Figure 16: Xilinx – Most Responsive and Reconfigurable Alternative in Target Markets

Page 10: ザイリンクス、reVISION によって幅広いビジョン …reVISION スタックを使用すると、ハードウェアの詳しい専 門知識は不要になります。幅広い設計チームが、ソフト

 

© Copyright 2017 Xilinx 10 | Page       

ティへのアップグレードに対応できます。これらのザイリンクス デバイスの利点を享受できるのは、従来はハードウェアの

専門家を擁する数百社の顧客に限られていましたが、新しい reVISION スタックにより、業界標準規格のライブラリとフレー

ムワークを使用したソフトウェア定義プログラミングが可能となり、採用拡大を阻む障壁を克服できます。 

 

reVISION のまとめ: 

 

 

 

 

 

 

 

 

ザイリンクスの reVISION スタックは、幅広いビジョン ガイド機械学習アプリケーションを市場で拡大します。reVISION   の発

表は、先頃のリコンフィギャラブル アクセラレーション スタックを補完するものであり、エッジからクラウドまでザイリンクス

のテクノロジを採用した機械学習アプリケーションの展開の幅を大きく広げます。新しい reVISION スタックにより、従来より

もはるかに幅広いソフトウェア エンジニアやシステム エンジニアが、ハードウェア設計の専門知識をほとんど、あるいは

まったく使用せずに、インテリジェントなビジョン ガイドシステムをより容易かつ迅速に開発できるようになります。reVISION 

のユーザーは、機械学習、コンピューター ビジョン、センサー フュージョン、コネクティビティを組み合わせることで、大きな

アドバンテージを実現できます。