アイウェーブのCorazon-AIソリューションを発表:ビデオ分析のゲートウェイ


かつては人間だけのものと考えられていたビデオ・インテリジェンスも、人工知能のアルゴリズムの進歩とAIゲートウェイの処理能力の向上により、今では一転している。

ビデオとカメラに基づくインテリジェンスとデータ駆動型の意思決定は、スマートパーキング、小売店の歩数分析、交通管理、セキュリティ監視などのアプリケーションで、現在最も重要なものとなっています。ビデオや画像からの洞察は、予測分析と履歴分析の両方で、膨大な量のデータを提供する能力があります。

ビル、空港、小売店、その他のゾーンに設置された複数のカメラのインフラを補完するために、高解像度で画像を収集し、接続オプションを備え、エッジでの判断も可能なインテリジェントなゲートウェイが必要とされています。Corazon-AIでは、効率的なマルチチャンネル-AIビデオ分析ゲートウェイを提供します。8チャンネルのザイリンクス・ビデオ・コーデック・ユニット(VCU)とCNN推論をCorazon-AI上に配置する設計により、ゲートウェイはエッジコンピューティングを可能にする低消費電力のヘテロジニアス・コンピューティング・プラットフォームとして機能します。

私たちのデモ・アプリケーションを統合した上記のビデオを通じて、ハードブロックIPとして利用可能なVCU(ビデオ・コーデック・ユニット)の能力と性能を実証するつもりです。AI推論エンジンとディープラーニング処理ユニット(DPU)は、デバイスのPL(プログラマブル・ロジック)側に実装されています。

8台のカメラからの8つのRTSPストリームからのビデオデータは、Corazon-AI上のエッジで各ビデオストリームに対して実行される高速ディープラーニング分析と共に処理される。以下は、各カメラで異なるモデルを実行するCorazon-AI上のビデオストリーミングとアナリティクスのアーキテクチャです。

デモビデオでは、人物検出、物体検出、顔検出、車両検出(ADAS)の4つの異なるアルゴリズムを実行している。すべてのAI操作は、8つの独立した1080p@30 RTSPビデオストリームに対して、異なる解像度で実行される4つの異なる畳み込みニューラルネットワークで同時に実行される。8チャンネルのAIビデオ分析アプリケーションの全体的なパフォーマンスは、Corazon-AIで最大80fpsです。

図1.2:システム・ブロック図

FHD(1080p)IPカメラは、監視ストリームの高解像度とワイドフレームのキャプチャに使用され、カメラはAdvanced Video Coding(AVC)H.264規格を使用してビデオデータをエンコードし、RTSPを使用してネットワーク経由で送信します。8台のIPカメラはイーサネットケーブルを介して10ポートの1Gイーサネットスイッチに接続され、エンコードされたRTSPビデオストリームはイーサネットスイッチに接続された1G PSイーサネットポート(RJ45)を介してCorazon-AIに受信されます。

入力ビデオストリームは、ザイリンクスのビデオコーデックユニット(VCU)IPを使用してデコードされる。Corazon-AIのソフトウェア・コアを使用して、ビデオのスケーリングと前/後処理が実行される。

Corazon-AI上のAI推論エンジン- ディープ・ラーニング・プロセッシング・ユニット(DPU)は、SSD、ResNet、YOLO、VGG、FPNなどの畳み込みニューラルネットワークに最適化されたコンフィギュラブルな計算エンジンです。FPGA SoCのPL側に実装されたハイエンドの4096シングルコアDPU(Deep Learning Processing Unit)は、300MHzで動作しながら約1.2TOPSの演算性能を発揮する。

Caffe、TensorFlow、Darknetといった主流のフレームワークから、以下の表1.0に示す4つの異なる畳み込みニューラルネットワーク、SSD、SSD_MOBILENET_V1、Dense Box、YOLO-V3を使用して、ザイリンクスのディープラーニング処理ユニットIPを使用して、受信したビデオストリームにML関数を適用し、最終的な出力ストリームをDisplay Portモニタに表示します。

RTSPストリームCNNフレームワーク入力サイズ(WxH)CNNワークロード

(GPOS)

申し込み
CAM1SSDカフェ360×3605.9人物検出
CAM2
CAM3SSD_MOBILENET_V1テンソルフロー300×3002.5物体検出
CAM4
CAM5デンスボックスカフェ320×3200.49顔検出
CAM6
CAM7ヨロ-v3ダークネット512×2565.5ADAS
CAM8

表1.0:対応ニューラルネットワーク

ザイリンクス Vitis AI Stack と統合された Corazon-AI は、複雑さを軽減しながら市場投入までの時間を短縮します。ザイリンクスのAIスタックには、Tensor-flow、Caffe、Darknet、PyTorchなどの主流フレームワークの高度な最適化済みディープラーニングモデルが含まれています。

ザイリンクスのVitis AI Stackを使用することで、開発者はFPGAやディープラーニングに関する深い知識がなくても、AIアプリケーションの開発フローを加速することができます。このスタックはC++/python APIをサポートしており、開発者にプログラミングの柔軟性を提供します。

ここでは、コラソンAIプラットフォームが8台のIPカメラを接続し、異なる解像度で動作する4つの異なるコンボリューション・ニューラル・ネットワークを使って、これらのビデオストリームに対して同時にAI演算を実行する機能を実演した。

コラソンAIについての詳細はこちらをご覧ください。

著作権 © 2022 iWave Systems Technologies Pvt.