かつては人間だけのものと考えられていたビデオ・インテリジェンスも、人工知能のアルゴリズムの進歩とAIゲートウェイの処理能力の向上により、今では一転している。
ビデオとカメラに基づくインテリジェンスとデータ駆動型の意思決定は、スマートパーキング、小売店の歩数分析、交通管理、セキュリティ監視などのアプリケーションで、現在最も重要なものとなっています。ビデオや画像からの洞察は、予測分析と履歴分析の両方で、膨大な量のデータを提供する能力があります。
ビル、空港、小売店、その他のゾーンに設置された複数のカメラのインフラを補完するために、高解像度で画像を収集し、接続オプションを備え、エッジでの判断も可能なインテリジェントなゲートウェイが必要とされています。Corazon-AIでは、効率的なマルチチャンネル-AIビデオ分析ゲートウェイを提供します。8チャンネルのザイリンクス・ビデオ・コーデック・ユニット(VCU)とCNN推論をCorazon-AI上に配置する設計により、ゲートウェイはエッジコンピューティングを可能にする低消費電力のヘテロジニアス・コンピューティング・プラットフォームとして機能します。
私たちのデモ・アプリケーションを統合した上記のビデオを通じて、ハードブロックIPとして利用可能なVCU(ビデオ・コーデック・ユニット)の能力と性能を実証するつもりです。AI推論エンジンとディープラーニング処理ユニット(DPU)は、デバイスのPL(プログラマブル・ロジック)側に実装されています。
8台のカメラからの8つのRTSPストリームからのビデオデータは、Corazon-AI上のエッジで各ビデオストリームに対して実行される高速ディープラーニング分析と共に処理される。以下は、各カメラで異なるモデルを実行するCorazon-AI上のビデオストリーミングとアナリティクスのアーキテクチャです。
デモビデオでは、人物検出、物体検出、顔検出、車両検出(ADAS)の4つの異なるアルゴリズムを実行している。すべてのAI操作は、8つの独立した1080p@30 RTSPビデオストリームに対して、異なる解像度で実行される4つの異なる畳み込みニューラルネットワークで同時に実行される。8チャンネルのAIビデオ分析アプリケーションの全体的なパフォーマンスは、Corazon-AIで最大80fpsです。
FHD(1080p)IPカメラは、監視ストリームの高解像度とワイドフレームのキャプチャに使用され、カメラはAdvanced Video Coding(AVC)H.264規格を使用してビデオデータをエンコードし、RTSPを使用してネットワーク経由で送信します。8台のIPカメラはイーサネットケーブルを介して10ポートの1Gイーサネットスイッチに接続され、エンコードされたRTSPビデオストリームはイーサネットスイッチに接続された1G PSイーサネットポート(RJ45)を介してCorazon-AIに受信されます。
入力ビデオストリームは、ザイリンクスのビデオコーデックユニット(VCU)IPを使用してデコードされる。Corazon-AIのソフトウェア・コアを使用して、ビデオのスケーリングと前/後処理が実行される。
Corazon-AI上のAI推論エンジン- ディープ・ラーニング・プロセッシング・ユニット(DPU)は、SSD、ResNet、YOLO、VGG、FPNなどの畳み込みニューラルネットワークに最適化されたコンフィギュラブルな計算エンジンです。FPGA SoCのPL側に実装されたハイエンドの4096シングルコアDPU(Deep Learning Processing Unit)は、300MHzで動作しながら約1.2TOPSの演算性能を発揮する。
Caffe、TensorFlow、Darknetといった主流のフレームワークから、以下の表1.0に示す4つの異なる畳み込みニューラルネットワーク、SSD、SSD_MOBILENET_V1、Dense Box、YOLO-V3を使用して、ザイリンクスのディープラーニング処理ユニットIPを使用して、受信したビデオストリームにML関数を適用し、最終的な出力ストリームをDisplay Portモニタに表示します。
RTSPストリーム | CNN | フレームワーク | 入力サイズ(WxH) | CNNワークロード (GPOS) | 申し込み |
CAM1 | SSD | カフェ | 360×360 | 5.9 | 人物検出 |
CAM2 | |||||
CAM3 | SSD_MOBILENET_V1 | テンソルフロー | 300×300 | 2.5 | 物体検出 |
CAM4 | |||||
CAM5 | デンスボックス | カフェ | 320×320 | 0.49 | 顔検出 |
CAM6 | |||||
CAM7 | ヨロ-v3 | ダークネット | 512×256 | 5.5 | ADAS |
CAM8 |
表1.0:対応ニューラルネットワーク
ザイリンクス Vitis AI Stack と統合された Corazon-AI は、複雑さを軽減しながら市場投入までの時間を短縮します。ザイリンクスのAIスタックには、Tensor-flow、Caffe、Darknet、PyTorchなどの主流フレームワークの高度な最適化済みディープラーニングモデルが含まれています。
ザイリンクスのVitis AI Stackを使用することで、開発者はFPGAやディープラーニングに関する深い知識がなくても、AIアプリケーションの開発フローを加速することができます。このスタックはC++/python APIをサポートしており、開発者にプログラミングの柔軟性を提供します。
ここでは、コラソンAIプラットフォームが8台のIPカメラを接続し、異なる解像度で動作する4つの異なるコンボリューション・ニューラル・ネットワークを使って、これらのビデオストリームに対して同時にAI演算を実行する機能を実演した。
コラソンAIについての詳細はこちらをご覧ください。