iWaveのCyclone V SoC開発キットでマシンビジョンを実証

Client:
A US based company, well known manufacturerand provider of industry leading custom logic solutions to customer that includes FPGAs, SoCs, CPLDs and power management products.Its development units are spread all over the world in more thantwenty countries.

Overview:
iWave and client vested interest to demonstrate theCyclone V SoC capabilities of ARM and FPGA subsystem inspired to go for Machine Vision application project. iWave’s in-house design capabilities on FPGA and associated embedded SW on Cyclone V SoC has driven the client to collaborate. iWavedeveloped a Machine Vision Application system for finding Blemishes/Damages on Vegetables/Fruitsusing iWave Cyclone V SoC Development platform(G17M). The current system is designed to find blemish/damage on one type of vegetable, i.e. eggplant (Brinjal).

Challenges:
There are various image processing modelling/algorithm are available in the industry and some of these algorithm implementation are in OpenCV library. Considering the environmental light, color of the vegetable under test, the video input and display output parameters in the system, arriving at the appropriate modelling and applying for Machine Vision was a real challenge. Initially all image modelling using OpenCV was running in ARM subsystem of Cyclone V SoC. The CPU processing time for each stage of image modelling captured and analyzed to reduce the overall latency. It was found that certain modelling stages was consuming more time while running in ARM. Identifying the modelling stages, which can be offloaded to FPGA subsystem with its available IP/Memory resources was an exciting experience.

アイウェーブが提供するソリューション：

主な特徴

• iWave Cyclone V SoCプラットフォームはデュアルコアARM(HPS)とFPGAをサポートします。
• FPGAが撮影画像に前処理ロジックを適用
• マシンビジョンアプリケーションのフロントエンドGUIはQTを使用して開発されている。
• 画像処理アルゴリズムを開発し、ナス(ブリンジャール)画像上の傷や損傷を検出する。
• OpenCVライブラリは、画像処理アルゴリズムの実装に使用されます。
• 処理された画像から、ナス（ブリンジャー）のシミや損傷の量を導き出す。
• 傷の量からナスの良否を計算し、マシンビジョンのアプリケーションに渡す。
• 処理された画像と結果のGUIは、FPGAでアルファブレンドされる。
• マシンビジョンアプリケーションは7インチLCDディスプレイにアルファ混合フレームを表示する

システムで使用されるハードウェア・コンポーネントは以下の通り：

• Linuxカーネル3.10.17が動作するiWave Cyclone V SoCプラットフォーム
• NTSCカメラ
• 7インチLCDディスプレイ
• 起動用TouchSDカード
• デバッグUART

解決策

• FPGAを用いた画像前処理アルゴリズムの開発
• GUIフロントエンドとして使用するQT GUIアプリケーションの開発
• OpenCVライブラリを使用した、傷や破損を見つけるための画像処理アルゴリズムの開発
• より多くの画像処理アルゴリズムをFPGAに実装することで処理時間を短縮

専門分野

• 画像処理用カスタムFPGA IPコアの開発
• OpenCVを用いた画像処理とモデリング（中空モデル、輪郭、メディアンフィルター、モデル充填）
• ペリフェラルドライバ付きLinux BSP (Yocto)
• Qtフレームワーク

メリット

• マシンビジョンアプリケーションでコストと時間を削減
• 野菜・果物の良品・不良品分別の品質向上
• 野菜・果物を複数のカテゴリーに分類することも可能。
• 最小限の人的介入
• 堅牢で効率的

可能な用途

• 自動果物/野菜等級付けシステム
• 果物や野菜の分析と選別
• 皮膚検出
• 医療用途