© Hitachi Solutions, Ltd. 2019. All rights reserved.
株式会社 日立ソリューションズ
画像判定ソリューションのご紹介機械学習による画像の検査/判定の自動化提案
※本資料中の会社名、商品名、ロゴは各社の商標、または登録商標です。
© Hitachi Solutions, Ltd. 2019. All rights reserved. 1
1. 検査・判定プロセスの課題
人が目視で作業確認など行っていませんか?
また、以下のような課題を抱えられてはいませんか?
不良品流出が心配
検査人員が不足人が集まらない
生産性をあげたい ベテラン検査員が退職した…
検査レポートの作成が大変
虚報率が高い
画像処理のノウハウがない
市販のシステムは金額が高い
自社の部品・画像に対応できる?
画像が変わると再度開発しないと…
あいまいな検査項目で自動化
できない 性能が心配
人によって判定にばらつきがある
検査自動化して人員の再配置を
考えたい24時間の監視が
必要
© Hitachi Solutions, Ltd. 2019. All rights reserved.
関連技術が進化しています。
2
2. 技術の進歩による課題解決
★画像処理ライブラリの進化
様々なアルゴリズムが日々進歩
(現在も論文発表あり)
OSSなど様々なツールで検証・評価が可能
★機械学習技術の進化
ビッグデータにより精度の高い学習・判定を
実現
機械学習技術が発展
★高性能コンピュータの進化
CPU性能の向上GPGPU(※1)の用途拡大
画像処理の時間短縮ビッグデータ処理高速化
画像による外観検査画像の判定業務
自動化が可能
ただし…画像処理/機械学習は
ノウハウが重要
※1 GPGPU:グラフィック処理装置の多目的コンピューティング。(General-purpose computing on graphics processing unitsの略称)GPUの演算資源を画像処理以外の目的に応用する技術のこと。
© Hitachi Solutions, Ltd. 2019. All rights reserved.
3. ソリューションの基本コンセプト
3
その目視でチェックしている作業。自動化できませんか?
カメラで撮影し、画像で判定しましょう!
© Hitachi Solutions, Ltd. 2019. All rights reserved.
お客様の画像の特徴、判定の対象エリア、検査の項目、判定の基準などにあわせて、精度の高い結果を得る最適な画像処理と学習方法、再学習プロセスを提案いたします。
デジタルカメラ開発や自動車の物体認識機能など組込みソフト開発で培った技術、ITシステム構築やビッグデータ解析などで蓄積した機械学習技術、これらを組み合わせて、お客様がお持ちの課題を解決する提案をいたします。
4
4. ソリューションのご提案
画像処理(前処理)
最適な画像加工ができるアルゴリズム、ツールを選定
機械学習(AI)
最適な機械学習手法Deep Learning技術の選定 Zzzzzzzzzz
zzzzzzzzzzzzzz
判定処理
検出閾値設定 異常判定チェック
etc・・・
○データ分析
特徴量の統計解析可視化ツールによるAI判断分析
システムSI
カメラ選定、システム・インフラ構築、アプリケーション開発などSI作業も含めて実施
© Hitachi Solutions, Ltd. 2019. All rights reserved.
対象画像判定基準判定精度
上記の提供をお願いします。
画像や判定基準からアルゴリズム、学習手法を決定
します。
システム開発は以下の流れで行っていきます。開発前に事前検証・実証実験を行い、検出/判定精度を確認します。
5
5. プロジェクトの作業プロセス(PoCベース)
事前検証/実証実験
対象システムや検査装置などにあわせて画像判定処理およびシステムを構築し
ます。
※検査装置やハードウェアの開発は含みません。
システム開発
検証結果のご報告
トライアルで運用し、誤判定データや問題を抽出。
追加学習、アルゴリズム、閾値の調整を実施します。
試験運用
システム稼動開始
継続して再学習するなどで、誤判定を改善します。
保守
プロジェクト終了
目標到達
アルゴリズム再検証
© Hitachi Solutions, Ltd. 2019. All rights reserved.
精密機器向けに作成した部品の外観上のキズ、汚れなどを検出するシステムです。外観異常のパターンごとに適切な判定器を作成し、適用させることで精度を向上させます。
精密機器部品の外観検査
6
6-1. 提案事例の紹介(顧客:精密機器製造)
ヒストグラムによるカラー判定
CNNによる形状判定
キズ判定 = OKカラー判定 = OK形状判定でOK > 60%
正常と判定
2値化による検査対称面の抽出
カスケード分類器によるキズ検出
※ Softmaxニューラルネットワークの出力を確率に変換して出力する層
softm
ax
部品の画像
© Hitachi Solutions, Ltd. 2019. All rights reserved. 7
6-2. 提案事例の紹介(顧客:自動車部品製造)
配線ケーブルコネクタの不良検出
画像前処理と機械学習を活用し、画像の特徴を出した上で機械学習ツールにより不良品の判定を学習します。1方向の画像からでは判断できない場合、複数方向の画像を組み合わせて判定を行います。最終段の判定をプログラミング又は機械学習で行い精度をさらに向上させます。
コネクタ画像(上方向)
それぞれCNNで学習
softm
ax
画像処理(前処理)
コネクタ画像(横方向)
画像処理(前処理)
softm
ax
OK確率
NG確率
OK確率
NG確率
判定プログラム又は
機械学習
© Hitachi Solutions, Ltd. 2019. All rights reserved.
製品の異常個所を学習し、異常種別の判定結果を確率で出力します。画像検査装置を導入しているが、異物や汚れなどの分類までは既存装置で判断できないた
め、人手で再検査を実施中。CNNで判定確率を出力することで、該当箇所が何かを判断します。
8
6-3. 提案事例の紹介(顧客:自動車部品製造)
異物画像
汚れ画像
キズ画像
打痕画像
CNNで学習判定結果は確率で出力
softm
ax
異物画像 確率
汚れ画像 確率
キズ画像 確率
打痕画像 確率
画像処理(前処理)
自動車部品の異常分類
画像の判定確率を出力
入力した画像と判定確率の相関を確認します。
© Hitachi Solutions, Ltd. 2019. All rights reserved.
工場内で製造された部品に対し、出荷前の部品番号チェックを画像処理で実施。複数の部品でフォント固定の英数字刻印と手書きによる英数字刻印を実施しており、それぞ
れの文字を画像から自動認識し、複数の部品で品番が正しいか確認を行う提案です。
9
6-4. 提案事例の紹介(顧客:自動車部品製造)
製造品の出荷前品番チェック
判定品番が一致しているか?
画像処理(領域抽出)
画像処理(エッジ画像)
文字認識(OCR機能)決まったフォント(刻印)
文字認識(機械学習)※手書き文字の認識に、機械学習の技術を利用
手書き文字の事前学習データ
人による手書き文字
異なる場合は人手による部品の再チェックを実施
出荷データ
© Hitachi Solutions, Ltd. 2019. All rights reserved.
設計の参考にするため、過去の類似図面の検索などを実施する場合、画像どうしの検索を効率よく実施。Deep Learning技術を利用して、図面の画像データからハッシュ値を取得。検索対象図面のハッシュ値に近いものを検索することで、図面レベルでの類似検索を実現。
10
6-5. 提案事例の紹介(顧客:製造業)
類似設計図面の検索システム
設計図面
部品図面
11000000111
Hash data
binaries
登録済みHash data
11000000111
01011000001
11000000101
CNNで特徴量を抽出
特徴量をハッシュ値として出力
ハッシュ値を比較、近いものを類似画像と出力
設計図面または部品図面を画像データとして入力
CNN(SSDH技術)
類似画像
© Hitachi Solutions, Ltd. 2019. All rights reserved.
定点カメラで各作業員の動作(モーションキャプチャ)を取得し、ベテラン作業員の動きと各自の差を定量的に観測。機械学習により、今までに気が付かなかった動作などを明示し、気づきを与えることができます。(ベテラン作業員の生産性を動画解析により見える化)
11
6-6. 提案事例の紹介(顧客:金属製造)
モーションキャプチャによる生産性向上支援
ベテラン作業員
ビギナー作業員
定点カメラ
画像処理モーション
キャプチャ取得
機械学習クラスタリング⇒ベイジアンネットワークによる
因果分析
測位点ごとに移動量などを数値化頭 : xx cm手首 : xx cm腰 : xx cm
・特徴的な差異を抽出し、ビギナー作業員の生産性を改善・人の見解にはない観点を示し、ノウハウとして蓄積
© Hitachi Solutions, Ltd. 2019. All rights reserved.
データセンタ内で稼働中のサーバが正常動作しているか、LEDやブレーカの状態を目視チェックしていますが、これをAR技術、機械学習、画像処理により自動判定。検査員が現場で対象箇所を見るだけでチェックを実施。サーバにエビデンスを保存。
データセンタの設備状況チェック
12
6-7. 提案事例の紹介(顧客:通信・IT)
指示1.参考例のようにサーバを撮影してください
機械学習による物体検出(LED識別)
点検結果.対象認識点検結果電源LEDステータスLED
作業手順 サーバアプリケーション
オフィス
撮影画像 点検対象
OK
OK
OK
画像判定・ヒストグラムによる
色情報取得・フレーム毎処理による
点滅判定
結果の判定電源LED:赤点灯
ステータスLED:緑点滅
正常:赤点灯
正常:緑点滅
フィールド
スマートグラス/スマートフォン上に
手順を投影
次のチェック対象サーバを指示
© Hitachi Solutions, Ltd. 2019. All rights reserved.
画像処理(モザイク処理)
公道などで撮影した画像/動画データから人物を検出し、モザイク処理を実施します。個人情報につながる不要な情報をマスクするとともに、検出結果をデータ化し保存します。物体検出アルゴリズムにDeep Learning技術を活用し、高速に検知を行います。
人物検出およびモザイク処理
13
6-8. 提案事例の紹介(顧客:通信系)
位置座標
YOLO技術
© Hitachi Solutions, Ltd. 2019. All rights reserved.
データ解析用サーバ
14
6-9. 入出庫業務改善 事例
業務課題
入出庫ダンボールのラベルを全数目視で確認。
業務効率を改善したい。カメラによるラベル撮影
解決手法
Object Detection技術
現場でダンボールを撮影
システムイメージ
画像認識AIでラベル有無を確認し、設備の制御を実施
検出したいラベルを事前学習したAI
設備の制御
ラベルチェック作業の自動化により、単純作業の工数低減、チェック漏れの抑止が可能
© Hitachi Solutions, Ltd. 2019. All rights reserved.
データ解析用サーバ
15
6-10. 危険行動監視 事例
業務課題
業務における危険行動の監視を実施しアラームを出し
たい。監視カメラによる撮影
解決手法
Object Detection技術+判定プログラム
システムイメージ
監視の自動化により、品質の向上および怪我などの低減を実現(監視員のチェック工数削減)
監視装置
映像出力
フレーム取得
事前学習したAIを利用
作業員
台車
DeepLearningオブジェクト検知 危険行動判定プログラム
危険行動チェック
フォークリフト
パトランプでアラーム出力別システムへの
通知
© Hitachi Solutions, Ltd. 2019. All rights reserved.16
6-11. 帳票業務改善 事例
業務課題
帳票の仕分けだけで精一杯。細かい種別の分類は人に
頼っている
解決手法
Classification技術 + 画像処理技術
システムイメージ
細かい点まで見て、仕分けを自動化することで、仕分け業務を自動化。生産性向上
システムイメージ
HamburgerH
スキャンデータ(伝票など)
数百~数千種類
帳票種別を学習したAI
・エッジ強調・台形補正・傾き補正など
画像補正プログラム
各自のフォルダへ移動
© Hitachi Solutions, Ltd. 2019. All rights reserved.
(ご参考) Deep Learningを実現する推奨動作環境
17
ハードウェア CPU Corei7-6950X(3.0GHz,20thread)メモリ 32GBストレージ SSD256GB,HDD1TBGPU NVIDIAGeForceGTX1080Ti(11GB)
OS Windows / Ubuntuを想定
ソフトウェア Python
TensorFlow または Keras
パソコンの必要スペックはタクトタイムや画像数量などによって変動するため、以下は参考例とさせてください。技術検証などの作業が完了後に必要なスペックを試算し、ご提示いたします。
※参考情報・画像処理を多用する場合はCPUのスペックがよいものが望ましいです。CPUのコア数/クロック数の多いもの。メモリサイズが多いのが望ましいです。
・深層学習(Deep Learning)を実施する場合はGPUのスペックが影響します。GPUのメモリサイズにとどまらず、GPU自体を複数枚準備するなど発生します。
・生産数量が多い場合や保存したい画像数が大量の場合はHDDの容量を多く準備する必要があります。・CPUで深層学習を行うことも可能ですが、1枚の画像に対して数秒の処理時間がかかります。GPUの場合は数十msです。
© Hitachi Solutions, Ltd. 2019. All rights reserved.18
(ご参考) 使用技術の例
# 項目 説明
1画像処理
(
前処理)
フィルタ メディアン、ガウシリアン、ラプラシアンなどのフィルタを画像にかけ、2値化処理などの前処理を行う
2 FFT フーリエ変換を行い、特定の周波数帯域を除去します。逆フーリエ変換を行うことで特徴を抽出した画像を作成
3 ヒストグラム 特定の色情報(例:明度)で、出現数をグラフ化します。(0-255の数値で表現)
4
画像処理
(
領域抽出)
2値化マスク 背景と対象物の分離を行う手法の1つ。背景と対象物を白/黒の2値で表現し、対象物と背景の画像を分離させる
5 背景差分 現在画像と元画像の差を取ることで、変化があった場所や、物体を検出します。
6 線/円/コーナー検出 画像中に存在する線、円、コーナーを検出します。
7 エッジ検出 各種エッジ検出アルゴリズムを用いて、画像の輪郭などを検出します。
8 グラフカット 前景部分の抽出を行います
9 KLTトラッカー 指定した画像エリアの特徴をトラッキング
10
機械学習
CNN Convolution Neural Network(畳み込みニューラルネットワーク)の略。脳の神経回路網(ニューラルネットワーク)を複数つないで学習・判断を行うもの。Deep Learningの1種
11 R-CNN Region based CNNの略。CNNの前処理としてSelective Searchなどの画像検出アルゴリズムを利用することで、特定の物体の存在を検出するアルゴリズム。
12 深層強化学習 状態から行動を決める方策(Policy)や,状態や行動の価値を予測する価値をニューラルネットで表現し,そのパラメータを学習していく手法のこと
13 カスケード分類器 検出したい画像の特徴を学習し、学習した画像と類似性があるか判定を行うアルゴリズムの1種。
14 SVM/1classSVM Support Vector Machineの略。学習サンプルから2クラスに分類するための識別アルゴリズム。1-class SVMは特定のデータ分類(1種類) だけで学習を行い、分類器を作成する。
15 GAN Generative Adversarial Networkの略。生成モデル型の機械学習。事前に学習した画像から類似の新しいデータを生成する機械学習モデル。
16 SSDH Supervised Semantics-preserving Deep Hashing model 画像データのハッシュ値をDeep Learning技術を用いて取得する技術
17 YOLO You Only Look Onceの略。リアルタイムでの物体検知を可能にしたアルゴリズムで40-90FPSでの動作も可能
Top Related