1段階処理の予測法(One Step Model)...

動画像や音における不必要情報の抑圧と目的情報の移動追跡

諏訪東京理科大学

工学部コンピュータメディア工学科

田邉造 (TANABE Nari)

田邉研究室HP: http://www.rs.suwa.tus.ac.jp/nari/

1

市場規模の拡大

様々な場面においてディジタル画像・映像が用いられる

超音波検査装置 CTスキャン画像

生命・医療

防災災害映像監視カメラ映像

防災・防犯

産業・社会

生活・日常

車載カメラモバイル機器

赤外線カメラエリアセンサカメラ

研究背景

1


2

MDS-600

iスキャミル DSS10

誰でも手軽にディジタル画像の取得が可能

オフィスだけでなく家庭や出先でもスキャンが容易

スキャナの低コスト化やポータブル化

DR-P215

SmartLF Scan! 24

スキャナ商品の一例

2


3

スマートフォンのカメラ機能をスキャナとして代用

スキャナ専用機以外の例

「CamScanner」

INTSIG Information

Corporation

スマートフォンがあればだれでも紙の文書をディジタル化3


ディジタル化の問題点１：裏写り

表面裏面

裏写り画像

裏写り除去による画像の鮮明化

ディジタル化文字データ画像データ

抽出

4


ディジタル化の問題点２：地色

又は画像の背景に存在する塗りつぶされた領域

地色・・・印刷紙の下地の色

印刷する際には不要となる場合が多い

・インクの過剰消費

・地色と重複した文字や絵などの識別難

地色除去による画像の鮮明化

・OCRの認識率低下

5


読み取り対象の印刷紙の状態に強く依存

画像に不一様なテクスチャ（しわ）が付随している場合はディジタルスキャン後の画像にも影響が生じる

望まない情報の混在により画像品質の劣化6

ディジタル化の問題点３：しわ

6


裏写り・地色の除去手法（スキャナの場合とスマホの場合）

Step.1 裏写り(地色)画像から裏写り(地色)の輝度値を推定

Step.2 有色駆動源カルマンフィルタを用いて裏写りの除去

7


発明技術の概要

片面の画像情報のみを用いて，推定した裏写り情報に

非線形項を考慮した裏写り付随モデルより裏写りの除去

Step.1 観測画像全体のヒストグラムを用いて

裏写り・地色・不均一なテクスチャの輝度値を推定

状態方程式：表面画像内を対象とする局所領域変化を表現

観測方程式：非線形項を考慮した裏写り付随モデルを構成

Step.2 非線形項を観測方程式に含む有色駆動源カルマンフィルタを

用いた裏写り・地色・不均一なテクスチャ除去

88


発明技術 Step1

Step.1 観測画像から


着目点：

裏写り，地色，不均一なテクスチャ成分は表面に印字されている成分よりも薄い

方針：観測画像全体に対して各色成分ごとに分析し所望の情報と裏写りなどを認識

輝度値

ピクセル数

観測画像

9


Step.1 観測画像全体の情報を用いて


発明技術 Step1

画像全体に散らばる裏写り，地色，不均一テクスチャを検出可能

より精度の高い裏写り・地色・不均一テクスチャ検出が可能

10


Step.2 非線形項を観測方程式に含む有色駆動源カルマンフィルタ

を用いた裏写り・地色・不均一なテクスチャ除去

着目点：表画像に乗る裏写り・地色は「表画像の輝度値に依存」

発明技術 Step２

表面の輝度値：低い（黒に近づく）

裏写りしにくい

表面の輝度値：高い（白に近づく）

裏写りし易い

裏面の文字

表面の輝度値に応じて，地色・裏写り度合いを変化させるようなモデル式を考案

Step 2 状態方程式

観測方程式

11


透過率とぼけ

表画像

裏画像

裏写り画像

12

Step 2 非線形の裏写り付随式の構成

発明技術 Step２（スキャナの場合）

表画像の輝度値

（明るさ）に応じて変化


観測方程式

より現実に近い地色・裏写り問題を表現

12


透過率とぼけ

表画像

裏画像

裏写り画像

Step 2 非線形の裏写り付随式の構成

発明技術 Step２（スマートフォンの場合）Step 2 状態方程式

スキャナと比較して

光源が弱く，透過しにくい

スマートフォンの場合も，スキャナと同様の式が使える

13

観測方程式


シミュレーション手順

表面画像裏面画像

1. 輝度値0~255を各行に持つ画像を準備（右図の表面画像）

2. 輝度値0~255を各列に持つ画像を準備（右図の裏面画像）

3. 1.と2.がそれぞれ表面と裏面に印刷された両面印刷紙を作成

裏写り付随モデルの非線形項についての考察[1]

[1] F. Merrikh-Bayat, M. Babaie-Zadeh, C. Jutten, ``A Nonlinear Blind Source Separation Solution for Removing the Show-through Effect in the Scanned

Documents,“ European Signal Processing Conference-EUSIPCO, Aug. 2008.

発明技術 Step２非線形項の導出（１）

14


14

観測方程式


6. 横軸を表面の原画像，縦軸を

5. 非線形項を導出

右図の分布結果から非線形項を推定しモデル化

4. 3.の表面をスキャナで読み取りディジタル化

非線形項として5.をプロット

発明技術 Step２非線形項の導出（２）

15


15

観測方程式

Step 1で推定した裏写りを含む画素より，

非線形裏写り付随モデルを導出


発明技術 Step２状態方程式(1)

Step 2 状態空間モデルの構成

状態方程式：表面画像内を対象とする局所領域変化をモデル化

裏写りのない表画像のみ考慮

状態(n – 1) から状態nの変化は画像内の右方向へ1ピクセルシフト

p×qサイズは任意

状態変化


状態状態

16

画像

16

観測方程式


[状態方程式] 原画像の局所領域変化をモデル化

状態n-1の状態ベクトル

状態n状態ベクトル

17

状態

状態

発明技術 Step２状態方程式(2) Step 2 状態方程式観測方程式

17


状態変化

状態状態

[状態方程式] 原画像の局所領域変化をモデル化

発明技術 Step２状態方程式(3)Step 2 状態方程式

有色性駆動源を構成

1818

観測方程式


発明技術 Step２観測方程式（１）

観測方程式：非線形項を考慮した裏写り付随モデルを構成


観測方程式

状態nの状態ベクトル(表画像)

状態

1919


発明技術 Step２観測方程式（２） Step 2 状態方程式

［観測方程式］表面に裏面の情報が加算される劣化過程を表現

スキャン

観測

透過率とぼけ

表面

推定裏面

20

観測方程式


処理結果：チラシ１（表画像＋裏写り）

スマホアプリ処理発明技術による結果

観測画像

表画像裏画像

精度よく裏写りの除去が可能 21


処理結果：チラシ２（グラデーションのある地色）

スマホアプリ処理発明技術による結果観測画像

グラデーションのある地色も除去可能 22


スマホアプリ処理

処理結果：レシート

発明技術による結果観測画像

しわと地色の除去能力が高い 23


裏写り・地色・しわ除去技術を応用した例

表面裏面

OCRなどの文字認識ソフトの前処理に

スキャン

スキャンOCRなど

文字認識

本日は晴天なり。




認識精度向上

コピー機のインク削減に

地色除去：ON

コピー対象インク消費：少コピー

スマートフォンでのスキャンに

写りこみ

影の映り込みを除去

裏写り除去

24


動画像解析への展開

腸の蠕動運動の解析MRI画像による腸の診断- 内視鏡を使わないことによる患者への負担軽減- 複雑な腸の動きを定量化することで医師の負担軽減

オプティカルフロー解析フレーム間の物体の動いた方向と量をベクトルで視覚化

腸のMRI画像

腸画像とフローベクトルnフレーム目 (n+1)フレーム目

リンゴが動いた方向と大きさを視覚化

コンピュータによる動画像解析による負担軽減 25


音声信号への展開

動いている人の声をピックアップ- コンサートやライブなど，聞きたい歌手の歌声のみを抽出- スポーツなどの選手の息遣いを抽出．より臨場感のある放送などに応用

左マイク

右マイク

左BGM信号

+ 左楽曲信号

右楽曲信号

右BGM信号

BGM信号ボーカル信号

+

・左右のマイクに収録された信号から，BGM信号を抑圧・ボーカルの位置を推定し，ボーカル信号を抽出

新たなメディアの楽しみ方を提供26


結論

発明手法

片面の画像情報のみを用い推定した裏写り情報に非線形項を考慮した裏写り付随モデル

＜不必要な情報を抑圧して目的情報を抽出＞

・裏写り，地色，しわを精度よく抑圧することが可能

・動画像や音の移動追跡にも適応可能

実用的な音や画像の信号処理技術を確立

27


本技術に関する知的財産権

28

発明の名称：画像復元装置、方法、及びプログラム

出願番号：特願2016-229777

出願人：学校法人東京理科大学

発明者：田邉造、他２名


お問合せ先

29

東京理科大学

研究戦略・産学連携センター

担当URA 鵜澤真治

ＴＥＬ０３－５２２８－７４４０

ＦＡＸ０３－５２２８－７４４１

e-mail ｕｒａ＠ａｄｍｉｎ.ｔｕｓ.ａｃ.ｊｐ

1段階処理の予測法(One Step Model)...

Documents

Transcript of 1段階処理の予測法(One Step Model)...