IIIF Curation Platform：利用者主導の画像共有を支援するオープンな次世代IIIF基盤

北本朝展（ROIS-DS人文学オープンデータ共同利用センター CODH／国立情報学研究所NII）本間淳（フェリックス・スタイル）Tarek Saier（Albert Ludwigs University of Freiburg）http://codh.rois.ac.jp/ @rois_codh

2018/12/2 2018じんもんこん 1

IIIF Curation Platform (ICP)http://codh.rois.ac.jp/icp/

2018/12/2 2018じんもんこん 2

利用者主導型次世代IIIF基盤

1. キュレーションとは何か？2. 利用者主導型とは何か？3. 次世代IIIF基盤とは何か？2018/12/2 2018じんもんこん 3

キュレーションというコンセプトを中心に、利用者主導型のオープンな次世代IIIFプラットフォームを作ります。

キュレーションとは？

2018/12/2 2018じんもんこん 4

キュレーションとは、(1) あるテーマに沿ってコンテンツを収集し、(2) それを適切な順番に並べ、(3) 新たなコンテンツとして提示・共有する活動

『日本古典籍キュレーション』CODH作成（国文研所蔵）http://codh.rois.ac.jp/pmjt/curation/3/

IIIF世界のコンテンツ流通提供者主導型

•ライブラリやミュージアムなどがIIIFサービスを提供。

•利用者は提供された形で利用するのみ。

•利用者は元のIIIFサービスに新たな情報を付加できない。

利用者主導型•既存のコンテンツから派生した新たなコンテンツを作成。

•派生したコンテンツも発信・共有できる。

•キュレーションとはIIIFにおけるユーザ生成コンテンツである。

2018/12/2 2018じんもんこん 5

2005年頃の流行語Web 2.0

Web 1.0•ウェブサイト作成者（管理者）がコンテンツを提供。

•利用者はウェブページを閲覧するのみ。

•利用者は元のウェブサイトに新たな情報を付加できない。

Web 2.0•ウェブは双方向・参加のプラットフォームへと進化。

•利用者が生成したコンテンツも共有可能。

•ウェブサービスはユーザ生成コンテンツで成長する。

2018/12/2 2018じんもんこん 6

次世代IIIF基盤の目標1. 提供者主導型のみだったIIIFの世界に、利用者主導型の世界を作る。

2. 人文情報学においては利用者＝研究者。つまり研究者主導型の世界を作る。

3. マニフェストごとに分断された世界をキュレーションで横断的に橋渡しする。

4. 機械可読なキュレーションデータを様々な人文情報学研究に活用する。

2018/12/2 2018じんもんこん 7

IIIF Curation Platform (ICP)

2018/12/2 2018じんもんこん 8

古き良きアナログ世界

2018/12/2 2018じんもんこん 9

ハサミ ノリ

出典：いらすとや、 http://www.irasutoya.com/

1 2

摩擦なきデジタル世界

2018/12/2 2018じんもんこん 10

「1.四角で囲んで」「2.お気に入りに加える」だけ1

2

IIIF Curation Platformの歴史• 2016年4月 CODH暫定スタート。• 2016年11月 IIIF Curation Viewer公開。• 2016年12月じんもんこん2016で報告。• 2018年4月武鑑全集「紋・道具」を公開。• 2018年5月 IIIF Curation Finder、JSONkeeper、

Canvas Indexerを公開。アプリケーションとして「顔貌コレクション」を公開。

• 2018年11月 IIIF Curation Platform正式公開。• 2018年12月じんもんこん2018で報告。

2018/12/2 2018じんもんこん 11

2018/12/2 2018じんもんこん 12

「遷画」の基本構造

収集（Collect）

並べ替え（Order） 共有

ツアー展示ポストカード

http://dsr.nii.ac.jp/senga/

北本朝展, "遷画：展示の数学モデルに基づく参加型アーカイブの分析とミュージアムでの展開", 人文科学とコンピュータシンポジウムじんもんこん2014, pp. 9-16, 2014年12月

2018/12/2 2018じんもんこん 13

Curation APIとは？1. 提供者はルートノードがManifestとなる構造を配信。

2. 利用者はルートがCurationの新たな構造を外部に構築。

3. CurationはManifestを横断してまとめることが可能。

2018/12/2 2018じんもんこん 14

Curation

withinselectionsselections

なぜキュレーションが必要？提供者マニフェスト 利用者キュレーション

2018/12/2 2018じんもんこん 15

1. CurationノードはManifest構造の外側にあるため、任意のCanvasをグルーピングできる。

2. Manifestを分解して新たなManifestを構築する必要がない。「本」などの物理的なコンテナ

ICPコンポーネント

2018/12/2 2018じんもんこん 16

基本方針1. ユニークな機能（キュレーション）世界各国で公開されているIIIF画像を切り取って集め、それを共有する「キュレーション」機能を、IIIFとしては世界で初めて実現する。2. 拡張可能な設計（モジュール構造）プラグインの枠組みやマイクロサービスの仕組みを活用し、必要な機能を選択して組み合わせた構成で使えるようにする。3. オープンソースオープンソースとして公開し、そのまま使うだけでなく、目的に合わせた改良を可能とする。

2018/12/2 2018じんもんこん 17

IIIF Curation Viewer (ICViewer)http://codh.rois.ac.jp/software/iiif-curation-viewer/

2018/12/2 2018じんもんこん 18

最小構成のキュレーション

1. ‘☆’ (6) は「お気に入り」ボタン。好きな画像を収集できる。

2. ‘■’ (13) は「切り取り」ボタン。四角で囲んで部分を切り取れる。

3. これだけでも、最小構成のキュレーション基盤として使える。

2018/12/2 2018じんもんこん 19

ワークフローを支える基盤1. ICViewerでは、キュレーションの作成と（ローカル）保存しかできない。

2. しかし、キュレーションは（クラウド）保存、編集、共有したい。

3. さらに、キュレーションを検索したり、一覧したりできるようにしたい。

4. キュレーションの生成から利用までのワークフローを一貫して支える基盤。

2018/12/2 2018じんもんこん 20

2018/12/2 2018じんもんこん 21

閲覧・検索クライアント

画像・データ提供サーバ

管理・編集クライアント

1

2 3

45

6

7

8

9

ICViewer

ICFinder

JSONkeeper

Canvas Indexer

ML Service

IIIF Server

ICManager

ICEditor

ICPlayer

赤とオレンジは本間氏、青の一部はSaier氏が開発。

IIIF Curation Finder (ICFinder)http://codh.rois.ac.jp/software/iiif-curation-finder/

2018/12/2 2018じんもんこん 22

IIIF Curation Manager (ICManager)http://codh.rois.ac.jp/software/iiif-curation-manager/

2018/12/2 2018じんもんこん 23

IIIF Curation Editor (ICEditor)http://codh.rois.ac.jp/software/iiif-curation-editor/

2018/12/2 2018じんもんこん 24

IIIF Curation Player (ICPlayer)http://codh.rois.ac.jp/software/iiif-curation-player/

2018/12/2 2018じんもんこん 25

JSONkeeperhttp://codh.rois.ac.jp/software/jsonkeeper/

1. JSON形式データを扱うための汎用的なJSONストア。

2. REST API：HTTP POSTでIDを付与し、IDを指定したHTTP GET、HTTP PUT、HTTP DELETEが可能（JSON Blob互換）。

3. POST時にトークンを登録すると、PUTとDELETEには同一のトークンが必要になる。

4. このトークンにFirebase認証で得られるトークンを与え、疑似的な認証と認可を実現。

2018/12/2 2018じんもんこん 26

Canvas Indexerhttp://codh.rois.ac.jp/software/canvas-indexer/

1. キュレーションに含まれるキャンバスを検索するためのソフトウェア。

2. キャンバスに分解してデータベースに登録し、メタデータによる検索を可能とする。

3. ファセット一覧：メタデータのlabelをファセットとし、labelごとにvalueの出現頻度を計測できる。

4. 並び順制御：人文学分野における要望を反映し、labelやvalueの出現順を詳細に設定。

2018/12/2 2018じんもんこん 27

ICP Docker版http://codh.rois.ac.jp/software/icp-docker/

1. CODHが提供するデモ環境を利用する。2. ICPクライアントだけを利用する。3. ICPサーバを利用する。4. ICPサーバをCODHがホスティングする。2018/12/2 2018じんもんこん 28

• ICPソフトウェアは個別インストールも可能だが、若干ややこしい部分がある。

•コンテナ技術として普及が進むDockerを用いて、インストールを簡単化する。

JSONkeeper⇔ Canvas Indexer

IIIF Change Discovery API（Activity Streams）の仕様化を先取りして活用。2018/12/2 2018じんもんこん 29

JSONkeeper

Canvas Indexer

ICViewer

ICFinder

Curation

IIIF Change Discovery API 0.1conformance level 2

Activity streams

Harvest updated curations since the last harvesting

Canvas Indexer ⇔機械学習

1. まずは画像自動タグ付けに適用。2. 他の機械学習サービスも同一APIで可能。

2018/12/2 2018じんもんこん 30

Canvas Indexer

ML Service

Image URL for machine learning

processing

Result of processing for the image URL

ICPアプリケーション

2018/12/2 2018じんもんこん 31

顔貌コレクション（顔コレ）http://codh.rois.ac.jp/face/

鈴木親彦, 髙岸輝, 北本朝展, "顔貌コレクション（顔コレ）：精読と遠読を併用した美術史の様式研究に向けて", 人文科学とコンピュータシンポジウムじんもんこん2018, pp. 249-256, 2018年12月

2018/12/2 2018じんもんこん 32

日本の古典籍から顔だけを切り取り収集。メタデータも付与。所蔵：国文学研究資料館、京都大学貴重資料アーカイブ、慶應義塾大学メディアセンター

ビフォー＆アフターICP

•ビフォーICP：ICViewerのみを活用し、画像の切り出しと収集を行った。キュレーションはローカルに保存し、別のウェブサイトにアップロードしていた。

•アフターICP：ワークフローをICPの上に構築し、ファセット検索を実現した。

•「正面顔」の網羅的な比較や統計的な頻度など、大規模データに基づく様式研究の可能性を開拓した。

2018/12/2 2018じんもんこん 33

2018/12/2 2018じんもんこん 34

閲覧・検索クライアント

画像・データ提供サーバ

管理・編集クライアント

1

2 3

45

6

7

8

9

ICViewer

ICFinder

JSONkeeper

Canvas Indexer

ML Service

IIIF Server

ICManager

ICEditor

ICPlayer

機械学習サービスとの連携

2018/12/2 2018じんもんこん 35

機械による画像自動タグ付けにより、人間とは視点が異なるタグが付与されるため、セレンディピティ（予期せぬ出会い）が生まれる。

Tag: Circle

武鑑全集http://codh.rois.ac.jp/bukan/

2018/12/2 2018じんもんこん 36

『武鑑』から「紋・道具」部分を切り取ってキュレーション。協力：AMANE

ミュージアム展示への利用高知県立美術館、NPO法人連想出版と協力。CODHがホスティングするDocker版ICPと、新規開発のIIIF対応電子絵巻ビューアとを接続し、館内展示システムを構築。

2018/12/2 2018じんもんこん 37

ICP Tutorialhttp://www.ch-suzuki.com/icpt/

2018/12/2 2018じんもんこん 38

CODH鈴木親彦による、ICPのチュートリアルを提供

おわりに

2018/12/2 2018じんもんこん 39

まとめ1. IIIF Curation Platformをオープンソースで公開し、インストールも簡単化した。

2. キュレーションが利用者主導型のコンテンツ生成であることを明確化した。

3. キュレーションの生成から利用までのワークフローを支える基盤を構築した。

4. ICPを用いたアプリケーションを構築し、今後の機能開発の参考にした。

2018/12/2 2018じんもんこん 40

謝辞・参考情報•謝辞： IIIF Curation Platformの美術史研究への活用に向けた共同研究を推進する東京大学の高岸輝氏、CODHの鈴木親彦氏には、美術史研究の推進に寄与する要望の具体化や、キュレーションデータの作成について、多大な協力を受けた。

• IIIF Curation Platform• http://codh.rois.ac.jp/icp/• http://codh.rois.ac.jp/iiif-curation-platform/

2018/12/2 2018じんもんこん 41