La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD Groupe de travail...

La Rochelle, le 12/13 JuilletLa Rochelle, le 12/13 Juillet

Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD Groupe de travail

CALYPODgraphiCs imAge anaLYsis from Printed Old Document

Membres : Frédéric Nicolier (CRESTIC)Etienne Baudrier (LMA)

Mathieu Delalandre (CVC)Sébastien Busson (CESR)

Thierry Brouard (LI)Nicholas Journet (LI)

…

22/15/15


Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD Présentation du groupe de

travail

Thématique de Thématique de recherche : recherche : Indexation graphiques Indexation graphiques

imprimés anciensimprimés anciens

Qui sommes nous?Qui sommes nous?8 personnes de 7 labos8 personnes de 7 labosProjet réunissant STIC Projet réunissant STIC

et SHSet SHS

33/15/15


Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD

Objectif scientifiqueOffrir de nouveaux outils de

recherche auxutilisateurs de bibliothèques

numériques

:.

Pour quoi faire?Datation, suivi du matériel, identification imprimeur, transmission du savoir

44/15/15



Associer des métadonnées aux illustrationsAssocier des métadonnées aux illustrations

•Lettre « A »•Style décoratif•Lettre blanche•Fond noir

Zones d’usure du tampon

- Titre : Le Pegme- Auteur : Cousteau, Pierre- Date : 1560-Index : arbre (tronc), homme, balance, instrument de mesure

Objectifs scientifiques

55/15/15



Actions associées à ces objectifsActions associées à ces objectifs

1.1. Extraire automatiquement ce qui peut l’être (style et lettre d’une Extraire automatiquement ce qui peut l’être (style et lettre d’une lettrine, caractéristiques diverses d’une illustration, comparer deux lettrine, caractéristiques diverses d’une illustration, comparer deux illustrations…)illustrations…)

2.2. Fournir des outils accélérant la saisie de métadonnées ne pouvant Fournir des outils accélérant la saisie de métadonnées ne pouvant être renseignées que par un spécialiste (mots clefs sur une scène)être renseignées que par un spécialiste (mots clefs sur une scène)

Objectifs scientifiques

66/15/15



PLAN

ContexteContexteLes projets similaires au nôtreLes projets similaires au nôtreObjectifs à courts termesObjectifs à courts termes

Plate forme d’annotationPlate forme d’annotationRecalage d’illustrationsRecalage d’illustrationsIndexation automatique de lettrinesIndexation automatique de lettrines

77/15/15



Les projets similaires au notre

88/15/15



PLAN

ContexteContexteLes projets similaires au notreLes projets similaires au notreObjectifs à courts termesObjectifs à courts termes


99/15/15


Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD Dropcap Image Retrieval

Real time

process or not ?

We can’t index all images in regard to

legal properties, a real time process will allow

to do queries with images provided by other digital libraries

DB

queryquery

results result

User-driven historical metadata User-driven historical metadata acquisitionacquisition

Metadata file

Metadata file

Metadata file

Metadata file

Without retrieval

With retrieval more faster reduce error

1010/15/15



PLAN



1111/15/15


Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD Image registration

(preprocessing) Affine transformation preprocessingAffine transformation preprocessing

Offset Angle

• Reuse of existing methods :•RLE coding [Delalandre]•LDM [Baudrier]

• Use of letters properties•symetry•low intra-class disparity


Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD Image registration

(preprocessing)DifficultiesDifficulties

Noisy registration Noisy registration

Registration of non-identical imagesRegistration of non-identical images

1313/15/15



Proposed solutionsProposed solutionstranslation => SPOMF (Symetric Phase Only translation => SPOMF (Symetric Phase Only

Matched Filter) : correlation based methodMatched Filter) : correlation based methodrotation => SPOMF on polar form of imagesrotation => SPOMF on polar form of imagesscale => SPOMF + Mellin transformscale => SPOMF + Mellin transform

Image registration(preprocessing)

or other translation/rotation/scale invariant or other translation/rotation/scale invariant transform (Radon, wavelets, ...)transform (Radon, wavelets, ...)

1414/15/15



PLAN



1515/15/15



Reconnaître une lettre

Segmenter pour reconnaître:Segmenter pour reconnaître:

« A »

Extraction de la lettre Reconnaissance de la lettre

Inefficacité des descripteurs globaux. Tests réalisés sur 970

lettrines

SVMSVM

Zernike (ordre 5)Zernike (ordre 5) <25%<25%

Histogramme Histogramme projectionprojection

<35%<35%

Attributs de ma Attributs de ma thèsethèse

<60%<60%

Localisation de la lettre

1616/15/15



Pistes pour la réalisation de cet objectif

Reconnaître une lettre

Algorithme de

croissance de régions

D’où part la croissance?

Quel critère de

croissance?

Deux difficultés •Critère de croissance dédié à la recherche de lettres dans les lettrines?

•Model shaped base?

1717/15/15



Problème de d’évaluation de la segmentation

Intéressant pour un PFE?Intéressant pour un PFE?

+ Une évaluation de la segmentation permettrait

de donner un premier retour sur la qualité de

nos algorithmes

+Difficultés de la saisie (zones non

rectangulaires). L’idée est de faire une

baguette magique assistée

L’utilisateur indique où se situe la lettre

Segmentation automatique

Interactions avec utilisateur pour corrections

Sauvegarde vérité (SVG?, Format image matricielle?, format image vectorielle?)

1818/15/15


Présentation des activités Présentation des activités du groupe CALYPODdu groupe CALYPOD Perspectives du groupe

CALYPOD

Fournir « rapidement » des outils Fournir « rapidement » des outils d’indexation de lettrines au CESRd’indexation de lettrines au CESR

Elargir notre domaine applicatif à Elargir notre domaine applicatif à l’ensemble du « graphique ancien »l’ensemble du « graphique ancien »

Rassembler des chercheurs travaillant Rassembler des chercheurs travaillant sur le graphiquesur le graphique

Projet ouvert à toutes les bonnes Projet ouvert à toutes les bonnes volontés (donc vous!)volontés (donc vous!)

La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD Groupe de travail...

Documents

Transcript of La Rochelle, le 12/13 Juillet Présentation des activités du groupe CALYPOD Groupe de travail...