Págico: Evalua.ng(Wikipediabased ( informa.on(retrievalin ... · Evalua.ng(Wikipediabased...

Págico: Evalua.ng Wikipedia-‐based informa.on retrieval in

Portuguese

Cris%na Mo+a (Linguateca/FCCN) Alberto Simões (CEHUM/UM)

Cláudia Freitas (PUC-‐Rio / Linguateca) Luis Costa (Linguateca/FCCN)

Diana Santos (Univ. of Oslo/Linguateca)

LogOnto 2014 -‐ FGV -‐ Brasil 1

•  Evalua%on contest • Organized by Linguateca, a distributed language resource center for Portuguese •  h+p://www.linguateca.pt

• Announced in June 2011 • Results delivered in the beginning of 2012

Págico – Português Mágico

2 years later... why Págico?


Págico – Português Mágico •  Evalua%on contest

•  Systems (and humans) must find non-‐trivial answers to complex informa%on needs in Portuguese Wikipedia (150 topics were created): •  Which Portuguese-‐speaking football players played professionally in more than three different countries?

•  Jornais que circularam no Rio de Janeiro entre 1910 e 1960 •  Produtos agrícolas com os quais se pode produzir combusdvel em escala comercial •  Nomes ligados à luta contra o racismo no sec XX no Brasil •  Filmes brasileiros premiados na categoria Montagem •  Pratos brasileiros de origem ou influência indígena

“we are not proposing evalua%on of toy systems just to check if computers can be as good as humans. Rather, we are interested in systems that really help humans in non trivial informa%on finding goals.”

answer to informa%on needs that would require browsing hundreds of pages



• The task: •  Find (PT)Wikipedia pages that answer the topics. The answer must be the name of the page. •  Addi%onal pages must be provided when the answer page is incomplete

• Pages (answers and jus%fica%ons) must be selected from a sta%c version of the portuguese Wikipedia. •  Pagico Collec9on: a Wikipedia snapshot of April 25th 2011

•  Documents converted in XHTML files •  Without Infoboxes


The Collec.on: Wikipedia folksonomy • Distribu%on of categories across PT Wikipedia pages

•  99.446 categories classify 681.058 documents


Topic crea.on

•  Topics should be interes%ng to the Portuguese-‐speaking comunity •  The answers

•  should not be ovbious •  ...and not obvious to Google(!), in order to jus%fy a wikipedia search

•  should be spread among different pages in PT Wikipedia

•  Topic: Músicos do início da Bossa Nova / Musicians associated with the development of Bossa Nova •  Browse Bossa_Nova page..

It doesn't involve complex search… …from the standpoint of humans.


Topic crea.on

• PT Wikipedia in 150 topics •  8 Super-‐themes •  25 subthemes •  One or more areas/subareas were assigned to each topic: •  “Documentary films about brazilian poli>cians” •  Theme: Artes; Letras; Polí%ca •  Subtheme: cinema; polí%ca; história

•  “Comidas de santo (comidas rituais do Candomblé ou Umbanda) que também fazem parte da culinária brasileira”// religious food that are also brazilian food

•  Theme: Cultura •  Subtheme: culinária; religião; antropologia; folclore

Tabela 1: Classificacao detalhada dos temas no PagicoTema Topicos Respostas Corretas-subtema enviadas Participantes Donos Todas

# % # % # % # % # %Letras 69 46,00 15506 47,73 961 48,05 328 49,03 1085 48,24- historia 50 33,33 11124 34,24 664 33,20 243 36,32 761 33,84- literatura 15 10,00 3610 11,11 202 10,10 74 11,06 236 10,49- linguıstica 6 4,00 1312 4,04 64 3,20 32 4,78 72 3,20- jornalismo 3 2,00 667 2,05 27 1,35 9 1,35 28 1,24- filosofia 2 1,33 425 1,31 53 2,65 4 0,60 54 2,40Artes 36 24,00 7910 24,35 542 27,10 204 30,49 609 27,08- musica 19 12,67 4075 12,54 194 9,70 79 11,81 222 9,87- cinema 10 6,67 2243 6,90 216 10,80 78 11,66 237 10,54- televisao 4 2,67 967 2,98 57 2,85 31 4,63 70 3,11- artes plasticas 2 1,33 431 1,33 21 1,05 13 1,94 24 1,07- artes 2 1,33 450 1,39 66 3,30 5 0,75 68 3,02Geografia 34 22,67 7152 22,02 509 25,45 151 22,57 563 25,03- geografia 26 17,33 5476 16,86 396 19,80 112 16,74 431 19,16- arquitetura/urbanismo 7 4,67 1481 4,56 57 2,85 22 3,29 66 2,93- demografia 4 2,67 894 2,75 207 10,35 36 5,38 221 9,83- geologia 2 1,33 492 1,51 18 0,90 1 0,15 18 0,80Cultura 27 18,00 5612 17,28 370 18,50 79 11,81 395 17,56- antropologia/folclore 12 8,00 2544 7,83 160 8,00 40 5,98 172 7,65- religiao 7 4,67 1252 3,85 119 5,95 20 2,99 128 5,69- culinaria 5 3,33 1008 3,10 57 2,85 15 2,24 63 2,80- cultura 3 2,00 748 2,30 75 3,75 9 1,35 75 3,33- ensino 2 1,33 402 1,24 11 0,55 5 0,75 11 0,49Polıtica 19 12,67 4164 12,82 197 9,85 59 8,82 220 9,78Desporto/Esportes 18 12,00 3914 12,05 188 9,40 79 11,81 225 10,00Ciencia 14 9,33 2973 9,15 155 7,75 45 6,73 172 7,65- saude 4 2,67 885 2,72 21 1,05 18 2,69 30 1,33- zoologia 3 2,00 527 1,62 83 4,15 9 1,35 83 3,69- ciencia 2 1,33 446 1,37 20 1,00 10 1,49 27 1,20- botanica 2 1,33 384 1,18 9 0,45 6 0,90 10 0,44- geologia 2 1,33 492 1,51 18 0,90 1 0,15 18 0,80- matematica 1 0,67 239 0,74 4 0,20 1 0,15 4 0,18Economia 6 4,00 1321 4,07 77 3,85 30 4,48 94 4,18

Tabela 2: Topicos segundo o numero de temas a eles associados# Temas atribuıdos Grandes temas Temas

Total % Total %1 84 56,00 75 50,002 59 39,33 64 42,673 7 4,67 11 7,33

consideramos possıvel uma mesma EM recebermais de uma classificacao. Assim, a EM Brasilno topico 34 [Viajantes ou exploradores queescreveram sobre o Brasil do seculo XVI] pode servista tanto como uma ORGANIZACAO, comoum LOCAL ou como PESSOA (os brasileiros), eportanto recebeu as 3 classificacoes.

4.2 Categorizacao geografica e temporal

Com relacao a localizacao geografica, os 150topicos do Pagico estao distribuıdos como indicaa tabela 4:

A categoria “lusofonia geral” corresponde atopicos em que nao ha especificacao de regiaogeografica; e os topicos “gerais” nao mencionamexplicitamente elementos da cultura lusofona,mas integram o Pagico por conterem, em


Answer documents

•  A correct answer , according to Págico: • Wiki-‐PT page %tle à expected seman%c class

“Gêneros musicais que misturam samba e gêneros norte americanos” “Que países têm amarelo na bandeira?”

“Turma_da_Pilantragem”

“Bandeira_do_Brasil” ✕

✕

Good answer from a prac%cal perspec%ve…

.. how to decide/define what should be considered a “good answer” ?

…taking logic into considera%on facilitates the evalua%on task

Bad answer from a logic perspec%ve

Correct answer X

Useful answer LogOnto 2014 -‐ FGV -‐ Brasil 8

Answer documents – jus.fica.on pages

•  Addi%onally, par%cipants need to provide the wikipedia pages that support that the chosen answer is, indeed, the correct one

Do we need jus%fica%on here?

Págico: only systems must provide jus%fica%on


Answer documents – jus.fica.on pages

To be contested by the audience = to be booed? LogOnto 2014 -‐ FGV -‐ Brasil 10

Answers in Págico Topics with most and least correct answer documents


Págico – by-‐products

• CARTOLA – h+p://www.linguateca.pt/Cartola •  Freely available package

•  Págico Collec%on: 681.058 documents from wikipedia portuguesa de 25 de abril de 2011;

•  Págico topics •  Evaluated answers •  ..

•  Special Edi%on of the Linguamá%ca journal of April 2012 (Santos et al., 2012) – h+p://www.linguama%ca.com


Pagico_001: FILMES SOBRE A DITADURA OU SOBRE O GOLPE MILITAR NO BRASIL

Pagico_002: TELENOVELAS BRASILEIRAS DO GÊNERO REALISMO FANTÁSTICO


Págico and LogOnto..

• Págico •  Can it be useful to reasoning systems?

•  Bootstrap a KB from Págico? •  Test reasoning systems?

• More about Pagico: •  h+p://www.linguateca.pt/Pagico/


References

• Diana Santos, Cris%na Mota, Cláudia Freitas e Luís Costa (eds.) Linguamá>ca 4 (1). Abril, 2012

• Acknowledgments


Answer evalua.on process

•  5 “judges” •  Judgmenet : correct /incorrect / doub~ul

§  The answer seemed correct, but it wasn’t 100% jus%fied

§  The page classifica%on wasn’t ideal


resposta CORRETA

apropriada

ú%l

Resposta CORRETA e não-‐apropriada

Onde fica o Taj Mahal? -‐ Na 5a Avenida… (Voorhees e Tice, 2000)

Quem é o autor de Ivanhoé? -‐ O autor de Rob Roy… (Spark Jones, 2003)

São respostas “corretas”?

L

Resposta CORRETA e não-‐ú%l

L

Perspec%vas diferentes

Depende …

NÃO HÁ UMA RESPOSTA ÚNICA CORRETA LogOnto 2014 -‐ FGV -‐ Brasil 30

as perguntas/tópicos podem ser decompostas em pedaços

Dinossauros carnívoros que habitaram o Brasil

Resposta: X

X é dinossauro

X é carnívoro

X habitou o Brasil

…mas nem tudo está perdido!

… e as respostas podem ser avaliadas em pedaços

✓

✓

Filmes sobre as relações entre Portugal e suas colônias

Resposta: X X é filme

X é sobre as relações entre Portugal e suas colônias ✓

✓

✓

Brasil é colônia Angola é colônia …

Se algum dos pedaços não está na página resposta, então deve estar em

alguma outra página à JUSTIFICATIVA

Como definir? •  Tema principal? •  Romance? •  Comédia?

Devemos exigir?

Os pedaços também podem ser decompostos em outros pedaços… onde parar?


Topic crea.on

• PT Wikipedia in 150 topics


Tarefa da organização

• Criar um sistema (SIGA) e preparar a coleção •  Iden%ficar %pos de necessidades de informação com resposta na coleção •  Escolher as respostas • Avaliar as enviadas pelos par%cipantes • Definir critérios de avaliação • Definir medidas • Criar e disponibilizar recursos


Págico: Evalua.ng(Wikipediabased ( informa.on(retrievalin ... · Evalua.ng(Wikipediabased...

Documents

Transcript of Págico: Evalua.ng(Wikipediabased ( informa.on(retrievalin ... · Evalua.ng(Wikipediabased...