Download - QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Transcript
Page 1: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

QA Lab-4:QALab-PoliInfohttps://poliinfo.github.io/YASU T O M O K I M U R A * 5 * 6 , H I D E Y U K I S H I B U K I * 1 , K O T A R O S A K A M O T O * 1 , * 2 ,

M A D O K A I S H I O R O S H I * 2 , T E R U K O M I T A M U R A * 3 , N O R I K O K A N D O * 2 , * 4 , T A T S U N O R I M O R I * 1 ,

* 1 : Y O K O H A M A N A T I O N A L U N I V E R S I T Y , * 2 : N A T I O N A L I N S T I T U T E O F I N F O R M A T I C S , * 3 : C A R N E G I E M E L L O N U N I V E R S I T Y ,

* 4 : T H E G R A D U A T E U N I V E R S I T Y F O R A D V A N C E D S T U D I E S ( S O K E N D A I ) , * 5 : O T A R U U N I V E R S I T Y O F C O MM E R C E , * 6 : R I K E N A I P

Page 2: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

QA Lab so farQA Lab is aimed at complex real-world question answering (QA) technologies l NTCIR-11 QA Lab l NTCIR-12 QA Lab-2l NTCIR-13 QA Lab-3Previous tasks1. Multiple-choice question type → Text Entailment2. Term question type → Information Extraction3. Essay question type → Automatic SummarizationHowever, the data we prepared were depleted in QA Lab-3.Therefore, we will tackle a new domain QA

Various technologies are required!

Page 3: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

QA Lab-PoliInfo in NTCIR-14QA Lab-PoliInfo is QA for political information using Japanese regional assembly minutes, to show summaries on the opinions of assembly members, and the reasons and conditions for such opinions.The importance of fact checking owing to the negative impact of fake news l International Fact-Checking Day, April 2 from 2017 http://factcheckingday.com/However, fact-checking is difficult for general Web search enginesl because of the ‘filter bubble’ developed by Eli PariserFor fact checking, l we should confirm the primary sources such as the assembly minutes according to critical thinking

Page 4: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Japanese regional assembly minutes

4

ǝTĽɋȏȀǧdzƀéfɌ Œŏ7Ƴƻ¤Ș�ijDZȔǟŸġŊ�ȂÌ+žðȘǑȎǯǩŰǢǼǥȓȊǯǶǟ

ǬȂȬɀɆɈȧȃƻĖȂƕȎǧđƫDZȔȎȂǽǡȓǞ�GȎïǢ�ijȘùȌȎȂǽDZǟ*űǞ�űǼǞ�ƛǞLj�ůäâȀǿǞÍYǢ�ŜǧšȊȕǞƻĖŒŏȂe�ȃʼn�ȁtȒȕǼǢȔȎȂǾ¼ǢȊDZǟ����ǧĜƨǽǨȔŎ�ȇǾǢǣŊ�ȂyýĴ»ȁơdDZȔȎȂǽDZǧǞǵȕȘ�ijǯǞÛŤǯǼǢǩǶȍȁȃǞȎǹǾȎǹǾŴ£åǏǾŢĢÈƿȇȂ_ȓšȋǧ¹ƃǷǾǢǣƈĩǦȒƢlȘǯǼǢǨȊDZǟȊDzǞƝçȁǺǢǼǽǡȓȊDZǟ

Ŋ�ȃǞ¹ƃȀǾǬȖȁ¹ƃȀ�ŜȘǺǫȔǾǢǢȊDZǟ²ĬȀǬǾǾǢǤȄ²ĬǽDZǧǞǬȕǽȃƝçȃų±ȘŤǫȔȄǦȓǽDZǟ�¶Ǟ½ưȀǚǜSǽź�ȀƝçNjƃȂ�MǧƄƪȊȕȔ�ǞƻŔ^:Ȃ7ŽǨȃƮðǽDZǟ�Ǡ�Ǡ§��ȊǽȂyƼǧ�U�ł1@Ǟǵȕ��ȂyƼǧ�6�U1@ǾȀǹǼǢȊDZǧǞƵ[�§ǁǽ�6@ȂŔ^ģȘ"ǘǯǶƻçȁǥǢǼǞŅŋȀyŅǾȃE«ǢǤȀǢȎȂǽDZǟǬȕȊǽǞƿúȂƝçƋĺȘś�DZȔȈǨǷǞƻ0ŁŽǓȁȡɀȭȺȘȃȍȔȈǨǷǾǢǣßćȘǯǼǨȊǯǶǧǞĔAȂų±ȘÒǤȔ�šȋǧ¹ƃǽDZǟǵǬǽǞƝçƅµȘ*ǺǶȍǞņĎǾȀȔƝçƴn�ȂÜĎǧ¹ƃǾŮǤȊDZǧǞƄƉȘ ǢȊDZǟŊ�ȁȃǞ�ijwsNJȀıęȁǡȔ�ǷǫǽȀǩǞ�ĀįŁŃȁȆǤȔǚǜůȏǞT§¶Ǟ�T§¶ȂƻĖȁȎņȘeǫǶƝçƴnȘǥǔǢǯǶǢǾ¼ǢȊDZǟȊǶǞĔAȘÔýŃȁHģDZȔåǏȃƳșǽǢȊdzșǟ#ǦêǯǢ�ĉȘ�ȍȔȁȃǞ#Ǧí�Ȃ�ĉȘȏȍȀǫȕȄȀȒȀǢȃDzǽDZǟǯǦǯǞ�ƗȀŔ^ȂȎǾǞ�ĉȘȨȣɃȭȺDZȔǬǾȇȂȿȬȻɉȦɂɈȃ!ǩǞ�ĉƏ'Ȃ�ł1@ȃçśŃŢƟȂ�ɊȁȎĤǶȀǢȎȂǽDZǟŊ�ȃǞ¹ƃȀåǏȘ¹ƃȀǾǨȁŽǣǾǢǢȊDZǧǞŴ�ŃȀåǏǽ�ȀǶȘÝȔǣǬǾȃǽǨȊdzșǟņĎȎȀǩǞåǏȂëe¾ǧōǭȕǼǢȀǢǬǾǧlǒȀșǽDZǟ

��ȓǯæǒȂńĴr"ȁȃǞǭȊǮȊȀĴĹȘǺǫǼ�U1@ȘƥǤȔİiLJÃ�şǧŤǢǼǢȊDZǟńĴr"ȂŢnņĎŝĴF®ȃǞI§®ȑȓ!ǢņĎȘƎ�ǯƏ'ȘǚǩƄdzǦǫȔȀǿǞǙÔǨȂıÅǾǢȗǮȔȘ·ȊdzșǟĖǽǽǨȔǬǾȃĖǽǾǢǣ¼ÂȂȎǾǞȊDzǞǬȂńĴr"ȂǡȓëǦȒēDZȈǨǽǡȓȊDZǟ��ǦȒ�§ǧǶǸȊǯǶǟȎǣ©?ȘĮŊǭȕǼǢȔǬǾǾ¼ǢȊDZǟŊ�ȃǞǬȂ?ƺåǏȘǿȂȑǣȁ_ȓšșǽǢǩȂǦǞƄƉȘ ǢȊDZǟȊǶǞƻĖȂĴƉȘȀǦȀǦ·ȒȕȀǢȂǧƻ¤��ǽǡȓȊDZǟ

�T<§®T�1@ǧƋ�ǭȕǼǥȓǞŊ�Ȃğ�A±ŢƟȃ�pǽ�1�U�@ǾǯǼǢȊDZǟ�p�U�@ǽDZǟŊ�ǧğ�ǽā�ȂǛKȘŁ+DZȔǬǾȃ¹ƃǽDZǧǞƻĖǦȒȂĴƉȘŮÆDZȕȄǞŢƟȃ÷�DŽȁǾǿȍȔȈǨǽDZǟA±ŢƟȀǿȂƟĸȂũģȁNȍȔǾǾȎȁǞƻĖȁ�ǯǼÈĂȘ��ȁƔðDZȔǬǾǧ¹ƃǾŮǤȊDZǧǞƄƉȘ ǢȊDZǟ�Ǡ�Ǡ§ā���Ȃǀ/Ɵĸȃ���ǽǯȐǣǦǟ

ò§üȁȃǞťǓ�6<U1@ǾǢǣƼǓǧzƶǭȕȊǯǶǟǯǦǯǞ7îȂu�ƢľǽȎǞ��ƟĸȂťǓȁǺǢǼǞijóĩǽšŪ�k�ǽȎç­ǽȎÑàǯǼǢȀǢǾȂŚ¯ǧȀǭȕǼǢȊDZǟ�ŜťǓȘȃǰǩǾƞ�ȘÕǯǺǫȒȕȔǾǽȎŮǤǼǢȔȂǦǞƕȎŕĊŃȁȥȨȱŝĴȁ ȓAǵǣǾǯȊdzșǟÙŵȂǾǨǾȃ�Áǧ�ȗǹǼǨǼǢȔǾȂǬǾǽDZǧǞıęȂ�SȁºǰǼȥȨȱȘŜADZȕȄǢǢǷǫȂƐǽDZǟƕȎǵȕȘǯȀǢǬǾǬǵǧlǒȀșǽDZǟǬȕǽȃǞƕȎƞ�ȘǾȒȀǢǞīƞ�"ƢȂūȓƬǯǾȀǹǼǯȊǢȊDZǟ

Ŋ�ȃǞ�6@ȃ¹ƃǷǾŁƊǯǼǢȊDZǧǞǬȕȃ#ǦĆÚǧǡȔșǽǯȐǣǦǟŖ.ƁȸȚȝɅȁȃǞ��šŪ�k�ǧƠƼƧȁdžǹǶ{cȁȃƻǧƁ}DZȔǾõǦȕǼǥȓǞ�6@ǧ¹ƃǷǾDZȔȀȒȄǞǵȂ�ƺBȘƻǧäÏȗȀǫȕȄȀȒȀǢaŲ¾ǧǡȓȊDZǟŊ�ȂŚ¯ȘŰǢǼǢȔǾǞuȏšŪ�k�ǧÏǹǼǩȕȔșǽȃȀǢǦŃȀȴɁțɈȨȘÄǰȊDZǧǞuŖìƎDZȒƜ×ȘėȍȒȕǼǢȔȂǽDZǦȒǞú´DZȔȂȃǁƷǢǽDZǟǵǬǽǞŊ�ȁƢlǽDZǧǞijóĩǽ��ȂťƟĸȘǿȕǩȒǢǦǦȔǾƒƙǯǼǢȔȂǦǟ�6@ǾǢǣȂǽǡȕȄǞǵȂĆÚȘǥōǯǩǷǭǢǟȊǶǞǵȂ�ǽƻǧäÏǣƟĸȃ¨ȒǾȀȔȂǦǞǵȂƝĥȘǿǣŮǤǼǢȔȂǦǞŊ�ȂƄƉȘ ǢȊDZǟȊǶǞŊ�ȃř�ůŃȀŖ{ǦȒǽȃȀǩǞ��ŢƟȂÑàȏB×ȁǺǢǼǞuȏšŪ�k�ȘɄɉȲDZȔǾǾȎȁǞƻĖȇȂƔðƞ�ȘĂǶDZȈǨǾŮǤȊDZǧǞƄƉȘ ǢȊDZǟ�Ǡ�Ǡ§��ȂÈLȃǞǢǦȁƟĸǎǽȎȥɈȷȣȱȁ�ìǽǨȔǦȁǦǦǹǼǢȊDZǟƴnƟĸȘ!ģDZȔǾǾȎȁǞǬȕ��Ġ�ȘÙǦȀǢȑǣȁɄɉȫɉȦȭȺȘŁáǯǼǢǶǷǨǶǢǾ¼ǢȊDZǟȊǶǞ`PmĭǃĒȂÿ$SȁǺǢǼȃǞǬȕȃȀǴ7ƭȓȘDZȔȂǽǯȐǣǦǟuȂPeȁǂ)ȀǩǞȌǯȖuȁ7ǗǫǼǞǀ/ƻ¤ǾǯǼȂƞQȘĂǶDZȈǨǽDZǟ�GȎïǢÿ$F�ȘùȋȊDZǧǞƄƉȘ ǢȊDZǟ��ǯǶŔ^Ș·ȔǶȍȁȃǞŢĢÈƿǧďǦdzȊdzșǟç­ȃǞɏɍɑ>ł6@ȘņÜDZǾȂÃĐŃȀ�RȘÎǸAǯȊǯǶǟƻȃǬȕȁºǰǞŃŌȀìśȘ;KǽƘǰȔȈǨǽDZǟøOȀìśȃǞŘ�çśǞƅFŦjǞĖnSǽǯȐǣǟ�î�ł����ǾǢǣĻ�Ȃ �èȘƑȔā�Ȃx�ƾǧ�4SǯǞĖnSǭȕȕȄǞź�Ȁ�ȘĶȋAǯȊDZǟǵǯǼƻĖȂD(¾ȃǕƨŃȁe�ǯȊDZǟ

ǯǦǯǞÇ»ǭȕȔȂȃȾȱɇąȂÐǢǟò§Ǟ�ƋĈĄDžǧǞuǾƻȂ�XȁeǫǶVƚǧǶȀǮȒǯǾȀǹǼǢȔǾÜãǟā�Ⱦȱɇąȃ¸ŶƝĥŌ*ĚȁyǻǨǞ�X^:Șāîý�njĨȂ¸Ŷ0Ȃ2ƹƝĥȁ5ǼȔǬǾǾȀǹǼǢȊDZǟǬȂÜãȘ`ǫǼǞuȃȾȱɇąȘǿǣǯǼǢǩǦǞěƆǧ¹ƃǽDZǧǞx�ƾ�4SȘ ùǯǞƻȃ�ñȁȾȱɇąȘÍæǯǼȃǢǫȊdzșǟx�ƾ�4S]ȅȾȱɇąȂ�XȁǺǢǼǞŊ�ȂÌƄȘ ǢȊDZǟŢĢȘĜ¾SǯǼǢǩ�ǽǞƻȃǵȂ¢�ȀƠķȘĶǦDZȈǨǽDZǟuv�ƯňȃǞîý;"ȂPķƠķ�Uoł6@ȂǣǸǞ=ŃPķǧ�ł�T6@ȘWȍǞǬȂOIJŃȀƴnǧŢĢȂĜ¾SȁǺȀǧȔǾǯǼǞɑɒɎÊļȘƳȍǼǢȊDZǟ

ƻǽȃǞƝQ�ǧÌŝDZȔvxȂǣǸǞł�T�¦ŞǧûDĸxǾȀǹǼǥȓǞǬȕȃā�ȲɉȽoT,BȂªǭȁŇ²ǯȊDZǟŒŏDĸȀǿĈƌǯǼǨȊǯǶǧǞņŃȁcǹǶvxȃ�ȀǩǞǵȂȉǾșǿǧƠþŬǨ{Ȁǿô�DĸǭȕǼǢȊDZǟ�ĀȂŽçNjƃȘŮÆDZȔȀǿǾǢǣĴĹǽź�ȀvxȘ|ĦǫȁDZȔǬǾȀǩǞĖǁĜĸȘtȔȈǨǽǡȓȊDZǟǬȕȒȂûDĸxȘïúȁ�XDZȔǬǾȘĈƌDZȈǨǾŮǤȊDZǧǞƄƉȘ ǢȊDZǟƈ8ķĉȇȂÓƠȘ½ǪȈǨǽDZǟijwȂ½ħȀ�u�ƈ8�Ȃ�ȅȃ@�ȁȑȔǾǬȖǧ�ǨǢǽDZǧǞĪö�Pȏ��ȀǿǞ�ƺĵ~ȁ¡bǭȕDzǞţŤǯǼƈ8�ȘhȅƪȌǶȍȁǞƻ¤ȂǛKȘǕƨŃȁǚȍȔǞȠȧȶȘgȌɐɒȘƓŵDZȔȈǨǽDZǟŊ�ȂƊŻǽǢǣȀȒǞțȸȪɉȰȜȳɉȂċǯȋǾǯǼøOǽǡȔǬǾȃǢǣȊǽȎǡȓȊdzșǟĚć�ƚǧƳșǽǢȊdzșǧǞǵȂÈŖȘƄƦǯǼŮǤǶȀȒȄǞĈƌȘMưǭdzȔ¹ƃǧǡȓȊDZǟȺɇȤɃȽĚǷǦȒǾǢǹǼ¿ƿȁČǤǼǢǼȃǞǛKŃȀƈ8ȥɈȯɈȮȘĐǯǧȔƻ¤ǧ�è�wDZȔ�ǽǞȞɈȱɄɉDZȔǬǾȎǽǨȀǢǽǯȐǣǟŊ�ȃï½ȁëƽȘōDZȈǨǽǡȓȊDZǟƓŵȁeǫǶŕĊŃȀ_ȓšȋȘƳȍȔȈǨǾŮǤȊDZǧǞƄƉȘ ǢȊDZǟȊǶǞȠȧȶƓŵǾǾȎȁǞȢɀɈȹɅ&�Ŀ�śȘƳȍȔȈǨǽDZǟœȃǞȠȧȶìƎȃ�u�ǯǦDĸǽǨȀǢǾDZȔǬǾǧȑǢǾŮǤǼǢȊDZǧǞíȁÉǧuȃȷȬɈȥǞȷȬȨɇǧȊǸ�ȁǡȆȕǞŘǖǞŘƩǞŘŹǞȟɉȱɆɉȨȘ=nȢɀɈȹɅǾǯǼ�ìǯǼǥȓǞȠȧȶȂøīȁǦǦȗȒDzǞȢɀɈȹɅ&�Ŀȃ�ǨȀlǒǽǞ_ȓšȋǧ¹ƃǽDZǟ7îǞȷȬɈȥȁŽǩǶȍǞ�%Ș;ƂȁǯǼĞ�ȁńőǯǶǾǢǣ�T�ĔĕƇǾ?ŨȂ�ǧƱÞǭȕȔǾǢǣǍ¥ȁŀȊǯǢ��ǧǡȓȊǯǶǟdčȂ��ȃǍ¥ȁ�ǩƄȒȕǼǥȓǞȢɀɈȹɅ&�ĿȃȵȤɆȣȱȀǿ9ŗż´Ș°ǨƤǬDZZqǽȎǡȔȂǽDZǟǯǦǯǞȢɀɈȹɅ&�Ŀȏ9ŗż´ȃǞÀůȏſ�ůȂ�ǧ�ǨȁǩǩǞȀǦȀǦ�śǧƳȊȀǢǞ�ŜǧǺǨȁǩǢƖǒǽDZǟȊǶǞƉĘȁȃǞ����ǾƿúȁȗǶǹǼeǨcǣ¹ƃǧǡȓǞź�Ȁ�Ŝǧ¹ƃǽDZǟò§Ȃ�ĝƃùǽȃǞǬȕȒȂ_ȓšȋȘ�ǨǩIƳǭdzȔǶȍȁǞĚ��ņŃŔǾǯǼȂȷȬɈȥŔȇȂ�:ȘƃùǯȊǯǶǟƻȁȃ;uȂ�Jȁ²ǶȔ�U¬ŷ��ȂȷȬɈȥ¬ǧlj�ǯǼǥȓǞȷȬɈȥŔȃƻȁǥǢǼǞ¦ÈT�§ȁĵ~�śǾǯǼ�:ǧĈƌǭȕǶŢŧǧǡȓȊDZǟȢɀɈȹɅ&�Ŀǧ°ǨƤǬDZǭȊǮȊȀŎ�ŃȀ³ǐȇȂ�śȘƳȍȔǶȍǞƻǧǬȂlǒȁ7ǗŃȁ_ȓšȌÃŭȃ�ǨǢǾŮǤȊDZǟȷȬɈȥŔȂ�:ȘĈƌDZȔȈǨǾŮǤȊDZǧǞÌƄȘ ǢȊDZǟ÷¶ȁǞ�Ʋüȁǀ/ǭȕȔā�ȼɃȩɈȁǺǢǼ ǢȊDZǟ

ƍ»DZȈǨřTpņȘƫǤȔ�ǞÖdzș-IJǧT-ǾǚǿȊȓǯǞȀǦȀǦ²ƸǽǨȀǢǾǢǣ�Ș�èǢǶǷǢǼǢȊDZǟɃɈȳɉr"ȂƗĄǽȎǞ�pȞɈȱɄɉǯǼȎ�pȎ²ƸǯǼǢȀǢǞ�p��ȞɈȱɄɉǯǼȎȀǦȀǦ²ƸǽǨȀǢǞǍ¥ȁ�ǩȂëǧǬǣǢǣ�Ș�ǫȒȕǼǢȊDZǟdčȂƖǒȘÛǺŐËȼɃȩɈǽȃǞ���ȂɃɈȳɉȂǣǸǞ�U�ȘCA{ăǾǯǼƎ�ǯǼǢȊDZǟā�ȂȑǭȘŊǹǼȎȒǣǬȂ_ȓšȋȁeǫǼǞǬȕȊǽÖdzșȁ�ȕǼƣȕȀǦǹǶëǧ37Ńȁ\MǽǨȔȑǣȀ�šȋȘǺǩȔȀǿǞ��ǽȎ�ǩȂëȁā�ȼɃȩɈȘ"ǘǯǼȎȒǣȈǨǾŮǤȊDZǧǞƄƉȘ ǢǞƢlȘŠȗȓȊDZǟɋØÍɌ

It is difficult to understand the contents, including the opinions of the assembly member at a glance.

This is a single speech given by an assembly member that is a request to the governor!

Transcript of a speech. However, the speech is very long.

New information access technologies to support user’s understanding are expected.

Page 5: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Support for user’s understandingFor confirmation of primary information source

l When a citation is given, we need to identify the corresponding texts in primary sources

l If the texts is too long, we need to summarize them

For critical thinking

l We need to get the whole view of opinions

5

→ Segmentation task

→ Summarization task

→ Classification task

Page 6: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Task descriptionSegmentation Taskl Given Japanese regional assembly minutes and a brief citationl Extract a text corresponding to the citation from the minutes

Summarization Taskl Given a text including an assembly member’s opinionl Make a summary which guarantees to keep the opinion

Classification Taskl Given a text including political keywordl Classifiy the description whether merit or demerit

Page 7: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Question平成23年6月の定例会第2回の山下太郎議員の「東日本大震災 被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。」という内容が記述されている範囲を示しなさい.

Segmentation Task

Speaker Line Sentence

Taro Yamashita 265

266267

268

269

276

283284

…(略)…は、都議会民主党を代表して、都政の主要課題について知事並びに関係局長に伺います。しかし、私たちは、この結果を尊重するとともに、もう1方の公選によって私たちに付託された都民の期待を踏まえ、今後も都民の生活を第1とする都政の実現に取り組むことを表明させていただきます。まず、東日本大震災における被災地支援と東京の防災対策について伺います。三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ黒く重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。原発周辺の住民の皆さんは、自宅があるのに帰れない深刻な状況が続いています。…(略)…被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の見解を伺います。現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。…(略)…都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。東日本大震災を教訓に、東京においても発災時における社会対応力の強化や防災リーダーなど、地域人材の育成などに1層取り組み、東京を災害に強い持続可能な都市としていかなければなりません。…(略)…

01

1

1

1

1

10

Output

Indicate the range of the content.

Page 8: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Segmentation Task

Speaker Line Sentence

Taro Yamashita 265

266267

268

269

276

283284

…(略)…は、都議会民主党を代表して、都政の主要課題について知事並びに関係局長に伺います。しかし、私たちは、この結果を尊重するとともに、もう1方の公選によって私たちに付託された都民の期待を踏まえ、今後も都民の生活を第1とする都政の実現に取り組むことを表明させていただきます。まず、東日本大震災における被災地支援と東京の防災対策について伺います。三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ黒く重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。原発周辺の住民の皆さんは、自宅があるのに帰れない深刻な状況が続いています。…(略)…被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の見解を伺います。現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。…(略)…都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。東日本大震災を教訓に、東京においても発災時における社会対応力の強化や防災リーダーなど、地域人材の育成などに1層取り組み、東京を災害に強い持続可能な都市としていかなければなりません。…(略)…

01

1

1

1

1

10

Output

Question平成23年6月の定例会第2回の山下太郎議員の「東日本大震災 被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。」という内容が記述されている範囲を示しなさい.

Indicate the range of the content.

Page 9: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Question 次の山下太郎議員の発言をその意図が正確に伝わるように40文字以内に要約しなさい.

Summarization Task まず、東日本大震災における被災地支援と東京の防災対策について伺います。三月十一日、マグニチュード九・〇、最高震度七の強く長い揺れが東日本一帯を襲うとともに、大津波、海砂を巻き込んだ黒く重い海水の塊が太平洋沿岸の防波堤を軒並み破壊し、海水や瓦れきが市街地に流れ込み、甚大な被害を引き起こしました。福島第一原子力発電所にも大津波が押し寄せ、冷却電源を失った原子炉建屋は爆発、格納容器が損傷して、放射性物質が広範に拡散しました。…(中略)…被災地のニーズを的確に把握し、被災地、被災者が真に必要とする支援に今後とも継続して取り組むべきと考えますが、知事の見解を伺います。現在、都内には福島県などから自主避難してきた約五千名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。現在、都内には福島県などから自主避難してきた約5,000名の避難者の皆さんが都営住宅などに仮住まいをしていらっしゃいます。…(中略)…都は、コミュニティにも配慮した避難者に対する支援の取り組みを行っていくべきと考えますが、都の見解を伺います。

東日本大震災 被災地が真に必要とする支援に継続して取り組むべき。知事の見解は。

Output

入力 Summarize within 40 letters

Page 10: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Classification taskInput : An utterance which includes political keyword

Output : Classification concerning the description whether merit or demerit

1. Merit:「築地市場は、施設配置が鉄道時代のもので、トラック輸送が主流の現在の物流に対応していません。」

2. Demerit:「豊洲の新市場予定地では108箇所で液状化が発生し、築地市場の移転先としてふさわしくないことが重ねて証明されました。」

3. Both merit and demerit :「築地市場が東京都の台所として主要な存在であることは周知のとおりですが、その一方で、鮮魚だけをとってみれば、築地以外に足立、大田といった市場があり、さらには野菜、果物や肉、花などを扱う大切な市場が存在し、都民の生活を地域に根差して支えています。」

4. Neither merit nor demerit:「思い返せば、ここ数年、築地の豊洲移転は都議会の大きな課題でした。」

Keywords “Tsukiji market”

Page 11: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Related work (Shared task)Shared tasks on the credibility of political information

1. Fake News Challenge Stage 1 (FNC-I)2. CLEF-2018 「Fact checking Lab」3. NTCIR-14 「QALab-PoliInfo Task」

Page 12: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Difference from related workFNC-1 Fact checking NTCIR QALab-PoliInfo

Dataset News article Political debate Assembly minute andNews letter

Task Classification

1. Agree2. Disagree3. Discussed4. Unrelated

Check-worthiness• Binary Classification

Factuality• Binary Classification• Extraction

Classification

Segmentation

Summarization

Number of data

2,586 articles 1,400 sentences x 3 files -

Language English English and Arabic Japanese

Page 13: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Data and ResourceWe provided the Japanese Regional Assembly Minutes Corpus.l JSON format data of the Tokyo metropolitan assembly for 4 yearsl Data fields

Participants can use any resources (and need to report)

13

Identifier Prefecture nameVolume NumberYear MonthDay PeriodTitle Speaker expressionSpeaker ID Speaker nameSpeaker position SpeechURL HTML file

Page 14: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Data characteristics(1) Dialog including questions and answers(2) Beliefs and attitudes of the assembly member(3) Mental spaces for other assemblymen(4) Contexts, including reasons(5) Several topics in the political documents(6) Colloquial Japanese including dialect and slang

14

Page 15: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

EvaluationWe will discuss the appropriate representation, evaluation metrics and methodologies with the participants

The discussions will be held through round table meetings, mailing lists, and other means.

15

Page 16: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

ScopeThis task will contribute to the development as follows :

l QA technologies,l information extraction,l semantic representation,l context understanding, l information credibility,l automated summarization,l dialog system,l and others

16

Page 17: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Important Dates Feb 20, 2018: QALab-PoliInfo Kickoff meeting in NII (room 1901, 1902)

Mar 20, 2018: NTCIR-14 Kickoff event in NII

Apr 19, 2018: 1st round table meeting in NII (room 1901, 1902)

Jun 2018: Dataset Release

Jul 2018: Task Registration Due

Jul 2018: Dry Run

Nov 2018: Formal Run

Feb 1, 2018: Evaluation Result Release

Feb 1, 2018: Task overview paper release (draft)

Mar 15, 2019: Submission due of participant papers

Jun 2019: NTCIR-14 Conference & EVIA 2019 in NII, Tokyo

Page 18: QA Lab-4: QALab-PoliInfo QA Lab so far QA Lab is aimed at complex real-world question answering (QA) technologies lNTCIR-11 QA Lab lNTCIR-12 QA Lab-2 lNTCIR-13 QA Lab-3 Previous tasks

Contact usqalab-admin l [email protected]

Web sitel https://poliinfo.github.io/

Twitterl https://twitter.com/NTCIRQALabl https://twitter.com/NTCIRQALabJA