Topical Keyphrase Extraction from TwitterWayne Xin Zhao, Jing Jiangm Jing He, Yang Song, Palakorn Achananuparp, Ee-Peng Lim, Xiaoming Li

2014/05/07 id:skozawa

論文輪読会

概要

● Tweetの要約○ キーフレーズは文書のトピックを要約に有用

● Tweetからキーフレーズを抽出する最初の研究

● トピックのキーフレーズ抽出○ Food: chicken rice, ice cream, fried chicken○ Sports: manchester united, tiger woods, grand slam

背景

● ツイッターの2つの特徴○ 1) 短い、有用な情報を含んでいるとは限らない○ 2) 多様性がある

● 従来手法は各文書からトピックのキーフレーズを抽出○ 1ツイートからのキーフレーズ抽出は意味がない○ ツイート全体からではキーフレーズを正しく抽出できない

● トピックごとにキーフレーズを抽出

アプローチ

● グラフベースの教師なしキーフレーズ抽出○ Liu et al. (2010) がベース

1) トピックの抽出

2) キーフレーズの抽出

● 提案点○ Context-sensitive Topical PageRank○ relevance、interestingnessを考慮したスコアリング

コンテキスト（トピック）を考慮することでキーフレーズ抽出の性能を向上

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

1. LDAによるトピック抽出2. Topical PageRankによるキーフレーズ抽出

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

1. LDAによるトピック抽出2. Topical PageRankによるキーフレーズ抽出

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

トピック

ricebread

chickeniceeat

TopicATopicC

game

football

matchwin

arsenal

hot

rain

air

sun

morningsong

bieber

musicvideo

youtube

TopicB TopicD

iphonesocial

twittergoogle

media

TopicE

● トピック＝単語の集合

LDAによるトピック抽出

● LDA (Latent Dirichlet Allocation)● 文書集合からトピックを抽出

○ トピック数Nは事前に与える● トピックを抽出することにより、文書のトピックを推定も可能

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

1. LDAによるトピック抽出2. Topical PageRankによるキーフレーズ抽出

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

Topical PageRankによるキーフレーズ抽出

1. 単語グラフの生成2. Topical PageRankによるスコア計算3. スコアを用いたキーフレーズ抽出4. 文書のキーフレーズ取得

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

単語グラフの生成

● 文書中の単語の共起性を利用して構築○ ウィンドウ幅Wの共起数○ 有向、無向かは性能には影響しない

We construct a word graph according to word co-occurrences within the given document.W=5の場合

We

construct

word

graph

co-ocurrences

document

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

名詞と動詞のみでグラフを構築した場合

Topical PageRankによるスコア計算

● PageRankに基づく

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

PageRank● Webページの重要度を決定するアルゴリズム

○ 引用、被引用関係を利用

R(v): vのスコアe(vj, vi): vjからviへのエッジの重みO(vj): vjからの重みの総和V: ノード数λ: 制動係数 (0≦λ≦1)

PageRank● Webページの重要度を決定するアルゴリズム

○ 引用、被引用関係を利用

R(v): vのスコアe(vj, vi): vjからviへのエッジの重みO(vj): vjからの重みの総和V: ノード数λ: 制動係数 (0≦λ≦1)

λ=1 ID=1 ID=4 ID=5

ランダム

PageRank● Webページの重要度を決定するアルゴリズム

○ 引用、被引用関係を利用

R(v): vのスコアe(vj, vi): vjからviへのエッジの重みO(vj): vjからの重みの総和V: ノード数λ: 制動係数 (0≦λ≦1)

この計算を100回、もしくは、各ノードのスコアの差分が0.001未満になるまで繰り返す

Topical PageRankによるキーワードスコアの計算

● PageRank

● Topical PageRank

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

トピックzを考慮（ランダムではなく、トピックにバイアスをかける)

キーフレーズスコアの計算

● Topical PageRankのスコアを利用○ キーフレーズの候補： (形容詞)* (名詞)+○ キーフレーズpのスコアは各キーワードの総和

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

文書のキーフレーズ抽出

● 文書のキーフレーズ取得○ キーフレーズのスコアに

文書におけるトピックの割合をかける

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

Topical PageRankによるキーフレーズ抽出

1. 単語グラフの生成2. Topical PageRankによるスコア計算3. スコアを用いたキーフレーズ抽出4. 文書のキーフレーズ取得

Automatic Keyphrase Extraction via Topic Decomposition, Liu et al. (2010)

Topical Keyphrase Extraction from Twitter

1. Twitter-LDA(Zhao et. al, 2011)によるトピック抽出2. Topical PageRankによるキーフレーズ抽出

Context-sensitive Topical PageRank

relevance and interestingness

1ツイート=1トピックなので不要

Context-sensitive Topical PageRank● Topical PageRank

● Context-sensitive Topical PageRank

エッジのスコア計算でトピックを考慮

Keyphrase ranking by relevance and interstingness

● Relevance○ 良いキーフレーズはトピックに強く関連○ newsトピック： ○president obama, ×math class

● Interestingness○ 良いキーフレーズはユーザの関心を惹く○ musicトピック：justin bieber > song player

Interestingness Relevance

Relevance● キーフレーズ k=(w1,w2,...,wN)

全ツイート中のwの頻度

トピックｔのツイート中のwの頻度

Relevance● キーフレーズ k=(w1,w2,...,wN)

全ツイート中のwの頻度

トピックｔのツイート中のwの頻度

疑問：PageRankを利用する場合との本質的な違いは何か

Interestingness● リツイートの割合を利用

● リツイートされてないツイートも考慮(add-one smoothing)

候補キーフレーズを含む平均ツイート数

キーフレーズのスコアリング

● Liu et al.

● 提案

実験設定

● データ○ 20週間のシンガポールのユーザのツイート

■ ストップワード、低頻度語、ツイート数の少ないユーザを除去

● トピック抽出○ トピック数30でTwitter-LDA○ 実験では、そのうち10のトピックを利用

評価実験

● 評価指標○ MAP(mean average precision)○ ランキング上位に適切なキーフレーズがあると高い

キーワードスコアリング キーフレーズスコアリング MAP

TPR (Liu et al.) キーワードスコアの総和 (Liu et al.) 0.5984

CTPR (proposed) キーワードスコアの総和 (Liu et al.) 0.6608

CTPR (proposed) relevance 0.6696

CTPR (proposed) relevance + interestingness 0.6694

relevanceは有効?キーワードスコアリング キーフレーズスコアリング MAP

TPR (Liu et al.) キーワードスコアの総和 (Liu et al.) 0.5984

TPR (Liu et al.) キーワードスコアの積 0.6379

CTPR (proposed) キーワードスコアの総和 (Liu et al.) 0.6608

CTPR (proposed) キーワードスコアの積 0.6688

CTPR (proposed) relevance 0.6696

確率の積にしたのが有効であって、relevanceの有効性はあまりない気もする

キーフレーズの取得例

Interestingnessの効果

● 固有名詞の取得数が増加○ 固有名詞を含んだツイートのほうがリツイートされやすい

T5 (Movie-TV) T12 (News) T20 (Music) T25 (Sports)

Relevance 8 9 16 11

Relevance + Interestingness 10 12 17 14

まとめ

● Tweetの要約のため、キーフレーズを取得● グラフベースのキーフレーズ抽出

○ Context-sentive Topical PageRank

○ relevanceとinterestingnessを用いたスコアリング

コンテキストを考慮することによりキーワードスコアリングの性能向上

relevance, interestingnessを用いることによりキーフレーズスコアリングの性能向上

relevanceというよりは確率の積にしたことが有効そう