Post on 18-Jan-2017
Data Mining Final Project
YAN TING LIN
Data Source• Apple Daily• http://www.appledaily.com.tw• Apple Daily is the most popular public platform of news and
mainstream media in Taiwan.
Classification Problem: Ads or News• Input: news • String (This is a book….)
• Output: News or Ads • Boolean (1 / 0) or Probability (0 - 1) or (0 – 100%)
How To Do • First, I label each news with its type (Ads or News) in training and test
dataset selecting from database.
• Second, I will take the training dataset with labels as input to feed in LSTM model.
• Third, compiling model and training model.
• Final, evaluating model with test dataset and improving its result.
What I have done 1 - Preprocessing• 一般人都知道,香港有數不完的都市美景,但大部分人都忽略了,香港也有值得一看的自然風光喔!香港國家地質公園於 2011年,被聯合國教科文組織正式列入世界地質公園名錄,並正式命名為「香港世界地質公園」。搭船出海賞景,夏季可前往西貢東部,眺望高聳的火山岩地形;冬季受季風影響,建議至新界東北探訪沉積岩景觀。<span
style=“height:30px;display:block;”></span>為了找尋傳說中的小台灣,愛玩哥此行選擇了西貢島嶼路線,從西貢新公眾碼頭往東出發,經過一段平靜水域後,首先映入眼簾的風景是萬宜水庫西壩。萬宜水庫是香港最大水庫,據說從當地有個爛泥灣村,因「爛泥」不好聽而改為「萬宜」村,所以水庫中文名也沿用萬宜之名囉!<span style=“height:30px;display:block;”></span>船行經過糧船灣,岸上的地貌也漸漸精彩起來,呈六角形的火山岩柱狀節理,約在 1億 4千萬年前形成,至花山一帶,火山岩柱群更是壯觀,每支柱體平均直徑在 1公尺以上,高度最高可達 100公尺,像一面宏偉的屏風佇立海上。與我們在澎湖或濟州島看到的深色玄武岩不同,香港的六角形岩柱顏色偏淺、或紅或黃,導覽人員解釋,這是因火山岩中多了二氧化矽的成分所致,這也是香港火山岩最大特色。<span style=“height:30px;display:block;”></span>遊艇返航時經過橫洲,我終於見到期待已久的小台灣!這處位於橫洲的海蝕洞,正式名稱為「橫洲角洞」,外型像極了台灣島形狀,不過模樣剛好左右顛倒,如果想瞧瞧正面版,可乘小艇穿過洞身到對面觀看,相似度百分百呀!……
• 一般人都知道,香港有數不完的都市美景,但大部分人都忽略了,香港也有值得一看的自然風光喔!香港國家地質公園於 2011年,被聯合國教科文組織正式列入世界地質公園名錄,並正式命名為「香港世界地質公園」。搭船出海賞景,夏季可前往西貢東部,眺望高聳的火山岩地形;冬季受季風影響,建議至新界東北探訪沉積岩景觀。為了找尋傳說中的小台灣,愛玩哥此行選擇了西貢島嶼路線,從西貢新公眾碼頭往東出發,經過一段平靜水域後,首先映入眼簾的風景是萬宜水庫西壩。萬宜水庫是香港最大水庫,據說從當地有個爛泥灣村,因「爛泥」不好聽而改為「萬宜」村,所以水庫中文名也沿用萬宜之名囉!船行經過糧船灣,岸上的地貌也漸漸精彩起來,呈六角形的火山岩柱狀節理,約在 1億 4千萬年前形成,至花山一帶,火山岩柱群更是壯觀,每支柱體平均直徑在 1公尺以上,高度最高可達 100公尺,像一面宏偉的屏風佇立海上。與我們在澎湖或濟州島看到的深色玄武岩不同,香港的六角形岩柱顏色偏淺、或紅或黃,導覽人員解釋,這是因火山岩中多了二氧化矽的成分所致,這也是香港火山岩最大特色。遊艇返航時經過橫洲,我終於見到期待已久的小台灣!這處位於橫洲的海蝕洞,正式名稱為「橫洲角洞」,外型像極了台灣島形狀,不過模樣剛好左右顛倒,如果想瞧瞧正面版,可乘小艇穿過洞身到對面觀看,相似度百分百呀!相關資訊:香港東北地質遊行程 (綠恆生態旅遊 )http://www.ecotravel.hk/tourEL_01__b5.html 更多資訊請看吃喝玩樂蘋果花粉絲團想知道更多親子遊去處,請參加蘋果花客製親子遊社團
PHPA powerful tool to manipulate web data
What I have done 2 - Label • Manual labelling• Automated html-tag removing
PHP script
Issues• News Duplication : I guess it is time that PHP crawler got the next
page and authors published their newer articles. The newer articles make the original previous page fetched by the crawler move to the next page when the crawler was ready to get the next page.
• Null Content : Most of unofficial submissions have null content fetched by the crawler. However the original website looks right. It is caused by the wrong HTML format.
Data Insight• Now I have labelled 300 news is an ad or not in total 1500 news.• Result : Ad 30 ; Not Ad 270• Excel Analysis: • Category table in the 30 news labelled “ad” 副刊 論壇 娛樂 社會 國際 財經 生活 政治 體育 地產 壹週刊 時尚 動物 3C
6 0 4 0 0 6 2 0 1 6 1 2 0 2
副刊 論壇 娛樂 社會 國際 財經 生活 政治 體育 地產 壹週刊 時尚 動物 3C0
12
34
56
7廣告總類分佈
97%
3%
News View CountAd View Count
News View Ad View Total
View4052573 106967 4159540
副刊 27674
論壇 11287
娛樂 1135197
社會 1343247
國際 205347
財經 182514
生活 336945
政治 589146
體育 192941
地產 77588
壹週刊 11385
時尚 20556
動物 87603C 16953
10
200000
400000
600000
800000
1000000
1200000
1400000
1600000
副刊 論壇
娛樂 社會
國際 財經
生活 政治
體育 地產
壹週刊 時尚
動物 3C
What I have done 3 – Word Cut Demo • Example: • 一般人都知道,香港有數不完的都市美景,但大部分人都忽略了,香港也有值得一看的自然風光喔!香港國家地質公園於2011年,被聯合國教科文組織正式列入世界地質公園名錄,並正式命名為「香港世界地質公園」。搭船出海賞景,夏季可前往西貢東部,眺望高聳的火山岩地形;冬季受季風影響,建議至新界東北探訪沉積岩景觀。為了找尋傳說中的小台灣,愛玩哥此行選擇了西貢島嶼路線,從西貢新公眾碼頭往東出發,經過一段平靜水域後,首先映入眼簾的風景是萬宜水庫西壩。萬宜水庫是香港最大水庫,據說從當地有個爛泥灣村,因「爛泥」不好聽而改為「萬宜」村,所以水庫中文名也沿用萬宜之名囉!船行經過糧船灣,岸上的地貌也漸漸精彩起來,呈六角形的火山岩柱狀節理,約在 1億4千萬年前形成,至花山一帶,火山岩柱群更是壯觀,每支柱體平均直徑在1公尺以上,高度最高可達100公尺,像一面宏偉的屏風佇立海上。與我們在澎湖或濟州島看到的深色玄武岩不同,香港的六角形岩柱顏色偏淺、或紅或黃,導覽人員解釋,這是因火山岩中多了二氧化矽的成分所致,這也是香港火山岩最大特色。遊艇返航時經過橫洲,我終於見到期待已久的小台灣!這處位於橫洲的海蝕洞,正式名稱為「橫洲角洞」,外型像極了台灣島形狀,不過模樣剛好左右顛倒,如果想瞧瞧正面版,可乘小艇穿過洞身到對面觀看,相似度百分百呀!相關資訊:香港東北地質遊行程 (綠恆生態旅遊 )http://www.ecotravel.hk/tourEL_01__b5.html 更多資訊請看吃喝玩樂蘋果花粉絲團想知道更多親子遊去處,請參加蘋果花客製親子遊社團
PHP Word Cut With Jieba
Open Data• https://plotdb.com/dataset/5576/
Thanks for reading.The end.