國立台灣科技大學電子工程系
100 學年度第 2 學期實務專題
期中進度報告
Hadoop 應用
組別:100C22
組員:姓名:杜傳家 學號:B9802221
指導老師:吳晉賢
中 華 民 國 一 ○ 一 年 九 月 三 十 日
題 目 : Hadoop 應用
組員姓名及學號 : 杜傳家 B9802221
組 別 : 100C22
指 導 老 師 : 吳晉賢
一、摘要:
本專題主要用來研究 Hadoop之架構及運行原理,
並了解 Hadoop 實際運行方式及開發方式。 架設
一個 Hadoop 伺服器,並使用 Eclipse 程式來分析
Hadoop 研究架構及開發其應用程式。 並期望能實
作出一個 Hadoop 小程式,並能使用行動裝置(app)使
用這個程式。
二、簡介:
主要架構圖 架設一個雲端伺服器,主要提供新聞過濾的功能。因現
在的新聞報導重複性太高,且現代人較忙碌並無太多空閒時
間看新聞,因此使用此雲端程式過濾新聞。
並開發一行動 App,讓使用者能從行動裝置上透過 App
直接連上雲端伺服器瀏覽過濾過的新聞,能充分利用通勤中
的空閒時間。
目前已完成 Linux 系統架設、Hadoop 開發環境架設
三、目前成果:
Hadoop 執行
Jobtracker 狀態
Namenode 狀態
Tasktracker 狀態
四、討論:
因為 Linux 系統在權限上區分得很清楚,因此在安裝
Hadoop 的時候遇到了很多權限上的問題。有些命令需要加上
sudo 才能執行,但是有些命令加上 sudo 反而會因為權限的
問題造成使用者不同而無法正確執行所下的命令。
而 Eclipse因為程式本身的問題無法直接和 Hadoop 連線
做 complie 及 run 的動作,因此必須手動將所有的檔案打包
成 jar 檔後自行到 Hadoop 下指令才有辦法測試。
而 Hadoop 在測試完成的時候,必須要先把 output 資料
夾刪除才有辦法再做下一次的測試,雖然可以換 output 資料
夾的名稱,但是不能直接覆蓋或是產生檔案在內對於測試而
言有點麻煩,但如果是重要的資料則可以保護原有資料。
因為遇到的問題滿多的,所以進度有嚴重的延遲。
五、時間進度表:
月次
工作項目
第
一
月
第
二
月
第
三
月
第
四
月
第
五
月
第
六
月
第
七
月
第
八
月
第
九
月
第
十
月
第
十
一
月
第
十
二
月
備
註
架設 Hadoop
伺服器
█
Hadoop 程式
碼分析
█ █ █ █ █
Hadoop 程式
碼撰寫
█ █ █ █ █ █ █ █ █
App 撰寫 █ █ █ █ █ █ █
六、參考資料:
1)書籍
鍾葉青、許慶賢、賴冠州、李冠憬, 雲端程式設計:入門
與應用實務, 台北, 麥格羅希爾(2011)
2)書籍
Bruce Eckel[著], 侯捷、王建興 合譯, Thinking in Java,台
北,碁峰資訊(2002)
Top Related