Hanoi PHP Day 2008 - 04 - Nguyen Duc Phu - Search Engine: New Collection System
21
-
Upload
nguyen-duc-phu -
Category
Technology
-
view
538 -
download
3
description
A presentation at Hanoi PHP day, 14/11/2008.
Transcript of Hanoi PHP Day 2008 - 04 - Nguyen Duc Phu - Search Engine: New Collection System
WHY WE DO?
1 2 3 4
sport relax business other
1 2
3 4
One channel?
1. Web crawling ( or spider, bot, crawler, web worm, robot…)
2. Indexing
3. Searching
SIMPLE SEARCH ENGINE
keyword
Result
Spider Engine
News Sources
Vnexpress Dantri ...
Data Server
1. GATHER DATA
2. SEARCH
Data Server
End Users
FLOW
Spider Engine
DATABASE
FLOW ONE: GATHER DATA
SPIDER ENGINE
TEXT PARSER
DATA HANDLE
WHAT IS TEXT PARSER?
TEXT
PARSER
Domain: vnexpress.net
Subject: Giá xăng dầu giảm xuống còn 11 ngàn
Time: 10:30, 12-12-2008
Descripton: Một quan chức thuộc Bộ Tài chính cho biết về khả năng tăng giá xăng dầu...
Images: Yes (no)
ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg
SourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/
Other...
WHAT IS DATA HANDLE?
DATA HANDLE
DATA RETURN BY TEXT PARSER
Tags: giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng...
Time: 10:30, 12-12-2008
Images: Yes (no)
ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg
SourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/
Etc...
LAYOUT STRUCTURE
v
v
Block 1
Block 2
Block 3
Block 0
HOW IS TEXT PARSER WORK?
DATA RETURN BY TEXT PARSER
DUPLICATE DATA
DATA HANDLED
INDEXING
TAGS MAKER
DICTIONARY
CUSTOME TAGS
TAGS PARSE
DATA HANDLE
DICTIONARY
Giá xăng dầu giảm xuống còn 11 ngàn
Giá xăng, giá dầu, xăng dầu, 11 ngàn, giảm xuống, xuống còn, giá xăng dầu,...
Giá xăng, xăng dầu, giá xăng dầu, giảm xuống...
CUSTOME TAGS
Giá xăng, xăng dầu, giá xăng dầu, kinh tế, năng lượng,...
TAGS MAKER
TAGS PARSE
WHAT’S TAGS MAKER?
TAGS PARSERVietnamese Rule
Giá xăng dầu giảm ...1 2 3 4 - Maximum length: 3-5
- Minimum: 2 (1?)
Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm
giá+xăng+dầu?
1 2 3 41 3 3241
1 2 3
a+b+c
a<b<c
MORE EXAMPLE
Thị trường chứng khoán
Họp quốc hội
3 : odd number
tag-name,
tag-name..
4: even number
tag-name,
tag-name..
FLOW 2:SEARCHING
Keyword
Keyword Analysis
Keyword Filter
Tags Parser
Ranking Keyword
HOW WE DO?
RESULTS
Normal
Mai Phương Thúy
Mai Phuong Thuy
Wrong
MaiPhuong Thuy
.^Mai-Phuong*%Thuy
Site regular
dantri: mai phuong thuy,
{today}mai phuong thuy
mai phuong thuy, mai phương thúy
Remove special character
Bad word
Type classification
KEYWORD FILTER
mai phuong thuy, mai phương thúy
TAGS PARSER
Mai Phương Thúy, Mai Phương, Phương Thúy
Ranking Keyword
SEARCHING PROCESS
MADE IN VIETNAM
DO ANYTHING YOU WANT TO
THANKSHave Question?
