SEARCH ENGINENEWS COLLECTION SYSTEM

Nguyen Duc Phu<nducphu@gmail.com>

WHY WE DO?

1 2 3 4

sport relax business other

1 2

3 4

One channel?

1. Web crawling ( or spider, bot,

crawler, web worm, robot…)

2. Indexing

3. Searching

SIMPLE SEARCH ENGINE

keyword

Result

Spider Engine

News Sources

Vnexpress Dantri ...

Data Server

1. GATHER DATA

2. SEARCH

Data Server

End Users

FLOW

Spider Engine

DATABASE

FLOW ONE: GATHER DATA

SPIDER ENGINE

TEXT PARSER

DATA HANDLE

WHAT IS TEXT PARSER?

TEXT

PARSER

Domain: vnexpress.net

Subject: Giá xăng dầu giảm xuống còn 11 ngàn

Time: 10:30, 12-12-2008

Descripton: Một quan chức thuộc Bộ Tài chính

cho biết về khả năng tăng giá xăng dầu...

Images: Yes (no)

ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.j

pg

SourceURL:http://www.vnexpress.net/GL/Kinh-

doanh/2008/12/3BA09661/

Other...

WHAT IS DATA HANDLE?

DATA

HANDLE

DATA RETURN

BY TEXT

PARSER

Tags: giá xăng dầu, giá xăng, giảm giá, xăng dầu, kinh tế, năng lượng...

Time: 10:30, 12-12-2008

Images: Yes (no)

ImageURL: http://www.vnexpress.net/Files/Subject/3B/A0/96/61/a3.jpg

SourceURL:http://www.vnexpress.net/GL/Kinh-doanh/2008/12/3BA09661/

Etc...

LAYOUT STRUCTURE

v

v

Block 1

Block 2

Block 3

Block 0

HOW IS TEXT PARSER WORK?

DATA

RETURN

BY TEXT

PARSERDUPLICATE DATA

DATA

HANDLED

INDEXING

TAGS MAKER

DICTIONARY

CUSTOME TAGS

TAGS PARSE

DATA HANDLE

DICTIONARY

Giá xăng dầu giảm xuống còn 11 ngàn

Giá xăng, giá dầu, xăng dầu, 11

ngàn, giảm xuống, xuống còn, giá

xăng dầu,...

Giá xăng, xăng dầu, giá xăng dầu,

giảm xuống...

CUSTOME TAGS

Giá xăng, xăng dầu, giá xăng dầu,

kinh tế, năng lượng,...

TAGS MAKER

TAGS PARSE

WHAT’S TAGS

MAKER?

TAGS PARSERVietnamese Rule

Giá xăng dầu giảm ...

1 2 3 4 - Maximum length: 3-5

- Minimum: 2 (1?)

Giá+xăng Giá+dầu Giá+giảm xăng+dầu dầu+giảm

giá+xăng+dầu?

1 2 3 41 3 3241

1 2 3

a+b+c

a<b<c

MORE

EXAMPLE

Thị trường chứng khoán

Họp quốc hội

3 : odd number

tag-name,

tag-name..

4: even number

tag-name,

tag-name..

FLOW 2:

SEARCHING

Keyword

Keyword

Analysis

Keyword

Filter

Tags

Parser

Ranking

Keyword

HOW WE DO?

RESULTS

Normal

Mai Phương Thúy

Mai Phuong Thuy

Wrong

MaiPhuong Thuy

.^Mai-Phuong*%Thuy

Site regular

dantri: mai phuong

thuy,

{today}mai phuong

thuy

mai phuong thuy, mai

phương thúy

Remove special character

Bad word

Type classification

KEYWORD FILTER

mai phuong thuy, mai

phương thúy

TAGS PARSER

Mai Phương Thúy, Mai

Phương, Phương ThúyRanking

Keyword

SEARCHING PROCESS

MADE IN VIETNAM

DO ANYTHING YOU

WANT TO

THANKSHave Question?