Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기...
Transcript of Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기...
![Page 1: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/1.jpg)
SAMSUNG OPEN SOURCE CONFERENCE 2019
Elastic Stack과공공데이터를활용한서울시 지하철대시보드만들기
Elastic ㅣ Tech Evangelist ㅣ김종민2019-10-17
![Page 2: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/2.jpg)
SOSCON 2019발표자 소개
Elasticsearch 한국커뮤니티를만들었고
Elastic 의첫번째한국직원입니다
![Page 3: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/3.jpg)
SAMSUNG OPEN SOURCE CONFERENCE 2019
SOSCON 2019
Elastic?
Elastic 은검색엔진회사입니다
![Page 4: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/4.jpg)
SAMSUNG OPEN SOURCE CONFERENCE 2019
SOSCON 2019
Elastic?
Elastic 은검색엔진회사입니다
![Page 5: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/5.jpg)
SAMSUNG OPEN SOURCE CONFERENCE 2019
SOSCON 2019
Elastic?
검색엔진은생각보다많은쓰임새가있습니다.
![Page 6: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/6.jpg)
SOSCON 2019
일반적으로컨퍼런스에서솔루션소개등은선호하지않습니다.서비스기업의운영중문제해결사례등을선호합니다.
Tech 기업의 딜레마 …
![Page 7: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/7.jpg)
SOSCON 2019
어디선가발표를하려면스토리, 멋진데모가있어야합니다.
Tech 기업의 딜레마 …
Elastic 은 도구를 만드는곳이지 서비스 기업 아니기때문에 데이터를 직접구해야 합니다.
그래서 스토리를만들려면항상 골치가 아픕니다.
종종 이런 곳을 기웃거리게됩니다.
![Page 8: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/8.jpg)
SOSCON 2019
Elastic 을 알리기 위해 있는 행사 없는 행사다 찾아다니던중
이상한 모임 이라는 온라인 커뮤니티에서온라인으로하는 이상한 컨퍼런스에서발표를 하게 됩니다
Elasticsearch 와 Kibana 로 서울시 지하철대시보드 만들기를 소개
상당한 호평을 받았습니다
2015년 10월, 아직 Elastic 이 많이 알려지지 않았을무렵
![Page 9: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/9.jpg)
SOSCON 2019
Elastic 에 대한 관심은 점점 높아지고있었는데,당시 소개 된 자료가 많지 않아 이 데모가 널리유용하게 씌였습니다.
공식 홈페이지에도블로그로업로드 되었습니다.
발표 이후로도
![Page 10: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/10.jpg)
SOSCON 2019한번은 이런 적도…
어떤 초보 개발자분이인턴 기간 중에 Elastic – Kibana 서울 지하철 대시보드만들기 데모를보고회사에서 이 내용으로 발표를 해서 나중에 정직원으로취업이 되었다는 감사 메일도받았습니다.
![Page 11: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/11.jpg)
SOSCON 2019
이데모는여러행사에서단골예제로쓰이게됩니다.
사실 이 이상 잘 되어 있는데이터셋을 찾기도 쉽지않았습니다.
우리 생활에 밀접하게 관련되어 있는 데이터라 설명하기도 쉬웠습니다.
그 이후로도 오랬동안
![Page 12: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/12.jpg)
SOSCON 2019
Elastic 은계속새버전이나왔고, 새로운데이터도계속나왔습니다.
처음 데모 만들 때가 2.4현재는 7.4 버전 까지나왔습니다.
지하철 데이터셋도계속 업데이트되었습니다.
- ~2018 년 데이터 까지
- 역명 다국어 정보
- 지하철 역 위치정보
시간은 흘러
![Page 13: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/13.jpg)
SOSCON 2019
https://github.com/eskrug/elastic-demos
전체 과정
위의깃헙리파지토리에자세히설명하고있습니다
유튜브비디오도있습니다
![Page 14: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/14.jpg)
SOSCON 2019
1. 서울시역코드로지하철역위치조회
전철역코드, 전철역명, 호선, 위도, 경도 값 등을 포함하고있습니다.
활용 데이터셋 - https://data.seoul.go.kr
json 형태의 값을 내려받아사용합니다.
![Page 15: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/15.jpg)
SOSCON 2019
2. 서울교통공사지하철역명다국어표기정보
지하철 역명의 한글, 한자, 영문, 중국어, 일본어를 포함하고 있습니다.
활용 데이터셋 - https://data.seoul.go.kr
json 형태의 값을 내려받아사용합니다.
![Page 16: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/16.jpg)
SOSCON 2019
3. 서울교통공사연도별일별시간대별역별승하차인원
년도별 일별 시간대별 역별 승하차 인원을 excel, csv 형태로 제공합니다.
활용 데이터셋 - https://data.seoul.go.kr
![Page 17: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/17.jpg)
SOSCON 2019
1. 위치데이터와다국어데이터조합 -> 메타정보데이터생성
데이터셋 조합
• “역명” 을 기준으로 병합합니다.
• 역명이 달라서 병합이 되지 않는 건 들은 동일한 역명으로 맞추어 주어야 합니다
![Page 18: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/18.jpg)
SOSCON 2019
1. 위치데이터와다국어데이터조합 -> 메타정보데이터생성
데이터셋 조합
• 위/경도 정보가 있는 위치정보 파일을 기준으로 루프를 돌며 병합합니다.
• 다국어 정보가 없는 경우 한글 정보만 남겨둡니다
![Page 19: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/19.jpg)
SOSCON 2019
2. 로그데이터시간대별로분리 + 메타정보와병합
데이터셋 조합
• 05~06, 06~07, 시간대별로 되어 있는 열을 행으로 분리
![Page 20: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/20.jpg)
SOSCON 2019
앞의세종류의데이터셋을조합해서다음과같은형태의데이터를얻습니다.
데이터셋 조합
![Page 21: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/21.jpg)
SOSCON 2019
Logstash를이용해서데이터를 Elasticsearch 로색인합니다
데이터 색인
![Page 22: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/22.jpg)
SOSCON 2019
Metric : 전체승하차인원수
Kibana 대시보드
![Page 23: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/23.jpg)
SOSCON 2019
Time Series Visualization : 시간대별승하차인원
Kibana 대시보드
![Page 24: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/24.jpg)
SOSCON 2019
Bar Chart : 호선별승하차인원
Kibana 대시보드
![Page 25: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/25.jpg)
SOSCON 2019
Tag Cloud : 역별승하차인원
Kibana 대시보드
![Page 26: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/26.jpg)
SOSCON 2019
Pie Chart : 승하차인원수비율
Kibana 대시보드
![Page 27: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/27.jpg)
SOSCON 2019
Map : 승하차인원위치
Kibana 대시보드
![Page 28: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/28.jpg)
SOSCON 20191차 Kibana 대시보드
![Page 29: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/29.jpg)
SOSCON 2019
Heat Map : 요일별시간대별승하차인원수
더 추가 해 보고 싶은 데이터
• 요일
• 시각
@timestamp?
![Page 30: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/30.jpg)
SOSCON 2019
1. Scripted Field 사용
@timestamp 로 부터 요일, 시각 정보 추가
• 동적으로추가 가능
• 메모리 소모가 많음
![Page 31: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/31.jpg)
SOSCON 2019
2. 데이터색인시요일, 시각필드별도로추가
@timestamp 로 부터 요일, 시각 정보 추가
• 재색인 필요
• 가벼움
• 더욱 다양한
쿼리 가능
![Page 32: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/32.jpg)
SOSCON 2019
최종데이터형태
@timestamp 로 부터 요일, 시각 정보 추가
![Page 33: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/33.jpg)
SOSCON 20192차 Kibana 대시보드
![Page 34: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/34.jpg)
SOSCON 2019
https://ela.st/cloud-krUsername : guestPassword : thssla (손님)
실제로 접속해서 보시겠습니다
![Page 35: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/35.jpg)
SOSCON 2019대시보드 분석
1주일단위집계
• 평일 : 아침 저녁
• 주말 : 낮
![Page 36: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/36.jpg)
SOSCON 2019대시보드 분석
평일오전
• 승차인원 :
신림, 잠실, 사당…
• 하차인원 :
강남, 종로3가, 서울역…
![Page 37: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/37.jpg)
SOSCON 2019대시보드 분석
평일오후
• 승차인원 :
강남, 잠실, 종로3가…
• 하차인원 :
잠실, 신림, 홍대입구…
![Page 38: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/38.jpg)
SOSCON 2019대시보드 분석
역삼, 선릉, 삼성역으로검색
• 오전 : 하차인원
• 오후 : 승차인원
![Page 39: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/39.jpg)
SOSCON 2019대시보드 분석
명절기간검색
• 고속터미널, 홍대입구,
서울역, 잠실
![Page 40: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/40.jpg)
SOSCON 2019대시보드 분석
여의도에서승하차인원합 : 12,000 ~ 20,000
![Page 41: Elastic Stack과공공데이터를 활용한서울시지하철대시보드 만들기 2_1430_1.pdf · 발표자소개 SOSCON 2019 Elasticsearch 한국커뮤니티를 만들었고 Elastic](https://reader035.fdocuments.us/reader035/viewer/2022062602/5ee154c4ad6a402d666c4091/html5/thumbnails/41.jpg)
SOSCON 2019SAMSUNG OPEN SOURCE CONFERENCE 2019
감사합니다Thank you
Elastic 부스에서더많은데모와정보들을제공하고있습니다. 추가적인질문은 Elastic 부스에오셔서해주시면감사드리겠습니다.