Big Data: миф или информационная революция?
description
Transcript of Big Data: миф или информационная революция?
![Page 1: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/1.jpg)
9 октября 2014 года
Big Data: миф
или информационная
революция?
Дмитрий Морозов
Ведущий системный инженер
![Page 2: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/2.jpg)
О себе
В CUSTIS с 2007 года
Образование: СУНЦ МГУ,
МФТИ, к. ф.-м. н.
Специализация:
виртуализация, облачные
технологии, Big Data
Сертифицированный
специалист Microsoft, Veeam
2/37
![Page 3: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/3.jpg)
Почему я работаю в CUSTIS
Нравится принимать решения и нести
ответственность за них в проектах
Нравится искать решения проблем,
а не работать по шаблонам
Нравится человеческий подход
к сотрудникам (удобный офис,
командировки, обучение, конференции)
Нравятся люди, с которыми интересно
работать… и не только работать
3/37
![Page 4: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/4.jpg)
Почему я работаю в CUSTIS
Нравится принимать решения и нести
ответственность за них в проектах
Нравится искать решения проблем,
а не работать по шаблонам
Нравится человеческий подход
к сотрудникам (удобный офис,
командировки, обучение, конференции)
Нравятся люди, с которыми интересно
работать… и не только работать
4/37
![Page 5: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/5.jpg)
Brazil 2014
5/37
![Page 7: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/7.jpg)
«Традиционный тренер»
Стандартные инструменты
футбольного тренера
7/37
![Page 8: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/8.jpg)
SAP Football Match Insights
Инструмент
тренера
чемпионов
мира – 2014
8/37
![Page 9: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/9.jpg)
План
Big Data – новый способ мышления?
Практическая реализация технологий
больших данных
Примеры «из жизни»
9/37
![Page 10: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/10.jpg)
Big Data –
новый способ мышления?
10/37
![Page 11: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/11.jpg)
Предпосылки появления
Развитие средств хранения и обработки
информации
Откуда берутся «большие данные»?
11/37
![Page 12: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/12.jpg)
Что такое Big Data
Volume
Variety
Velocity
12/37
![Page 13: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/13.jpg)
Новый образ мышления
Способность анализировать все данные
Работа с неупорядоченными данными
Отказ от причинности
13/37
![Page 14: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/14.jpg)
Обработка всех данных
Иногда требуется
обработать
всю имеющуюся
информацию
14/37
![Page 15: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/15.jpg)
Big Data помогает найти мужа!
Лекция TED
15/37
![Page 16: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/16.jpg)
Работа
с неупорядоченными данными
Только 5–10%
информации
в мире упорядочены
16/37
![Page 17: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/17.jpg)
Скорость обработки данных
Информация
устаревает прежде,
чем ее успевают
обработать
17/37
![Page 18: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/18.jpg)
Пример: Билайн
и продажа смартфонов
Билайн рекламирует смартфоны тем, кто уже
готов их купить
18/37
![Page 19: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/19.jpg)
Корреляция
Причины?
Не нужны!Big Data позволяет выявлять
и даже прогнозировать явления
еще до понимания их причин
19/37
![Page 20: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/20.jpg)
Пример: прогноз объема
денежной массы в банкоматах
С помощью больших
данных банки прогнозируют
время и объем пополнения
банкоматов
20/37
![Page 21: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/21.jpg)
Пример: Amazon
и таргетированные рекомендации
Существенной долей успеха Amazon обязан
персональным рекомендациям
21/37
![Page 22: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/22.jpg)
Пример: Big Data вместо анализов
Страховая компания Aviva
использует данные,
полученные с помощью
Big Data, вместо
медицинских анализов
22/37
![Page 23: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/23.jpg)
Как оценить стоимость данных?
Капитализация
Facebook при IPO –
$ 110 млрд,
а бухгалтерская
стоимость –
$ 6 млрд
23/37
![Page 24: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/24.jpg)
Технологии работы с Big Data
24/37
![Page 25: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/25.jpg)
MapReduce
25/37
![Page 26: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/26.jpg)
Выполнение MapReduce
26/37
![Page 27: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/27.jpg)
Реализации MapReduce
Сотни и тысячи узлов
ОС Linux
Стандартное сетевое оборудование 1 Гбит/с
Дешевые локальные диски
Распределенная файловая система
Дешево,
масштабируемо…
27/37
![Page 28: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/28.jpg)
Отказоустойчивость в MapReduce
…и отказоустойчиво
28/37
![Page 29: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/29.jpg)
HDFS
29/37
![Page 30: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/30.jpg)
Hadoop
Hadoop MapReduce
HDFS
Hadoop Common
YARN
Самая массовая
экосистема для
работы с Big Data
30/37
![Page 31: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/31.jpg)
Экосистема Hadoop
Ambari
Avro
Cassandra
Chukwa
HBase
Hive
Mahout
Pig
Spark
Tez
ZooKeeper
Sqoop
Flume
Oozie
Cascading
Cascalog
…и это еще не все
31/37
![Page 32: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/32.jpg)
Экосистема Hadoop
32/37
![Page 33: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/33.jpg)
Как установить Hadoop?
На «Хабре» есть подробная инструкция
С Cloudera Hadoop
это просто!
33/37
![Page 34: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/34.jpg)
Big Data – это не только Hadoop!
34/37
![Page 35: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/35.jpg)
Аппаратные решения
АПК:
Teradata Aster MapReduce appliance
Oracle Big Data appliance
EMC Greenplum
In-memory АПК:
SAP HANA
Oracle Exalytics
И не забываем
про облака!
35/37
![Page 36: Big Data: миф или информационная революция?](https://reader033.fdocuments.us/reader033/viewer/2022042614/5591a1211a28ab9a268b46a4/html5/thumbnails/36.jpg)
Миф
или информационная
революция?
Эволюция!
36/37