Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean
-
Upload
newprolab -
Category
Data & Analytics
-
view
251 -
download
5
Transcript of Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean
![Page 1: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/1.jpg)
КакустроеномашинноеобучениевQlean
ЕвгенийГапон
![Page 2: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/2.jpg)
• Мысервис поуборкеквартир• Работаемв3 городахРоссии• СайтиiOS-приложениедляклиентов• Android-приложениедляисполнителей• Свои CRMдляклиентовиисполнителей• Микросервисная архитектура
![Page 3: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/3.jpg)
Аещеунасестьмашинноеобучение
• Скоринг заказовнавероятностьотмены• МодельактивностиклиентовследующиеNдней• МодельактивностиисполнителейследующиеNдней• Скоринг исполнителейнавероятностьнеявкиназаказ• Скоринг лидов исполнителей
![Page 4: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/4.jpg)
Нужнопройтивсего6этапов*
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
*– обязательнодолжныбытькультураработысданнымиилюди
![Page 5: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/5.jpg)
Планпростипотомукрасив
![Page 6: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/6.jpg)
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
![Page 7: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/7.jpg)
Мысобралиданныеизразныхисточниковводномместе
Нашиисточникиданных:
• Операционныеданныеизproductionбазы
• Клик- иивент-стримы изSnowplow• МобильныйтрекингизAdjust• ОбращениявподдержкуизZendesk• ДанныепозвонкамизМанго• Затратынарекламуизразличных
источников
Postgres
![Page 8: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/8.jpg)
Мысделалиданныедоступными
![Page 9: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/9.jpg)
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
![Page 10: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/10.jpg)
Некоторыезадачиможнорешитьибезмашинногообучения
SQL vs
![Page 11: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/11.jpg)
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
![Page 12: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/12.jpg)
Shitinshitout
Признаки Прогноз
Модель
![Page 13: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/13.jpg)
Заинжениренные признакиработаютлучше
Кол-воотменвпрошлом
Привязаналикредитнаякарта
Кол-водоп.услугвзаказе
Доляотменпопрошедшимзаказам
Наличиеотдельныхдоп.услуг
![Page 14: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/14.jpg)
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
![Page 15: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/15.jpg)
Получшеразберитесьсполученнымрезультатом
0%
20%
40%
60%
80%
100%
0
200
400
600
800
1000
1200
1400
1600
Доляотм
ен
Кол-возаказов
Вероятностьотмены
заказотменилсязаказсостоялсядоляотмен
![Page 16: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/16.jpg)
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
![Page 17: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/17.jpg)
ДовнедрениямоделимыпроводимручноеA/B-тестирование
40%
50%
60%
70%
80%
90%
100%
[50%;60%) [60%;70%) [70%;80%) [80%;90%) [90%;100%]
Дол
яотмен
Вероятностьотменызаказа
control test
Мырукаминачислялибонусзасохранениезаказатестовойгруппе.Чембольшевероятностьотмены,тембольшебонус.
![Page 18: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/18.jpg)
• Сборихранениеданных• Формулировказадачи• Извлечениепризнаков• Построениеиоценкамодели• Бизнес-тестированиемодели• Внедрениемодели
![Page 19: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/19.jpg)
Воттакустроенанаша«ml-инфраструктура»
Productionсреда
Productionбаза
процесс1
процесс2
процесс3
![Page 20: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/20.jpg)
• Соберитеданныеводномместеиначнитепользоватьсяими• Задачидолжныприходитьотбизнеса• Некоторыезадачиможнорешитьибезмашинногообучения• Нежалейтевременинаизвлечениепризнаков• Заинжениренные признакиработаютлучше• Разберитесьсполученнымрезультатом• ПроводитеручноеA/B-тестирование• Наколеночная инфраструктурарулит!
Итого
![Page 22: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/22.jpg)
![Page 23: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/23.jpg)
![Page 24: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/24.jpg)
Модельскоринга заказовиееприменение
https://goo.gl/gCe33U
![Page 25: Data Science Weekend 2017. Qlean. Как устроено машинное обучение в Qlean](https://reader034.fdocuments.us/reader034/viewer/2022042707/58ec8f431a28ab85178b4785/html5/thumbnails/25.jpg)