SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api...
Transcript of SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api...
![Page 1: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/1.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS Event Stream ProcessingПотоковая обработка Больших Данных
![Page 2: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/2.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Большие Данные: новые задачи
Volume
Velocity
Variety
Быстрый ответ с низкой задержкой
Сокращение времени принятия решения
Непрерывная оценка возможностей и рисков
Гибкость и простое управление
Готовность работы с большим потоком
![Page 3: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/3.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Обработка событий с датчиков автомобиля
Сенсоры
/ ЭБУCAN Bus
IoT шлюз на ТС:
- SAS Event Stream Processing
- SAS Event Stream Manager
Непрерывная потоковая обработка показаний датчиков и системных ошибок внутри автомобиля
WWAN
SAS AnalyticsЦентр управления автопарком- Разработка аналитических
моделей- Машинное обучение
![Page 4: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/4.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Обработка показаний датчиков в реальном времени
• Предотвращение аварий• Предотвращение поломок• Своевременное техн. обслуживание• Оптимизация маршрутов• Онлайн маркетинг
• Онлайн страхование Телематика
• Службы каршеринга• Предотвращение
мошенничества и др.
• демо-стенд SAS FORUM RUSSIA 2017
![Page 5: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/5.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Глобальный производитель ТС ТРАНСПОРТ
Press Announcement
ЦЕЛЬ
Проактивное прохождение технического обслуживания
Предоставление новых услуг с высоким SLA
РЕЗУЛЬТАТЫ
Предсказание времени ТО
Обнаружение высоковероятных поломок ранее чем за 30 дней
Увеличение времени работы единиц техники на 30%
Ускорение диагностики неисправностей на 25%
Диагностика в пути
Инновационная координация между производителями и поставщиками
Снижение стоимости гарантийного обслуживания
Пересмотр текущих процессов
Каждый грузовик получил балл риска исходя из стоимости ТО, сложности поставки, параметров груза
Оптимизация прохождения обслуживания, выявлено что только 75% парка требует своевременное обновление ПО
“We looked at open-source
options, but decided we
needed a solution that was
both powerful and user-
friendly; that led us to SAS.
SAS cuts through data
complexities and produces
analytical insight that not
only improves our
business, but our
customers’ businesses as
well. When our customers succeed, we succeed.”
Gyasi K. Dapaa
Director of Data Science
Navistar International
![Page 6: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/6.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
SAS Event Stream Processing
результат
анализа
Действия
SAS In-Memory
SAS®
Event Stream Processing Model
Непрерывный
запрос
Пуб
ли
ка
ци
я
По
дп
ис
ка
Поток событий
Обогащение
данныхПрименение
моделейФильтры и
паттерны
![Page 7: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/7.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Готовые механизмы интеграции SAS ESP
ОТКРЫТЫЕ ПЛАТФОРМЫ
СИСТЕМЫ И ПРИЛОЖЕНИЯ
API ПУБЛИКАЦИИ И ПОДПИСКИ
RendezVous
СТАНДАРТЫ
FILE/SOCKET
XML / JSON
ODBC
JMS
MQTT
SYSLOG
DB LOG SNIFFERS
HTTP RESTFUL
SMTP
NETWORK SNIFFERS
WEB SERVICES
*
![Page 8: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/8.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
SAS Event Stream Processing Studio
Drag & drop моделированиеVisual, XML и C
Publish & Subscribe API (Java, C, Python)
Визуальный инструмент разработки
Позволяет быстро создавать и поддерживать правила обработки потока событий для своевременного и гибкого адаптивного действия
Полный набор компонентов для построения любого типа процесса
Простая интеграция аналитических моделей
Разворачивание существующих моделей с использованием встроенных языков: SAS® DS2, SAS® Datastep или Python кода
Поддержка динамического изменения логики обработки событий
![Page 9: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/9.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Работа с координатами на потоковых данныхТрансформация «Geofence Window»
Позволяет в реальном времени определить:
• Момент пересечения границы/полигона
• Приближение к интересующему объекту
• Плотность объектов в области
• И др…Позволяет обновлять границы в реальном
времени
Позиционирование объекта на потоковых данных:
• В указанных границах
• Вблизи указанной точки
![Page 10: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/10.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Выявление сложных событийТрансформация «Pattern Window»
“Выявить когда событие А следует за событием Б и не наступает событие В в 3-х минутном интервале времени”
E1 E2И
СЛЕДУЕТ
ЗА
E4 E5И
НЕ
E6
E3ИЛИ
5 МИН
1 ЧАССЛЕДУЕТ
ЗА
![Page 11: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/11.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Потоковая аналитикаНовый подход к построению предиктивных моделей
![Page 12: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/12.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Enri
ch
Sto
re
![Page 13: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/13.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Enri
ch
Sto
re
![Page 14: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/14.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
ETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Sto
re
Enri
ch
Deploy
![Page 15: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/15.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Sto
re
Enri
ch
![Page 16: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/16.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Score
Sto
re
Enri
ch
![Page 17: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/17.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Score
Sto
re
Enri
ch
Score
![Page 18: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/18.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Train
Score
Sto
re
Enri
ch
Score
![Page 19: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/19.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Train
Score
Sto
re
Enri
ch
Supervise
Score
![Page 20: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/20.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Train
Score
Sto
re
Enri
ch
Supervise
Score
![Page 21: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/21.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Жизненный цикл потоковой аналитики
Поток данных – Понимание – Действие
DeployETL
Data Data Storage
Alerts - Reports Decisioning
Streaming Data Streaming Model Execution
Dep
loy
Train
Train
Score
Sto
re
Enri
ch
Supervise
Score
![Page 22: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/22.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
Новые виды трансформаций потока
Поддержка машинного обучения и высокочастотной аналитики
request
data
model
data
scoreTrain Score
requestdata
scoreCalculate
request
model
modelModel Supervisor
request modelModel Reader
Алгоритмы потокового обученияStreaming Summary - Univariate StatisticsStreaming Pearson’s CorrelationStreaming Segmented CorrelationWeibull Distribution FittingShort Time Fourier TransformStreaming Text TokenizationStreaming K-MeansStreaming DBSCAN
Streaming Linear Regression*Streaming Support Vector Machine*Streaming Logistic Regression*Streaming Frequency Count*Streaming Fit Statistics*Streaming Receiver Operating Characteristic (ROC)*Streaming LIFT*Text Vectorization*
Random ForestGradient Boosting Tree *Factorization Machine*Support Vector Machine*Support Vector Data Description*
![Page 23: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/23.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Управление проектамиSAS Event Stream Manager
Мониторинг и управление проектами SAS ESP
Мониторинг ресурсов
Планы развертывания и обслуживания элементов ESP кластера
Управление версиями
(разработка, тестирование и промышленная среда)
![Page 24: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/24.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Пример производительности на биржевом потоке Broker Surveillance
ESPInstances
Event Rate (x 1,000 events per second)
Average CPU Percentage
Network throughput (MBps)
Maximum Average
1 527 50 109 95
2 1,000 50 206 173
4 1,930 43 398 305
7 3,182 46 651 592
Event Rate (x 1,000 events per second)
Latency (microseconds)
Maximum Minimum Average
300 3,746 895 1,947
450 5,890 952 2,338
![Page 25: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/25.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
use-case: маркетинг в режиме реального времени
Real Time Processing
SAS ESP Engine
Offers preparations
SAS Real-Time
Decision Manager
(offer preparation)
Input
Customers
activity
(streaming data)
customers segment,
MCC data, targets and limits
Campaign Data
(batch data)
sms
Hi, Alex! You left only 4
transactions and then you’ll get a cashback for all the next - 10%!
stimulated transactions activity
online customers aggregates
help to make right decisions
![Page 26: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/26.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
инновации в аналитике
SAS
Streaming
Analytics
Healthcare
Connected Car/
Transportation
Communications
Energy
Connected CustomerSmart Cities and Homes
Surveillance
Building
Management
Agriculture
Retail
ManufacturingInsurance
![Page 27: SAS Event Stream Processing · 2017-10-10 · СИСТЕМЫ И ПРИЛОЖЕНИЯ api ПУБЛИКАЦИИ И ПОДПИСКИ rendezvous СТАНДАРТЫ file/socket xml / json](https://reader031.fdocuments.us/reader031/viewer/2022011908/5f5b4d1c9c7fbb601d1250c8/html5/thumbnails/27.jpg)
Copyright © SAS Inst itute Inc. A l l r ights reserved.
SAS® FORUMRUSSIA 2017
Спасибо!