ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU...
Transcript of ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU...
![Page 1: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/1.jpg)
Антон Джораев
ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ
![Page 2: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/2.jpg)
2
NVIDIAA LEARNING MACHINE
GPU подтолкнули рост рынка PC игр,
определили развитие современной
компьютерной графики и совершили
революцию в параллельных вычислениях
GPU и глубокие нейросети лежат в основе
современного ИИ – новой эры вычислений
![Page 3: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/3.jpg)
4
1980 1990 2000 2010 2020
Производительность
вычислений на GPU
1.5X в год
1000X
by
2025
ВЫЧИСЛЕНИЯ НА GPU
Original data up to the year 2010 collected and plotted by M. Horowitz, F. Labonte, O. Shacham,
K. Olukotun, L. Hammond, and C. Batten New plot and data collected for 2010-2015 by K. Rupp
102
103
104
105
106
107
Однопоточная производительность
1.5X в год
1.1X в год
Приложения
Системы
Алгоритмы
CUDA
Архитектура
![Page 4: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/4.jpg)
5
ВЫЧИСЛЕНИЯ НА GPUПрограммный код
+
GPU CPU5% of Code
Вычислительно требовательные функции
Оставшийся последовательный
CPU-код
![Page 5: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/5.jpg)
6
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТИ ГЛУБОКОЕ ОБУЧЕНИЕ
NIPS (2012)
ImageNet Classification with Deep Convolutional Neural Networks
Alex KrizhevskyUniversity of Toronto
Ilya SutskeverUniversity of Toronto
Geoffrey e. HintonUniversity of Toronto
Deep Learning
![Page 6: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/6.jpg)
7
ВПЕЧАТЛЯЮЩИЕ ДОСТИЖЕНИЯ ИИ
Игра в китайские шашки Игра в Doom Перенос художественных стилей
Генерация голоса
Аннотирование видео Обучение движениям Обучение хождению Управление авто
![Page 7: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/7.jpg)
9
“где я запарковал свою машину?”
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ПОВСЮДУ
“найди такую же сумку как ту что я видел сейчас в магазине”
“какой фильм мне посмотреть следующим?”
![Page 8: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/8.jpg)
10
Разрушает языковые барьеры
ИИ ВЛИЯЕТ НА НАШУ ЖИЗНЬ
Прогнозирует потенциально возможные заболевания
Помогает незрячим «видеть» окружающую их обстановку и
эмоции на лицах собеседников
![Page 9: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/9.jpg)
11
Обеспечивает безопасность в местах скопления людей
ИИ СЛУЖИТ ЧЕЛОВЕКУ
Интеллектуальные сервисы и помощники
Различает растения и сорняки, экономя до 90% химикатов
![Page 10: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/10.jpg)
12
Weather forecasting involves processing vast amounts of
data to derive predictions that can save lives and
protect property. Colorful Clouds is using GPU deep
learning to speed the processing of data by 30-50x. It’s
location-based reporting tool can forecast and
communicate weather and air-quality conditions with
high-accuracy in real-time.
AI-POWERED WEATHER FORECASTING
![Page 11: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/11.jpg)
18
3000+
СЕГОДНЯ – ВРЕМЯ НАЧАТЬ ПРИМЕНЯТЬ ИИ
сегодня 2020
ИИ стартапы
85% $47B 20%
всех коммуникаций с клиентами будут осуществляться
ботами
расходы на внедрение ИИ
технологий
компаний буду иметь сотрудников для
управления нейросетями и
контроля их работы
![Page 12: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/12.jpg)
19
![Page 13: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/13.jpg)
21
DEEP LEARNING: НОВАЯ МОДЕЛЬ ВЫЧИСЛЕНИЙАлгоритмы учатся на примерах
Код,
написанный
экспертом
Традиционный подход
➢ Необходим эксперт➢ Требует времени➢ Риск ошибок➢ Не масштабируется на
другие задачи
Глубокая нейросеть
Глубокое обучение
✓ Обучение по данным✓ Масштабируемость✓ Ускорение на GPU
![Page 14: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/14.jpg)
22
ПРИМЕНЕНИЕ ИИ В БИЗНЕСЕ
• Контроль критичных процессов/параметров
• Принятие решений/автоматизация рутинных действий/замена человека
• Предсказание событий
• Поиск/подбор/классификация
• Понимание естественного языка
• Генерация контента
Основные направления
![Page 15: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/15.jpg)
23
INDUSTRIAL AI
Приложение ИИ к физическим
операциям на предприятии
Промышленный ИИ помогает
предприятию контролировать,
оптимизировать и управлять
операциями и системами с целю
увеличения эффективности и
производительности производства
![Page 16: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/16.jpg)
26
ПРИМЕНЕНИЕ В ПРОМЫШЛЕННОСТИ
Безопасность и охрана труда
- контроль периметра
- контроль соблюдения зон
- ношение касок
Учет
- считывание штрих кодов, маркировки
![Page 17: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/17.jpg)
27
ПРИМЕНЕНИЕ В ПРОМЫШЛЕННОСТИ
Оптимизация процессов
- контроль движения изделий
- фиксация очередей, переполнений, простоев
Контроль качества
- обнаружение дефектов (размеры, наличие деталей, наклеек, цвет, чистота)
- правильность обработки (соблюдение режимов, распознавание активностей)
![Page 18: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/18.jpg)
29
ПРЕДСКАЗАНИЕ ОТКАЗОВ ГАЗОВЫХ ТУРБИН
Детектирование аномалий по температурному профилю на выходе из турбины
Заблаговременное предсказание отказов
Особенности: сложные системы, много переменных (как например тип машины, конфигурация, топливо, окружение, старение)
Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach, W. Yan et al, General Electric Global Research Center
GE: детектирование аномалий
![Page 19: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/19.jpg)
30
ПРЕДСКАЗАНИЕ ОТКАЗОВ ГАЗОВЫХ ТУРБИН
Deep learning превосходит любые ручные классификаторы
На 20-25% выше точность, с учетом лучшего детектирования и снижения ложных срабатываний
Результат: существенная экономия на простоях и ремонтах
GE: детектирование аномалий
* Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach, W. Yan et al, General Electric Global Research Center** www.ge.com/digital/stories/power-plant-avoids-catastrophe-proactively-replacing-faulty-transition-piece
![Page 20: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/20.jpg)
33
КОНТРОЛЬ КАЧЕСТВА
Отрасльэлектронное производство
Задачасборка компонентов, технология поверхностного монтажа печатных плат
ПроблемаКонтроль качества изделийБольшое количество ручного труда
Foxconn | Test Research, Inc. | NVIDIA
![Page 21: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/21.jpg)
34
КОНТРОЛЬ КАЧЕСТВАFoxconn | Test Research, Inc. | NVIDIA
Референсый образецнет пропущенных компонентов
Образец с пропущенными компонентамиОдин или более компонентов отсутствуют
Локализация проблемы
![Page 22: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/22.jpg)
36
СЛОЖНОСТИ ПРИ ВНЕДРЕНИИ ИИ-РЕШЕНИЙ
• ИИ требует серийности/массовости производства
• Сбор исходных данных для обучения (сбор, разметка, грязные данные)
• Интеграция с существующими системами
• Объяснимость принятых решений
• Сопротивление и саботаж со стороны сотрудников.
Крупнейшие холдинги уже имеют штатную единицу Chief Data Officer:
Росатом, Сбербанк, X5, МТС, Газпромнефть, Лукойл, Сибур, Норникель…
![Page 23: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/23.jpg)
37
Низкая стоимость входа• затраты на оборудование минимальны, есть облака
• средства разработки доступны свободно
• свободно доступно много готовых инструментов для многих задач
Вакуум на рынке• ИИ применим практически во всех отраслях
• рынок ИИ-сервисов сейчас активно формируется
• кадровый вакуум
Неудовлетворенный интерес заказчиков• правительство, СМИ, запад говорят об Индустрии 4.0 и ИИ
СЕГОДНЯ ФОРМИРУЕТСЯ РЫНОК
![Page 24: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/24.jpg)
38
РЕШЕНИЯ NVIDIA ДЛЯ DEEP LEARNING
![Page 25: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/25.jpg)
39
DEEP LEARNING КОНТЕЙНЕРЫ (NGC)
https://www.nvidia.com/gpu-cloud
![Page 26: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/26.jpg)
40
ГЛУБОКОЕ ОБУЧЕНИЕ НА ЛЮБЫХ ПЛАТФОРМАХ
![Page 27: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/27.jpg)
43
NVIDIA TESLA V100
7.5 FP64 TFLOPS | 15 FP32 TFLOPS
NEW 120 Tensor TFLOPS
16GB HBM2 @ 900 GB/s
300 GB/s NVLink
Гигантский прорыв для искусственного интеллекта и HPC
![Page 28: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/28.jpg)
44
Bigger and More Compute Intensive
NEURAL NETWORK COMPLEXITY IS EXPLODING
2013 2014 2015 2016 2017 2018
Speech(GOP * Bandwidth)
DeepSpeech
DeepSpeech 2
DeepSpeech 3
30X
2011 2012 2013 2014 2015 2016 2017
Image(GOP * Bandwidth)
ResNet-50
Inception-v2
Inception-v4
AlexNet
GoogleNet
350X
2014 2015 2016 2017 2018
Translation(GOP * Bandwidth)
MoE
OpenNMT
GNMT
10X
![Page 29: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/29.jpg)
45
NVIDIA TESLA V100
Новые инструкции и форматы данных CUDA TensorOp для работы с матрицами 4x4
D[FP32] = A[FP16] * B[FP16] + C[FP32]
Оптимизированы для обучения и применения глубоких нейросетей
Новые Tensor Core ядра для ИИ
Activation Inputs Weights Inputs Output Results
Pascal Volta
![Page 30: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/30.jpg)
46
РЕВОЛЮЦИОННАЯ ПРОИЗВОДИТЕЛЬНОСТЬ VOLTAОбучение нейросетей в 3 три раза быстрее
Over 80x DL Training Performance in 3 Years
1x K80cuDNN2
4x M40cuDNN3
8x P100cuDNN6
8x V100cuDNN7
0x
20x
40x
60x
80x
100x
Q1
15
Q3
15
Q2
17
Q2
16
Googlenet Training Performance(Speedup Vs K80)
Speedup v
s K80
85% Scale-Out EfficiencyScales to 64 GPUs with Microsoft
Cognitive Toolkit
0 5 10 15
64X V100
8X V100
8X P100
Multi-Node Training with NCCL2.0(ResNet-50)
ResNet50 Training for 90 Epochs with 1.28M images dataset | Caffe2 with NCCL 2.0
1 Hour
7.4 Hours
18 Hours
3X Reduction in Time to Train Over P100
0 10 20
1XV100
1XP100
2XCPU
LSTM Training(Neural Machine Translation)
Neural Machine Translation Training for 13 Epochs |German ->English, WMT15 subset | CPU = 2x Xeon E5 2699 V4
15 Days
18 Hours
6 Hours
![Page 31: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/31.jpg)
47
NVIDIA DGX-1 НА БАЗЕ TESLA V100Мощнейший инструмент для исследования в области ИИ
960 Tensor TFLOPS | 8x Tesla V100 | NVLink Hybrid Cube
Заменяет 400 традиционных серверов на задачах ИИ
3U в стойке, 3.2 КВт
Интерконнект 4 IB EDR + Dual 10 GbE
![Page 32: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/32.jpg)
49
NVIDIA DGX STATIONСуперкомпьютер для ИИ на
вашем столе
Персональный суперкомпьютердля исследователей и Data Scientists
Бесшумная настольная рабочая станция
Моментальное начало работы с программным стеком DGX
Простой перенос задач с рабочей станции в ЦОД или в облако
Прорывная производительность архитектуры Volta
49
![Page 33: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/33.jpg)
ГЛУБОКОЕ ОБУЧЕНИЕ НА GPUНОВАЯ МОДЕЛЬ ВЫЧИСЛЕНИЙ
DGX-1 или Tesla
Обучение Инференс в ЦОД
Tesla и TensorRT
Локальный инференс
Jetson
![Page 34: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/34.jpg)
53
NVIDIA TENSORRT
Developer.nvidia.com/tensorrt
Оптимизированный фреймворк для inference
TESLA V100
DRIVE PX 2
TESLA P4
JETSON TX2
NVIDIA DLA
TensorRT
![Page 35: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/35.jpg)
57
ЗАЧЕМ НУЖЕН ЛОКАЛЬНЫЙ ИНФЕРЕНС?
ЗАДЕРЖКИКАНАЛ ДОСТУПНОСТЬ
1 млрд камер в мире к 2020
Десятки ПБ данных в день
30 кадров в секунду
Задержка 200мс
50% обжитых территорий
покрыты связью < 8мбит/сек
PRIVACY
Защита персональных данных
КОНФИДЕНЦИАЛЬНОСТЬ
![Page 36: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/36.jpg)
58Max-Q operating mode (< 7.5 watts) delivers up to 2x energy efficiency vs. Jetson TX1 maximum performance Max- P operating mode (< 15 watts) delivers up to 2x performance vs. Jetson TX1 maximum performance
JETSON TX2
< 7.5 Вт энергопотребление модуля
CPU: 8 ядер ARM 64 бит
GPU: 256 ядер Pascal
2 TFlops FP16
JetPack SDK
Встраиваемый суперкомпьютер – для ИИ на конечных устройствах
![Page 37: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/37.jpg)
59
JETSON XAVIER
JETSON TX2 JETSON XAVIER
GPU 256 Core Pascal 512 Core Volta
DL Accelerator - NVDLA x 2
Vision
Accelerator- VLA – 7 way VLIW Processor
CPU 6 core Denver and A57 CPUs 8 core Carmel CPUs
Memory8 GB 128 bit LPDDR4
58.4 GB/s
16 GB 256 bit LPDDR4x
137 GB/s
Storage 32 GB eMMC 32 GB eMMC
Video Encode2x 4K @30
HEVC
2x 4K @ 60 / 4x 4K @30
HEVC
Video Decode2x 4K @30
12 bit support
2x 8K @ 30 / 8x 4K @30
12 bit support
CameraUp to 6 cameras
CSI2 D-PHY 1.2 2.5Gbps/lane
Up to 8 cameras
CSI2 D-PHY 1.2 2.5 Gbps/lane
Mechanical50mm x 87mm
400 pin connector
100mm x 87mm
699 pin connector
New!
+2
x4
x2
x2
New!
New!
New!
![Page 38: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/38.jpg)
62
МОЙ ПЕРВЫЙ ИИ ПРОЕКТ ЗА 2 ДНЯ
HTTPS://DEVELOPER.NVIDIA.COM/EMBEDDED/TWODAYSTOADEMO
![Page 39: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/39.jpg)
64
DEEP LEARNING INSTITUTE
Миссия DLI : помощь исследователям в решении самых сложных задач с помощью ИИ.
Мы помогаем разработчикам, data scientist’ами инженерам осваивать deep learning, учим оптимизировать и применять нейросети, чтобы совершать прорывы в таких областях как медицина, робототехника, автомобильные автопилоты, бизнес и потребительские услуги
www.nvidia.ru/dli
![Page 40: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/40.jpg)
65
DLI TEACHING KIT
‒ Основан на курсе Deep Learning by Yann LeCun’sat NYU
‒ Полный набор учебных материалов
‒ Лекции и презентации
‒ Лабораторные и примеры с решениями
‒ Тесты и экзаменационные вопросы
‒ GPU ресурсы
‒ Доступ к облачным ресурсам NVIDIA DLI Qwiklab для студентов
‒ До $125 Amazon Web Services (AWS) GPU instances для студентов и $200 для преподавателя в семестр
https://developer.nvidia.com/teaching-kits
Свободный доступ для преподавателей!
Курсы читаются в:
![Page 41: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/41.jpg)
66
Лабораторные работыДесятки прикладных лабораторных работ по deep learning
Некоторые темы:• Object detection• Image classification • Image creation using Generative Adversarial Networks• Image segmentation • Signal processing • Medical image analysis • Medical image segmentation • Deep learning for genomics using DragoNN with Keras and Theano• Trading strategy for finance using LSTMs
![Page 42: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/42.jpg)
67
ЦЕНТР КОМПЕТЕНЦИИ ПО ИИ В ЛЭТИ
Заместитель директора департамента науки
Гайворонский Дмитрий Вячеславович
![Page 43: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/43.jpg)
68
www.nvidia.ru/inception
ПРОГРАММА
ПОДДЕРЖКИ AI-
СТАРТАПОВ
NVIDIA INCEPTION
![Page 44: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/44.jpg)
69
ЭКСКЛЮЗИВНЫЕ ВОЗМОЖНОСТИ И ПОДДЕРЖКА
Инвестиции Маркетинговая
поддержкаТехническая
поддержка
ОбучениеСкидки на оборудование
![Page 45: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/45.jpg)
73
ПОДАТЬ ЗАЯВКУ: www.nvidia.ru/inception
![Page 46: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/46.jpg)
74
DEVELOPER.NVIDIA.COM
![Page 47: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/47.jpg)
76
РЕСУРСЫ
GTC on Demand – полный архив презентаций с конференций GTC со слайдами и видео: http://on-demand-gtc.gputechconf.com/gtcnew/on-demand-gtc.php
NVIDIA Developer Portal – портал для разработчиков с инструментами, документацией, доступом к поддержке: https://developer.nvidia.com/
Deep learning Institute – он-лайн курсы по DL, лабораторные работы:www.nvidia.ru/dli
![Page 48: ПОПУЛЯРНО ОБ ИСКУССТВЕННОМ ИНТЕЛЛЕКТЕ · A LEARNING MACHINE GPU подтолкнули рост рынка PC игр, ... NIPS (2012) ImageNet Classification](https://reader034.fdocuments.us/reader034/viewer/2022050216/5f6212aa8a346536000ed5d0/html5/thumbnails/48.jpg)
78
ОСНОВНЫЕ МЫСЛИ
1. ИИ востребован повсюду
2. Это большая свободная ниша для бизнеса и возможность хорошего трудоустройства
3. Стоимость освоения технологии на базовом уровне - низка