Programmable Processing for the Future and Autonomous Car ...
Transcript of Programmable Processing for the Future and Autonomous Car ...
Programmable Processing for the Future and Autonomous Car – From classical FPGA to heterogeneous MPSoC
© Prof. Dr.-Ing. Anestis Terzis
Fakultät Elektrotechnik und Informationstechnik
Workshop Introduction
1st official Workshop Ulm, 11.07.2017
© Prof. Dr.-Ing. A. Terzis
Ulm University of Applied Sciences
• 6 Faculties 24 Bachelor- and 9 Master study courses mainly directed at the
technical sector with 4.100 Students
• It integrates the areas of research and development with the help of own
research institutes and several Steinbeis Transfer Centers
• Faculty of Electrical Engineering and Information Technology• Institute of Communication Technology (IKT)• Institute of Automotive Systems Engineering (IFS)• …
2Quelle: www.hs-ulm.de
© Prof. Dr.-Ing. A. Terzis
Institute of Communication Technology
Specific ‘know how’ in the areas:
•Description of digital systems with VHDL and
with High-Level-Methods for FPGAs
•Circuit synthesis of digital systems
•Simulation and layout design of digital and
mixed-signal-ASICs
•Application of modern CMOS
and BiCMOS technologies
3
MPC Proceedings can be found at: www.mpc.belwue.de
© Prof. Dr.-Ing. A. Terzis
Auszug Forschungs- und Kompetenzfelder
4
Quelle: http://studium.hs-ulm.de/de/research/Seiten/default.aspx
Entwurf digitaler Systeme/Mikroelektronik
Drahtlose Kommunikationssysteme
Elektromagnetische Verträglichkeit
FahrerassistenzsystemeUmfelderfassung über Sensorik, Kamera und Sensorfusion bilden die
Basis der Fahrerassistenzaktivitäten an der Hochschule. Insbesondere Radarsensorik und Kameras mit Surround-View-Funktionalität und
Kamera-Monitor-Systeme (Spiegelersatz) werden untersucht.
Wesentlicher Inhalt ist die Elektromagnetische Verträglichkeit von Bus-
und Funksystemen für die Übertragung hoher Datenraten im Kraftfahrzeug. Spezielles Augenmerk liegt auf Entstörmaßnahmen und
störungsfreien Systemkonzepten im Automobil.
Die Forschung für drahtlose Kommunikationssysteme konzentriert sich
auf Algorithmen und Konzepte für ein autonomes Funkmanagement und die Bereitstellung ausreichenden Quality-of-Service (QoS) sowie
auf Low-Power-RF-Front-Ends mit Mehr-Antennentechnologie.
Besonderes Know-How besteht auf den Gebieten:
• Entwurf digitaler Systeme mit VHDL, modernen FPGAs und SoCs• Simulation und Layoutentwurf von HF- und Mixed-Signal-ASICs
• Anwendung moderner Bipolar-, CMOS- und BiCMOS-Techniken
© Prof. Dr.-Ing. A. Terzis
Institute of Automotive Systems EngineeringAutomotive Center A scientific facility of the departments of ‘Electronic Engineering and
Information Technology’ and ‘Mechanical and Automotive Engineering’.
Areas:
Automotive Electronics, Automotive Engineering, Engines and Machines, Mobile Hydraulics, Fluid Dynamics, Structural Mechanics and Acoustics.
5
© Prof. Dr.-Ing. A. Terzis
Kamera-Monitor-Systeme nach ISO 16505und UN R. 46 als Spiegel-Ersatz
6
Normgerechter Entwurf von KMS Entwicklung von KMS-Testverfahren
© Prof. Dr.-Ing. A. Terzis
RC-Car-Flotte mit autonomen FahrfunktionenInstitut für Kommunikationstechnik
8
Energiespeicher
Elektromotor
µController Software
Sensorik
Leistungselektronik
WLAN Funknetz
Aktorik
HF-Elektronik
Batteriemanagement
ADAS-Funktionen
© Prof. Dr.-Ing. A. Terzis
Was ist ein FPGA?
Ein Field Programmable Gate Array ist ein digitaler
IC der konfigurierbare Schaltungsteile
enthält u.A.:
• Logik-Blöcke, DSP-Blöcke
• Digital Clock Management
• Interne Speicher-Blöcke
• Gigabit-Transceiver
und mit der HW-Beschreibungs-Sprache
VHDL entworfen wird.
9
Slice
LUTMux/
Carry
LUTMux/
CarryD Q
CE
PRE
CLR
DQCE
PRE
CLR
I/O-Blöcke
Logik-BlöckeVerbindungen
SRAM-Zelle
© Prof. Dr.-Ing. A. Terzis
Was ist ein heterogeneous MPSoC?Beispiel: Xilinx Zynq® UltraScale+™ MPSoC
10Quelle:© Xilinx Link: https://www.xilinx.com/products/silicon-devices/soc/zynq-ultrascale-mpsoc.html
FPG
A
© Prof. Dr.-Ing. A. Terzis
Digitaltechnik und FPGAs im Curriculum der ElektrotechnikAuszug Vorlesungen:
11
Elektrotechnik
und Informationstechnik
B.Eng.
Grundstudium
1
2
3
4
5
6
7
Elektronik für die Informationstechnik
Automatisierung
Kommunikationssysteme
Energie- und Leistungselektronik
Medientechnik
Fahrzeugelektronik
Informatik
Wirtschaft
Hauptstudium mit Schwerpunkten
Digitaltechnik 1: Codes, Schaltalgebra und
Grundfunktionen, Mux/Demux, Coder/Decoder, Arithmetik, Flip-Flops, Asynchron-/Synchron-
Zähler, FSM…4 SWS mit Labor
Digitaltechnik 2: Digitaler Schaltungsentwurf
mit VHDL, Simulation, CPLD, FPGA, Halbleiter-Speicher (EEPROM, SRAM, DRAM, xDDRX…),…
4 SWS mit Labor
Digitale Schaltungen und Systeme: FPGA-Architekturen, High-Level-Entwurfsmethoden, Taktung und Timing-Analysen,
arithmetische Schaltungen, IP-Cores, digitale Schnittstellen, digitale Systeme
4 SWS mit Labor
+ 2 Vorlesungen Mikrocomputertechnik 1/2 mit je 4 SWS …
© Prof. Dr.-Ing. A. Terzis
Digitaltechnik und FPGAs im Curriculum der heutigen Elektrotechnik
12
Digitale Schaltungen und Systeme: Auszug Laborversuche4 SWS mit Labor
Laborversuch:Direct-Sequence-Spread-Spectrum-Übertragung
Laborversuch: Bildverarbeitung
Stereo-Kamera
Display
© Prof. Dr.-Ing. A. Terzis
ADAS im Curriculum der Elektrotechnik
Thema Dozentin/Dozent
Einführung in Fahrerassistenzsysteme Prof. Terzis (HS Ulm)
Erprobung und Absicherung von
Assistenzsystemen
Dr. Schöner (Daimler)
Sicherheitssysteme Prof. Boin (HS Ulm)
Kamerabasierte Fahrerassistenzsysteme 1 Prof. Terzis (HS Ulm)
Prototypischer Kamerasystementwurf Dr. Schweiger (Daimler)
Kamerabasierte Fahrerassistenzsysteme 2 Prof. Terzis (HS Ulm)
Automotive-Radar Dr. Blöcher (Daimler)
Fahrzeugfunksysteme Prof. Terzis (HS Ulm)
Bremssysteme Haiss (CNH Industrial)
Lenksysteme und deren funktionale
Sicherheit
Prof. Krini (Bosch AS)
Application Engineering Hoffmann & Roll (Bosch Eng.)
Brennstoffzellensysteme Dr. Scholta (ZSW)
13
Elektrotechnik
und Informationstechnik
B.Eng.
1
2
3
4
5
6
7
Vorlesung Fahrzeugsysteme (4 SWS): im Schwerpunkt Fahrzeugelektronik
© Prof. Dr.-Ing. A. Terzis
Autonomous Car Components
15
Sensors Processing Actuators
§
e.g. Live HD MAP
In Vehicle Processing
Cloud based Processing
Legal Issues, Ethic Issues, International Regulation…
Camera
Radar
Lidar
e.g. FPGA
© Prof. Dr.-Ing. A. Terzis
Automatisiertes FahrenRechtliche RahmenbedingungenIm US. Bundesstaat Massachusetts galt auf der Insel Nantucket folgendes Recht:• bis 1918 mussten Fuhrwerke jedweder Art von einem Pferd gezogen werden!
1616Quelle: Nantucket Historical Association
http://www.flickr.com/photos/nantuckethistoricalassociation/3347365572/
© Prof. Dr.-Ing. A. Terzis
Complexity Levels of the Optical Sensors
17Processing Complexity
Am
ou
nt
of
Sen
sor
Info
rmat
ion
Lo
w
Low
Hig
h
High
Detection & Warning: Lane / Signs
Displaying: Rear View Camera
80
Realtime Stitching
& Detection / Warning:
Surround-View / CMS
Distance Measurement:
e.g. Stereo Camera, Optical Flow
Object Classification, Tracking:
Cars, Streets, Pedestrians…
Scene Interpretation and Behavior Prediction:
Autonomous Driving
© Prof. Dr.-Ing. A. Terzis
Architecture Camera-Monitor-System
18Quelle: A. Terzis (ed.): „Handbook of Camera Monitor Systems - The Automotive Mirror-Replacement Technology based on
ISO 16505”, Series Augmented Vision and Reality, Springer
© Prof. Dr.-Ing. A. Terzis
Object ClassificationExample Mapillary Vistas Dataset
19Quelle: © Mapillary Vistas Dataset, Link: http://blog.mapillary.com/product/2017/05/03/mapillary-vistas-dataset.html
© Prof. Dr.-Ing. A. Terzis
Trends
Steigender Bedarf an Übertragungen und Vernetzung für hohe Bitraten z.B. Display- und Kamerasysteme mit hohen Auflösungen für die Domäne Fahrerassistenz und Komfort/Entertainment:• KMS-Kamera der nächsten Generation z.B. 2MP @ 60fps (ca. 3 Gbit/s)• 4K-Displays (UHD) 3840 × 2160 Pixel x 24 bit x 60 fps (ca. 12 Gbit/s) • Durch Stereo- und 3D-Funktionen kann der Faktor x 2 entstehen.• ADAS 4MP-Kamera Datenrate:
• Bayer-Daten: 2688 x 1520 px x 60 fps x 10 Bit/px = 2,45Gbit/s• RGB-Daten: 2688 x 1520 px x 60 fps x 3 x 10 Bit/px = 7,35Gbit/s
• Sensor-Fusion Radar/Kamera/Lidar/Karte/Car-to-X wird benötigt.
• Aus Sicherheitsgründen kann es nötig sein sowohl die Sensoren als auch die
Aktoren für das autonome Fahren redundant auszulegen! → Faktor 2 bei ADAS-Systemen, Datenübertragung und Processing?
20
© Prof. Dr.-Ing. A. Terzis
Agenda des Workshops
10:00 – 10:15 Uhr Andreas Scheffer (Xilinx) & Endric Schubert (MLE):
Welcome Note.
10:15 – 10:45 Uhr Anestis Terzis (Hochschule Ulm):
Programmable Processing for the Future and Autonomous Car -Workshop Introduction.
10:50 – 11:45 Uhr Felix Eberli (Supercomputing Systems AG):Hardwareaspekte Deep Learning - FPGAs für Computer Vision im Auto.
12:00 – 13:00 Uhr Lunch
13:00 – 13:45 Uhr Stephan Reuter, Karl Granström, Dominik Nuss, Alexander Scheel (University Ulm):Multi-Objekt-Tracking und Grid-Mapping für die Fahrzeugumfelderfassung unter Verwendung
von Random-Finite-Sets.
14:00 – 14:45 Uhr Rainer Lienhart (University Augsburg):
Low-Precision Deep Neural Networks (DNN)-State-of-the-art, strengths and weaknesses, and a
proposal for next steps to enable FPGAs to become a preferred computer platform for DNN
inference.
15:00 – 16:30 Uhr Nick Ni, Vinod Kathail, Kay Migge (Xilinx):
Machine Learning Technologies, Effective Data Types for CNN, Caffe to Zynq Design Flow,
High-Level Synthesis - From C/C++ to FPGA.22
© Prof. Dr.-Ing. A. Terzis
Vielen Dank für Ihre Aufmerksamkeit !
23
Prof. Dr.-Ing. Anestis Terzis
Hochschule Ulm
Fakultät Elektrotechnik und Informationstechnik
Eberhard-Finckh-Str. 11, D-89075 Ulm
Tel.: +49(0)731-50-28341Fax: +49(0)731-50-28363
Email: [email protected]
www.hs-ulm.de/terzis