DPDK Newsletter

Q3 2016

This Quarter's Highlights Include:

DPDK 16.07 ReleasedDPDK Summit USA 2016DPDK Community SurveyVector Packet Processing Release 16.06DPDK 16.04 ReleasedFirst DPDK Book PublishedRelease 16.11 Roadmap

DPDK 16.07 ReleasedDPDK 16.07 was successfully released on Thursday 28th July, and is nowavailable for download from dpdk.org. The release contains a number ofsignificant enhancements, including:

Increased Multi­Architecture Support: The continued increase in multi­architecture support helps to position DPDK as the data plane API ofchoice for NFV deployments. Support for the following items was addedin 16.07:

Broadcom NetXtreme C­Series 10/25/50Gbps NICsQLogic FastLinQ QL4xxxx 25G/40G NICsNXP's second generation Data Path Acceleration Architecture(DPAA2), enabling support for the QorIQ LS series

Virtio in Containers: Support for a high performance networkinginterface (virtio) for container­based DPDK applications. This is aninnovative approach which can significantly improve performance incontainers.Cryptodev Support for KASUMI Algorithm: Added support via thecryptodev API for the KASUMI algorithm which is used in GSM, GPRSand UMTS mobile communications systems. This continues theexpansion of the cryptodev API to support wireless use cases.Packet Capture Framework: The addition of a packet captureframework which allows packets to be captured in PCAP files andviewed via standard tools such as tcpdump. This helps to improve thedebuggability of DPDK­based applications.Live Migration for SR­IOV:  Support for live migration of NFV usecases which require maximum performance (via SR­IOV). This uses LinkBonding, PCI Hotplug and Vhost­User Live Migration which wereimplemented in previous releases to support migration for SR­IOVinterfaces.Mempool Handler: The new Mempool Handler allows DPDK to workwith an external memory allocator or user specific memory allocationmodels. One use case for this is to improve DPDK interworking withSoCs that may have their own memory allocator, which further improvesmulti­architecture support. This feature also included the addition of aLIFO stack handler. The stack handler may be more efficient than a ringfor pipelined applications.

 The full feature list is available in the Release Notes. A DPDK 16.07 NewFeatures webinar is available which gives an overview of the new featuresincluded in the release.

Open Source Project

Open source website

Source code

Documentation

Mailing lists

Public Roadmap

Upcoming Events

DPDK Summit USA 2016 willtake place in The TechMuseum of Innovation in SanJose on August 10th and 11th.Further details, including theagenda, are available on theDPDK Summit website.

DPDK Summit Userspace2016 will take place in TheClayton Hotel in Dublin onOctober 20th and 21st.Registration is now open viathe DPDK Summit website.

Videos and presentationsfrom previous events areavailable on the Past Eventspage on the DPDK Summitwebsite.

Intel® Network BuildersUniversity:

DPDK 101: Introduction toDPDK

DPDK 201: New FeaturesDeep DiveDPDK 2.2 New Features

Accelerating Your Cloud &Enterprise with DPDK

DPDK Setup andConfiguration

Other DPDK­RelatedWebinars:

DPDK 16.04 New Features

DPDK Summit USA 2016 

DPDK Summit USA 2016takes place in The TechMuseum of Innovation inSan Jose on August 10thand 11th. This year, we'veextended the event to 2days to allow a broaderrange of topics to becovered, increased thenumber of technicalpresentations to make theevent more relevant tosoftware developers, andexpanded the size. 

The agenda is available now and includes presentations on the future DPDKroadmap, virtualisation and containers, DPDK­based vswitches, storage, opensource community updates and much more. Registration for the event is nowfull, with over 300 people registered. We're looking forward to this being ourbiggest and best DPDK event so far.

DPDK Community Survey  We're conducting a survey at the moment on DPDK usage, roadmap,performance, patch submission process, documentation and tools. The aim isto gather input that will help to guide the future direction of the project. Thesurvey is open until midnight GMT on Thursday 4th August.

Please take a few minutes to provide your input and help to improve DPDK.

Vector Packet Processing Release 16.06

The first open source release of Vector PacketProcessing (VPP), which is a core project in the newFast Data (FD.io) consortium, was completed in June.FD.io builds on DPDK and supports the creation ofhigh performance, flexible, and scalable softwarepacket processing solutions. The 16.06 release brings unprecedented performance: 480Gbps/200mpps with 8million routes and 2k whitelist entries on standard high volume x86 servers. In addition to the existing full suite of vswitch/vrouter features, the new 16.06release adds:

Support for DPDK 16.04.Enhanced Switching and Routing ­ IPv6 Segment Routing multicastsupport, LISP xTR support, VXLAN over IPv6 underlay, per interfacewhitelists, and shared adjacencies in FIB.New and improved interface support ­ jumbo frame support for vhost­user, Netmap interface support, and AF_Packet interface support.Expanded and improved programmability ­ Python API bindings,enhanced JVPP Java API bindings and debugging CLI.

DPDK 16.07 New Features

Enabling the StorageTransformation with SPDK

Open vSwitch with DPDK inOVS 2.4.0

Open vSwitch with DPDK inOVS 2.5.0

Accelerating Your Cloud withDPDK

Intel Software DefinedInfrastructure: Tips, Tricksand Tools for Network Designand Optimization

IP Flow Analytics Enabled bySaisei and DPDK

Ubuntu 16.04 + Intel:Expanding the Possibilities ofData Center Networking

Intel® Developer ZoneArticles:

Data Plane Development Kit(DPDK): Getting Started

Using Open vSwitch withDPDK on Ubuntu

QoS Configuration and usagefor Open vSwitch with DPDK

vHost User Multiqueue forOpen vSwitch with DPDK

Profiling DPDK Code withIntel® VTuneTM Amplifier

Release of DPDK 16.04

Since the last Newsletter, the 16.04 release has also been completed and is available for download fromdpdk.org. While this has now been superceded by 16.07, there were still a number of significantenhancements in this release, including:

IPsec Sample Application: Creation of an IPsec Security Gateway sample application. This showshow the cryptodev API can be used to accelerate the IPsec data plane.Cryptodev Support for SNOW 3G Algorithm: Added support via the cryptodev API for the SNOW3G algorithm which is used in 3GPP Long Term Evolution (LTE) systems. This continues theexpansion of the cryptodev API to support wireless use cases.Live Migration for Vhost­User: This provides support for live migration of VMs using vhost­user. Thishelps to improve the flexibility and reliability of NFV deployments.I40E Enhancements: Various enhancements were added in DPDK to match the capabilities beingincluded in new firmware versions. These included Flow Director filtering based on TOS, Protocol andTTL, Ethertype configuration for QinQ support, VEB switching, IPGRE support, set VF MAC address,enable PCIe extended tag using DPDK interfaces, notify VF of PF reset, VMDQ DCB mode.Packet Framework (Edge Router Use Case): Support for load balancing within a pipeline, CPUutilization measurements within a pipeline, improvements for the functional pipelines, tables and ports,performance tuning.Cache Allocation Technology (CAT) Sample Application: A sample application has been createdwhich shows how Intel's Cache Allocation Technology (CAT) can be used with DPDK.

The full feature list is available in the Release Notes. A DPDK 16.04 New Features webinar is availablewhich gives an overview of the new features included in the release.

First DPDK Book Published

The first ever DPDK book was published by in May. The book contains14 chapters, and covers a wide range of topics including basic DPDKalgorithms, packet processing, hardware offload, virtualization, NFVappliances and industry trends. The book is currently only available inMandarin, but work is in progress on an English translation. It can bepurchased here. DPDK is also covered in detail in another book on the Lagopus vswitch.This book covers the installation and usage of DPDK, as well asproviding detail on the soft switch itself and is available in English. Finally, DPDK is also covered in the book SDN/NFV with Open Sourceand Open Standards published by the Korea SDN/NFV Forum. This bookis only available in Korean, and covers topics such as SDN /NFV trends,open source software and APIs, data modeling, and new service creationwith SDN/NFV.

Release 16.11 Roadmap

We recently announced the  Intel roadmap for the 16.11 release. This is targeted for release in November thisyear, and includes the following features:

Cryptodev Support for Additional Algorithms:QAT: 3DES_CBC_128/192, KASUMI, NULL, SHA224_HMAC, SHA384_HMAC and AES­GMAC.SW: ZUC (EEA3 and EIA3) and 3DES_CBC_128/192 with MD5_HMAC,SHA1/SHA224/SHA256_HMAC and AES­GMAC.

Cryptodev Performance Optimization: Analyze the performance of the cryptodev API, identifybottlenecks, and optimize where required.IPsec Sample App Enhancements: Add support for AES­GCM, AES­CTR, config file support toremove hard­coding of SAs/SPs etc., use forward cipher function to generate IV on CBCmode.            Consistent Filter API: Implement support for a Consistent Filter API for ixgbe and i40e.Cuckoo Hash Enhancements: Optimize the Cuckoo Hash lookup stages by using intelligentprefetching for keys and using IA AVX instructions for vector processing of keys.Add vHost PMD xStats: Update the vHost PMD to support the extended statistics API.Delay Packet Copy in vHost­User Dequeue: It may be possible to increase vhost­user performanceby delaying the packet copy on Tx until a point where we know for certain whether the copy is requiredor not.

First Version of Transport Layer Development Kit

The first version of the Transport Layer Development Kit (TLDK) was madeavailable recently. The goal of this Fast Data (FD.io) project is to provide a lightweight, high performance and highly adaptable implementation of L4 (UDP, TCPetc.) protocol processing. This is a new and innovative approach to userspace network stacks with two maincomponents:

1. A set of libraries for L4 protocol processing (UDP, TCP etc.). These libraries depend on DPDK, but canbe used independently of any other FD.io projects.

2. Graph nodes and plugins to integrate these TLDK libraries with Vector Packet Processing (VPP), inorder to build a complete host (termination) stack in VPP.

The project is at an early stage. An initial version has been upstreamed and consists of a library to supportUDP processing and a sample application (UDPFWD) to show how this library can be used to send and/orreceive over UDP streams and also to do UDP datagram forwarding between streams. Work is in progress onan equivalent library for TCP, which is targeted for release at the end of this year. Further work will be requiredto integrate these libraries into VPP to implement a host (termination) stack.

DPDK Summit Asia 2016

Our first DPDK event of the year, DPDK Summit Asia2016, was held in Shanghai on May 18th. With 141attendees, the event brought together the DPDKcommunity in the PRC and Asia­Pacific region.Speakers included representatives from Intel, TOPSEC,University of Science and Technology of China, Ucloud,Tsinghua University and XSKY. Topics that werecovered included accelerating virtio/vhost, userspacenetwork stacks, virtual switching, and integration ofDPDK and Ceph, Videos and slides from the presentations are availableon the DPDK Summit Past Events page.

DPDK Summit Userspace 2016

Our European event, known as Userspace, will be heldin The Clayton Hotel in Dublin on October 20th and 21st.As with last year's highly successful event, this willhave a slightly different focus to our other DPDKSummits, with a stronger focus on the DPDKdevelopment community, and a limited attendance inorder to facilitate more interactive discussion. Registration for the event is open now via the DPDKSummit website, and the agenda will be posted inSeptember.

DPDK & FD.io Mini Summit

A very successful DPDK & FD.io mini summit was heldbefore the main OPNFV Summit in Berlin in June. Thisone­day event brought the DPDK.org and FD.iocommunities together to deliver technical sessions onthe application of the DPDK and FD.io projects to NFV,

and more specifically to the OPNFV project.

 Approximately 100 people attended to hear 12 speakersfrom 7 different organizations present on topicsincluding:

NFV Virtual SwitchingSDN Controller / Orchestration / FastDataStacksData Plane AccelerationService Assurance

 Slides from the event are now available on the DPDKSummit Past Events page.

DPDK DevLab

An Intel® Developer Zone DPDK DevLab was held onJuly 11th in Santa Clara. This event was designed togive hands­on training to both new and currentNetworking Functions Virtualization and DPDKdevelopers. It was a full day event  with 10presentations by experts from Intel and UC Berkeley,including 2 hands­on sessions, 3 demos and 4 ISVdemos. The sessions focused on DPDK, DPDKvirtualization APIs, and virtualization using OpenvSwitch, BESS, SR­IOV and pass­through. There werealso sessions on how to optimize an NFV applicationand on how Intel benchmarks DPDK applications in itslab. The day ended with a demo­mixer event with demoson Brocade vRouter, DPDK on Go, 6WIND Virtual Accelerator and Sandvine Terabit VNF. Presentations from the event are are available here. Videos from the event will be uploaded soon and will beannounced here.

Ecosystem Updates

In a blog post on "The New Simplicity to Consume DPDK", Christian Ehrhardt describes how packagingDPDK in Ubuntu has made it significantly easier for users to consume:

"... as DPDK matures it has become time to make it available to a broader audience. So skip twiddlingwith sources, custom configurations/builds, manually preparing your system. The recent release ofUbuntu 16.04 contains the recent DPDK version 2.2 and Open vSwitch 2.5 which can consume theDPDK library. And with that installing and consuming DPDK got easier than it ever was."

 In a blog post titled "Open vSwitch Is No Match for ADVA Ensemble Connector", ADVA describe how theirEnsemble Connector benefits from DPDK:

"ADVA Optical Networking has focused for years on implementing high­performance packet forwardingin software data paths. We have combined that knowledge with the power of DPDK to set an entirelynew standard for performance."

 In an article titled "Broadwell Accelerates the DPDK", The Linley Group describe how the latest capabilitiesavailable in Broadwell and the latest developments in DPDK combine to accelerate networking performance:

"Intel is quickening its march into networking with new acceleration features in the latest Broadwell Xeonchips. These features speed up common tasks such as cryptography, packet I/O, forwarding, andvirtualization.The Data Plane Development Kit (was) originally an Intel invention that the industry has adopted as aBSD­licensed open­source standard through the DPDK.org community. All the major vendors ofnetworking­oriented RISC SoCs have embraced the DPDK as well."

  

In a blog titled "A Bigger Helping of Internet Please", which begins with the wonderful line "Holy Sh*t, that'sfast and feature rich", Dave Ward, Cisco CTO of Engineering and Chief Architect, describes the DPDK­powered Vector Packet Processing (VPP) project that was recently open sourced as part of FD.io:

"VPP enables not only all the features of Ethernet L2, IP4&6, MPLS, Segment Routing, ServiceChaining, all sorts of L2 and IP4&6 tunneling, etc., but it does it out of the box. Unbelievably fast oncommodity compute hardware and in full compliance with IETF RFC networking specs."

  

Juniper released yet another DPDK­powered traffic generator known as Warp17:"WARP17, The Stateful Traffic Generator for L1­L7 is a lightweight solution for generating high volumesof session based traffic with very high setup rates. WARP17 currently focuses on L5­L7 applicationtraffic (e.g., HTTP) running on top of TCP as this kind of traffic requires a complete TCP implementation.WARP17 will be able to run on all the platforms that are supported by DPDK."

  

Mirantis announced that their OpenStack 9.0 release now includes DPDK and OVS­DPDK:"Network Functions Virtualization (NFV) features:

DPDK:Fuel detects NICs that support DPDK.Fuel allows you to enable DPDK on specific NIC or bonded interfaces with this NIC." 

 At the Open Networking Summit 2016, a joint presentation by AT&T Labs, University of California at Berkeleyand Intel (Christian Maciocco), described the benefits of DPDK and the DPDK­enabled Berkeley ExtensibleSoft Switch (BESS):

"We will present cutting­edge technologies for high­performance packet processing on general­purposeCPUs. We begin with Intel's Data Plane Development Kit (DPDK), a set of libraries and drivers that canbe used to receive and send packets within the minimum number of CPU cycles, develop fast packetprocessing algorithms, and run third­party fast path stacks. We then turn to the Berkeley ExtensibleSoftware Switch (BESS) that picks up where DPDK leaves off: providing a modular framework forfunctions such as L2/L3 forwarding, IPsec, and firewalling."

   

In a blog post titled "DPDK & Clear Linux OS for Intel® Architecture", Mario Arevalo describes the integrationof DPDK into Clear Linux:

"Network applications using DPDK framework correctly in a network stack implementation show anetwork performance improvement as a consequence of more effective packaging processing.Implementation of the DPDK project helps achieve the maximum benefits from network interface cardsand CPU resources."

Copyright © 2016 Intel Corporation.Legal Notices. Other names and brands may be claimed as the property of others.

Intel Shannon Ltd, Dromore House, East Park, Shannon, Co. Clare V14 AN23 Ireland

SafeUnsubscribe™ {recipient's email}

Forward this email | Update Profile | About our service provider

Sent by dpdk.summit@intel.com in collaboration with

Try it free today