What's new in java.util.concurrent

Обзор нововведений в j.u.c(JSR 166e)

Дмитрий Чуйко[email protected]

Outline

Введение

Что нового

Атомарные переменные

Locks

Accumulators

Collections

Slide 2/60. Copyright c○ 2013, Oracle and/or its affiliates. All rights reserved.

The following is intended to outline our general product direction. Itis intended for information purposes only, and may not beincorporated into any contract. It is not a commitment to deliver anymaterial, code, or functionality, and should not be relied upon inmaking purchasing decisions. The development, release, and timingof any features or functionality described for Oracle’s productsremains at the sole discretion of Oracle.


Введение


Введение: Ресурсы

Concurrency JSR-166 Interest Sitehttp://g.oswego.edu/dl/concurrency-interest/JDK 8http://jdk8.java.net/Project Lambdahttp://openjdk.java.net/projects/lambda/JMHhttp://openjdk.java.net/projects/code-tools/jmh/


http://g.oswego.edu/dl/concurrency-interest/

http://jdk8.java.net/

http://openjdk.java.net/projects/lambda/

http://openjdk.java.net/projects/code-tools/jmh/

Введение: Мир, в котором мы живём

Всем нужны масштабируемость, надёжность,производительностьThe Free Lunch Is Over Herb SutterМногопоточность может возникать из-за условий задачиМногопроцессорность/многоядерность везде


История: Цели

Параллелизация за кулисамиЗагрузка процессора полезной работойХорошие алгоритмы


История: Java Concurrency Timeline

JDK 1.0 !  JMM

!  synchronizied !  Thread

1996 1997 2004

JDK 1.2 ! Collections

JDK 5 !  JMM

!  java.util.concurrent

JSRs !  JSR 133

!  JSR 166

Doug Lea ! Concurrency

package

1998 2006

JDK 6 ! Navigable!

JSRs

!  JSR 166x

2011

JDK 7 !  FJP,!

JSRs

!  JSR 166y

JDK 8

!  java.util.concurrent

JSRs

!  JSR 166e


История: Алгоритмы с координацией

Блокирующиеся (blocking)Неблокирующиеся (nonblocking) При остановке однойнити у других есть шанс закончить работу

Без препятствий (obstruction-free) Любая нить в изоляцииможет закончить работуСвободные от блокировок (lock-free) На каждом шагепродвигается какая-либо из нитейБез ожиданий (wait-free) Каждая нить продвигается

Алгоритмы, основанные на CAS, могут быть nonblockinglock-free


История: Состав

Java Concurrency Utilities

ExecutorsSynchronizers CollectionsAtomics Locks Nano time


История: Атомарные переменные

Обёртки примитивов, ссылок, управление полямиCompare-And-SetАтомарная арифметика


История: Синхронизация

Semaphores, mutexes, barriers, latches, exchangersУдобство синхронизации

LocksПроизводительностьМодель памяти. Эффект эквивалентен synchronizedГибкость


История: Concurrent Collections

(Blocking)(De)Queue, Map, ListПараллельный доступВысокая производительность


История: Task Scheduling Framework

Executor’ыВыполнение асинхронных задачПолитики выполнения


Что нового


Что нового: Тот же фундамент

RuntimeLockSupportUnsafe

JVMIntrinsics

OSpthreads mutex

HardwareCAS


Что нового: JC Utilities

ExecutorsCompletableFuture CountedCompleter ForkJoinPool

Collections Accumulators CombinedConcurrentHashMap LongAccumulator LongAdderTable

DoubleAccumulatorLongAdderDoubleAdder

Locks AtomicsStampedLock AtomicDoubleArray

AtomicDouble


Низкоуровневые API: Мотивация

JMM абстрактна, железо конкретноЕсть полезные трюкиНе используйте низкоуровневые API напрямую


Низкоуровневые API: Unsafe

Не часть языкаОбход JMMsun.misc

Unsafe API в HotspotАккуратныйАбстрактныйДостаточный

Не используйте Unsafe напрямую, это unsafe


Низкоуровневые API: Unsafe

Новая механикаstoreFence()loadFence()fullFence()Использование в реализации Locks


Атомарные переменные


Атомарные переменные: Чего не хватает

Для каких примитивных типов нет Atomic-типов?В каких числах чаще всего считаем?Возникают массивы атомарных данных


Атомарные переменные: AtomicDouble

Брат-близнец AtomicLongNumber, SerializablecompareAndSet(double expect, double update)addAndGet(double delta)Равенство битов значений

doubleToRawLongBits()


Атомарные переменные: AtomicDoubleArray

Брат-близнец AtomicLongArraySerializablecompareAndSet(int i, double expect, double update)addAndGet(int i, double delta)Равенство битов значений

doubleToRawLongBits()


Атомарные переменные: Performance

Приводимые результатыIntel R○ Xeon R○ E5-2680 (2x8x2)LinuxJDK 7OpenJDK JMH 1.0



Тест производительностиНе слишком маленький массивЧитатели делают get()Писатели делают compareAndSet()Произвольный равномерный доступ



0

200

400

25 50 75% of writers

Rea

d th

roug

hput

, ops

/use

c

Benchmark

AtomicDouble[]

AtomicDoubleArray

T=32

0

100

200

300

25 50 75 100% of writers

Writ

e th

roug

hput

, ops

/use

c

Benchmark

AtomicDouble[]

AtomicDoubleArray

T=32


Locks


Locks: ReentrantReadWriteLock

Lock, блокировка на чтение, на записьПовторная входимость (reentrancy)Пробная блокировка, таймауты, прерываемостьConditionsFair/unfairSerializable. . .Memory effects


Locks: Чего бы хотелось

Блокировка на чтение, на записьОптимистичные блокировкиUpgrade/downgradeПростота использованияИ чтобы быстро работало


Locks: ReentrantReadWriteLock

readLock() на чтение, writeLock() на записьПопробуйте написать оптимистичную блокировку,гарантировать memory effectsDowngrade: захват RL под WLПостоянно работает с ThreadLocal


Locks: StampedLock

Пример из javadoc


Locks: StampedLock

Listing 1: Pointclass Point {

private double x, y;private final StampedLock sl = new StampedLock ();...


Locks: StampedLock

Listing 2: Optimistic Readdouble distanceFromOrigin () { // A read -only method

long stamp = sl.tryOptimisticRead ();double currentX = x, currentY = y;if (!sl.validate(stamp )) {

stamp = sl.readLock ();try {

currentX = x;currentY = y;

} finally {sl.unlockRead(stamp );

}}return Math.sqrt(currentX * currentX + currentY * currentY );

}


Locks: StampedLock. Upgradevoid moveIfAtOrigin(double newX , double newY) { // upgrade

// Could instead start with optimistic , not read modelong stamp = sl.readLock ();try {

while (x == 0.0 && y == 0.0) {long ws = sl.tryConvertToWriteLock(stamp);if (ws != 0L) {

stamp = ws;x = newX;y = newY;break;

}else {

sl.unlockRead(stamp );stamp = sl.writeLock ();

}}

} finally {sl.unlock(stamp );

}}


Locks: StampedLock

Оптимистичные блокировкиЕсли проверки неудачные, можно захватить блокировку

Обычно удачныеВыигрыш

Мало записей => в разыНет записей => на порядкиВне блокировки, проверенное состояние может статьнеактуальным


Locks: StampedLock

Повышение уровня блокировкиМожет не быть выигрыша, если не ограничивать записьВалидное состояние

В обычном варианте может быть в разы быстрее RRWLНе гарантировано!При этом потребляет меньше ресурсовМожно передавать метку


Accumulators


Accumulators: Задача

Инкрементируем счётчик в разных нитяхНити подбирают работу и имеют доступ к общему контексту


Accumulators: Простое решение

AtomicLong atomicLong = new AtomicLong (0L); // context...atomicLong.getAndIncrement (); // N threads...long sharedSum = atomicLong.get ();


Accumulators: AtomicLong

SharingSpin loop + CAS, много


Accumulators: LongAdder

Защита от коллизий за счёт структуры и алгоритмаПохож на комбинацию unshared padded AtomicLong’овПростой APINumber


Accumulators: Решение

LongAdder longAdder = new LongAdder (); // context...longAdder.increment (); // N threads...long sharedSum = longAdder.sum();


Accumulators: DoubleAdder

Аналогичен LongAdder, только для doubleБольшая часть логики одинаковая, базовый класс Striped64


Accumulators: Atomic Update

// AtomicLong , JDK 7public final long addAndGet(long delta) {

for (;;) {long current = get();long next = current + delta;if (compareAndSet(current , next))

return next;}

}


Accumulators: Произвольные коммутативныеоперации

Заменяем ’+’ функциейStriped64, NumberLongAccumulator аналогичен LongAdder

new LongAccumulator(Long::sum, 0L)DoubleAccumulator аналогичен DoubleAdder

new DoubleAccumulator(Double::sum, 0.0D)


Accumulators: LongMaxUpdater

new LongAccumulator(Long::max, Long.MIN_VALUE)Тест производительности

accumulate(nextLocalLongMax)


Accumulators: LongMaxUpdater

10

100

1000

0 20 40 60Threads

Thr

ough

put,

ops/

usec

(lo

g sc

ale)

Benchmark Unshared CAS LongMaxUpdater AtomicLong long+Lock


Accumulators: Подводные камни

Local, ThreadLocal – эффективнее, если можно применитьget(), reset() под нагрузкой просаживаютпроизводительность

Обход всех ячеекГраницы эффекта

Система до насыщенияИтерации менее 1 мкс


Collections


ConcurrentHashMap: CHMv7

Lock stripingConcurrency levelСегмент - ReentrantLock

get() без блокировкиЗащита от DoS

Другой хэш для String


ConcurrentHashMap: CHMv8

Lock stripingConcurrency level не используется, подстройка в процессе работыNode: synchronized или AbstractQueuedSynchronizer

get() без блокировки или под блокировкой на чтениеЗащита от DoS

Сбалансированное дерево для Comparable - performance


ConcurrentHashMap: CHMv8 vs CHMv7

Тест производительностиInteger-like ключиconcurrencyLevel == 32Размер порядка L3Нормальное распределениеput()


ConcurrentHashMap: Масштабируемость

1

10

0 20 40 60Threads

Thr

ough

put,

ops/

usec

(lo

g sc

ale)

Benchmark CHMv8 CHMv7 HashMap+ReentrantLock


ConcurrentHashMap: Часть JDK 8

Часть методов появилась в других мапах черезdefault-реализации в Map

putIfAbsent(), computeIfAbsent() атомарны в CHMДобавились новые методы и возможности

map.merge(key, valueSuffix, String::concat)chm.values().parallelStream()

Можно использовать лямбды и method referenceint2IntMap.computeIfAbsent(100, (k)->k/3)

theMap::get можно использовать для... map()


LongAdderTable: Задача

Регистрировать распределение объектовМоделированиеПрофилирование


LongAdderTable: Решение

Естественное использование LongAdderConcurrentHashMap<K, LongAdder>Serializable


LongAdderTable: API

install(K key)increment(K key)add(K key)sum(K key)и другие


Заключение: Книги

Java Concurrency in PracticeBrian Goetz, Tim Peierls, Joshua Bloch, Joseph Bowbeer, DavidHolmes, Doug LeaConcurrent Programming in Java: Design Principles andPatternsDoug Lea


Заключение: Ресурсы

Concurrency JSR-166 Interest Sitehttp://g.oswego.edu/dl/concurrency-interest/JDK 8http://jdk8.java.net/Project Lambdahttp://openjdk.java.net/projects/lambda/JMHhttp://openjdk.java.net/projects/code-tools/jmh/


http://g.oswego.edu/dl/concurrency-interest/

http://jdk8.java.net/

http://openjdk.java.net/projects/lambda/

http://openjdk.java.net/projects/code-tools/jmh/

What's new in java.util.concurrent

Documents

Transcript of What's new in java.util.concurrent