Очереди и блокировки. Теория и практика / Александр...

Очереди и блокировки

Календарёв Александр

[email protected]

www.slideshare.net/akalend

О чём речь ...

• Зачем нужна очередь• Где и как она используется• Протоколы • AMQP (на примере RabbitMQ)• Блокировки

WEB

Типовая архитектураJunior проект

WEB


HTTP ERROR 504504 Gateway Timeout error

WEB


WEB

WEB


WEBMySQL ERROR 2006MySQL gone away

Типовая архитектурауже не Junior проект

Master

WEB

WEB

Slave


Master

WEB

WEB

Slave

HTTP ERROR 502Bad Gaetway


Master

WEB

WEB

Slave


Быстрая часть

Критическая часть

Медленная часть

Не очень важная часть






WEB

Backend

Паттерн: хитрый ученик





WEB

Backend© СоюзМультФильм

Паттерн: хитрый ученик

© СоюзМультФильм

Сперва скажу, что выучил уроки, а потом сделаю...

Паттерн: хитрый ученикотложенные вычисления

© СоюзМультФильм

Вычисляем по мере необходимости

Использование Backend сервера

BackendWEB

Проблема синхронизации и обмена данными

BackendWEB

WEB Backend


BackendWEB

WEB Backend

?


BackendWEB

WEB Backend

Очередь

Очередь – это список

FIFO – First Input First Output

Поговорим о ...


Взаимодействие частей проекта

ЗагрузкаYML

Сведениев pricelist

ПарсингYML

Загрузкаimg

Очередь через БД

CREAE TABLE queue ( id BIGINT AUTOINCREMENT NOT NULL, data VARCHAR (…), PRIMARYKEY (id))


Запись в очередь:

INSERT INTO queue (data) VALUES (...);


Чтение из очереди:

SELECT * FROM queue ORDER BY id LIMIT 1 DELETE FROM queue WHERE id = ?


Чтение из очереди:

LOCK TABLE queue;SELECT * FROM queue ORDER BY id LIMIT 1 DELETE FROM queue WHERE id = ?UNLOCK TABLE queue;


НадежноМедленноМожно хранить историю (UDATE SET deleted=1 вместо DELETE)

Очередь через MongoDb

Вставка: db.queue.insert(...);


Вставка: db.queue.insert(...);

Чтение: db.queue.findAndModify({ query : {}, remove:1 })


Надежно

Медленно, быстрее, чем БД

Использование Tarantool


WEB


BackendWEB


• Memory Only хранилище •Необходимо следить за памятью•Необходим мониторинг системы


●Репликация из коробки●Возможен шардинг (дополнительный пакет)

●Персистентность данных


Есть специальный пакет Queue$tnt = new Tarantool('localhost', 3301);$tnt->connect(); $tnt->select('q1');

$tnt->call('queue.tube.q1:put', $data);$tnt->call('queue.tube.q1:take', 0.1 ));


Синхронный:while(1) { $data= $tnt->call('queue.tube.q1:take' )); … /* обработка данных */}


Асинхронный:while(1) { $data= $tnt->call('queue.tube.q1:take', 0.1 )); If (!$data) { usleep(1000); continue; } … /* обработка данных */}

Использование TarantoolПакет Queue

●Очереди с приоритетом●Жизнь элемента очереди ttl●Подтверждение доставки●Синхронные / асинхронные запросы●Можно самому менять логику

Использование Redis

Операции со списками

●RPUSH●LPOP

Head

Tail


WEB


WEB

Curl


WEB Backend

Curl


Memory Only хранилище●Необходимо следить за памятью, мониторинг●Персистентно


Операции со списками

● RPUSH {key} {data}

● LPOP {key}, BLPOP (блокирующий)

● COUNT {key}

Использование Redis (часть 2)

Проект загрузки видео

Youtube

Vimeo

Vk


LoadConvertWEB

CurlКлиентскийскрипт


LoadConvertWEB

Клиентскийскрипт


LoadConvertWEB


Необходимо проинформировать


LoadConvertWEB


Постоянно Проверяем статус

Способ – I Push

Curl


LoadConvertWEB


устанавливаемстатус: Выполнено



LoadConvertWEB


Отдаёт статус: Выполнено



LoadConvertWEB



Загружаем файл


LoadConvertWEB


WebSocketsПодписываемся на канал SUBRIBE

Способ – II Pull

Curl


LoadConvertWEB


PUSH: Выполнено



LoadConvertWEB



Получаем статусВыполнено


LoadConvertWEB



Загружаем файл

Паттерн Писатель / Читатель Подписка / Публикация

●PUBLISH {channel} {data}

●SUBSCRIBE {channel}

●UNSUBSCRIBE {channel}

Паттерн Писатель / Читатель Подписка / Публикация

Приемникданных

Внешнийисточник

PUBLISH

SUBSCR

MemcachedQ

Протокол memcached●SET {key} {data}●GET {key}

memcached + berkeleyDb

MemcachedQ● Быстро● Работает, пока есть память● Масштабируется в рамках клиента libmemcached● Не возможен мониторинг

Zerro MQ

Это встраиваемое решениеOтсутствует брокер

Очень быстрое решение: - Запрос / Ответ - Подписка / Публикация - Потоковой обмен

Apache Kafka

●Система потоковой обработки сообщений, разрабатывалась для сбора логов●Распределённоe решение●С подтверждением доставки

Apache Kafka

●Очень производителен в кластере●Требует синхронизации кластера через Zookeper

О чём речь ...

• Зачем нужна очередь• Где и как она используется• Протоколы (кратко) • AMQP (на примере RabbitMQ)• Блокировки

Протоколы• STOMP- Simple (or Streaming) Text Oriented Message Protocol

• MQTT - Message Queue Telemetry Transport

• AMQP - Advanced Message Queuing Protocol

Протокол STOMP

• Текстовый (по верх HTTP, Websocket)

• Сообщение имеет тело и заголовок

• Сообщение может быть разделено на фреймы

• Подписка / Публикация

• Подтверждение доставки, Авторизация

Протокол MQTT

• Бинарный

• Сообщение имеет тело и заголовок

• Сообщение может быть разделено на фреймы

• Подписка / Публикация

• Подтверждение доставки, Авторизация

Поддержка протоколов

Реализация Java

Реализация erlang

Реализация Java / C++

Поговорим о ...


Exchange

AMQP : Exchange (обмен)

● Принимает сообщения

● Имеет имя

● Имеет тип:- fanout- direct- topic

Exchange

Имеет свойства:- autodelete- transit- durable


Exchange


$exchange = new AMQPExchange($channel);$exchange->setName('MyExchange';)$exchange->declare();

● Отдает сообщения адресату по принципу FIFO

● Имеет имя● Имеет свойства:

- autodelete- durable

Queue

AMQP : Queue (очередь)

Queue

AMQP : Queue (очередь)

$queue = new AMQPQueue($channel);$queue->setName('MyQueue');$queue->declare();

● Между Exchange и Queue определяем связь (или маршрут): Bind

● Имеет ключ, в соответствии с которым определяется маршрут сообщения

QueueExchangeBind

AMQP : Bind (связь)

QueueExchangeBind

AMQP : Bind (связь)

$queue = new AMQPQueue($channel);$queue->setName('MyQueue');$queue->bind('MyExchange', $key);

Exchange

Состоит:

● тела

● routing key

● заголовки

● свойства

AMQP : Message

Exchange

В зависимости от типа

Exchange и routingKey

сообщения

определяется маршрут

сообщения

AMQP : Message

Exchange

Fanout – ключ не учитываем

Direct – полное совпадение

Topic – совпадение по маске

AMQP : Message использование Routing key

В зависимости от типа Exchange:

Exchange

AMQP : Message использование Routing key

$exchange = new AMQPExchange($channel);$exchange->setName('MyExchange';)$exchange->publish($message, $key);

● Забывают устанавливать связь Bind:

$queue->bind($exchange, $key);● Забывают объявлять очередь/обмен:

$queue->declare($name);● Если Обмен/Очередь не autodelete,

то достаточно объявить их один раз

AMQP : Типичные ошибки

Rabbit MQ● Довольно сложное решение, требует администрирования

● Требовательно по памяти● Можно объединять в кластер● Возможно расширение plugins

Rabbit MQ

2015 № 11

Кролик в песочнице

Rabbit MQ

2015 № 12

RabbitMQ. Вырастаем из штанишек.

И в заключение


ЗагрузкаYML

Сведениев pricelist

ПарсингYML

Загрузкаimg

Apache Zookeeper

Иерархическое хранилище Основное понятие znode Аналог inode в ФС

•Операции:- GetData / SetData- Create / GetChildren

Apache Zookeeper

znode: •простые •эфемерные•последовательности

Операции: exist / sync

Пример: обновление конфигурации на лету

Процесс 1

Процесс 2a

Процесс 2b

Процесс 2c

192.168.100.1

192.168.100.2

192.168.100.3


Процесc 1

Процесc 2a

Процесc 2b

Процесc 2c

192.168.100.1

192.168.100.2

192.168.100.3

/config/nodes/n1/config/nodes/n2/config/nodes/n3 config

nodes

n-1 n-2 n-3

/config/nodes/n-1/config/nodes/n-2/config/nodes/n-3


Процесc 1

Процесс 2a

Процесc 2b

Процесc 2c

192.168.100.1

192.168.100.2

192.168.100.3

Останавливается процесс


Процесc 1

Процесc 2a

Процесc 2b

Процесc 2c

192.168.100.1

192.168.100.2

192.168.100.3

Рвется соединение


Процесc 1

Процесc 2a

Процесc 2b

Процесc 2c

192.168.100.1

192.168.100.2

192.168.100.3

Посылаем event


Процесc 1 Процесc 2b

Процесc 2c

192.168.100.2

192.168.100.3

Пересчитываем конфигурацию


Процесc 1 Процесc 2b

Процесc 2c

192.168.100.2

192.168.100.3

Процесc 1

/config/nodes/n1/config/nodes/n2/config/nodes/n3 config

nodes

n-2 n-3

/config/nodes/n-2/config/nodes/n-3

Apache Zookeeper

•Используется для синхронизации процессов в кластере

•На последовательностях можно организовать очереди

speed scale memory replika ACL/SSL Prototokol Safety Extend

Kafka критичен

RabbitMQ критичен AMQPSTOMPMQTTActiveMQ ? ?

ZMQ Отсутствует брокер

MemcacheQ Memcached

Tarantool MsgPack

Redis ? ? Redis

MongoDb BSON

Databases ?

Выводы:

1) Не стоит микроскопом забивать гвозди

2) Cкорость * надежность = const

3) Мониторинг – третий глаз админа

Очереди и блокировки

Календарёв Александр

[email protected]

www.slideshare.net/akalend

Очереди и блокировки. Теория и практика / Александр...

Engineering

Transcript of Очереди и блокировки. Теория и практика / Александр...