• Региональные приоритеты из Москвы – Нам нужен не доступ «в интернет», а доступ к

пользователям

• Неоператорский взгляд на пиринг

• Постоянная готовность к взрывному росту трафика

• Локализация регионального трафика

www.mail.ru 2

Особенности раздачи контента

• Магистральный оператор конкурирует с другими магистралами за пользователя в регионе

• Региональный оператор конкурирует с другими региональными операторами качеством доступа к «интернету»

• Контент конкурирует с другим контентом [внутри региона]

www.mail.ru 3

Чем мы не оператор?

• Выигрывает сервис, который «открывается быстрее» • Региональные программы, прямое присутствие, кэширование контента • Необходимо обгонять «развитие интернета в регионах» или хотя бы

максимизировать пользу локальных эффектов этого «развития» • Простейшая подсказка: имея отношения со всеми операторами, нам все

равно, кто побеждает в «Битве за Урюпинск» – В этой битве побеждаем, получается, мы

www.mail.ru 4

[внутри региона]

• «Бесплатный» обмен клиентским трафиком между операторами

• IX (Internet eXchange) – пиринговый агрегатор

• В обычном межоператорском случае пиринг может создавать политические проблемы

www.mail.ru 5

Что такое пиринг

• Верно, что стык, который нельзя отключить в любой момент – это слабость и потенциальная проблема

• Контент не конкурирует с операторами, поэтому может одновременно поддерживать пиринговые отношение с любым количеством операторов любого масштаба

• Ценность пиринга с контентом для традиционного оператора лежит в совершенно иной плоскости, чем пиринговые отношения с «другими операторами» – В том числе и за счет превалирования исходящего трафика над входящим

• С нашей точки зрения пиринг ценен прежде всего «прямой видимостью» пользователей

www.mail.ru 6

Другой пиринг

If you are ISP with presence on MSK-IX, UA-IX, DECIX or AMS-IX send us a message to noc@corp.mail.ru to set up a direct session or direct peer.

If you have no idea why you have to do it just ask me at lunchtime not on QA session.

www.mail.ru 7

На этом слайде я переведу дыхание

• Проекты имеют свойство «выстреливать»

• Новые сервисы, например музыка на «Одноклассниках»

• Новые версии ПО

• Пиковые события оффлайна (плохие новости и хорошие ролики)

www.mail.ru 8

Постоянная готовность к взрывному росту трафика

• Прямой доступ на локальные точки обмена трафика

• Пиринг с региональными операторами, присутствующими в Москве

• CDN-сервера в регионах

www.mail.ru 9

Регонализация

• Карма • Разгильдяйство • Звезды • Мисконфиг • Эти и те уроды

То есть, почти всегда человеческий фактор Мы живем в окружении дорожных рабочих, плохих подрядчиков, поставщиков «железа», которое вообще не железо, а софт, вон того мужика на экскаваторе и самих себя -- а выживают только параноики

$01?1?’/ 4 13375P3/-|K

10

Слайд-эпиграф: Основные причины аварий

www.mail.ru 11

Как мы строим надежную сеть

Трехуровневая сеть

12

• Сервер

• Стек свичей доступа

• Магистраль

• 1GE-карты • Медные соединения (Cat 5e) • Juniper EX4200 (4-9 штук в стеке) • Многомодовое оптоволокно

10GBASE-SR • Juniper MX960, Cisco 6509, Cisco

7609 • Оптическая сеть, прямые стыки с

операторами

От сервера к стеку - медь

13

• Вырвали пачкорд

• Умер мембер в стеке

– Аппаратный сбой

– Ошибка конфигурации

– «Чудеса»

• Один сервер не жалко • Иногда и 48 не жалко • Но иногда жалко

• EtherChannel к разным мемберам • Если нет потребности в

«настоящей» аггрегации, то тут можно сэкономить любым другим способом

www.mail.ru

От стека к ядру – оптика (10GE-SR)

14

• Пачкорды – Ломаются – Перетираются – Нарушается контакт между коннектором и патч-панелью

• Трансиверы перегорают • Свитч в стеке может быть потерян из-за сбоя ПО, ошибки

конфигурации или поломки • Сгорела линейная карта • Выход из строя корневого оборудования

www.mail.ru

От стека к ядру – оптика (10GE-SR)

15

• Каждый элемент ядра должен иметь конфигурацию, в которой зарезервировано всё, кроме линейных карт

• Элементы ядра должны быть парными (VSS для Cisco, MC LAG для Juniper MX)

• Две разные оптические трассы от разных свичей в стеке в разные устройства в ядере

• Если стек отдает больше 10 Gbit/s, то трасс – четыре (6,8…), они терминируются в разные линейные платы

• В каждом маршрутизаторе должна быть консоль, терминированная в чужой интернет

www.mail.ru

Схема

16

От ядра к ядру и в мир (LR и далее)

17

• Побили оптику

• Аплинк/пир отвалился/глючит

• Даже очень хорошо зарезервированное ядро можно убить

• Датацентр может отказать по питанию или климату (человек может завалить любой Tier4, что бы там ни сертифицировал Uptime Institute)

www.mail.ru

От ядра к ядру и в мир (LR и далее)

18

• Любой линк должен быть загружен <50% • Аплинк/пир, отключение которого приведет к перегрузке другого

аплинка не имеет права на существование • Кольца и независимые трассы (и никогда не «кольца или независимые

трассы») • Вынос трафика должен быть максимально равномерно распределен

по датацентрам • Лучше пакетлосс от учений, чем мисконфиг в боевой обстановке • Сломаться может все, что требует электричества, вести себя загадочно

– даже пассивное оборудование

www.mail.ru

Павел Завьялов

Заместитель технического директора

zavyalov@corp.mail.ru

$01?1?’/ 4 13375P3/-|K

СПАСИБО!