Купил бы, если б смог найти! (доклад - продолжение...
description
Transcript of Купил бы, если б смог найти! (доклад - продолжение...
![Page 1: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/1.jpg)
ПРОБЛЕМА НАХОЖДЕНИЯ ТОВАРА
Роман Смолговский Директор Департамента Электронной коммерции
Купил бы, если б смог найти
Thursday, October 17, 13
![Page 2: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/2.jpg)
КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА
WEBSITEThursday, October 17, 13
![Page 3: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/3.jpg)
КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА
Большое количество email о проблемах нахождения товара
WEBSITEThursday, October 17, 13
![Page 4: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/4.jpg)
КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА
Большое количество email о проблемах нахождения товара
• “...Показывается большое количество товаров несколько вперемешку...”
WEBSITEThursday, October 17, 13
![Page 5: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/5.jpg)
КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА
Большое количество email о проблемах нахождения товара
• “...Показывается большое количество товаров несколько вперемешку...”
• “По поиску «аптечка» находит совсем не то, что нужно, хотя у нас ЕСТЬ автонаборы, где есть аптечка!”
WEBSITEThursday, October 17, 13
![Page 6: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/6.jpg)
КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА
Большое количество email о проблемах нахождения товара
• “...Показывается большое количество товаров несколько вперемешку...”
• “По поиску «аптечка» находит совсем не то, что нужно, хотя у нас ЕСТЬ автонаборы, где есть аптечка!”
• “…Повторы одного и того же товара при применении фильтра – мы выглядим как минимум просто не профессионально…”
WEBSITEThursday, October 17, 13
![Page 7: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/7.jpg)
КАК МЫ ПОНЯЛИ, ЧТО У НАС ЕСТЬ ПРОБЛЕМА
Большое количество email о проблемах нахождения товара
• “...Показывается большое количество товаров несколько вперемешку...”
• “По поиску «аптечка» находит совсем не то, что нужно, хотя у нас ЕСТЬ автонаборы, где есть аптечка!”
• “…Повторы одного и того же товара при применении фильтра – мы выглядим как минимум просто не профессионально…”
Очевидные проблемы на уровне basic features
WEBSITEThursday, October 17, 13
![Page 8: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/8.jpg)
ПРОБЛЕМА
Суть проблемы:
• Пользователи не могут найти товар используя инструменты платформы Enter
Проблема комплексная - пользователи могут использовать различные инструменты для нахождения товара
• Поиск товара по каталогу
• Поиск товара по наименованию
Thursday, October 17, 13
![Page 9: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/9.jpg)
СОСТАВЛЯЮЩИЕ
Что нужно понять и постоянно отслеживать:
• Насколько логична структура каталога?
• Насколько релевантен поиск?
• Как сортируются листинги и результаты поиска?
• Какие виды сортировки доступны пользователю?
• Насколько логичны и правильны результаты сортировки для каждого вида?
• Правильно ли организованы фильтры?
Thursday, October 17, 13
![Page 10: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/10.jpg)
Комплексная проблема, которую нужно решать системно
РЕШЕНИЕ
Thursday, October 17, 13
![Page 11: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/11.jpg)
Комплексная проблема, которую нужно решать системно
Каталог Поиск
Сортировка Результатов Фильтры
РЕШЕНИЕ
Thursday, October 17, 13
![Page 12: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/12.jpg)
Комплексная проблема, которую нужно решать системно
Необходим процесс!
Каталог Поиск
Сортировка Результатов Фильтры
РЕШЕНИЕ
Thursday, October 17, 13
![Page 13: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/13.jpg)
ДРУГИМИ СЛОВАМИ…
Для решения проблемы необходимо одновременно работать в нескольких
направлениях
Thursday, October 17, 13
![Page 14: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/14.jpg)
Контент
• Структура каталога, данные для поиска и сортировок
• Процесс внесения изменений
Алгоритмы
• Поисковые гипотезы и определение релевантности
• Методологии сортировки
Thursday, October 17, 13
![Page 15: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/15.jpg)
Архитектура платформы
• Методология хранения данных
• Использование поисковых платформ
• Механизмы самообучения
Оценка качества и управление изменениями
• Процессы внесения изменений
• Процессы нахождения и анализа проблем
• Процессы работы над ошибками
Thursday, October 17, 13
![Page 16: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/16.jpg)
КАТАЛОГ И ЕГО СТРУКТУРА
БЫЛО...
Thursday, October 17, 13
![Page 17: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/17.jpg)
ПРОБЛЕМЫ С КАТАЛОГОМ
Нелогичная структура
• Популярные товары запрятаны где-то в “глубинах” структуры
• Названия разделов не совпадали с “пониманием” покупателей
• Названия не совпадали с популярными запросами поисковых систем
“Растянутость” структуры по обеим измерениям
• Где-то много уровней вложенности (до 6)
• Где-то много подразелов в одном разделе (до 18!)
Thursday, October 17, 13
![Page 18: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/18.jpg)
КАК ИСПРАВЛЯТЬ КАТАЛОГ
Предложение Редактора Категории
Корректировка по частотности
запросов
Корректировка по глубине и
ширине
Корректировка по маржинальности и
популярности
Утверждение Главным
Редактором
Внесение изменений (каталог, ссылки и т.д.)
Синхронизация с бумажным каталогом
Thursday, October 17, 13
![Page 19: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/19.jpg)
КАТАЛОГ И ЕГО СТРУКТУРАСТАЛО...
Thursday, October 17, 13
![Page 20: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/20.jpg)
КАК УПРАВЛЯТЬ КАТАЛОГАМИ
Предложение Редактора Категории
Корректировка по частотности
запросов
Корректировка по глубине и
ширине
Корректировка по маржинальности и
популярности
Утверждение Главным
Редактором
Внесение изменений (каталог, ссылки и т.д.)
Синхронизация с бумажным каталогом
Запрос на изменение
Thursday, October 17, 13
![Page 21: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/21.jpg)
КОГДА РАБОТАЕТ КАТАЛОГ...
И странно работает сортировка…
Thursday, October 17, 13
![Page 22: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/22.jpg)
ВОПРОСЫ К ОРГАНИЗАЦИИ СОТРТИРОВКИ
Виды сортировок - какие нужны покупателю?
• Изначально мы поддерживали только одну сортировку - автоматическую; этого явно мало!
Что должна учитывать автоматическая сортировка
• Влияние “ручных” поправок и процесс их изменений
Какова должна быть организация данных и техническая платформа, чтобы все это поддерживать?
Thursday, October 17, 13
![Page 23: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/23.jpg)
ВИДЫ СОРТИРОВОК
Thursday, October 17, 13
![Page 24: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/24.jpg)
ВИДЫ СОРТИРОВОК
Thursday, October 17, 13
![Page 25: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/25.jpg)
ВИДЫ СОРТИРОВОК
Не считая автоматической сортировки, учитывающей наши рекомендации, необходимр учесть что:
• Кто-то ищет по цене
• Кто-то ищет по брендам
• Кто-то хочет увидеть наиболее продаваемые товары (а не наши рекомендации)
Виды сортировки необходимые покупателю могут отличаться от категории к категории!
Thursday, October 17, 13
![Page 26: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/26.jpg)
КАКИЕ ПАРАМЕТРЫ ДЛЯ СОРТИРОВКИ У НАС ЕСТЬ?
“Важно для пользователя”
• Просмотры
• Продажи
• Новизна
• Наличие “шильдика” (суперцена, новинка, распродажа и т.д.)
• Наличие видео/3D
• “Ручной” коэффициент
Thursday, October 17, 13
![Page 27: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/27.jpg)
КАКИЕ ПАРАМЕТРЫ ДЛЯ СОРТИРОВКИ У НАС ЕСТЬ?
“Важно для компании”
• Маржинальность
• Остатки
• Конверсия, рассчитываемая по специальной формуле учитывающей просмотры и продажи (по конкретному товару и по категории)
Thursday, October 17, 13
![Page 28: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/28.jpg)
ПРОЦЕСС УЛУЧШЕНИЯ СОРТИРОВКИ
Определяем все возможные параметры
Для каждой категории
Собираем feedback
Создаем гипотезы значимости
Проводим AB тесты
Устанавливаем наилучшую
гипотезу
Корректируем вручную товары
для продвижения
Thursday, October 17, 13
![Page 29: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/29.jpg)
ДЛЯ СОЗДАНИЯ СОРТИРОВКИ НЕОБХОДИМО...
Учитывать
• Региональность
• Категорию
Уметь“автоматически” создавать фильтры релевантные к результатам показа
Использовать одинаковую логику для показа листингов и результатов поиска
Необходима технологическая платформа, которая сможет все это поддерживать
Thursday, October 17, 13
![Page 30: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/30.jpg)
КАК ВСЕ ЭТО СОЗДАТЬ?
Нужна система организации данных, которая для каждого товара:
• Содержит статистику/информацию необходимую для сортировки
• Содержит информацию о доступности и ценах в разрезе зон доставки и/или магазинов
• Содержит произвольный набор характеристик для построения фильтров
• Содержит информацию для полнотекстового поиска
Thursday, October 17, 13
![Page 31: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/31.jpg)
ТЕХНОЛОГИЧЕСКОЕ РЕШЕНИЕОчевидно, что нужен Search Engine - был выбран Sphinx , потому что:
• In-house экспертиза
• Тесный контакт с разработчиками продукта
• Эмуляция SQL - существенно упрощает переход с реляционной БД
Огранизация Sphinx “похожа” на реляционные БД - в процессе индексации данные структурируются в таблицы, для которых существуют возможности очень быстрого поиска
• При этом, Spninx не совсем SQL - например, join использовать не стоит
Thursday, October 17, 13
![Page 32: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/32.jpg)
ЧЕГО МЫ ХОТИМ ДОБИТЬСЯ?
Платформа должна уметь
• Сортировать по “любой” разумной формуле которая может быть разной для разных выборок
• Автоматически “создавать” фильтры - находить набор свойств для данных списков товаров и все возможные и релевантные значения
• Правильно искать - об этом чуть позже
Thursday, October 17, 13
![Page 33: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/33.jpg)
РАБОТАЕТ ЛИ СОРТИРОВКА?
Да, люди кликают на первой странице
категории
Нет… Первая страница категории
не “кликается”
Thursday, October 17, 13
![Page 34: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/34.jpg)
КОГДА ОРГАНИЗОВАН КАТАЛОГ…И работает сортировка…
Thursday, October 17, 13
![Page 35: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/35.jpg)
А ЕСЛИ ИЩУТ НЕ ПО КАТАЛОГУ...А ПОИСК РАБОТАЕТ СТРАННО...
Thursday, October 17, 13
![Page 36: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/36.jpg)
ПОТЕНЦИАЛЬНЫЕ ПРИЧИНЫ ПРОБЛЕМ С ПОИСКОМ
Проблемы построения
гипотез запроса
Неправильная формула
вычисления релевантности
Отсутвуют синонимы
Отсутствует гипотеза
Проблемы сортировки ответа
Неправильные веса
Thursday, October 17, 13
![Page 37: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/37.jpg)
ПРОЦЕСС УЛУЧШЕНИЯ ПОИСКА
Тестируем по результам
ассесорной оценки
Найден частотный запрос с
проблемами
Сообщение о проблеме
Анализ проблемы Внесение исправлений
Thursday, October 17, 13
![Page 38: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/38.jpg)
ПРОЦЕСС УЛУЧШЕНИЯ ПОИСКА
Тестируем по результам
ассесорной оценки
Найден частотный запрос с
проблемами
Сообщение о проблеме
Анализ проблемы Внесение исправлений
Thursday, October 17, 13
![Page 39: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/39.jpg)
ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК
Калибровка
• Загрузка наиболее популярных запросов из аналитических систем
• “Человеческая оценка”
• UI показывающий результаты по каждому запросу с возможностью оценить каждый результат (Good/Bad)
Thursday, October 17, 13
![Page 40: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/40.jpg)
ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК
• Калибровка
Thursday, October 17, 13
![Page 41: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/41.jpg)
ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК
По окончании калибровки
• Система автоматически создает разные варианты формулы ранжирования и построения гипотез для максимизации сумм оценок по всем запросам
• По окончании каждому запросу присваивается score вычисляемых на основании количества “хороших” и “плохих” ответов и их очередности
Thursday, October 17, 13
![Page 42: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/42.jpg)
ИСПОЛЬЗОВАНИЕ АССЕСОРНЫХ ОЦЕНОК
При внесении изменений
• Для каждого запроса вычисляется новый score на основании присутствия предыдущих “хороших” и “плохих” ответов и их очередности
• Если общий score выше - Good, используем новые формулы
• Запоминаем новые score
• Если нет - Bad!!! Переделываем…
Thursday, October 17, 13
![Page 43: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/43.jpg)
А ЕСЛИ ИЩУТ НЕ ПО КАТАЛОГУ...И работает поиск…
Thursday, October 17, 13
![Page 44: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/44.jpg)
РЕЗУЛЬТАТЫ ПО АНАЛИТИКЕ
Thursday, October 17, 13
![Page 45: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/45.jpg)
LESSONS LEARNED• Не существует “Проблемы Поиска”, “Проблемы
Каталога”, “Проблемы Сортировки”
• Есть Проблема Нахождения Товара, которая должна решаться комплексно!
• Решение далеко не только техническое - необходим процесс объединяющий контентные изменения, продуктовые работы (алгоритмы) и изменения в коде/архитектуре
• Необходим процесс отслеживания
• Аналитические инструменты
• Количество сообщений о проблемах!
Thursday, October 17, 13
![Page 46: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/46.jpg)
LESSONS LEARNED• Не существует “Проблемы Поиска”, “Проблемы
Каталога”, “Проблемы Сортировки”
• Есть Проблема Нахождения Товара, которая должна решаться комплексно!
• Решение далеко не только техническое - необходим процесс объединяющий контентные изменения, продуктовые работы (алгоритмы) и изменения в коде/архитектуре
• Необходим процесс отслеживания
• Аналитические инструменты
• Количество сообщений о проблемах!
Thursday, October 17, 13
![Page 47: Купил бы, если б смог найти! (доклад - продолжение секции 2.5) Роман Смолговский, Директор департамента](https://reader034.fdocuments.us/reader034/viewer/2022042518/5486d754b4795984178b4f13/html5/thumbnails/47.jpg)
YOU CAN
Thursday, October 17, 13