Кейсы наших проектов на данных. Мы строим их на открытых данных, данных заказчика и моделях машинного обучения. В каждом кейсе указаны отрасль, задача, использованные данные и результат.
Задача: Банку требовалось оценивать заемщика до выдачи кредита по большему числу сигналов, чем даёт один только бюро кредитных историй.
Данные: Собственные данные банка плюс открытые источники: публичные реестры и базы (ЕГРЮЛ, ФССП, НБКИ), статистика Росстата, социальные сети, сайты вакансий (HH, Superjob) и объявления (ЦИАН, Avito, Avto.ru).
Что сделали: Мы обучили модель поведения сразу на двух источниках — данных банка и открытых данных — и использовали её как дополнительный сигнал перед выдачей кредита. Решение оставляли за банком: модель не заменяет скоринг.
Результат: Модель описывает поведенческий профиль заемщика по агрегированным данным и помогает банку оценивать кредитный риск. Из 146 млн жителей России открытая информация есть о 137 млн, 98 млн — в социальных сетях, 42 млн — в публичных базах данных.
Задача: Повысить лояльность к автомобильному бренду и продавать автомобили. Аудитория бренда в проекте — 37 млн человек.
Данные: Публикуемый контент, лайки в тематических группах и публикациях, активность аудитории и скорость распространения контента в социальной сети.
Что сделали: Мы отфильтровали аудиторию по интересам, активности и распространению контента, посчитали долю ботов и циничных подписчиков, обработали топ-150 аккаунтов по охвату и отобрали тех, чьи подписчики целевые, а контент расходится быстрее всех.
Результат: Для работы с брендом выбрали семь нишевых автоблогеров и собрали новый контент-план. Результат: +41% клиентов с канала «от блогеров», +6% — из рекомендаций друзей.
Задача: Снизить издержки на рекламу, привлечь новых клиентов и сделать таргетинговую рекламу эффективнее: понимать, кто совершает покупки и что люди покупают.
Данные: Карты лояльности, данные о покупателях, собранные из социальных сетей, и сопоставление покупок с социальным портретом покупателя.
Что сделали: Карту лояльности сделали индивидуальной для каждого клиента и активируемой через социальную сеть; собрали портрет аудитории — кто покупает, какой контент потребляет, чем интересуется и что покупает — и нашли похожих пользователей для таргетинга.
Результат: Реализован полный цикл скоринга, профилирования и точного таргетинга с прогнозированием потребительского поведения; результаты заказчика не публикуются.
Задача: Прогнозировать потребности покупателя по его цифровому следу и использовать это для точной сегментации, микротаргетинга и реактивации.
Данные: Социальные сети, сайты, блоги и форумы, приложения и игры для знакомств, публичные реестры (ЕГРН, ЕГРЮЛ, ФССП), сайты вакансий (HH, Superjob) и объявления (ЦИАН, Avito, Avto.ru).
Что сделали: Мы собрали удалённую идентификацию, точную сегментацию, микротаргетинг и построение прогнозов; в кейсе реактивации ставка сделана на персональное взаимодействие и анализ личного опыта пользователя, а не на массовую рассылку.
Результат: Реактивация сократила затраты на коммуникацию на 20% и вернула 12% «старых» клиентов; в соседнем кейсе канал «подарки/промокоды» дал +41% клиентов, «рекомендации друзей» — +6%.
Задача: Кастомизировать креативы под предпочтения конкретной аудитории, а затем определять, какому пользователю какой креатив показывать.
Данные: Цвета и образы, извлечённые из социальных сетей, голос (гомоморфная обработка MFCC), комментарии и отзывы под обзорами продуктов, веб-аналитика посещённых страниц, параметры окружения (гео, время, погода, праздники, мероприятия) и результаты A/B-тестов.
Что сделали: Цвета извлекали из самого большого силуэта на фотографии, голос категоризировали по тону, «среднее лицо» считали по значимым для аудитории лидерам мнений, а не по аудитории бренда; кадрирование строили по положению лица и объёму эффективного заднего плана. Для кастомизации мы остановились на 10 самых значимых параметрах, для поведения — более чем на 60 параметрах, выведенных из потребляемого контента.
Результат: Рост вовлечённости: до +25% от кастомизации по цветам, до +40% по голосу, до +30% по образам и до +10% от кадрирования. Из 60+ поведенческих параметров больше всего весят демография и активность онлайн (41%), затем финансы и потребительская модель (23%), затем личностные качества и взаимодействие с рекламой (17%).
Задача: Дополнить маркетинговые данные бренда открытыми источниками и заранее оценить, как рекомендательные алгоритмы социальных сетей будут продвигать креатив.
Данные: Открытые профили и публикуемый контент, социальные связи, геопозиция, восстановленная по контенту и фотографиям, плюс дополнительные метрики от операторов мобильной связи, провайдеров Wi-Fi в торговых центрах и операторов фискальных данных.
Что сделали: Контентное профилирование, поведенческое моделирование и анализ социального графа: подбираем нишевых лидеров мнений по пересечению и кластеризации аудитории, прогнозируем развитие тренда и сравниваем аудиторию бренда с конкурентами.
Результат: До 90% контента в социальных сетях распространяется рекомендательными алгоритмами, поэтому анализ заранее показывает, как будет продвигаться креатив, и снижает бюджет кампании за счёт естественного распространения контента.
Задача: Вовремя находить будущих звёзд, оценивать, насколько контент нравится рекомендательному алгоритму социальной сети, и сравнивать позицию лейбла с конкурентами.
Данные: Данные любых социальных сетей и сервисов в реальном времени, треки (поиск похожих композиций по mp3), аудитории бренда и конкурентов, модели потребления контента.
Что сделали: Мы настроили мониторинг трендов в реальном времени, предиктивные модели для будущих релизов, конкурентный анализ аудитории с потенциальными аудиториями, поиск лидеров мнений, взаимодействовавших с контентом конкурентов, и аналитику похожей музыки.
Результат: Получился цикл мониторинга и прогнозирования релизов с оптимизацией затрат на маркетинговые коммуникации.
Задача: Понять, какие свойства трека и метаданных отвечают за продвижение в рекомендательных системах, и отделить реальные реакции аудитории от алгоритмического шума.
Данные: Аудиопризнаки треков (темп, ритм, танцевальность, энергия, выраженность инструментов, тональность, инструментальность, акапелла, кавер/ремеик, настроение), текст, метаданные (авторы и композиторы, исторические данные, плейлисты) и векторы похожих треков.
Что сделали: Мы собрали вес основных факторов и поиск похожих треков по spectral spread, flux, centroid, rolloff, MFCC, chroma vector с отклонением и zero crossing rate; отдельно разобрали, что искажает картину, — один аккаунт на нескольких людей, музыка на вечеринках и ностальгия.
Результат: Веса факторов: 45% ритмический рисунок, 33% музыкальная гармония, 17% метаданные и 5% текстовая составляющая. Около 20% запросов к рекомендательным системам возвращают нерелевантные результаты, которые на самом деле являются аудиторными A/B-тестами. Для артистов посчитан индекс соответствия (демография, финансы, потребительская модель, политика, реклама) — например 0,87 / 0,89 / 0,97 / 0,72 / 0,90 у Taylor Swift.
Задача: Сократить время работы рекрутера, проверить достоверность резюме и увеличить охват поиска кандидатов.
Данные: Открытые источники: социальные сети, сайты, блоги и форумы, приложения и игры для знакомств, публичные реестры (ЕГРН, ЕГРЮЛ, ФССП), сайты вакансий (HH, Superjob), объявления и реестры недвижимости.
Что сделали: Мы искали и проверяли кандидатов по открытым источникам и ранжировали сотрудников по эффективности для HR-службы. Отдельно заданы правила безопасного использования — не раскрывать источники, не раскрывать алгоритмы, обосновывать юридически как экспертное мнение — и названы риски: расистские алгоритмы и необоснованные увольнения.
Результат: Время рекрутера сокращается, резюме проверяются, охват поиска растёт. Цифры заказчика не публикуются.
Задача: Собирать поведение десятков миллионов посетителей в неделю и отдавать клиентам аналитику в реальном времени, а не ночным пакетом.
Данные: Данные JS-кода и IMG-пикселя на сайтах клиентов, логи с коммутационного оборудования и 65 метрик поведения на посетителя, читаемых из отдельной СУБД.
Что сделали: Мы построили хранилище на Ceph + MongoDB + PHP 7.4 FPM + Nginx: 12 серверов бекенда по 64 ядра и 500 ГБ за облачным роутером, который раскидывает трафик по географии, 240 SSD по 800 ГБ в пяти корзинах за единым контроллером (RAID 10 — около 85 ТБ и 1.5M IOPS, RAID 6 — 157 ТБ, RAID 5 — 152 ТБ), три уровня данных со сворачиванием месячных в недели и годовых в месяцы, и Apache Solr рядом для полнотекстового поиска. Ceph выбран вместо GlusterFS, MooseFS, HDFS и DRBD за скорость и self-healing.
Результат: Обрабатывается около 50 млн уникальных посетителей в неделю; задержка от события до клиентского отчёта — не более 5 минут, ML-модель обновляет метрики поведения каждые 5 минут.
Задача: Для бренда музыкального фестиваля — найти лидеров мнений, посчитать реальных посетителей и привлечь новых людей. Потенциальная аудитория — 25 млн.
Данные: Офлайн: чеки оператора фискальных данных, Wi-Fi трафик, радиометрия и карты лояльности. Онлайн: публикуемый контент и лайки в тематических группах и публикациях.
Что сделали: Мы измерили активную аудиторию (долю людей, взаимодействовавших с контентом, долю ботов и циничных подписчиков) и скорость распространения контента — как быстро публикации шли от одной точки сети к другой, сколько человек их распространяли и какую аудиторию вовлёк каждый. Затем обработали топ-150 аккаунтов по охвату.
Результат: У отобранных аккаунтов 70% подписчиков оказались целевыми, а контент расходился за 2–3 дня. К рискам подхода отнесены системы распознавания лиц и слишком таргетированный контент.
Задача: Снизить издержки на ТО и мелкий ремонт локомотивов за счёт релокации ремонтных команд, а не самой техники.
Данные: Телеметрия подвижного состава в реальном времени (более 7 000 датчиков вибрации на двигателях, компрессорных установках, колёсных парах и подшипниках качения), технические сертификаты допустимых отклонений, расписания поездов и бригад, карта свободных помещений для ремонта, граф железнодорожных станций и внутренняя CRM с отметками о поломках.
Что сделали: На вход модели попадают ремонтный индекс локомотива, расписание бригад и поездов, свободные помещения, граф станций и отметки CRM о поломках; модель ищет аномалии в двигателях, компрессорах, колёсных парах и подшипниках.
Результат: −12% затрат на ТО подвижного состава, −20% на ФОТ сотрудников, ожидавших задач, +3% попадания в расписания движения. Главной ошибкой проекта стало то, что не учли возросшие затраты на покупку и доставку запчастей на места ремонта.