Мы разрабатываем и внедряем биллинговые системы, в статье рассказываем о своем опыте работы с Big Data для телеком-операторов.

Оговорки

Мы будем говорить только о том, что испытали на своей шкуре и не будем затрагивать смежные области. В первую очередь это статья о прикладной деятельности операторов связи, провайдеров. Технические детали в статье затронуты не будут. Статья будет полезна малым и средним операторам, которые сейчас живут на самописных или устаревших биллингах и планируют обновлять информационную систему. Тем, кто ранее не работал с Big Data.

Введение

Для нас важно разрабатывать качественный софт для наших клиентов. Данные имеющиеся у операторов мы рассматриваем как ценность — актив, которым нужно управлять.

Что мы считаем Big Data в телекоме и с чем умеет работать наш софт:

• Совокупный объем данных исчисляется петабайтами или близок к тому.
• Хранение данных децентрализованное.
• Данные неструктурированы или слабоструктурированы.
• Вертикальная иерархия почти отсутствует.
• Данные из разных источников слабо связаны друг с другом.

Для нас важно реалистично оценивать объемы обрабатываемой информации и ее разнородность, чтобы разрабатывать софт, который будет демонстрировать хорошую производительность в промышленной эксплуатации.

Мы в явном виде разделяем Big Data и BI-системы и считаем, что для BI характерны:

• Существенно меньшие объемы обрабатываемой информации исчисляющиеся террабайтами.
• Хранение данных обычно централизованное.
• Данные обладают высокой степенью связности.
• Присутствует вертикальная иерархия.
• И что важно, используются уже агрегированные и нормализованные данные.

Системы работающие с Big Data могут быть источниками для BI-систем, а вот наоборот - нет.

Цели использования Big Data в телекоме

Биллинговая система является частью критичной инфраструктуры оператора. В нашем восприятии биллинг - комплексное решение, которое включает в себя два десятка модулей/подсистем начиная со сбора сырых данных с оборудования (TI - Traffic Integrator) и заканчивая системами прогнозирования и реал-тайм поддержки маркетинга (RTM - Real Time Marketing). Данные в нашем софте проживают полный цикл:

1. Сбор сырых данных.
2. Обогащение.
3. Нормализация.
4. Агрегация.
5. Анализ.
6. Моделирование.
7. Формирование человекочитаемого результата или передача данных во внешние информационные системы.
8. Возврат к первому пункту для повтора цикла с новым временным штампом.

В нашей практике автоматизации расчетных систем встречались такие цели использования BDA (в порядке уменьшения важности для операторов):

1. Уменьшение оттока абонентов.
2. Повышение доходности от абонентов, увеличение среднего чека, ARPU.
3. Увеличение абонентской базы.
4. Расширение экосистемы оператора связи – ввод в эксплуатацию контентных сервисов (онлайн-кинотеатров, интеграция с игровыми сервисами и т.д.), предоставление смежных IT-услуг.
5. Оптимизация затрат на развитие и поддержание инфраструктуры оператора.

Какие задачи решаются?

Вне зависимости от используемых методов работы с большими данными большинство задач сводится к простому принципу - выявить паттерны поведения абонентов/пользователей и предоставить подходящий продукт или услугу своевременно. Оператор лучше знает своего абонента, оператору легче выстраивать стратегию развития, оценивать потенциальный спрос. Анализ больших данных помогает обосновывать и принимать оптимальные управленческие решения и уменьшить количество ошибок.

Задачи, которые решаются с использованием больших данных:

• Сегментация клиентов по поведенческим характеристикам (дескриптивная аналитика).
• Разработка и запуск новых продуктов/услуг.
• Формирование предикативных предложений.
• Прогнозирование жизненного цикла продуктов/услуг.
• Ускорение обслуживания клиентов и принятия решений о предоставлении/отказе в услуге.
• Снижение затрат на поддержку.

Простейший пример — выделение признаков абонента типа «игрок в танчики», «студент», «ребенок», «любитель взрослого контента», «любитель слушать онлайн радио» и дальнейшая работа с сегментом. Желательно тут найти какие-то специфические варианты сегментации, которые взяты из жизни.

Внутренние и внешние источники

Мы выделяем внутренние и внешние источники больших данных.

К внутренним относится все, что собирается через собственные информационные системы оператора с собственной абонентской базы. Вся информация о поведении пользователя, транзакциях, участии в маркетинговых активностях, типах и объемах потребления трафика и услуг. Важно, что для получения достаточно достоверных результатов или эффективных прогнозных моделей должна быть большая абонентская база, исчисляющаяся миллионом и более абонентов. Если у оператора 5-10-20-30 тысяч абонентов, то данных для построения сложных прогнозных моделей будет недостаточно. При небольшой базе лучше использовать инструменты BI и больше экспериментировать, фактически будет проводиться работа по анализу рынка.

Даже простые прогнозные модели построенные на большой базе, например, вычисление оттока абонентов не всегда могут быть тиражированы на небольших операторов, потому что модель требует вполне конкретных метрик и показателей, которые малый оператор может не собирать.

Внешние источники - соцсети, отзывы, форумы, новостные ленты и т.д. На пересечении данных из внутренних и внешних источников могут появляться новые идеи, маркетинговые предложения. Это одно из популярных направлений работы. Операторы пытаются по максимуму извлечь пользу из внутренних данных и выявить корреляцию с внешними данными. Затем сделать прогнозы.

Как мы работаем с большими данными?

В структуре Forward Telecom есть подразделение, состоящее из молодых специалистов, которое специализируется на работе с нейросетями. Мы обучаем нейросеть на данных биллинга и т.к. хорошо разбираемся в предметной области, то даже при достаточно маленькой выборке абонентов получаем достоверные результаты.

В качестве централизованного хранилища данных для аналитики и отчетности у нас выступает Forward DMP (Data Management Platform). DMP накапливает сырые данные, полученные из предбиллинга Forward Traffic Integrator, внешних источников, иных модулей/подсистем биллинга. Затем подготавливает данные, нормализует, делает пригодными для дальнейшей обработки.

DWH строит “витрины” данных - все интересующие нас данные в агрегированном, нормализованном, приведенном к нужному формату виде отражены в таблицах, к которым могут быть применены фильтры, могут быть использованы расчетные параметры.

Из витрин данных DWH черпают данные BI-системы (если у оператора есть свои аналитики и методология работы с BI) или Forward Reporting, который в веб-интерфейсе визуализирует с помощью библиотеки CrystalClear предварительно настроенные нами отчеты. Если требуется прогнозирование, то мы можем подключить Forward Forecast и обучить нейросеть под конкретную модель данных и задачу.

DWH также является бесценным источником данных для обогащения данными профиля пользователя и работы Forward RTM (Real Time Marketing).

С примерной схемой обработки Big Data ознакомились. Теперь пора перейти к телекому, чтобы предметно было понятно, как результаты обработки больших данных применяются на деле.

Уменьшение оттока абонентов

Активный рост рынка закончился и сейчас основная борьба идет за удержание базы. Это особенно больной вопрос для региональных операторов. Раньше региональный оператор мог уйти с рынка максимизировав свою абонентскую базу и продав бизнес федеральному оператору. Теперь федеральные операторы заходят на локальный рынок, демпингуют, быстро переподключают абонентов. Региональному оператору остается только продать бизнес за бесценок.

Так что уменьшение оттока — это простор для предикативной (для прогнозирования вероятности наступления будущих событий) и предписывающей (для создания загодя рекомендаций по управляющим действиям) аналитик.

Анализируется своевременность оплаты счетов, количество попаданий в блокировку, причины блокировки, регулярность блокировок, анализ обратной связи от абонента, анализ отзывов в соцсетях, индекс лояльности. По совокупности параметров абонент может быть включен в группу риска оттока.

Как только сформировался пул абонентов в группе риска, оператор начинает проактивную работу с абонентами. Для этого у оператора должны быть разработаны заградительные тарифы, которые предлагаются абоненту, когда он уже пришел писать заявление о расторжении договора. У нас в семействе продуктов разработка продуктов направленных на удержание клиента реализуется в Forward PC (Product Catalog System). Параллельно оператор пытается выявить причины попадания в группу риска — не устраивает качество связи, стоимость, другие причины.

Борются с причинами попадания в группы риска оттока разработкой акций, запуском тарифных планов аналогичных тарифам конкурентов, но с условиями перехода, как у заградительных тарифов. Могут быть разработаны тарифы, которые в чем-то даже убыточны или работают в ноль, потому что привлечение нового абонента раз в 10 дороже, чем удержание существующего. Т.к. платформа Forward развивалась от биллинга и постепенно превращалась в модульную комплексную систему, то у нас исторически заложены гибкие инструменты по формированию тарифов и предложений в том числе и заградительного типа. У компании, заботящейся об уменьшении оттока, должен быть заранее создан набор акций и тарифов, которые применимы в различных условиях на случай срабатывания риска.

Так что настраиваем триггеры для отправки алертов начальникам клиентских служб, светофорные показатели по оттоку для руководства компании, следим за показателем оттока, анализируем причины ухода и улучшаем свой сервис и услуги для предотвращения перехода ваших абонентов к конкурентам.

Важно следить за каннибализацией базы. Чтобы на новые заградительные тарифы не ушла текущая база с понижением доходности. Не должно быть такого, что абонент может легко перейти на заградительный тариф, просто найдя тариф где-то на сайте.

Повышение доходности от абонентов, увеличение среднего чека, ARPU

Суть повышение доходности от абонентской базы можно свести к нужности услуги абоненту, увеличению дохода оператора и повышению конкурентоспособности.

Каждая компания, которая хочет повысить доходность найти сегменты абонентов, за счет которых будет обеспечен рост. По большому счету это работа аналитика с BI-системой. Помните, мы в начале статьи говорили про разницу восприятия BI и Big Data?

Маленький оффтоп: формулирование гипотез с четким указанием требуемого результата в формате “повысить доходность сегмента А на NaN%” является жизненно необходимым. Если нет целей и понимания за счет чего будет производиться рост доходности можно до бесконечности смотреть в сырые данные или строить типовые отчеты. Нужно избегать ситуаций “пойди туда – не знаю куда; принеси то – не знаю что”.

Итак, аналитик просматривает имеющиеся данные. Он видит внутренние данные - типы трафика, объемы, время выхода в сеть, длительность сессий, посещаемые ресурсы, персональную информацию пользователя, обращения в техподдержку. Если есть внешние источники данных, то смотрит их. Затем формулирует гипотезы о возможных закономерностях, фиксирует цели, смартует их. Затем мы берем централизованное хранилище данных, содержащий сырые данные DWH, и пытаемся параметризировать поведение пользователя и построить модель для проверки гипотезы.

Портрет пользователя собрали, сегмент абонентов выделили. Теперь можно формировать выборки, сегменты пользователей, давать прогнозы. Над сегментами надо проводить эксперименты, следить за эффективностью и анализировать результат. Провели обзвон, оценили эффективность по сегментам, внесли данные в систему прогнозирования, скорректировали/обучили работу системы. И снова по кругу.

Чтобы не запутаться в активностях по повышению доходности применяется Forward RTM - система поддержки маркетинга в режиме реального времени (Real Time Marketing). В RTM попадают данные о профилях пользователей, там мы формируем правила работы с сегментом. RTM позволяет в автоматическом режиме работать по заданным правилам. Появился новый пользователь профиль которого соответствует сегменту - пользователю становятся доступны предложения для данного сегмента.

На этом работа с большими данными не заканчивается. DWH проводит анализ профилей и делает периодические слепки с указанием времени, вызывая цепочку обновления сегментов и важных параметров пользователей начиная от демографии и заканчивая расчетными показателями типа ARPU, накапливая исторические данные.

Big Data наполняет справочники информацией и формирует актуальный профиль абонента. Чем качественнее формируется этот профиль, тем качественнее можно выстраивать работу с абонентом. Как следствие повышение доходности, лояльности, уменьшение оттока, быстрая реакция на изменения в поведении абонента. Чем больше данных мы передаем в нейросети, чем точнее мы обновляем данные в профиле абонента, чем лучше мы фиксируем результаты маркетинговых активностей, тем выше качество рекомендаций сформированных на основании базы больших данных.

Схему работы можно так описать:

1. Анализ базы/поведения абонентов.
2. Поиск закономерностей и формирование гипотез.
3. Выделение сегмента.
4. Разработка стратегии работы с этим сегментом.
5. Настройка прочих продуктов (PC, CRM, RTM, eShop).
6. Тестирование на фокус-группе.
7. Анализ результатов.
8. Масштабирование на весь сегмент.
9. Анализ результатов и повтор действий с самого начала.

Пример сегментации: в DWH по косвенным признакам выявили дачников, которые на лето уезжают за город, добавили им в профиль пользователей сегмент с признаком “дачник” и предложили им интернет дачный (от партнера) в комплекте к домашнему. В Forward PC настроили специализированную акцию для этой группы позволяющую абоненту пользоваться дома нашим интернетом, а на даче интернетом от партнера по единому тарифу, а также дополнили партнерский пакет подключением домашнего ТВ пакета абонента. С помощью CRM + RTM начали предлагать сегменту “дачник” данную акцию. А с помощью PRM (Partner Relationship Management) настроили работу и взаиморасчеты с партнером - оператором предоставляющим услуги доступа в интернет на даче. Таким образом мы устранили разрывы в обслуживании абонентов в летний период, получили безразрывное потребление услуг, оплату за ТВ и интернет-контент. Оператор партнер получает готовые заказы на подключение новых абонентов и гарантированную выручку по партнерскому каналу. Клиент в целом стал нам лояльнее — у него единый ЛК, счет, договор, поддержка, привычные услуги. В рамках реализации данной акции у одного из наших клиентов, ее эффективность составила 32%(32% от абонентов попавших в сегмент “дачник” после ознакомления с данным предложением запросили проверку возможности подключения).

Увеличение абонентской базы

Имея расчетные данные по населению в регионах оказания услуг, нагрузке на сети, анализируя тарифные планы конкурентов можно разрабатывать целевые маркетинговые активности, предлагать конкурентные бандлы услуг, использовать программы типа «приведи друга».

Но это лишь в теории. Реальный рост абонентской базы сейчас маленький, в основном за счет перетягивания у конкурентов. Есть отдельное направление деятельности - IoT, но об этом в другой статье. Сейчас рассматриваем только абонентов-людей. На текущем рынке в крупных городах все районы обычно покрыты сетями нескольких провайдеров. Поэтому новые абоненты – это переход от конкурентов или редкие переезжающие, которые решают по новому месту жительства провести интернет.

В таком кейсе обычно задействовуем DWH, Forecast, RTM, PC, CRM. Данные из DWH формируют профиль абонента с привязками по сегментам. Проанализировали в DWH, сегментировали, выявили группу абонентов/нишу на рынке, которую сумели переманить от конкурентов за счет нишевого предложения.

Если вспомнить про внешние источники для Big Data, то можно рассмотреть такой пример: анализировали отзывы в сети, выявили у конкурентов группу недовольных пользователей. У оператора-конкурента произошло за месяц 3 обрыва/аварии, недовольные абоненты в пострадавшем районе города на форумах в соцсетях ругают оператора. Мы заходим на эти площадки с конкурентным предложением и акцией быстрого перехода. При удачном попадании, по итогам акции можно получить 3-5% переключений абонентов оператора-конкурента в данной локации.

Расширение экосистемы оператора связи

Расширение экосистемы - это общий тренд. Все крупные конторы сейчас занимаются этим. Яркие примеры: Тинькофф, Сбер, Яндекс. Часто путь расширения экосистемы - партнерство. Реже компания создает дочернее подразделение. Как здесь задействована Big Data? В поиске потребностей клиентов, прогнозировании, анализе обратной связи, разработке новых услуг.

Основная сложность в построении экосистемы - оценка полезности каждого отдельного элемента. Можно посчитать ARPU, но как понять, какая его часть сформирована благодаря или вопреки партнерству с кем-то? Как понять, какой из элементов экосистемы влияет на отток абонентов, влияют ли они по отдельности или вкупе?

У нашего клиента - Алма-ТВ - в Казахстане более 200 партнеров, которые могут заниматься совершенно разной деятельностью. Это и подключение абонентов, и оказание услуг по предоставлению контента, и монтаж сетей, и поддержка пользователей, и многое другое.

В экосистеме данные поступают совершенно разные по каждому типу партнеров и собственных услуг. Здесь важность больших данных увеличивается потому что нужно анализировать внешние источники и несвязанные почти данные собственной экосистемы.

Строить свою экосистему могут операторы любого масштаба, это не является прерогативой только крупных организаций. Да, малое предприятие редко может себе позволить создать дочернее общество под выполнение специализированной задачи. Зато в плане партнерства возможности очень большие. В помощь расширяющим свою экосистему - PRM.

Расширению экосистемы может помешать только одно - незаинтересованность самого оператора в развитии. Если оператору не интересно контролировать отток, приток, лояльность абонентской базы, то и экосистема такому оператору не нужна.

В примере выше с дачниками мы сумели объединить мобильный и фиксированный интернет в одной услуге/тарифе. Это тоже расширение экосистемы. Аналогичным образом какой-нибудь региональный оператор может используя анализ больших данных проанализировать соцсети, отзывы, форумы, региональные сайты может понять чего не хватает пользователям в регионе. В одном регионе может быть полезно партнериться с такси, в другом с фитнес-клубом. Надо смотреть какие сильные бренды есть в регионе, за счет которых можно продвигаться. Какие есть небольшие бренды, которые можно использовать для укрепления своих позиций.

Оптимизация затрат на развитие и поддержание инфраструктуры оператора

Что дает анализ данных в этом направлении для оператора. При работе с оборудованием провайдера:

• Сбор телеметрии с оборудования оператора.
• Прогнозирование нагрузки на сети.
• Выстраивание системы планового обслуживания и замены оборудования.
• Ротация оборудования между различными регионами, филиалами по цепочке от крупного к малому, чтобы растянуть срок эксплуатации и обеспечить общий постоянный рост технологичности сети.
• Уменьшение точек контроля за оборудованием за счет переноса части функций из удаленных областей/районов в центральной подразделение/головную станцию.

В итоге повышение надежности сети, снижение стоимости сопровождения или более рациональное использование имеющихся ресурсов. Но применимо все это скорее для крупных операторов.

Еще один способ получения выгоды от своей инфраструктуры - оказание дополнительных услуг и создание собственных контент-проектов. Пример с продажей рекламыу “МаксимаТелеком”, которая обслуживает wifi в метро Москвы. Компания создала свой портал wifi.ru, собирает данные об абонентах, показывает им таргетированную рекламу за использование интернета в метро бесплатно или предоставляет доступ без рекламы по подписке.

Второй пример заработка на инфраструктуре — это проект РЖД и Мегафона по отслеживанию пассажиропотока на высоконагруженных станциях с помощью базовых станций.

Вполне может иметь место продажа результатов анализа данных из внешних источников, составление прогнозов. Такая деятельность поможет компенсировать вложения в оборудование и софт для Big Data.

Заключение

Операторов связи в РФ с каждым годом законодательно контролируют все сильнее. Маржинальность услуг падает. Только операторских услуг уже недостаточно для завоевания рынка. Приходится расширять перечень оказываемых услуг, хорошее качество связи уже не преимущество, а данность без которой на рынке делать нечего. Телеком услуги становятся транспортом для доставки контента. Рынок смешивается – сотовые операторы сталкиваются с интернет-провайдерами при расширении услуг. Точки роста нужно искать активно, быстро тестировать гипотезы и в случае успеха быстро выводить услугу на рынок. Для этого приходится прилежно датамайнить и искать неочевидные взаимосвязи.

Не во всех проектах по автоматизации операторов связи есть польза от внедрения механик Big Data. Компания должна быть готова к изменениям в маркетинговой, сервисной политике, готова перекраивать бизнес-процессы.