НАЗНАЧЕНИЕ СИСТЕМЫ И ОБЛАСТЬ ПРИМЕНЕНИЯ

Основными задачами, решаемыми с помощью аналитического хранилища данных Forward DWH, являются:

• Сбор и структурирование данных из различных источников;
• Возможность обработки и агрегации собранных данных;
• Обработка данных по заданным алгоритмам;
• Формирование сложных аналитических и маркетинговых отчетов;
• Настройка автоматического контроля изменения ключевых показателей;
• Возможность самостоятельной разработки необходимых отчетных форм.

Ряд компаний уже сделали или делают шаги в направлении внедрения аналитических систем на базе единого хранилища данных, позволяющих расширить аналитические возможности, ускорить доступ к информации и повысить ее качество. Говоря о хранилище данных, следует понимать, что это информационно-аналитическая система, в основе которой лежит единая модель данных, разработанная на основании бизнес-требований и с учетом существующей информации в компании. Эта модель содержит информацию, которая облегчает и ускоряет процесс принятия решений. Следует отметить, что компании во всем мире создают хранилища данных не первый год, да и сама концепция существует уже не одно десятилетие.

Все понимают, что необходимые данные по клиенту, клиентскому трафику, платежам, выставленным счетам хранятся в биллинговых и CRM системах. Но дело в том, что биллинговая система не приспособлена для обработки "тяжелых" запросов, это, во-первых, а во-вторых, для аналитики часто нужны не детализированные, а агрегированные показатели. Это означает, что рядом с биллинговой системой необходимо спроектировать структуру хранения данных, ориентированную на выборки, аналитику и отчетность. Только глубокое понимание структуры клиентской базы помогает предложить оптимальное сочетание услуг и найти доходных потребителей, как в частном, так и корпоративном секторе.

Областью применения аналитического хранилища данных Forward DWH являются компании - крупные и средние операторы связи, банковский сектор, крупные корпоративные клиенты (учет и оптимизация потребляемых услуг) и т.д.

В наше время более чем когда-либо требуются качественные и гибкие средства отчетности. Компаниям необходима архитектура, позволяющая эффективно использовать данные для принятия сложных решений. И, несмотря на широкий выбор средств, наиболее надежным способом достижения этой цели является реализация Хранилища данных. Расширяющиеся компании используют все новые и новые источники данных, а поэтому именно основательная инфраструктура Хранилища - это оптимальное средство для поддержки принятия решений.

Forward DWH позволяет производить интеллектуальный анализ огромных массивов данных, быстро формировать агрегированные отчеты, эффективно решать задачи корреляции разнородных данных, снижать тяжесть запросов на транзакционные системы, расширять структуры учета данных, вызванные различными изменениями в организационной структуре компании.

АРХИТЕКТУРА СИСТЕМЫ

Подход построения хранилища данных для интеграции неоднородных источников данных принципиально отличается от подхода динамической интеграции разнородных БД. Основной идеей построения полноценного хранилища, управление данными в котором происходит по другим правилам, чем в исходных оперативных БД.

В основе концепции построения хранилища данных лежат две основные идеи:

• Интеграция разъединенных детализированных данных (детализированных в том смысле, что они описывают некоторые конкретные факты, свойства, события и т.д.) в едином хранилище. В процессе интеграции должно выполняться согласование рассогласованных детализированных данных и, возможно, их агрегация. Данные могут поступать из хранилища исторической информации, оперативных баз данных ( биллинг, CRM, системы технического чета), внешних источников.
• Разделение наборов данных и приложений, используемых для оперативной обработки и применяемых для решения задач анализа.

Важным элементом является сетевой доступ и доступ к базам данных. Сюда относятся сетевые и коммуникационные протоколы, драйверы, системы обмена сообщениями и пр. Загрузка данных выполняется, как правило, в сочетании с дополнительной обработкой: проверкой данных на чистоту, консолидацией, форматированием, фильтрацией и пр.

Рассматриваемая система обеспечивает общение конечных пользователей с информационным хранилищем и загрузку требуемых данных из транзакционных систем. В настоящее время универсальным языком общения служит язык структурированных запросов (SQL).

После консолидации к данным применяются правила стандартизации и очистки. Таким образом, у пользователей появляется согласованный доступ к данным, не зависящий от источника. После очистки и консолидации данные хранятся в реляционной СУБД. Часто используется та же технология, что и в учетных системах. Данные хранятся в реляционном формате, позволяя эффективно использовать историю транзакций и время от времени менять дизайн. Помимо истории транзакций Хранилище данных также содержит изменения, вносимые в структуру.

Основные компоненты системы

ФУНКЦИОНАЛЬНЫЕ ВОЗМОЖНОСТИ СИСТЕМЫ FORWARD DWH

Предметная ориентация

В отличие от БД в традиционных операционных системах, где данные подобраны в соответствии с конкретными приложениями, информация в Forward DWH ориентирована на задачи поддержки принятия решений. Для системы поддержки принятия решений требуются "исторические" данные - наработки за период, факты продаж за определенный период, дебиторская задолженность и т.д.. Хорошо спроектированные структуры данных отражают развитие всех направлений бизнеса компании во времени.

Поскольку в Forward DWH объекты данных выходят на первый план, то особые требования предъявляются к структурам БД, используемым для создания информационных хранилищ. Принципиальным отличием структуры баз операционных баз данных и Forward DWH систем является то, что во втором случае в них помещается только та информация, которая может быть полезной для работы систем поддержки принятия решений.

Интегрированность данных

Данные в информационное хранилище поступают из различных источников, где они могут иметь разные имена, атрибуты, единицы измерения и способы кодировки. После загрузки в Forward DWH данные очищаются от индивидуальных признаков, т. е. как бы приводятся к общему знаменателю. С этого момента они представляются пользователю в виде единого информационного пространства.

Инвариантность во времени

В операционных системах истинность данных гарантирована только в момент чтения, поскольку уже в следующее мгновение они могут измениться в результате очередной транзакции. Важным отличием построения отчетности в Forward DWH от построения в операционной системе является то, что данные в них сохраняют свою истинность в любой момент процесса чтения. Временная инвариантность данных в Forward DWH достигается за счет фиксации атрибутов времени в привязки к поступающим в систему данным. В результате записи в Forward DWH представляют собой слепки данных, сделанные в определенные отрезки времени.

Минимизация избыточности информации

Поскольку информация в Forward DWH загружается из операционных систем, возникает вопрос, не ведет ли это к чрезмерной избыточности данных? На самом деле избыточность минимальна (около 1%!), что объясняется следующими причинами:

• при загрузке информации из операционных cистем в Forward DWH данные фильтруются. Многие из них не попадают в хранилище, поскольку лишены смысла с точки зрения использования в системах поддержки принятия решений;
• в базе данной хранилища находится итоговая информация, которая в базах данных операционных систем вообще отсутствует;
• во время загрузки в хранилище данные сортируются, очищаются от ненужной информации и приводят к единому формату.