Яхонт-BI

Непрерывное выполнение проектов по интеграции, объединению информации нацелено не только на организацию сквозных бизнес-процессов, но и на обеспечение единых форматов накопления, кодирования и классификации всех видов накапливаемых данных. Такое кодирование и классификация при наполнении корпоративных хранилищ являются ключевым фактором, определяющим эффективность использования ресурсов компании и оправданность новых затрат в условиях эксплуатации множества информационных систем и баз данных.

В комплексе «Яхонт-BI» Компания «НОРСИ-ТРАНС» предлагает новый, инновационный подход к построению интеграционных ETL-платформ. Варианты применения «Яхонт-BI» позволяют использовать его в основе следующих видов решений по интеллектуальной ETL-обработке данных:

• Персональные инструментальные решения и внедрение «под ключ»;
• Корпоративное Интранет-облако;
• On-Demand SaaS Интернет-платформа;
• Интеллектуальная OSS-платформа оператора связи.

Основные конструктивные особенности:

• Специальный серверный кроссплатформенный ETL-движок, использующий все возможности современных многоядерных процессоров и многопроцессорных серверов;
• Возможность параллельной обработки одного массива данных одновременно на различных серверах;
• Гибкие возможности по организации структуры подключенных вычислительных мощностей (координаторы, узлы управления) для распределения задач по обработке;
• Пользователь подключается к вычислительным ресурсам через тонкий веб-2.0 клиент, предоставляющий возможности по:
  1. интерактивному конструированию схем по сбору, очистке, нормализации и загрузке данных;
  2. формированию структуры вычислительных ресурсов, динамическому подключению дополнительных мощностей;
  3. планированию выполнения сформированных ETL-задач на подключенных вычислительных мощностях.

*Примеры внешнего вида веб-2.0 РМО при конструировании схемы обработки данных приведены на рисунках ниже:

Конструирование ETL-схемы обработки данных.

 Задание параметров обработки для операции.

Обобщенная структурная схема построения интеллектуальной программной платформы «Яхонт-BI»

Основные составляющие части программного обеспечения «Яхонт-BI»:

• Узлы, выполняющих ETL-обработку данных (специальный С++ движок параллельной обработки данных с полным использованием возможностей многоядерных процессоров и управляющая часть);
• Координаторы, на которых регистрируются узлы выполнения обработки (выполняют распределение направленных координатору задач по очистке данных на подключенные узлы, на которых запускаются соответствующие движки), интерфейс подключения и работы с координатором – HTTP REST;
• Узлы управления: выполняют накопление создаваемых оператором схем по ETL-очистке данных и хранят информацию о подключенных к ним координаторах, пользователях и т.д., обеспечивают работу веб-2.0 РМО пользователей;
• Веб-2.0 РМО пользователей, посредством которых создаются схемы по очистке данных, нормализации и т.д., созданные и сохраненные схемы обработки оператор отправляет на выполнение на выбранные координаторы, указав при этом, на каких подключенных к каждому координатору узлах должна выполняться обработка, формирует расписание и ставит на выполнение ETL-задачи по расписанию и т.д., выполняет контроль за выполнением запущенных ETL-задач обработки, выполняет мониторинг всех вычислительных средств и программного обеспечения.

Корпоративное Интернет-облако

При построении «частных» Интранет облачных ETL-сред «Яхонт-BI» позволяет:

• Обеспечить совместное использование ресурсов в центре обработки данных;
• Использовать меньшее количество физического оборудования за счет 100% утилизации существующего;
• На порядки повысить эффективность обработки данных и снизить время ETL-операций, снять нагрузку с информационных систем, каждая из которых вынуждена самостоятельно выполнять очистку и загрузку данных (как правило, на основе медленных операций СУБД);
• Сократить издержки на закупки лицензий других ETL-инструментов для различных ИС, выполнив централизацию всех соответствующих задач средствами «Яхонт-BI».

On-Demand SaaS интернет-платформа

При построении On-Demand SaaS Интернет-платформ «Яхонт-BI» позволяет:

• Полностью исключить затраты на закупку серверного оборудования и дорогостоящих лицензий по приобретению коробочных ETL-продуктов за счет покупки услуги по подключению к Интернет-SaaS платформе «Яхонт-BI»;
• Организациям перейти на покупку услуг по ETL-обработке данных, оплачиваемых лишь при необходимости по модели SaaS;
• Масштабировать задействованные в обработке мощности за счет возможностей «Яхонт-BI» по функционированию на основе арендуемых виртуальных машин у PaaS-провайдеров услуг, таким образом, Заказчик оплачивает только реальные потребности по очистке, нормализации и обработке своих данных, что дает существенную экономию в течение всего срока эксплуатации собственных баз данных и информационных систем заказчика.

Интеллектуальная OSS-платформа оператора связи

При построении интеллектуальных OSS-платформ «Яхонт-BI» позволяет:

• Решать в реальном времени (за счет массовой параллельности обрабатываемых данных на серверных вычислительных мощностях) задачи по первичному декодированию (в комплекс встроен ряд декодеров «сырых» CDR-файлов), очистке и нормализации CDR-данных;
• Выполнять обработку полученных данных в соответствии с задаваемыми схемами преобразования, выполнять передачу информации в различные информационные системы и базы данных оператора (в т.ч. ввода их в prepaid, биллинговые системы, а также FMS-ситемы и Revenue Assuarance);
• Обеспечивать централизованное управление и мониторинг всех потоков новой поступающей информации и ее передачи в ИС оператора, выделение ошибочного поведения коммутационного оборудования сети связи.

Персональные инструментальные решения и внедрения «под ключ»

Комплекс «Яхонт-BI» также предлагается в качестве типового «коробочного» продукта в виде инсталляционных комплектов (ОС Linux/Windows), которые можно развернуть и запустить в работу самостоятельно силами заказчика и сконфигурировать в соответствии с требующейся производительностью ETL-операций.

В целом комплекс предоставляет следующие возможности по ETL-очистке и нормализации разнородной информации:

• Полная кроссплатформенность всех составляющих «Яхонт-BI» программных компонентов с максимальной утилизацией (загрузкой) вычислительных мощностей;
• Десятки операций по обработке, очистке и нормализации;
• Специальные операции по очистке данных;
• Подключение к сетевым файловым хранилищам, серверам БД (источники, хранилища-потребители данных);
• Кэширование справочников, используемых при обработке данных в ОЗУ, что позволяет проводить соответствующую обработку «на лету» без дополнительных обращений к БД;
• Линейное масштабирование производительности посредством добавления вычислительных мощностей, задействованных в обработке данных;
• Выигрыш по скорости обработки данных на несколько порядков (сотни раз) по сравнению с традиционными ETL-инструментами за счет примененных технологий in-memory обработки;
• За счет использованных подходов взаимодействия с координатором, узлом управления (HTTP REST API) – создание специализированных подключаемых к вычислительной среде ETL-обработки данных «Яхонт-BI» внешних комплексов.

Листовка «Яхонт-BI» (pdf)