«Яхонт-BI» – интеллектуальная программная ETL-платформа для выполнения обработки информации и формирования структурированных хранилищ данных.

Увеличение объемов ежедневно поступающей информации из внешних источников информации, необходимость применения единых средств кодирования и классификации требуют применения особых, специализированных решений – серверных ETL платформ, адаптируемых к индивидуальным потребностям заказчиков. Базы и банки данных, неструктурированные текстовые массивы – ландшафт, в котором приходится функционировать современным прикладным информационным системам.

Непрерывное выполнение проектов по интеграции, объединению информации нацелено не только на организацию сквозных бизнес-процессов, но и на обеспечение единых форматов накопления, кодирования и классификации всех видов накапливаемых данных. Такое кодирование и классификация при наполнении корпоративных хранилищ являются ключевым фактором, определяющим эффективность использования ресурсов компании и оправданность новых затрат в условиях эксплуатации множества информационных систем и баз данных. В комплексе «Яхонт-BI» Компания «НОРСИ-ТРАНС» предлагает новый, инновационный подход к построению интеграционных ETL-платформ. Варианты применения «Яхонт-BI» позволяют использовать его в основе следующих видов решений по интеллектуальной ETL-обработке данных:

Основные конструктивные особенности:

Специальный серверный кроссплатформенный ETL-движок, использующий все возможности современных многоядерных процессоров и многопроцессорных серверов;
Возможность параллельной обработки одного массива данных одновременно на различных серверах;
Гибкие возможности по организации структуры подключенных вычислительных мощностей (координаторы, узлы управления) для распределения задач по обработке;
Пользователь подключается к вычислительным ресурсам через тонкий веб-2.0 клиент, предоставляющий возможности по:
1. интерактивному конструированию схем по сбору, очистке, нормализации и загрузке данных;
2. формированию структуры вычислительных ресурсов, динамическому подключению дополнительных мощностей;
3. планированию выполнения сформированных ETL-задач на подключенных вычислительных мощностях.

*Примеры внешнего вида веб-2.0 РМО при конструировании схемы обработки данных приведены на рисунках ниже:

Конструирование ETL-схемы обработки данных.

Задание параметров обработки для операции.

Обобщенная структурная схема построения интеллектуальной программной платформы «Яхонт-BI»

Основные составляющие части программного обеспечения «Яхонт-BI»:

Узлы, выполняющих ETL-обработку данных (специальный С++ движок параллельной обработки данных с полным использованием возможностей многоядерных процессоров и управляющая часть);
Координаторы, на которых регистрируются узлы выполнения обработки (выполняют распределение направленных координатору задач по очистке данных на подключенные узлы, на которых запускаются соответствующие движки), интерфейс подключения и работы с координатором – HTTP REST;
Узлы управления: выполняют накопление создаваемых оператором схем по ETL-очистке данных и хранят информацию о подключенных к ним координаторах, пользователях и т.д., обеспечивают работу веб-2.0 РМО пользователей;
Веб-2.0 РМО пользователей, посредством которых создаются схемы по очистке данных, нормализации и т.д., созданные и сохраненные схемы обработки оператор отправляет на выполнение на выбранные координаторы, указав при этом, на каких подключенных к каждому координатору узлах должна выполняться обработка, формирует расписание и ставит на выполнение ETL-задачи по расписанию и т.д., выполняет контроль за выполнением запущенных ETL-задач обработки, выполняет мониторинг всех вычислительных средств и программного обеспечения.

Корпоративное Интернет-облако

При построении «частных» Интранет облачных ETL-сред «Яхонт-BI» позволяет:

Обеспечить совместное использование ресурсов в центре обработки данных;
Использовать меньшее количество физического оборудования за счет 100% утилизации существующего;
На порядки повысить эффективность обработки данных и снизить время ETL-операций, снять нагрузку с информационных систем, каждая из которых вынуждена самостоятельно выполнять очистку и загрузку данных (как правило, на основе медленных операций СУБД);
Сократить издержки на закупки лицензий других ETL-инструментов для различных ИС, выполнив централизацию всех соответствующих задач средствами «Яхонт-BI».

On-Demand SaaS интернет-платформа

При построении On-Demand SaaS Интернет-платформ «Яхонт-BI» позволяет:

Полностью исключить затраты на закупку серверного оборудования и дорогостоящих лицензий по приобретению коробочных ETL-продуктов за счет покупки услуги по подключению к Интернет-SaaS платформе «Яхонт-BI»;
Организациям перейти на покупку услуг по ETL-обработке данных, оплачиваемых лишь при необходимости по модели SaaS;
Масштабировать задействованные в обработке мощности за счет возможностей «Яхонт-BI» по функционированию на основе арендуемых виртуальных машин у PaaS-провайдеров услуг, таким образом, Заказчик оплачивает только реальные потребности по очистке, нормализации и обработке своих данных, что дает существенную экономию в течение всего срока эксплуатации собственных баз данных и информационных систем заказчика.

Интеллектуальная OSS-платформа оператора связи

При построении интеллектуальных OSS-платформ «Яхонт-BI» позволяет:

Решать в реальном времени (за счет массовой параллельности обрабатываемых данных на серверных вычислительных мощностях) задачи по первичному декодированию (в комплекс встроен ряд декодеров «сырых» CDR-файлов), очистке и нормализации CDR-данных;
Выполнять обработку полученных данных в соответствии с задаваемыми схемами преобразования, выполнять передачу информации в различные информационные системы и базы данных оператора (в т.ч. ввода их в prepaid, биллинговые системы, а также FMS-ситемы и Revenue Assuarance);
Обеспечивать централизованное управление и мониторинг всех потоков новой поступающей информации и ее передачи в ИС оператора, выделение ошибочного поведения коммутационного оборудования сети связи.

Персональные инструментальные решения и внедрения «под ключ»

Комплекс «Яхонт-BI» также предлагается в качестве типового «коробочного» продукта в виде инсталляционных комплектов (ОС Linux/Windows), которые можно развернуть и запустить в работу самостоятельно силами заказчика и сконфигурировать в соответствии с требующейся производительностью ETL-операций. В целом комплекс предоставляет следующие возможности по ETL-очистке и нормализации разнородной информации:

Полная кроссплатформенность всех составляющих «Яхонт-BI» программных компонентов с максимальной утилизацией (загрузкой) вычислительных мощностей;
Десятки операций по обработке, очистке и нормализации;
Специальные операции по очистке данных;
Подключение к сетевым файловым хранилищам, серверам БД (источники, хранилища-потребители данных);
Кэширование справочников, используемых при обработке данных в ОЗУ, что позволяет проводить соответствующую обработку «на лету» без дополнительных обращений к БД;
Линейное масштабирование производительности посредством добавления вычислительных мощностей, задействованных в обработке данных;
Выигрыш по скорости обработки данных на несколько порядков (сотни раз) по сравнению с традиционными ETL-инструментами за счет примененных технологий in-memory обработки;
За счет использованных подходов взаимодействия с координатором, узлом управления (HTTP REST API) – создание специализированных подключаемых к вычислительной среде ETL-обработки данных «Яхонт-BI» внешних комплексов.

Листовка «Яхонт-BI» (pdf)