"Яхонт-BI" – интеллектуальная программная ETL-платформа для выполнения обработки информации и формирования структурированных хранилищ данных.
Увеличение объемов ежедневно поступающей информации из внешних источников информации, необходимость применения единых средств кодирования и классификации требуют применения особых, специализированных решений – серверных ETL платформ, адаптируемых к индивидуальным потребностям заказчиков. Базы и банки данных, неструктурированные текстовые массивы – ландшафт, в котором приходится функционировать современным прикладным информационным системам.

Непрерывное выполнение проектов по интеграции, объединению информации нацелено не только на организацию сквозных бизнес-процессов, но и на обеспечение единых форматов накопления, кодирования и классификации всех видов накапливаемых данных. Такое кодирование и классификация при наполнении корпоративных хранилищ являются ключевым фактором, определяющим эффективность использования ресурсов компании и оправданность новых затрат в условиях эксплуатации множества информационных систем и баз данных.
В комплексе "Яхонт-BI" Компания "НОРСИ-ТРАНС" предлагает новый, инновационный подход к построению интеграционных ETL-платформ. Варианты применения "Яхонт-BI" позволяют использовать его в основе следующих видов решений по интеллектуальной ETL-обработке данных:
- Персональные инструментальные решения и внедрение «под ключ»;
- Корпоративное Интранет-облако;
- On-Demand SaaS Интернет-платформа;
- Интеллектуальная OSS-платформа оператора связи.
Основные конструктивные особенности:
- Специальный серверный кроссплатформенный ETL-движок, использующий все возможности современных многоядерных процессоров и многопроцессорных серверов;
- Возможность параллельной обработки одного массива данных одновременно на различных серверах;
- Гибкие возможности по организации структуры подключенных вычислительных мощностей (координаторы, узлы управления) для распределения задач по обработке;
- Пользователь подключается к вычислительным ресурсам через тонкий веб-2.0 клиент, предоставляющий возможности по:
- интерактивному конструированию схем по сбору, очистке, нормализации и загрузке данных;
- формированию структуры вычислительных ресурсов, динамическому подключению дополнительных мощностей;
- планированию выполнения сформированных ETL-задач на подключенных вычислительных мощностях.
Конструирование ETL-схемы обработки данных.

Задание параметров обработки для операции.

Обобщенная структурная схема построения интеллектуальной программной платформы "Яхонт-BI"

Основные составляющие части программного обеспечения "Яхонт-BI":
- Узлы, выполняющих ETL-обработку данных (специальный С++ движок параллельной обработки данных с полным использованием возможностей многоядерных процессоров и управляющая часть);
- Координаторы, на которых регистрируются узлы выполнения обработки (выполняют распределение направленных координатору задач по очистке данных на подключенные узлы, на которых запускаются соответствующие движки), интерфейс подключения и работы с координатором – HTTP REST;
- Узлы управления: выполняют накопление создаваемых оператором схем по ETL-очистке данных и хранят информацию о подключенных к ним координаторах, пользователях и т.д., обеспечивают работу веб-2.0 РМО пользователей;
- Веб-2.0 РМО пользователей, посредством которых создаются схемы по очистке данных, нормализации и т.д., созданные и сохраненные схемы обработки оператор отправляет на выполнение на выбранные координаторы, указав при этом, на каких подключенных к каждому координатору узлах должна выполняться обработка, формирует расписание и ставит на выполнение ETL-задачи по расписанию и т.д., выполняет контроль за выполнением запущенных ETL-задач обработки, выполняет мониторинг всех вычислительных средств и программного обеспечения.
Корпоративное Интернет-облако
При построении "частных" Интранет облачных ETL-сред "Яхонт-BI" позволяет:- Обеспечить совместное использование ресурсов в центре обработки данных;
- Использовать меньшее количество физического оборудования за счет 100% утилизации существующего;
- На порядки повысить эффективность обработки данных и снизить время ETL-операций, снять нагрузку с информационных систем, каждая из которых вынуждена самостоятельно выполнять очистку и загрузку данных (как правило, на основе медленных операций СУБД);
- Сократить издержки на закупки лицензий других ETL-инструментов для различных ИС, выполнив централизацию всех соответствующих задач средствами "Яхонт-BI".
On-Demand SaaS интернет-платформа
При построении On-Demand SaaS Интернет-платформ "Яхонт-BI" позволяет:- Полностью исключить затраты на закупку серверного оборудования и дорогостоящих лицензий по приобретению коробочных ETL-продуктов за счет покупки услуги по подключению к Интернет-SaaS платформе "Яхонт-BI";
- Организациям перейти на покупку услуг по ETL-обработке данных, оплачиваемых лишь при необходимости по модели SaaS;
- Масштабировать задействованные в обработке мощности за счет возможностей "Яхонт-BI" по функционированию на основе арендуемых виртуальных машин у PaaS-провайдеров услуг, таким образом, Заказчик оплачивает только реальные потребности по очистке, нормализации и обработке своих данных, что дает существенную экономию в течение всего срока эксплуатации собственных баз данных и информационных систем заказчика.
Интеллектуальная OSS-платформа оператора связи
При построении интеллектуальных OSS-платформ "Яхонт-BI" позволяет:- Решать в реальном времени (за счет массовой параллельности обрабатываемых данных на серверных вычислительных мощностях) задачи по первичному декодированию (в комплекс встроен ряд декодеров "сырых" CDR-файлов), очистке и нормализации CDR-данных;
- Выполнять обработку полученных данных в соответствии с задаваемыми схемами преобразования, выполнять передачу информации в различные информационные системы и базы данных оператора (в т.ч. ввода их в prepaid, биллинговые системы, а также FMS-ситемы и Revenue Assuarance);
- Обеспечивать централизованное управление и мониторинг всех потоков новой поступающей информации и ее передачи в ИС оператора, выделение ошибочного поведения коммутационного оборудования сети связи.
Персональные инструментальные решения и внедрения "под ключ"
Комплекс "Яхонт-BI" также предлагается в качестве типового "коробочного" продукта в виде инсталляционных комплектов (ОС Linux/Windows), которые можно развернуть и запустить в работу самостоятельно силами заказчика и сконфигурировать в соответствии с требующейся производительностью ETL-операций. В целом комплекс предоставляет следующие возможности по ETL-очистке и нормализации разнородной информации:- Полная кроссплатформенность всех составляющих "Яхонт-BI" программных компонентов с максимальной утилизацией (загрузкой) вычислительных мощностей;
- Десятки операций по обработке, очистке и нормализации;
- Специальные операции по очистке данных;
- Подключение к сетевым файловым хранилищам, серверам БД (источники, хранилища-потребители данных);
- Кэширование справочников, используемых при обработке данных в ОЗУ, что позволяет проводить соответствующую обработку "на лету" без дополнительных обращений к БД;
- Линейное масштабирование производительности посредством добавления вычислительных мощностей, задействованных в обработке данных;
- Выигрыш по скорости обработки данных на несколько порядков (сотни раз) по сравнению с традиционными ETL-инструментами за счет примененных технологий in-memory обработки;
- За счет использованных подходов взаимодействия с координатором, узлом управления (HTTP REST API) – создание специализированных подключаемых к вычислительной среде ETL-обработки данных "Яхонт-BI" внешних комплексов.