Применение технологий Big Data, Обоснование выбора средств разработки проекта - Технологии больших данных: анализ и выбор решения для реализации проекта

Обоснование выбора средств разработки проекта

Для реализации корпоративной информационной системы "Бюджетное планирование и отчетность" в исследуемой группе компаний основной задачей было определить наиболее подходящую систему бюджетирования с возможностью реализации на платформе обработки Big Data. На основе представленной в пункте 2.2 таблице критериев составлена таблица всех рассмотренных в данной работе технологий обработки Больших данных в процентном соотношении к сформированным требованиям и сложности реализации. Процент, указанный в таблице ниже означает возможность исполнения заданного требования данными средствами разработки - исследуемой технологией.

Таблица 3 - Соотношение технологий Big Data с требованиями проекта "Бюджетное планирование и отчетность"

Наименование требования

Map-

Reduce

Hadoop

NoSQL

R

Sap HANA

Oracle

IBM

Уровни обработки данных

50%

50%

65%

30%

95%

95%

90%

Характеристики архитектуры системы

60%

60%

75%

50%

100%

100%

100%

Работа на серверах

100%

100%

100%

80%

100%

100%

100%

Количество моделей данных

40%

40%

65%

20%

100%

90%

90%

Временной параметр хранения

70%

70%

80%

50%

100%

95%

90%

Формат ввода данных

80%

80%

90%

40%

90%

90%

90%

Долгосрочность хранения

70%

70%

90%

10%

100%

100%

100%

Производительность

80%

75%

60%

60%

95%

95%

95%

Полномочия пользователей

50%

40%

50%

20%

90%

80%

80%

Мониторинг процессов бюджетирования

40%

40%

50%

20%

90%

90%

80%

Наименование требования

Map-

Reduce

Hadoop

NoSQL

R

Sap HANA

Oracle

IBM

Хранилище данных

90%

90%

90%

10%

100%

100%

100%

Наименование требования

Map-

Reduce

Hadoop

NoSQL

R

Sap HANA

Oracle

IBM

Мультивалютность

70%

70%

90%

10%

100%

100%

100%

Совместимость с иным ПО

70%

70%

60%

60%

90%

90%

90%

Версионность

50%

40%

50%

20%

95%

85%

85%

Среди исследованных технологий и аппаратных средств имеются три основных поставщика систем бюджетирования:

IBM Cognos TM1,

Oracle EPM (Hyperion),

SAP Business Planning and Consolidation.

Разработка полноценной системы управления бюджетом с хранилищем данных на основе технологий обработки Больших данных - Hadoop, MapReduce, NoSQL или с помощью языка R - подразумевает создание проекта с нуля: разработка и хранилища данных в том числе. В силу нецелесообразности выбора такого пути реализации, его дороговизны и большого срока разработки и внедрения, компанией-заказчиком было акцентировано внимание на предпочтение аппаратных средств реализации данного проекта.

В силу того, что одно из основных требований к реализации отчетности в данной системе бюджетирования - интеграция с MS Excel Office, необходимо было выбрать между двумя наиболее популярными аппаратными комплексами - Oracle Hyperion и SAP BPC.

Был рассмотрен комплекс, Oracle Exalytics, который спроектирован с высокой степенью оптимизации и включает в себя лидирующую в отрасли платформу для бизнес-анализа Oracle BI Foundation Suite и реляционную СУБД с обработкой данных в оперативной памяти in-memory, оптимизированную для аналитических задач [33].

Такая архитектура позволяет Oracle Exalytics обеспечивать максимально возможную производительность и масштабируемость при упрощенном развертывании системы и достаточно низкой стоимости эксплуатации. Oracle TimesTen In-Memory Database for Exalytics является новой версией в отрасли реляционной СУБД с обработкой данных в оперативной памяти, специально предназначенной для решения аналитических задач. Новая поддержка агрегационных OLAP-запросов, встроенные аналитические функции и сжатие по столбцам данных позволяют комплексу обеспечивать практически мгновенный отклик на запросы к большим наборам данных.

В настоящее время компания Oracle поставляет более 80 предварительно настроенных аналитических приложений и инструментов для управления эффективностью предприятия, которые могут работать на Oracle Exalytics без каких-либо дополнительных настроек или изменений [34]. В том числе и приложение Oracle Hyperion Planning для интегрированного бизнес-планирования, бюджетирования и прогнозирования с использованием более детальных данных и возможностью масштабирования для поддержки большего числа пользователей с более коротким и точным циклом планирования.

Решение по системам бюджетирования от компании SAP имеет следующие основные преимущества с учетом установки платформы SAP BPC на хранилище Business Warehouse с использованием SAP HANA в качестве основной базы данных:

Высока производительность пользователей благодаря интуитивно понятному интерфейсу, а также знакомые офисные приложения способствуют более рациональному использованию рабочего времени - непосредственная интеграция с пакетов MS Office.

"бесшовная" интеграция с классическими бухгалтерскими приложениями (Microsoft Office, Adobe) [35]. Знакомый интерфейс упрощает пользовательское освоение системы, минимизирует требования к обучению персонала и повышает уверенность руководства компании в том, что их сотрудники будут эффективно работать с начала внедрения системы;

Хранилище данных решения SAP BW on HANA позволяет работать с данными из единого хранилища, которое может быть интегрировано как с транзакционными системами SAP, так и с системами других поставщиков [36]. База данных также позволяет использовать информацию в реальном времени, предоставляя доступ к ним через гибкую отчетность в среде Excel и Web. При изменении данных, отчеты и планы также обновляются в режиме реального времени. Поскольку сохраняются и консолидируются лишь измененные данные, обновление данных происходит наиболее оперативно.

База данных HANA поддерживает новое поколение приложений, называемых "акселераторами программного комплекса", которые ускоряют существующие приложения SAP Business Suite с помощью параллельного подхода, в рамках которого SAP HANA разворачивается вместе с SAP-приложениями. Данные акселераторы используют базу HANA в качестве вспомогательной базы данных, сохраняя существующий пользовательский интерфейс приложений. Таблицы базы данных, которые требуются для акселератора, копируются в базу данных SAP HANA. Доступ к данным приложения осуществляется через скопированные таблицы в базе HANA, а не через основную базу данных на сервере приложений.

При развертывании хранилища SAP Business Warehouse на платформе HANA объекты в базе данных, которые выступают в роли поставщиков данных в определении запроса, выполняются в базы данных HANA, чтобы воспользоваться преимуществами технологии "in-memory" и функциональностью машинных вычислений. Этот сценарий включает также приложение SAP BusinessObjects Planning and Consolidation (версию для SAP NetWeaver), которое используется для реализации систем управления бюджетом [37].

Реализации проекта "Бюджетное планирование и отчетность" для организации-заказчика и тиражирования системы в дочерних организациях было выбрано аппаратное решение SAP BPC 10.1 на платформе SAP BW HANA вследствие наиболее полного соответствия требованиям проекта и необходимости разработки двух моделей данных и интеграции с уже внедренными SAP-системами в группе компаний.

Программный комплекс SAP BPC 10.1 имеет возможность реализации двух моделей (кубов) данных: Embedded и Classic. В Таблице 2 приведены характеристики и преимущества обеих моделей:

Таблица 2 - Анализ возможностей моделей данных SAP BPC 10.1

Функциональность

Модель Embedded

Модель Classic

Концепция блокировок срезов данных

Высокие трудозатраты при разработке.

Дополнительные возможности модели можно отключить.

Высокая целостность данных, использование буфера планирования, результатов промежуточных расчетов без сохранения в базу данных.

Среднее удобство работы пользователей: усложнение форм и отчетов вследствие большого выбора параметров при запуске. Риски возникновения совместных блокировок.

Минимальные трудозатраты при разработке.

Невозможность отключения незадействованных возможностей модели. Средняя целостность данных. Возможно неконсистентность при одновременной работе пользователей (решается путем организации циклов согласования).

Высокий уровень работы пользователей. Простой запуск отчетности, отсутствие перекрестных блокировок.

Организация модели хранения

Выполняются средствами SAP BW.

Средние трудозатраты при разработке. Высокая целостность и производительность данных. Возможность гибкой настройки модели позволяет упростить интерфейсы пользователей.

Настройки выполняются автоматически на основании платформы BPC.

Трудозатраты средние. Преимущество - стандартизация решений, возможность создания изолированных сред данных.

Высокая целостность и производительность данных.

Неудобство работы пользователей с шибкой отчетностью.

Функциональность

Модель Embedded

Модель Classic

Организация расчетов данных

Использование языков FOX и ABAP.

Средние трудозатраты, удобство проектирования FOX, использования переменных ABAP, трудности задействования иерархий, сложности с организацией расчетов на уровне FrontEnd.

Высокая целостность и производительность данных.

Использование языков ScriptLogic, VBA, ABAP.

Средние трудозатраты. Удобство построения отчетов на уровне FrontEnd (Excel), эффективная работа с иерархиями, использование ABAP. Дополнительная возможности - визуализация расчетов с помощью Excel. Целостность данных - средняя. Производительность повышается за счет использовании платформы HANA.

Интерфейс приложения

Настройка EPM (MS Excel). Средние трудозатраты. Обширные дополнительные возможности - использование иных интерфейсов (BEx). Целостность, производительность, удобство для пользователей соизмеримы.

Концепция системы полномочий

Средняя трудоемкость системной настройки. Гибкая настройка объектов. Дополнительные возможности - загрузка данных из фалов, матричная система доступа, Высокая целостность данных - стандарт SAP BW. Высокая производительность и удобство работы пользователей.

Низкая трудоемкость стандартной настройки. Техническое ограничение на количество присваиваемых профилей доступа. Дополнительные возможности - загрузка из плоских файлов. Целостность данных - средняя, могут быть сложности при организации альтернативного доступа к данным. Производительность и удобство работы пользователей высокие.

Средства интеграции

Средние трудозатраты, доступность всех возможностей ETL, высокая целостность и производительность (стандарт SAP BW), низкий уровень работы пользователей, поскольку интеграция предназначена для автоматизации фоновых процессов.

Трудозатраты средние, доступны использование ETL, пакетов DataManager, локальных разработок ABAP. Целостность и производительность высокие (стандарт SAP BW), средний уровень работы пользователя - не оптимальность надстройки DataManager.

Таблица 2 была составлена по результатам опроса экспертов компаний SAPRUN и Deloitte Touche Tohmatsu. При анализе данных таблицы, можно сделать вывод, что имеется некоторое преимущество стандартной модели, в первую очередь связанное с надежностью решения и рисками, которые могут повлиять на сроки проекта. Для минимизации проблем в обязательном порядке предполагается включать экспертизу SAP в рамки проекта.

Помимо вышеуказанных сложностей, при реализации форм ввода в модели Embedded возникает проблема с механизмом блокирования данных при одновременной работе нескольких пользователей с одним срезом данных. При большом количестве пользователей это может представлять проблемы и сложности для группы технической поддержки проекта (например, дополнительные работы по снятию блокировок), как следствие - торможение бюджетной кампании. Для решения проблемы совместных блокировок, экспертами компаний предлагается пересмотреть подход к организации процесса формирования бюджетных данных, что может повлечь непонимание и/или отторжение со стороны функционального заказчика, поскольку уже запущен ряд информационных систем с устоявшимся подходом к работе с бюджетными формами.

К преимуществам Embedded модели можно отнести ее перспективность с точки зрения развития и намерения компании SAP развивать на платформе HANA решения по планированию. Однако на текущий момент в ближайшей перспективе эти возможности могут быть не задействованы в проекте. В силу наличия технологических и функциональных рисков, связанных с Embedded моделью рассмотрен вопрос о гибридном внедрении. Функционал ввода данных и отчетов будет реализован на стандартной модели - Classic, при этом отдельные функции, связанные с выполнением расчетов, формированием аналитической отчетности, интеграции, расчетом себестоимости будут реализованы с применением Embedded. Технические особенности о реализуемых компонентах с применением данной модели требуют уточнения на этапе прототипа проекта. Окончательное решение об использовании возможностей модели Embedded будет принято по итогам оценки прототипа.

Похожие статьи




Применение технологий Big Data, Обоснование выбора средств разработки проекта - Технологии больших данных: анализ и выбор решения для реализации проекта

Предыдущая | Следующая