Автоматизация загрузки - Разработка объектов Хранилища

Уровень автоматизации может быть совершенно различным. Начиная с ручного запуска всех процессов и заканчивая полностью автоматической системой, которая сама распознает что, в каком порядке и когда запускать, ожидает пока остальные части не завершат свою работу и может общаться с супервизорами, сообщая им о критических ошибках и статусах работ.

В данном случае полная автоматизация не является необходимой и будет использован средний уровень автоматизации. То есть все ежедневные запуски необходимых этапов будут проводиться автоматически, но обработка всех возникших ошибок должна проводиться вручную.

Определение новых записей фактов

Для таблицы фактов и для всех таблиц OLTP системы, из которых берутся данные для таблицы фактов, существует поле с датой создания записи.

Загрузка новых фактов в хранилище происходит инкрементально, то есть добавляются только новые записи, а старые остаются неизменными. Процесс проверки того, является ли факт новым, происходит по полю даты создания, то есть ежедневно загружаются только записи, созданные в предыдущий день.

Подобный способ загрузки позволяет исключить дублирование записей и ускорить процесс загрузки.

Определение новых элементов справочников и контроль изменений

Для справочников поля с датой, по которому можно было бы сказать когда была создана новая запись нет, и к тому же данные в справочниках пользователей и услуг, в отличие от данных в факте, могут меняться - клиент может поменять адрес проживания или фамилию, а услуга может стать неактивной.

Это означает, что данные в этих таблицах должны ежедневно сравниваться с данными в OLTP системах, новые записи должны быть добавлены, а измененные записи отслежены.

Контроль изменений в данных справочников происходит с помощью таблицы, в которой хранятся все изменения всех полей справочников. Таблица выглядит следующим образом:

таблица изменений

Рисунок 8. Таблица изменений

В данной таблице хранятся поля с названием измерения, в котором были изменения, поля, старого значения, нового значений и даты, когда было внесено изменение. При необходимости все эти данные могут быть просмотрены бизнес-пользователем.

В тот момент, когда процесс обнаруживает, что какое-либо поле в данных справочников было изменено, он записывает все изменения в данную таблицу и меняет сами значения в справочниках.

Похожие статьи




Автоматизация загрузки - Разработка объектов Хранилища

Предыдущая | Следующая