Автоматизация загрузки - Разработка объектов Хранилища
Уровень автоматизации может быть совершенно различным. Начиная с ручного запуска всех процессов и заканчивая полностью автоматической системой, которая сама распознает что, в каком порядке и когда запускать, ожидает пока остальные части не завершат свою работу и может общаться с супервизорами, сообщая им о критических ошибках и статусах работ.
В данном случае полная автоматизация не является необходимой и будет использован средний уровень автоматизации. То есть все ежедневные запуски необходимых этапов будут проводиться автоматически, но обработка всех возникших ошибок должна проводиться вручную.
Определение новых записей фактов
Для таблицы фактов и для всех таблиц OLTP системы, из которых берутся данные для таблицы фактов, существует поле с датой создания записи.
Загрузка новых фактов в хранилище происходит инкрементально, то есть добавляются только новые записи, а старые остаются неизменными. Процесс проверки того, является ли факт новым, происходит по полю даты создания, то есть ежедневно загружаются только записи, созданные в предыдущий день.
Подобный способ загрузки позволяет исключить дублирование записей и ускорить процесс загрузки.
Определение новых элементов справочников и контроль изменений
Для справочников поля с датой, по которому можно было бы сказать когда была создана новая запись нет, и к тому же данные в справочниках пользователей и услуг, в отличие от данных в факте, могут меняться - клиент может поменять адрес проживания или фамилию, а услуга может стать неактивной.
Это означает, что данные в этих таблицах должны ежедневно сравниваться с данными в OLTP системах, новые записи должны быть добавлены, а измененные записи отслежены.
Контроль изменений в данных справочников происходит с помощью таблицы, в которой хранятся все изменения всех полей справочников. Таблица выглядит следующим образом:
Рисунок 8. Таблица изменений
В данной таблице хранятся поля с названием измерения, в котором были изменения, поля, старого значения, нового значений и даты, когда было внесено изменение. При необходимости все эти данные могут быть просмотрены бизнес-пользователем.
В тот момент, когда процесс обнаруживает, что какое-либо поле в данных справочников было изменено, он записывает все изменения в данную таблицу и меняет сами значения в справочниках.
Похожие статьи
-
Два подхода к хранилищам данных - Разработка объектов Хранилища
На сегодняшний день существует два основных подхода к моделям Хранилищ данных. Это так называемая корпоративная информационная фабрика Билла Инмона и...
-
Проектирование хранилища данных - Разработка объектов Хранилища
Процесс проектирования любого хранилища, как уже было сказано, делится на следующие составляющие: Выбор бизнеса процесса Выбор таблицы фактов Выбор...
-
Введение - Разработка объектов Хранилища
Ни для кого не секрет, что проблема хранения и обработки информации является одной из самых важных на данный момент во всем мире. Особенно актуальной эта...
-
Система - Разработка объектов Хранилища
Ниже представлена схема существующей на данный момент OLTP системы, необходимой для полного функционирования интернет хостинга. Рисунок 6. OLTP модель...
-
Ключевые понятия - Разработка объектов Хранилища
База данных - представленная в объективной форме совокупность самостоятельных материалов (статей, расчетов, нормативных актов, судебных решений и иных...
-
Платформа для реализации хранилища - Разработка объектов Хранилища
То, какая СУБД является наиболее удобной для разработки хранилища данных, очень сильно зависит от конкретных условий и требований к системе. Поскольку...
-
Обоснование выбора направления - Разработка объектов Хранилища
Сфера интернет хостинга появилась относительно недавно. В России первые компании начали появляться с 1997 года. На данный момент существует порядка 5...
-
Интернет хостинг - Разработка объектов Хранилища
Хостинг-- это сервера и его вычислительных мощностей для физического размещения информации на сервере, постоянно находящемся в сети Интернет. В хостинг...
-
Выбор средств реализации информационной системы Названные в параграфе 1.4. настоящей работы задачи могут быть решены тремя типами средств автоматизации:...
-
Автоматизированное тестирование программного обеспечения - это процесс проверки программного обеспечения, который включает в себя такие шаги как запуск,...
-
Информационная система (ИС) ГИБДД должна обеспечивать хранение информации об автомобилях (марка, номер кузова, номер двигателя, цвет кузова, гос. номер),...
-
Введение - Разработка проекта автоматизации системы водоснабжения
Ускорение научно-технического прогресса и интенсификация производства невозможны без применения средств автоматизации. Характерной особенностью...
-
Особенности функционального назначения Разрабатываемый программный продукт - это модуль вебсайт для системы управлением контентом портала с архивом...
-
Система водоснабжения как объект автоматизации Многочисленные потребители требуют воду: как различного качества, так и разное его количество. Количество...
-
Общие требования Прежде чем начинать формулировать требования к пользовательскому интерфейсу, было принято решение, что необходимо ознакомиться с...
-
Выбранные датчики, исполнительные механизмы и их месторасположение, а также структурная схема АСУ ТП производства сухого молока позволяют составить схему...
-
На примере департамента в банке рассмотрим объект автоматизации. В нашем случае - это бизнес-процесс, который выполняется сотрудником банка,...
-
Преимущества, которые дает тестировщику автоматизация тестирования: - Исключен "человеческий фактор". Существует некоторая гарантия того, что не один...
-
Предложение автоматизации предприятия "Авиаэкспресс-Сервис" с внедрением программного комплекса "САМО-ТурАгент" Процесс внедрения автоматизированного...
-
Для того чтобы выполнить монтаж видеосистемы, вовсе не надо быть дилетантом, так как самыми сложными инструментами, которые понадобятся в данном случае,...
-
В качестве объекта автоматизации рассматриваются процессы по учету различных видов информации: Регистрация постояльцев Учет занятых номеров отеля Учет...
-
Основные понятия баз данных. Цели использования баз данных - Разработка базы данных
В широком смысле слова база данных (БД) - это совокупность сведений о конкретных объектах реального мира в какой-либо предметной области. Для удобной...
-
Постановка задачи На стадии оперативного управления возможна замена материалов и комплектующих, указанных в спецификациях, их аналогами. Аналогами...
-
Хранилище данных - Разработка аналитического приложения
Как система управления базами данных (СУБД) был выбран Microsoft SQL Management Studio. Данная СУБД обладает понятным интерфейсом, она проста в...
-
Все основные и вспомогательные параметры, используемые при управлении АСУ ККТХ, сведены в таблице. В таблице указаны верхние и нижние границы их...
-
Полиция автоматизированный рабочий В настоящее время весьма актуальна проблема автоматизации управления и учета на предприятиях различных отраслей и...
-
Количество рабочих станций, всего 20 Количество ПК, работающих в сети 21 Характеристики компьютеров От amd phenom 1055t и выше Операционная система...
-
Принятие решений - Разработка объектов Хранилища
Как уже было сказано выше, процесс принятия решений в данной сфере является более чем актуальным. Рынок достаточно насыщен конкурентами, для того, чтобы...
-
Для того, чтобы строить диаграммы в соответствии с рисунком 2.7, необходимо реализовать алгоритм соединения двух объектов линией. Для отображения линии...
-
Объектом автоматизации сайта "вопрос-ответ" является предметная область "Проектирование информационных систем". Основное назначение сайта "вопрос-ответ"...
-
Инфологическое проектирование Стандартным способом представления концептуальной модели базы данных являются диаграммы "сущность-связь" (ERD),...
-
Описание деятельности ИТ-отдела компании в рамках разработки ключевых показателей эффективности является одной из важнейших частей процесса. Однако...
-
В связи с увеличением числа сотрудников, работающих в компании, а также с расширением рабочего проекта, возникла проблема, связанная с версионностью...
-
Ниже представлена инструкция пользователя автоматизированной системы "Аптека": Краткое описание возможностей Информационно-справочная система "Аптека"...
-
3.1 Алгоритм функционирования СУ технологического объекта Рисунок 8 - Общий алгоритм функционирования 3.2 Алгоритм запуска технологического объекта...
-
Хранилище данных, Рассмотрение источников данных - Разработка аналитического приложения
Рассмотрение источников данных Данные для работы были взяты с сайта Международного валютного фонда (МВФ). МВФ - это организация, которая состоит из 189...
-
Прямоточная система применяется для хозяйственно-питьевого и противопожарного водоснабжения. В некоторых случаях применяется и для...
-
Теоретические предпосылки исследования Системы поддержки принятия решений Системы поддержки принятия решений (СППР), представляют собой приложения узкого...
-
В дипломном проекте тщательно продуман сценарий взаимодействия АРМа с пользователем, приведя его к оптимальной системе выполнения требуемых задач, и...
-
По результатам обследования необходимо выбрать архитектуру системы. Для корпоративных систем рекомендуется архитектура клиент/сервер. Архитектура...
Автоматизация загрузки - Разработка объектов Хранилища