Трансформация данных, Выводы - Разработка аналитического приложения
Процесс трансофрмации в целом соответствует ETL процессу. ETL расшифровывается как "Extract, Transform, Load", что переводится на русский примерно как "Извечь, Преобразовать, Загрузить". ETL подразумевает работу с тремя составляющими:
Источник данных
Временное хранение.
Конечное хранение
Описание источника и конечного храние было рассмотрено выше в пунктах 2.1 и 2.2 соответственно. Когда был произведен анализ источника данных и разработан вид, в котором данные будут храниться в итоге, можно сконцентрироваться на том, как они будут преобразовываться.
Для процесса переноса данных была создана промежуточная таблица для переструктуризации данных. Было необходимо из поля Subject Description (см. табл. 2.1 выше) извлечь строки с нужными показателями и распределить их по полям в хранилище данных. Перенос данных в СУБД был осуществлен с помощью встроенного мастера импорта и экспорта данных. Следующим шагом было составление самого запроса для реструктуризации данных. На рисунке ниже (Рис.2.3.) представлен примерный запрос, использовавшийся для данной цели.
Рис. 2.3 Реструктиризация данных
Данный запрос работает по следующему принципу. Он соединяет целевую таблицу с исходной по странам и наименованиям показателя и его мере измерения за 2000 год. На основе этих результатов можно заполнить промежуточные данные (Рис.2.4).
Рис. 2.4 Заполненная таблица промежуточной базы данных
На основе таблицы, показанной на рисунке 2.4 и данных с сайта МВФ были созданы таблицы-словари с информацией, описывающей факты - таблица стран, групп стран и т. д.
В процессе загрузки данных было обнаружено, что формат данных в источнике, а именно цифр показателей, не подходил для заполнения, поскольку в источнике дополнительно к дробям, которые отделялись точкой, запятой отделялись сотни. На рисунке 2.4. продемонстрирован способ убирания запятых при заполнении таблицы. Функция REPLACE заменяет запятые на отсутствие символа. Функция CAST необходима для перевода получившейся записи в формат decimal, поскольку из-за запятых поле по умолчанию установилось как текстовое.
Рис. 2.5
Выводы
В данной главе был описан источник данных и вид, в котором эти данные предоставляются.
Было спроектирована схема хранилища данных макроэкономических показателей стран мира. На основе источника и желаемой формы хранения данных был произведен процесс переноса данных при помощи SQL запросов. Этот процесс влючил в себя:
Загрузка источника в среду разработки
Создание промежуточной базы данных
Создание запросов, трансформирующих данные
Создание запросов, очищающих данные
Создание таблиц - словарей
Создание запросов, заполняющих хранилище на основе временной базы данных
Итогом данного этапа стало готовое заполненное хранилище данных.
Похожие статьи
-
Введение - Разработка аналитического приложения
Тема данной работы - разработка веб-приложения для анализа макроэкономических показателей стран мира. В ней будет описан процесс, предшествующий...
-
Хранилище данных, Рассмотрение источников данных - Разработка аналитического приложения
Рассмотрение источников данных Данные для работы были взяты с сайта Международного валютного фонда (МВФ). МВФ - это организация, которая состоит из 189...
-
Хранилище данных - Разработка аналитического приложения
Как система управления базами данных (СУБД) был выбран Microsoft SQL Management Studio. Данная СУБД обладает понятным интерфейсом, она проста в...
-
Определение и роль макроэкономических показателей Макроэкономический индикатор (показатель) - это индикатор в числовом выражении, применяемый в...
-
Реализация базы данных - Разработка мобильного приложения расчета и учета оплаты коммунальных услуг
Для создания таблиц базы данных, структура которой представлена на рис. 21 в программе использовались следующие запросы: CREATE TABLE tariffs ( Tariff_id...
-
База данных SQLite - Разработка мобильного приложения расчета и учета оплаты коммунальных услуг
Платформа Android предоставляет функции управления базой данных, которые позволяют сохранять сложные коллекции данных. Android также поставляется с...
-
Общие требования Прежде чем начинать формулировать требования к пользовательскому интерфейсу, было принято решение, что необходимо ознакомиться с...
-
Работа с Tableau, Выводы - Разработка аналитического приложения
На рисунке ниже представлен стартовый экран Tableau. Он предлагает список различных соединений с данными для работы и возможность открыть сохраненный...
-
Список был составлен на основе знаний, полученных в течение курса макроэкономики, а так же на основе частоты упоминаний в статьях подобной тематики. ВВП...
-
Заключение - Разработка аналитического приложения
В ходе данной работы была выполнена основная цель, поставленная в начале - создание русскоязычного веб-приложения, позволяющего осуществить доступ...
-
Разработка приложения для базы данных - Разработка Windows-приложений в среде Borland Delphi
Цель Работы: Получить навыки создания приложения для базы данных. Пояснения к работе Для работы с базами в Delphi есть несколько наборов компонент,...
-
Обзор рынка Dashboard-приложений - Разработка аналитического приложения
На рисунке ниже (рис.4.3) показано соотношение приложений на "магическом секторе Гартнера" ( Gartner's magic quadrant). Рис. 4.3 Положение рынка...
-
Презентационная аналитика, Что такое Dashboard - Разработка аналитического приложения
Раньше при решении задач аналитических задач программирование было панацеей от всех проблем. В последние годы для выполнения операций анализа...
-
Создание запросов - Разработка системы управления базой данных "Судоходство"
Для дальнейшего формирования отчетов необходимо создать два запроса на выборку это "Кто и где находится" и "Страны где были корабли". Для создания...
-
Организация данных - Разработка программного приложения "Калькулятор коммунальных услуг"
Исходя из анализа предметной области, сделан выбор в пользу реляционной модели данных, формой представления которой является таблица, имеющая строки и...
-
Структура входной информации должна соответствовать структуре данных, определенной на этапе проектирования базы данных, если речь идет о заполнении...
-
Аналитическая часть - Разработка программ преобразования форматов двоичных данных и сортировок
Язык - множество символов и совокупность правил, определяющих способы составления из этих символов осмысленных сообщений. Семантика - система правил и...
-
Интерфейс Пользовательский интерфейс программного обеспечения является неотъемлемой его частью. Именно через интерфейс конечный пользователь будет...
-
Типы данных и команды SQL - Разработка информационной системы "Магазин компьютерных товаров"
Microsoft SQL Server поддерживает большинство типов данных SQL 2003. Также SQL Server поддерживает дополнительные типы данных, используемые для...
-
В современной технологии баз данных предполагается, что создание базы данных, ее поддержка и обеспечение доступа пользователей к ней осуществляются...
-
Цель Работы - использовать принципы архитектуры "Документ-Представление" для выборки и сохранения данных в файлах, а также взаимодействия элементов меню,...
-
"WWWSQLDesigner" позиционируется как абсолютно бесплатный, доступный для пользователей, универсальный веб-редактор, значительно упрощающий процесс...
-
Обоснование выбора СУБД База данных - это совокупность сведений о реальных объектах, процессах, событиях или явлениях, относящихся к определенной теме...
-
Рисунок 10. Архитектура программы В структуре программы обработки сложноструктурированных данных для научного эксперимента в ИИС "Шлаковые расплавы"...
-
Законодательство Российской Федерации в области информационных технологий и их защиты представляет собой совокупность целого ряда нормативно-правовых...
-
Литература - Разработка аналитического приложения
1. МАКРОЭКОНОМИКА УЧЕБНИК ДЛЯ БАКАЛАВРОВ 2-е издание, исправленное и дополненное. Под редакцией С. Ф. Серегиной 2. Авторский коллектив: Аносова А. В. --...
-
В ходе разработки было создано пять форм, обеспечивающих взаимодействие между пользователем и приложением: - начальное окно выбора учебного года, курса и...
-
Первая проблема, которую приходится решать при создании корпоративной сети - организация каналов связи. Каналы связи -- создаются по Линиям связи при...
-
Введение - Разработка системы управления базой данных "Судоходство"
Любому предприятию, фирме, организации в процессе экономической деятельности приходится постоянно сталкиваться с большими информационными потоками:...
-
- установить свойство Align в значение AlBottom ; - выбрать свойство Panels и с помощью кнопки в левом верхнем углу разбить панель на две части (рисунок...
-
Проектирование базы данных было Подробно описано в главе 7. Благодаря графической оболочке MySQL Workbench для MySQL все SQL запросы на создание таблиц...
-
В ходе разработки программы было использовано программное обеспечение Microsoft® Windows® "Подключение к удаленному рабочему столу" для извлечения...
-
При запуске программы с входными параметрами {"-makexls" "filename. xls" "температурная_точка" "отклонение" "элемент"} происходит извлечение результатов...
-
Удивительно, но StatMetric дает выигрыш в производительности даже на малых масштабах, в любом случае возвращая результат быстрее, нежели обычный запрос....
-
Разработка концептуальной модели базы данных При проектировании программ выясняются запросы и пожелания клиента и определяется возможный подход к решению...
-
Проектирование модели - Разработка программного приложения "Калькулятор коммунальных услуг"
При проектировании информационных систем предметная область отображается моделями данных нескольких уровней. Число используемых уровней зависит от...
-
Реализация клиентской части приложения На языке JavaScript, в соответствии с диаграммой классов, представленной в приложении Б, были разработаны объекты...
-
Каждая СУБД имеет особенности в представлении структуры таблиц, связей, определении типов данных и т. д. которую необходимо учитывать при проектировании....
-
Проектирование и разработка таблиц - База данных "Кинотеатр"
Для создания базы данных мы должны спроектировать таблицы, где будем задавать необходимые поля с соответствующим типом данных. Таблица 1 "Сотрудники" Имя...
-
Структура и процесс функционирования системы управления базами данных - Разработка базы данных
СУБД является прикладным программным обеспечением, предназначенным для решения конкретных прикладных задач и выполнения системных функций, расширяющих...
Трансформация данных, Выводы - Разработка аналитического приложения