Анализ предметной области, Архитектура Teradata - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
Архитектура Teradata
Teradata Database - система массовой параллельной обработки данных. Поставляется она в виде комплекса оборудования и программного обеспечения. Также компания выделяет несколько специалистов, которые занимаются настройкой, техническим обслуживанием системы, мониторингом производительности, и могут консультировать разработчиков в случае необходимости.
Хранилища данных на основе СУБД Teradata имеют архитектуру "shared-nothing" - архитектуру распределенной обработки данных, где каждый узел независим, имеет свое дисковое пространство и вычислительную мощность [3]. Такая архитектура хорошо подходит для работы с большим объемом данных, так как легко масштабируется - добавление нового узла в систему требует минимум усилий.
Рис. 1 Верхнеуровневая архитектура СУБД Teradata
На рис. 1 показано устройство верхнеуровневой архитектуры Teradata. Рассмотрим компоненты, изображенные на нем, подробнее. Основные элементы архитектуры Teradata - Nodes (узлы) и BYNET-соединение между ними. Каждый из узлов представляет из себя отдельную машину с установленной OS и Parallel Database Extensions software.
Рассмотрим архитектуру детальнее, как показано на рис. 2.
Рис. 2 Архитектура СУБД Teradata
Основные компоненты архитектуры Teradata:
- - PE - Parsing Engine - MPL - Message Passing Layer - AMP - Access Module Processor - Vdisk - Virtual disk
Подробнее о каждой из них.
Parsing Engine отвечает за получение информации от пользователя (данные, SQL-скрипты), разбор и передачу инструкций на AMP'ы.
Работа PE состоит из четырех основных частей:
- ? Session Control - контроль сессии - проверяет настройки пользовательской сессии, проводит авторизацию пользователя. ? Parser - парсер - интерпретирует SQL-запрос, анализирует его на наличие синтаксических ошибок, проверяет по системной информации наличие всех необходимых объектов и полей в таблицах/представлениях ? Optimizer - оптимизатор - оценивает все возможные варианты и разрабатывает наименее затратный по времени план доступа к данным. После этого план запроса переводится в исполняемые шаги и передается диспетчеру. ? Dispatcher - диспетчер - контролирует последовательность исполнения команд, передает команды на слой передачи данных. Он включает в себя блоки контроля выполнения задач и контроля возвращаемого результата. Первый получает команды от оптимизатора, транслирует команды на соответствующие AMP'ы, получает отчеты о статусе выполнения команд, и передает данные блоку контроля результата после того, как все задействованные AMP'ы завершили работу. Также перед передачей очередной команды он проверяет, что предыдущий шаг был завершен на всех узлах. Второй блок возвращает результат пользователю.
Message Passing Layer - комбинация BYNET-соединения и PDE ПО. Передает команды или данные от PE на AMP'ы и возвращает результаты или статусы выполнения команд с AMP'ов на PE.
Access Module Processor - основной рабочий элемент системы. Он является ответственным за связанный c ним блок данных и выполняет всю работу, нужную, чтобы получить результат - сортировка, агрегирование, форматирование, конвертация, объединение данных из разных таблиц.
Virtual disk - дисковое пространство, выделенное для AMP'а, все данные таблиц, определенные на связанный AMP, хранятся в этой области.
Похожие статьи
-
СУБД Teradata имеет встроенный оптимизатор, который отвечает за выбор: интерфейс teradata парсер ? Способа доступа к данным - будет ли обращение к...
-
Введение - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
Актуальность. В настоящее время трудно найти фирму, которая не использовала бы базы данных в той или иной форме - учет сотрудников, клиентов, продаж....
-
Описание предметной области В больших городах много аптек, и порой необходимо знать какой препарат и где можно купить. Для обеспечения оперативности...
-
Парсер - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
В приложении можно выделить 2 основных функциональных блока: парсер и оптимизатор. Данная глава посвящена первому из них. Задача парсера - разобрать...
-
Источники - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
1. William H. Inmon. Building the data warehouse. - 4Th edition. - Wiley Publishing, Inc., 2005. - С. 546. 2. Lawrence Corr, Jim Stagnitto, Agile Data...
-
Заключение - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
Оптимизация потребления ресурсов (хранение данных, ресурсы CPU) - важная задача при реализации ETL-процессов. Чем больше ресурсов системы будет свободно,...
-
Встроенный оптимизатор запросов в Teradata может значительно ускорить запрос по сравнению тем, как если бы команды выполнялись ровно так, как подает...
-
Оптимизатор - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
Задача оптимизатора в рамках данной дипломной работы - исправлять части SQL-кода, которые могут приводить к дополнительным тратам памяти и ресурсов. На...
-
Постановка задачи Имеющаяся база данных SQL имеет недостаточное количество полей и таблиц, не имеет упорядоченной структуры пользователей для работы с...
-
SolidWorcks Enterprise PDM SolidWorks Enterprise PDM (SWE-PDM) управляет данными и процессами на различных этапах жизненного цикла изделия, обеспечивая...
-
1.1 Анализ существующих программных агентов Согласно классическому определению, программный агент -- это программа-посредник. Эти посредники...
-
Обзор аналогов - Разработка программного средства, позволяющего оптимизировать SQL-скрипты
Создание оптимизирующего препроцессора ограничивается несколькими условиями: 1. Частично написание и тестирование программы проводится на рабочих местах,...
-
Для работы с базами данных созданы системы управлением базами данных. Существует довольно большое количество СУБД, особенно предназначенных для работы с...
-
В клубе несколько команд (дети, юноши, дубль, основа). Каждая команда имеет своего тренера и базу. В каждой команде есть несколько футболистов разных...
-
Наименование системы Программная система управления контентом портала с архивом конструкторской документации. Цели, назначение и область использования...
-
ИИС "Шлаковые расплавы" позволяет вести моделирование КЭ в нескольких "режимах", с полным набором получаемых свойств. 1. Моделирование комплекса свойств...
-
Выбор средств реализации информационной системы Названные в параграфе 1.4. настоящей работы задачи могут быть решены тремя типами средств автоматизации:...
-
1.5 Архитектура мультиагентных приложений - Средства для создания программных агентов
В общем случае среда, в которой действует агент, имеет определенное поведение, которое может быть известно полностью или частично. Состояние среды...
-
После выполнения задачи по Подбору и анализу литературы, настало время поиска и сравнительного анализа уже существующих решений задачи контроля...
-
Прогноз погоды - научно обоснованное предположение о будущем состоянии погоды в определенном пункте или регионе на определенный период. Составляется...
-
Цель Работы - использовать принципы архитектуры "Документ-Представление" для выборки и сохранения данных в файлах, а также взаимодействия элементов меню,...
-
Обоснование выбора средств разработки проекта Для реализации корпоративной информационной системы "Бюджетное планирование и отчетность" в исследуемой...
-
Система функционирует как распределенная трехзвенная клиент-сервер-СУБД программная архитектура. В среде серверной операционной системы Microsoft Windows...
-
Основным объектом предметной области является локальная вычислительная сеть (ЛВС). Основными свойствами являются: - Быстродействие; - Масштабируемость; -...
-
Целью практики является закрепление знаний, полученных в процессе изучения дисциплин "Конструирование программ и языки программирования" и "Основы...
-
Для разработки программного продукта нами была выбрана СУБД Microsoft Access 2010, которая позволяет выполнять простейшие операции с данными: Ѕ добавить...
-
Заключение - Разработка и тестирование автоматизированной системы контроля успеваемости студентов
В итоге выполнения выпускной квалификационной работы были достигнуты и получены следующие результаты: - собраны и приняты полезные сведения о системе...
-
В выпускной квалификационной работе предметом исследования является деятельность по учету и управлению доставкой корреспонденции. Для того, чтобы...
-
Проведем оценку эргономичности пользовательского интерфейса, заполнив таблицу 7.1. В ячейки, отражающие степень выраженности показателя, следует внести...
-
В разработке системы принимал участие один инженер-программист. Длительность выполнения работ по проектированию и разработке системы представлена в...
-
2.1 Описание структуры базы данных Реляционная схема базы данных для ЦЗН представлена следующими таблицами: "ПО" - содержит список единиц программного...
-
2.2 Модель программного агента ресурсов - Средства для создания программных агентов
Программный агент в мультиагентной системе имеет свое описание в виде BDI модели, которая содержит его знания, планы и цели, которые агент выполняет по...
-
Для обеспечения эффективного управления активами коммерческой организации необходимым условием является наличие оперативной и достоверной информации и...
-
Учебный процесс в ННГАСУ сопровождается значительной информационной базой, развитием компьютерного парка и внедрением в образовательный процесс...
-
Microsoft Access База данных разработана в среде Microsoft Access. Microsoft Access - реляционная СУБД корпорации Microsoft. Имеет широкий спектр...
-
Моделирование предметной области Этапом проектирования базы данных любого типа начинается с анализа предметной области, который заканчивается построением...
-
Автоматизированное рабочее место (АРМ) -- программно-технический комплекс, предназначенный для автоматизации деятельности определенного вида. Виды АРМ по...
-
2.1 Среды разработки для построения программных агентов Инструментальные средства разработки программных агентов формируют среду, которая оптимизирована...
-
1.1 Характеристика предметной области Программный обеспечение база данные Представим предметную область "Программное обеспечение ЦЗН" как взаимодействие...
-
Анализ предметной области Описание ПО решаемой задачи Предметной областью задачи № 2 также является процесс оплаты денежных средств по кредиту. Решается...
Анализ предметной области, Архитектура Teradata - Разработка программного средства, позволяющего оптимизировать SQL-скрипты