Введение - Повышение производительности работы библиотеки GridMD

На сегодняшний день уровень развития вычислительной техники и средств доступа к вычислительным ресурсам предоставляет значительные возможности по организации распределенной обработки данных, при которой для трудоемких и длительных вычислений привлекаются обособленные, иногда территориально разнесенные вычислительные ресурсы. Необходимость и актуальность темы распределенных вычислений обуславливается трудоемкостью текущих задач, в особенности стоящих перед современным научным сообществом. Грид LCG, или "виртуальный компьютер", спроектированный в CERN для обработки данных, поступающих с детекторов Большого андронного коллайдера, включает в свой состав 11 академических институтов в Европе, Азии и Северной Америке, а так же более 150 подключенных к ним учреждений. От LCG требуется обработка 37 Терабайт данных в день. Именно технологии распределенных вычислений способны решать задачи такого масштаба, возникающие в широком спектре научных дисциплин, таких как математика, физика, медицина, биология, сейсмология и многих других.

Библиотека GridMD является инструментом для разработки распределенных приложений - приложений, исполняющихся на распределенных вычислительных ресурсах. Библиотека изначально позиционировалась как инструмент для разработки молекулярно-динамических приложений и численных экспериментов, однако впоследствии сфера применения библиотеки была значительно расширена. Являясь представителем систем управления сценариями, библиотека позволяет сформулировать приложение в виде сценария исполнения - последовательности отдельных задач, связанных зависимостью по данным или логическими зависимостями. Зависимости определяют последовательность исполнения заданий, формируя граф исполнения приложения. Библиотека запускает задачи на вычислительных ресурсах, производит мониторинг их состояния и получает результат их исполнения.

В рамках работы будет произведена оптимизация выполнения заданий, обозначенных как локальные. В качестве локальных обычно выступают служебные задачи по обслуживанию процесса исполнения графа задач, однако при необходимости любая из задач графа может быть объявлена как локальная и исполнена в том же процессе, в котором работает приложение, контролирующее исполнение всех остальных задач.

Работа начинается с подробного рассмотрения предмета распределенных вычислений.

Похожие статьи




Введение - Повышение производительности работы библиотеки GridMD

Предыдущая | Следующая