Оглавление

1. Цели DVM-системы

1.1. Простота разработки параллельных программ
1.2. Мобильность на компьютерах с различной архитектурой
1.3. Повторное использование программ
1.4. Высокая эффективность выполнения программы.

2. Состав и функции DVM-системы

3. Подход и принципы реализации системы

3.1. Языки
3.2. Компиляторы
3.3. Библиотека поддержки Lib-DVM
3.4. DVM-отладчик
3.5. Анализатор производительности
3.6. Предсказатель выполнения DVM-программы

DVM-система предназначается для разработки переносимых и эффективных параллельных программ вычислительного характера для компьютеров с различной архитектурой.

1. Цели DVM-системы

Основные цели DVM-системы:

• Простота разработки параллельных программ.
• Мобильность среди различных архитектур ЭВМ (последовательных, кластера рабочих станций, MPP).
• Повторное использование (композиция параллельных приложений из нескольких стандартных модулей).
• Высокая эффективность выполнения программы.

1.1. Простота разработки параллельных программ

Языки программирования (Fortran DVM, C-DVM) обеспечивают:

• глобальное пространство имен (единое адресное пространство)
• программирование в терминах поведения системы в целом ( в отличие от программы, пользующейся передачей сообщений и определяемой в терминах поведения отдельных параллельных задач)
• программирование без низкоуровневой детализации взаимодействия и синхронизации задач
• использование одного варианта программы для последовательного и для параллельного выполнения

Для отладки программ на рабочей станции предоставляются следующие возможности:

• отладка DVM-программы как обычной последовательной программы
• автоматическая проверка спецификаций параллелизма
• псевдопараллельное выполнение программы в режиме сравнения промежуточных результатов трассировки с результатами эталонной трассировки (полученной в результате последовательного выполнения программы)
• накопление трассировочных данных и их просмотр
• предказание характеристик производительности параллельного выполнения

Для отладки программ на параллельном компьютере предоставляются следующие возможности:

• сравнение промежуточных результатов трассировки с результатами эталонной трассировки
• накопление трассировочных данных и их просмотр
• получение характеристик производительности параллельного выполнения

1.2. Мобильность на компьютерах с различной архитектурой

Последовательные ЭВМ: спецификации параллелизма в языках Fortran-DVM и C-DVM "невидимы" для стандартных компиляторов с языков Си и Фортран 77.

Параллельные компьютеры:

а) схема компиляции:

Fortran DVM = > Fortran 77 + Lib-DVM
C-DVM = > C + Lib-DVM

Lib-DVM базируется на библиотеках передачи сообщений MPI, PVM или MPP.

б) автоматическая конвертация: Fortran DVM = > HPF или HPF2

1.3. Повторное использование программ

• DVM-программа может динамически настраиваться (без повторной компиляции) на параметры приложения (количество и размер массивов данных) и конфигурацию параллельного компьютера
• DVM-подпрограмма может динамически настраиваться на распределение фактических параметров и подмножество процессоров параллельной ЭВМ, на котором эта подпрограмма выполняется

1.4. Высокая эффективность выполнения программы.

Высокая эффективность DVM-программ достигается следующим образом:

• Программист может точно специфицировать параллельное выполнение своей программы
• Предоставляются средства для совмещения вычислений и обмена сообщениями в системах с распределенной памятью
• Предоставляются средства для балансировки загрузки

2. Состав и функции DVM-системы

DVM-система состоит из следующих пакетов программ:

• Компилятор Fortran-DVM
• Компилятор C-DVM
• Библиотека поддержки Lib-DVM
• DVM-отладчик
• Предсказатель выполнения DVM-программы на MPP и кластере рабочих станций
• Анализатор производительности параллельных программ

Эти пакеты должны удовлетворять следующим требованиям:

• Fortran-DVM компилятор должен поддерживать параллелизм данных и функциональный параллелизм, динамическое распределение памяти и динамическую балансировку загрузки. Программы, написанные на языке Fortran-DVM, могут компилироваться и выполняться в стандартной среде Fortran 77 как обычные последовательные программы. Выходом компилятора Fortran-DVM является программа на языке Fortran 77 (SPMD модель), расширенная вызовами функций Lib-DVM или программа на языках HPF1 или HPF2.
• C-DVM компилятор должен поддерживать параллелизм данных и функциональный параллелизм, динамическое распределение данных и динамическую балансировку загрузки. Программы, написанные на C-DVM, могут компилироваться и выполняться в стандартной среде Си. Выходом C-DVM компилятора является программа на языке ANSI Си (SPMD модель), расширенная вызовами функций Lib-DVM.
• Библиотека Lib-DVM - это система поддержки выполнения Fortran-DVM и C-DVM программ. Функции Lib-DVM должны использовать две коммуникационные системы MPI, PVM и некоторые собственные библиотеки обмена сообщениями для различных компьютеров.
• DVM-отладчик используется для отладки DVM-программ (написанных на языках Fortran-DVM или C-DVM). Для отладки DVM программы используется следующий подход. На первой стадии программа отлаживается на рабочей станции как последовательная программа, используя обычные методы и средства отладки. На второй стадии программа выполняется на той же рабочей станции в специальном режиме проверки DVM указаний. На третьей стадии программа может быть выполнена на параллельном компьютере в специальном режиме, когда промежуточные результаты выполнения сравниваются с результатами эталонной трассировки (например, результатами последовательного выполнения).
• Анализатор производительности определяет производительность выполнения параллельной программы. После завершения выполнения параллельной программы анализатор производительности предоставляет пользователю информацию о производительности в соответствии с его запросами с заданной степенью детализации. Информация о производительности включает времена выполнения, времена ожидания сообщений или синхронизации, число выполненных DVM-указаний.
• Предсказатель выполнения - это набор средств для прогнозирования характеристик производительности DVM-программ на различных MPP и кластерах рабочих станций. Он позволяет получить характеристики DVM-программы, выполняющейся на рабочей станции или кластере рабочих станций, и использовать их для прогнозирования эффективности выполнения программы на кластерах рабочих станций и для различных MPP с заданными параметрами (конфигурацией, производительностью процессоров и коммуникационными каналами).

3. Подход и принципы реализации системы

3.1. Языки

Язык Fortran-DVM

DVM-указания вставляются в Fortran-DVM программу в виде специальных комментариев.

Язык включает следующие основные возможности спецификации параллельного выполнения программы:

• распределение элементов массива между процессорами;
• распределение витков цикла между процессорами;
• организация эффективного доступа к удаленным (расположенным на других процессорах) данным, используя спецификации верхнего уровня на основе массивов;
• организация эффективного выполнения глобальных операций с расположенными на различных процессорах данными (таких, как суммирование элементов распределенных массивов).

Чтобы упростить преобразование Fortran-DVM программы в программу на HPF1 или HPF2, Fortran-DVM директивы базируются на HPF директивах. Fortran-DVM включает HPF-директивы (HPF1 и HPF2 директивы) и дополнительные директивы, предназначенные для повышения производительности выполнения программы. Директивы распределения памяти языка Fortran-DVM представляют собой подмножество соответствующих директив HPF2.

Язык C-DVM

DVM-указания оформляются как параметры специальной макрокоманды DVM(dvmdir), которая в последовательной программе игнорируется (заменяется на пустую последовательность символов).

Язык включает следующие основные возможности спецификации параллельного выполнения программы:

• распределение элементов массива между процессорами;
• распределение витков цикла между процессорами;
• организация эффективного доступа к удаленным (расположенным на других процессорах) данным, используя спецификации верхнего уровня на основе массивов.
• организация эффективного выполнения глобальных операций с расположенными на различных процессорах данными

3.2. Компиляторы

Компилятор Fortran-DVM

Выходом компилятора Fortran-DVM является программа на языке Fortran 77 (SPMD модель), расширенная вызовами функций Lib-DVM или программа на язык HPF1 или HPF2. Обеспечивается специальный отладочный режим компиляции.

Компилятор C-DVM

Выходом компилятора C-DVM является программа на языке Си (SPMD модель), расширенная вызовами функций Lib-DVM. Обеспечивается специальный отладочный режим компиляции.

3.3. Библиотека поддержки Lib-DVM

Система поддержки DVM-программ обеспечивает динамическое создание массивов, динамическое распределение элементов массивов между процессорами, динамическое распределение вычислений между процессорами, объединение частичных результатов глобальных операций, полученных на различных процессорах, загрузку элементов распределенных массивов, импортируемых с других процессоров, ввод-вывод.

Система обеспечивает вызов функций накопления статистики, необходимых для анализа производительности параллельных программ, и функций отладчика.

Система поддерживает также трассировку своих собственных функций и функций коммуникационных библиотек, что является мощным средством отладки для прикладных и системных программистов.

Функции Lib-DVM позволяют использовать две стандартные коммуникационные библиотеки MPI, PVM и некоторые собственные библиотеки обмена сообщениями для различных компьютеров для обмена сообщениями.

3.4. DVM-отладчик

Предоставляются два основных метода отладки. Оба метода требуют от компилятора в дополнение к вызовам функций Lib-DVM вставлять в программу вызовы функций отладчика для запоминания значений используемых и модифицируемых переменных.

Первый метод - метод динамического контроля DVM-указаний. Он основан на эммуляции параллельного выполнения DVM-программы на одном процессоре. Функции отладчика вызываются непосредственно из выполняемой программы, а также из Lib-DVM.

Второй метод - это метод сравнения результатов выполнения программы в последовательном и параллельном режимах. DVM-программа выполняется параллельно на нескольких процессорах, и значения используемых и модифицируемых переменных сравниваются с эталонными значениями. Для того чтобы этот метод можно было применять к реальным программам с большими объемами данных, пользователю предоставляются средства гибкого управления объемом накапливаемых эталонных данных. Для получения эталонных значений DVM-программа должна быть скомпилирована в специальном режиме, в котором единственным изменением исходной программы является вставка в нее вызовов функций отладчика. Это позволяет применять к этой программе при необходимости обычные средства отладки для последовательных программ.

3.5. Анализатор производительности

Средства анализа производительности базируются на накоплении времен выполнения определенных конструкций параллельной программы. Пользователь может получить следующие характеристики выполнения программы (или ее частей):

• время выполнения - астрономическое время выполнения параллельной программы;
• полезное время - прогнозируемое время выполнения программы на одном процессоре;
• коэффициент эффективности распараллеливания - отношение полезного времени к произведению числа процессоров на время выполнения;
• потерянное время - разница между произведением числа процессоров на время выполнения и полезным временем;
• составляющие части потерянного времени (потери из-за выполнения последовательных участков на всех процессорах, из-за разбалансировки загрузки процессоров, из-за межпроцессорных обменов).

Анализатор производительности состоит из двух подсистем - подсистемы сбора статистики и подсистемы ее обработки. Первая подсистема обеспечивает сбор характеристик выполнения параллельной программы на каждом процессоре. Обращения к этой подсистеме происходит из Lib-DVM во время выполнения параллельной программы. Кроме того, в языках C-DVM и Fortran-DVM предусмотрены средства описания интервалов выполнения программы, для которых пользователь хочет получить характеристики эффективности. Компиляторы обеспечивают обращения к подсистеме сбора статистики в начале и в конце выполнения каждого такого интервала. Собранная на каждом процессоре информация записывается в файл по завершению выполнения программы.

Вторая подсистема обеспечивает на рабочей станции обработку информации, собранной на параллельной машине, и выдачу заданных пользователем характеристик эффективности.

3.6. Предсказатель выполнения DVM-программы

Предсказание производительности реализуется посредством обработки трассировочной информации, накопленной системой Lib-DVM во время выполнения DVM-программы на одной или нескольких рабочих станциях и эммуляции параллельного выполнения программы на кластере рабочих станций или различных MPP с заданными параметрами.