Система анализа и визуализации данных пакета параллельных программ для решения задач электродинамики

( System for data analysis and visualization in the parallel application package for the solution of electrodynamics problems
Preprint, Inst. Appl. Math., the Russian Academy of Science)

Содержание

1. Введение   . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   4

2. Проект (база данных задачи)  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  4

3. Принципы построения системы анализа  . . . . . . . . . . . . . . . . . . . . . . . . . . . .     5

4. Работа с проектом  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . .   6

5. Управление представлением расчетной сетки   . . . . . . . . . . . . .  . . . . . . . . . . 7

5.1. Выбор секущей плоскости   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

5.2. Выбор цветового представления слоев   . . . . . . . . . . . . . . . . . . . . . . . 9

5.3. Управление изображением   . . . . . . . . . . . . . .  . . . . . . . . . . . . . . . . .  11

5.4. Режимы «сетка» и «слои»   . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . .  12

5.5. Режим «выбор ячейки»      . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . .  13

6. Управление массивами   . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . .  13

6.1. Представление элементов массива   . . . . . . . . . . . . . . . . . . . . . . . . . . . .  14

7. Управление данными   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  16

7.1. Операции над элементом массива    . . . . . . . . . . . . . . . . . . . . . . . . . . . .  16

7.2. Операции над плоскостью массива    . . . . . . . . . . . . . . . . . . . . . . . . . . .  19

7.3. Вырезка массива   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . 21

7.4. Графики «без слоев» и «со слоями»   . . . . . . . . . . . . . . . . . . . . . . . . . . .  22

7.5. Поиск минимального и максимального значений    . . . . . . . . . . . . . . .  23

8. Управление представлением   . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  24

Заключение    . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

Литература    . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  26

1. Введение

Современные вычислительные возможности (распределенная вычислительная среда, суперкомпьютеры), выросшие требования к полноте и точности расчетов привели к существенному росту размерности и сложности решаемых задач математической физики. Это, в свою очередь, привело к росту объема числовых данных, которые необходимо  анализировать прикладным специалистам.

В качестве примера можно привести пакет параллельных программ для решения задач электродинамики «Электро» [1]. Этот пакет, разработанный в Институте прикладной математики им. М.В. Келдыша РАН, используется для численного решения трехмерных задач взаимодействия электромагнитного поля с веществом в полной трехмерной нестационарной постановке:

Пакет применяется для исследования помех в радиоэлектронном оборудовании, функционирующем в полях ионизирующего излучения; сопровождения экспериментов по облучению образцов на установках, продуцирующих ионизирующие излучения; исследования функционирования радиоэлектронного оборудования в условиях внешних электромагнитных помех; исследования изменений параметров электромагнитных импульсов при передаче на большие расстояния в реальной атмосфере и решения ряда других задач.

Распараллеливание программ пакета привело к существенному росту размерности решаемых задач и, как следствие, росту объема результирующих данных. Параметры типичных решаемых задач: сетка содержит  узлов, число частиц достигает , контрольная точка в типичных сложных расчетах - до 50 GB, объем результатов расчета - до 40 GB. В отдельных расчетах эти объемы могут увеличиваться.

Для решения задачи эффективной поддержки анализа и представления больших объемов данных появилась потребность в разработке новых средств анализа данных, полученных в результате расчета.

Описанная в настоящем препринте «Система анализа и визуализации данных» (далее просто «Система») является пилотной реализацией таких средств. Система ориентирована на конечного пользователя пакета, поэтому основное внимание при разработке было уделено обеспечению простого и интуитивно ясного доступа к результирующим данным.

В препринте описаны некоторые возможности разработанной Системы.

2. Проект (база данных задачи)

С каждым численным экспериментом, проведенным с помощью пакета, связана база данных задачи, представляющая собой совокупность файлов, содержащих описание трехмерной геометрической модели расчетной области, описание сетки и вещества в ячейках сетки, описание структуры файлов данных и, наконец, сами бинарные файлы данных.

Описание базы данных, т.е. всей совокупности файлов, связанных с численным экспериментом, находится в файле «проект».

Файл данных представляет собой совокупность четырехмерных массивов, у которых одна ось – время – одинакова, а три пространственных оси могут быть разными. Элементы (точки) каждого отдельного массива могут быть по-разному привязаны к расчетной сетке. Например, могут лежать в центре ячеек, а могут - на границах ячеек.

Проект может содержать несколько файлов данных, для каждого из которых существует текстовый файл, описывающий структуру файла данных: количество массивов, их размерность, единицы измерения и т.п. Такая пара файлов (файл данных и файл описания структуры данных) называется «потоком».

3. Принципы построения системы анализа

Принципы построения Системы анализа вытекали из следующих соображений. Все результирующие данные, полученные в процессе численного эксперимента, имеют привязку к геометрии расчетной области. Следовательно, метаданными, на основе которых должен строиться доступ пользователя к расчетным данным, является описание геометрии расчетной области. Отправной точкой анализа должна быть геометрическая модель расчетной области, на которой пользователь может указать некоторую подобласть и получить доступ к информации, связанной с выделенной подобластью.

Отсюда вытекают основные принципы, на которых базируется Система анализа:

·        использование «визуального» представления области моделирования. Наличие такого представления обеспечивает пользователю возможность быстрого и интуитивно ясного доступа к произвольным совокупностям данных;

·        интерактивный доступ к данным численного моделирования. Поскольку пользователям в процесс обработки результатов требуется возможность все более «тонкого» анализа данных, то процесс выделения подобласти расчетной области должен быть итеративным. Например, пользователь, получив сечение 3D области, должен иметь возможность выделить на этом сечении некоторое, вообще говоря, произвольное подмножество, например, прямоугольник;

·        выделив подобласть, пользователь должен иметь возможность использовать различные инструменты, стандартные или разработанные специально для каких-то случаев, для обработки информации, связанной с выделенной подобластью – визуализации, просмотра, редактирования, вычисления функционалов и т.п. Затем пользователь может вновь изменить (уточнить) выделенную подобласть и т.д.

·        операции над выделенной областью должны позволять пользователю получать данные в любом требуемом виде: числовом, графическом (1D, 2D, 3D графики и гистограммы) и т.п.

4. Работа с проектом

Рассмотрим возможности созданной Системы на примере типичного сценария работы пользователя с результатами расчета.

После запуска  Системы на экране появляется основное окно. Выполним команду меню «Файл / Выбор файла проекта …» (команда дублируется на панели инструментов стандартной кнопкой открытия файла). На экране появится стандартная панель выбора файла. Выберем файл проекта, содержащего описание искомой базы данных.

Система прочитает необходимую информацию из базы данных, и основное окно приобретет следующий вид:

Мы видим два основных элемента управления доступом к данным:

·        основное окно, в котором отображается расчетная сетка;

·        панель «Управление потоками», в одном из полей которой показан список потоков, определяемых парами файлов (файл данных и файл описания структуры данных).

Общая логика доступа к данным состоит в следующем:

·        на панели «Управление потоками» пользователь выбирает поток, затем выбирает массив данных и точку (либо интервал) шкалы времени;

·        на расчетной сетке выбирает элемент (либо множество элементов) массива;

·        с помощью меню вызывает обработчик, который извлекает из базы данных информацию, связанную с указанными элементами массива в указанных точках времени, обрабатывает эту информацию и предъявляет ее пользователю с помощью выбранного стандартного инструмента (текстового редактора, электронных таблиц или графической системы).

Сначала мы разберем управление представлением расчетной сетки, а потом управление массивами данных.

5. Управление представлением расчетной сетки

5.1. Выбор секущей плоскости

Итак, в основном окне отображается расчетная сетка. Представление сетки состоит из двух элементов:

·        сечение сетки плоскостью, перпендикулярной одной из осей координат (при открытии проекта показывается XY-сечение, т.е. сечение плоскостью, перпендикулярной оси Z);

·         «столбик» секущих плоскостей, позволяющий выбрать интересующее нас сечение расчетной области.

Выберем на столбике секущих плоскостей какую-либо плоскость, дважды щелкнув по ней левой кнопкой мыши:

Система отобразила выбранную плоскость расчетной области, индицируя цветом «слои» (вещество, заполняющее расчетные ячейки). В строке состояния появилась индикация выбранной плоскости: тип (XY), логическая координата (19) и физические координаты нижней и верхней границы (1.800 : 1.900).

Пользователь может выбирать интересующую его плоскость либо двойным щелчком левой кнопки мыши по соответствующему элементу столбика плоскостей, либо последовательно перебирать плоскости с помощью команд меню

Для удобства эти команды дублируются на панели инструментов кнопками  и .

Для того чтобы выбрать сечения, перпендикулярные другим осям координат, предназначены команды меню:

Эти команды дублируются на панели инструментов кнопками ,  и .

Выберем, например, тип сечения X-Z и на появившемся столбике плоскостей выберем некоторое конкретное сечение:

Выбранная плоскость (ее тип и Y-координата) индицируются на строке состояния.

Система предоставляет альтернативный способ выбора секущей плоскости, который состоит в использовании трехмерного представления расчетной области. Выполним команду меню

Основное окно Системы разделится на две части. Правая часть содержит трехмерную модель расчетной области, на которой синей рамкой индицируется сечение, отображаемое в левой части окна:

Пользователь может выбирать (перемещать) сечение с помощью ползунка на оси, отображаемой у левой границы окна и градуированной физическими размерами. Пользователь может также перемещать разделитель 2D и 3D представлений с помощью зажатой левой кнопки мыши.

5.2. Выбор цветового представления слоев

Цвета, индицирующие слои (вещество, находящееся в расчетных ячейках), выбираются Системой при загрузке проекта произвольно. Пользователь может изменить соответствие цветов слоям. Для этого необходимо выполнить команду меню

На экране появится панель «Карта слоев»:

На панели индицируются числовые значения слоев, используемые в проекте, и цвета, соответствующие этим слоям.

На панели находятся средства просмотра списка «цвет – значение слоя», предназначенные для тех случаев, когда список целиком не умещается на панели (вертикальный бегунок, а также кнопки «пред» и «след»).

Кнопки «сохранить» и «читать» предназначены для сохранения «карты слоев» в текстовом файле и чтения ранее сохраненной карты.

Кнопка «закрыть» удаляет панель с экрана.

Для того чтобы выбрать другой цвет для некоторого слоя необходимо сделать двойной щелчок левой кнопкой мыши по «квадратику цвета» соответствующего слоя. На экране появится стандартная панель выбора цвета:

Выберем подходящий цвет из готовой палитры, либо «изготовим» новый цвет с помощью кнопки «Define Custom Color >>», а затем нажмем кнопку «ОК». Теперь главное окно будет выглядеть следующим образом:

После того, как мы подобрали подходящее цветовое представление слоев, мы можем сохранить выбранное представление в файле, для того чтобы пользоваться этим представлением в дальнейшем. Для сохранения нажмем кнопку «сохранить» на панели «Карта слоев» (или выполним команду меню «Файл / Сохранить карту слоев …».

На экране появится стандартная панель, с помощью которой можно выбрать каталог и имя файла, в котором будет храниться цветовое представление слоев.

Для того чтобы воспользоваться сохраненным файлом цветового представления слоев нажмем кнопку «читать» на панели «Карта слоев» (или выполним команду меню «Файл / Прочитать карту слоев …». На экране появится стандартная панель, с помощью которой можно выбрать нужное имя файла, содержащего карту слоев.

5.3. Управление изображением

Система предоставляет стандартные возможности управления изображением: масштабирование и перемещение «картинки». Для этого предназначены команды меню

Первые три команды дублируются кнопками панели управления:

 ,  и .

Кроме того, эти команды можно выполнять с помощью контекстного меню, вызываемого нажатием правой кнопки мыши при нахождении курсора на изображении сетки.

Двигать картинку сетки вверх и вниз можно также с помощью колесика мышки.

Выполнение команды «исходный вид» возвращает картинку в стартовый стандартный вид.

5.4. Режимы «сетка» и «слои»

Во всех предыдущих примерах сечение расчетной области представлялось «сеткой», т.е. Система отображала каждую ячейку сетки, окрашивая ее в соответствии со значением слоя в этой ячейке.

Система предоставляет альтернативный способ отображения сечения, а именно – проводит границы между ячейками только в том случае, когда значения слоев в соседних ячейках различны. Такой режим называется «слои».

Для переключения между режимами «сетка» и «слои» предназначена команда меню

В режиме «слои» Система не производит окрашивание ячеек:

В отношении возможностей работы с сечением расчетной области оба режима идентичны.

 5.5. Режим «выбор ячейки»

По умолчанию Система работает в режиме «выбор ячейки». Это значит, что если щелкнуть левой кнопкой мыши по какой-либо расчетной ячейке, то эта ячейка будет выделена красным контуром, а ее логические координаты и значение слоя этой ячейки будут индицироваться на строке состояния:

6. Управление массивами

Выберем (щелчком левой кнопкой мыши) на панели «Управление потоками» один из потоков. В элементах управления панели индицируются данные, относящиеся к выбранному потоку:

В окне «массивы» индицируется список имен массивов. В окне «время» индицируется список точек (отметок) времени. Шкала точек времени индицируется также на линейке, позволяющей выбирать интересующий диапазон времени. Под кнопками «левая» и «правая» расположены поля, индицирующие соответственно первую и последнюю точки выбранного диапазона времени. Первоначально индицируется весь временной диапазон.

Выберем (щелчком левой кнопкой мыши) один из массивов:

В полях, расположенных правее списка имен массивов, индицируются имена осей, количество точек на осях, единицы измерения на осях и единицы измерения значений массива.

6.1. Представление элементов массива

Можно посмотреть расположение элементов массива на расчетной сетке. Для этого предназначена команда меню

Команда дублируется кнопкой панели управления: .

Эта команда включает и выключает режим индикации элементов массива. Выполним ее, а затем увеличим масштаб, чтобы лучше рассмотреть расположение элементов массива:

Местоположение элементов массива индицируется красными квадратиками.

До сих пор щелчок левой кнопкой мыши по сетке выделял расчетную ячейку. Мы можем перейти в режим выделения точек массива. Переключение между этими двумя режимами осуществляется командой меню

Команда дублируется кнопкой панели управления: .

Перейдя в режим выбора точки массива, мы можем щелкнуть левой кнопкой мышки по изображению точки массива. Точка массива будет выделена красной окружностью:

На строке состояния появятся логические и физические координаты ячейки. Если же на панели «Управление потоками» в окне «время» пометить (левой кнопкой мыши) некоторую точку времени, то на строке состояния, кроме координат, появятся выбранный момент времени и значение массива в этой точке и этот момент времени (см. скриншот выше).

Элементы массива можно видеть на всех типах секущих плоскостей. Например, так выглядит тот же массив Jz на плоскости Y-Z:

7. Управление данными

7.1. Операции над элементом массива

Выберем на панели «Управления потоками» некоторый массив. Затем выберем (щелчком левой кнопкой мыши) элемент (точку) этого массива:

Для отдельного элемента массива определены следующие операции предъявления (визуализации) данных:

Смысл этих операций очевиден из их имен: система извлекает из базы данных значения элемента (указанного на сетке в основном окне) массива (указанного на панели «Управления потоками») во всех точках времени диапазона времени (указанного на панели «Управления потоками») и создает файл с выбранными данными в формате, определяемым выбранным инструментом предъявления данных. Затем вызывает либо графическую систему Tecplot (для предъявления графика или гистограммы), либо текстовый редактор или электронные таблицы (для предъявления данных в числовом виде). 

Выполним, например, операцию «1D: график "массив по оси времени"». На экране появится окно системы Tecplot, содержащий следующий график:

Если мы хотим проанализировать некоторый более узкий отрезок шкалы времени, мы должны воспользоваться линейкой времени на панели «Управление потоками».

Грубый выбор диапазона осуществляется следующим образом. С помощью мышки переместим бегунок линейки времени на предполагаемое начало диапазона времени и нажмем кнопку «левая». Затем переместим бегунок линейки времени на предполагаемый конец диапазона времени и нажмем кнопку «правая».

Для точной установки начала и конца диапазона предназначены кнопки «<<» и «>>», находящиеся под кнопками «левая» и «правая». Первая пара «сдвигает» начало диапазона времени на одну точку времени в ту или другую сторону. Вторая пара «сдвигает» конец диапазона времени на одну точку времени в ту или другую сторону.

Значения начала и конца диапазона индицируются в полях, расположенных под кнопками «левая» и «правая» соответственно.

Допустим, мы выбрали следующий диапазон:

Теперь выполнение операции «1D: график "массив по оси времени"» приведет к появлению на экране окна, содержащего следующий график:

Формат вывода данных в числовом виде (при выполнении операции «1D: значения "массив по оси времени"») зависит от выбора инструмента вывода числовых данных. Для выбора инструмента необходимо выполнить команду

На экране появится панель настроек. Выберем вкладку «Инструменты»:

В зависимости от выбора (например, WordPad или Excel) при выполнении операции «1D: значения "массив по оси времени"» вывод числовых данных будет иметь следующий вид:

7.2. Операции над плоскость массива

Для плоскости массива определены следующие операции предъявления (визуализации) данных:

Для построения графика необходимо выбрать массив, сечение массива и точку времени. Способ построения графика определяется Системой автоматически и зависит от размерности сечения массива. Если сечение массива является прямоугольным, например, таким:

то система строит 2D график (Tecplot позволяет представлять его и в 3D виде):

Если же сечение массива является одномерным, например, таким:

то система строит 1D график:

Для одномерных сечений массива допустима операция «2D: график массива на плоскости по времени». При выполнении этой операции система строит 2D-график, по одной оси которого откладываются все точки выбранного диапазона времени (на панели «Управление потоками»), а по другой значения массива на одномерном сечении.

Получив график, пользователь может управлять представлением с помощью средств системы Tecplot: использовать 2D или 3D представление, строить линии уровня, определять легенду и т.п.

7.3. Вырезка массива

Система позволяет «вырезать» часть массива для дальнейшей визуализации. Для этого используется следующая команда:

Выполнив эту операцию, щелкнем левой кнопкой мыши в искомой точке сечения и, не отпуская кнопку, выделим интересующую нас часть точек массива:

Теперь выполнение операции «2D: график массива на плоскости» будет относиться только к тем точкам массива, которые попали в область выделения.

Если выделенная совокупность точек массива будет одномерной, то для такой совокупности точек Система позволяет строить график «2D: график массива на плоскости по времени».

Все способы построения графиков идентичны при любых сечениях и любых способах представления расчетной области. Ниже приведен пример выделения совокупности элементов массива на YZ-сечении при использовании режима представления «слои»:

7.4. Графики «без слоев» и «со слоями»

Система позволяет визуализировать либо только значения массива, либо значения массива, совмещая их с расчетной сеткой (т.е. с изображением слоев). Ниже приведены примеры таких графиков:

Выбор способа построения графика осуществляется с помощью соответствующих установок панели настроек, вызываемой командой меню

На панели настроек нужно выбрать закладку «Графики» и установить соответствующий переключатель в положение «без слоев» или «со слоями».

7.5. Поиск минимального и максимального значений

Если в основном окне индицируется сечение некоторого массива, то мы можем найти среди индицируемых элементов массива те элементы, в которых достигается минимальное и максимальное значение. Для этого следует выполнить команду меню

Элементы массива, содержащие минимальное значение, будут индицироваться синим цветом, а элементы массива, содержащие максимальное значение, будут индицироваться зеленым цветом.

Если мы сначала выделим на сечении массива некоторую подобласть с помощью команды «Выделение/Прямоугольник», а затем выполним команду поиска минимума и максимума, то поиск будет осуществляться только в выделенной подобласти. На следующем скриншоте иллюстрируется именно такая ситуация – поиск экстремумов в выделенной области:

8. Управление представлением

Поскольку расчетные сетки, с которыми работает пользователь, могут быть неравномерными, то требуются средства для управления представлением на экране элементов массива. Система предоставляет такие средства.

Например, пользователь может изменить цвет и размеры прямоугольников, которыми индицируются элементы массива, содержащие минимальные и максимальные значения. Для этого используется закладка «Видимость» панели «Настройка»:

Эта же закладка используется для управления цветом и размерами прямоугольников, которыми индицируются «обычные» элементы массива.

Размеры представления элементов массивов указываются следующим образом:

·        размеры точек, индицирующих обычные элементы массива, указываются в виде доли от размера расчетных ячеек;

·        размеры точек, индицирующих элементы массива, в которых достигается минимум и максимум, указываются в виде множителя, применяемого к размеру точек, индицирующих обычные элементы массива.

На следующем скриншоте приведен пример индикации элементов массива на неравномерной сетке:

         Для изменения цвета индикации тех или иных точек необходимо сделать двойной щелчок по соответствующему индикатору цвета. Появится панель выбора цвета, с помощью которой можно сделать необходимый выбор.

Заключение

В препринте описан интерфейс пользователя экспериментальной версии пакета параллельных программ для задач электродинамики «Электро» - Система анализа и визуализации.

Система анализа и визуализации обеспечивает следующие возможности:

·        «визуальное» представление области моделирования – пользователь может получить любое ортогональное сечение расчетной области с индикацией точек массива на сетке. Наличие такого представления обеспечивает пользователю возможность быстрого и интуитивно ясного доступа к произвольным совокупностям данных;

·        на сечение расчетной области пользователь может выделить необходимое подмножество точек массива, а также диапазон точек шкалы времени, а затем использовать различные стандартные инструменты для обработки информации, связанной с выделенными точками массива – визуализации, просмотра, и т.п.;

·        пользователь имеет широкие возможности по управлению представлением расчетной модели – представлением сетки, цветом и размером индикации точек массива и т.п.

В препринте приводится постановка задачи, описаны принципы построения Системы анализа и визуализации, функциональные возможности Системы, управляющие элементы интерфейса и типовые сценарии работы пользователя, иллюстрируемые скриншотами.

ЛИТЕРАТУРА

1.     А.Н. Андрианов, А.В. Березин, А.С. Воронцов, К.Н. Ефимкин, М.Б. Марков «Моделирование электромагнитных полей радиационного происхождения на многопроцессорных вычислительных системах» // Математическое моделирование, т.20, N3, 2008 , 15 с.

2.     2. С.Л. Головков. Система анализа и визуализации данных комплекса параллельных программ для решения задач электродинамики. Научный сервис в сети Интернет: решение больших задач. Труды Всероссийской научной конференции (22-27 сентября 2008 г., г.Новороссийск). -М.: Изд-во МГУ, 2008, ISBN 978-5-211-05616-9 стр. 23-28.