1-29 RAR 2580-1788 0000-0002-0649-1547 Жуков Виктор Тимофеевич Институт прикладной математики им. М.В.Келдыша РАН zhukov@kiam.ru;vic.zhukov@gmail.com Zhukov V.T. Keldysh Institute of Applied Mathematics RAS 1164-1996 0000-0001-7988-6323 Краснов Михаил Михайлович Институт прикладной математики им. М.В.Келдыша РАН kmm@kiam.ru Krasnov M.M. Keldysh Institute of Applied Mathematics RAS 8393-2822 0000-0001-5924-2467 Критский Борис Викторович Институт прикладной математики им. М.В.Келдыша РАН boris.v.kritskiy@gmail.com Kritskiy B.V. Keldysh Institute of Applied Mathematics RAS 0000-0002-3896-2956 Новикова Наталия Дмитриевна Институт прикладной математики им. М.В.Келдыша РАН nn@kiam.ru Novikova N.D. Keldysh Institute of Applied Mathematics RAS 0000-0002-2792-9376 Феодоритова Ольга Борисовна Институт прикладной математики им. М.В.Келдыша РАН feodor@kiam.ru;olga.feodoritova@gmail.com Feodoritova O.B. Keldysh Institute of Applied Mathematics RAS 0009-0001-0163-8845 Арнст Егор Александрович ФГУП Федеральный центр двойных технологий "Союз" soyuz@fcdt.ru Arnst E.A. Federal Center of Dual Use Technologies “Soyuz” 0009-0003-5291-084X Гросс Ирина Николаевна ФГУП Федеральный центр двойных технологий "Союз" soyuz@fcdt.ru Gross I.N. Federal Center of Dual Use Technologies “Soyuz” 3520-6292 0000-0003-0592-0618 Милехин Юрий Михайлович ФГУП Федеральный центр двойных технологий "Союз" soyuz@fcdt.ru Milekhin Y.M. Federal Center of Dual Use Technologies “Soyuz” 4129-1510 0000-0002-1993-2161 Садовничий Дмитрий Николаевич ФГУП Федеральный центр двойных технологий "Союз" soyuz@fcdt.ru Sadovnichii D.N. Federal Center of Dual Use Technologies “Soyuz” 0009-0004-1232-0447 Шкурин Алексей Игоревич ФГУП Федеральный центр двойных технологий "Союз" soyuz@fcdt.ru Shkurin A.I. Federal Center of Dual Use Technologies “Soyuz” Численное моделирование термогазодинамических процессов в модельных РДТТ с помощью трехмерного параллельного кода Numerical simulation of thermo-gasdynamic processes in model solid propellant rocket engines using a three-dimensional parallel code Изложена методика расчетов нестационарных термогазодинамических процессов в модельных камерах твёрдотопливных ракетных двигателей (РДТТ). Трехмерная математическая модель динамики теплопроводной вязкой многокомпонентной газовой смеси представляет собой расширенную систему уравнений Навье-Стокса с добавлением уравнений диффузии компонентов. Вычислительная модель и компьютерный код основаны на разработанной оригинальной математической методики, сочетающей достоинства метода расщепления по физическим процессам, робастность схемы Годунова расчета конвективного этапа и эффективность явно-итерационной чебышевской схемы расчета диффузионного этапа. Код написан на языке C++ и использует гибридную трехуровневую параллельную структуру, включающую использование технологий MPI, OpenMP и CUDA. Работоспособность созданного параллельного программного комплекса продемонстрирована на примерах решения модельных задач. An approach for calculating non-stationary thermo-gasdynamic processes in model chambers of solid rocket engines is described. A three-dimensional mathematical model of viscous multicomponent gas mixture is an extended system of Navier-Stokes equations with the component diffusion equations. The computational model and the computer code are based on the developed original mathematical methodology that combines the advantages of splitting method by physical processes, robustness of Godunov's scheme for the convective stage and efficiency of explicit iterative Chebyshev’s scheme for diffusion stage. The code is written in C++ and uses a hybrid three-level parallel structure, including the use of MPI, OpenMP and CUDA technologies. 1. Введение Развитие суперкомпьютерных технологий с переходом к алгоритмам параллельных вычислений позволяет получить в приемлемое время численные решения, сравнимые по достоверности с результатами экспериментов. Разработка методов прямого численного моделирования газодинамических течений в каналах сложной формы имеет большой как теоретический, так и практический интерес [1–5]. Для моделирования внутрикамерных процессов в модельных камерах твёрдотопливных ракетных двигателей (РДТТ) перспективными являются модели, основанные на решении задач динамики вязких течений с использованием полной системы уравнений Навье–Стокса с учётом изменения химического состава продуктов сгорания при их продвижении по камере сгорания и сопловому блоку, с учетом процессов теплопереноса и многофазности реагирующего потока, а также с использованием различных моделей турбулентности. Широкое применение суперкомпьютерных технологий для трёхмерного моделирования с имитацией условий работы двигательных установок с реальными граничными условиями позволяет проводить виртуальное моделирование рабочих процессов вместо достаточно дорогостоящих экспериментов [6–9]. В перспективе достижимой является цель создания цифровых двойников сложных двигательных установок, что позволит снизить технические риски разработки новых систем и повысить информативность проведения экспериментальных исследований. Разработка универсальных компьютерных вычислительных пакетов прикладных программ ANSYSFLUENT, ЛОГОС [10, 11] и др. позволяет эффективно решать многие прикладные проблемы моделирования течений, в том числе в ракетных двигателях, однако универсальные коды не могут в полной мере применяться для решения задач в многосвязных расчетных областях при сложных граничных условиях. Поэтому актуальны исследования по созданию новых алгоритмов решения нестационарных уравнений Навье-Стокса с граничными условиями, имитирующими процессы горения твердого топлива. Цель данной работы состоит в изложении методики моделирования трёхмерного течения продуктов сгорания, в перспективе позволяющей перестраивать расчетные сетки при изменении геометрии канала по которому происходит истечение потока. В качестве базовой в работе используется методология математического суперкомпьютерного моделирования многомерных течений реагирующей смеси на основе программного комплекса NOISEtte-MCFL. Этот компьютерный код предназначен для расчета термогазодинамических многокомпонентных процессов и обеспечивает моделирование течений на трехмерных расчетных сетках с числом ~108 ячеек. Основу реализации составляют оригинальные авторские алгоритмы [см. 12-18]. Программные модули комплекса обладают высокой масштабируемостью на сетках с числом ячеек 106–108 и с десятками химических компонентов. Расчеты проводятся на гибридном вычислительном кластере с производительностью свыше 300 терафлопс с распараллеливанием на макроуровне с применением технологий MPI и OpenMP, а также с распараллеливанием на графической подсистеме каждого узла вычислительного кластера с помощью технологии NvidiaCUDA. 2. Математическая модель течения многокомпонентной смеси В данной работе математическая модель детально не обсуждается, но формулируется для полноты представления. Под сплошной средой понимается многокомпонентная смесь идеальных химически реагирующих газов с учетом вязкости, теплопроводности и диффузии компонентов. Для методических и приближенных расчетов используются две упрощенные модели смеси: модель совершенного газа с заданным показателем адиабаты и модель совершенного газа с частицами металла. Модель основана на системе уравнений Навье-Стокса с введением дополнительных членов и уравнений для учета диффузии химических компонентов [13-17, 19-26]. Уравнения неразрывности, сохранения импульса и энергии имеют соответственно вид Здесь – вектор скорости течения смеси газов, его компоненты ;  – плотность,  – полная энергия,  – удельная внутренняя энергия (единицы массы),  – модуль вектора скорости,  – давление смеси,  – тензор вязких напряжений, и – векторы плотности теплового и диффузионного потоков соответственно. Тензор вязких напряжений и вектор плотности теплового потока имеют соответственно вид , здесь и  – коэффициенты молекулярной вязкости и теплопроводности смеси газов соответственно,  – единичная  матрица. Мы ограничимся учетом только концентрационной диффузии: каждый компонент, т.е. химически однородное вещество смеси, движется в направлении меньшей концентрации. Для смеси из компонентов с массовыми долями , уравнения переноса компонентов имеют вид , где – приток компонента за счет химических реакций (массовая скорость производства вещества). В уравнениях вектор плотности диффузионного потока компонента определяется из закона Фика [19]: , где – коэффициент диффузии компонента . Входящий в правую часть уравнения энергии вектор обусловлен диффузией компонентов смеси, здесь – энтальпийные функции компонентов, см. [19]. Здесь и ниже суммирование ведется по индексу , нумерующему компоненты смеси. Для смеси газов коэффициенты вязкости, теплопроводности и диффузии вычисляются по некоторым комбинаторным формулам. В общем случае эти коэффициенты являются тензорами, но в данной работе мы полагаем, что они являются скалярными функциями температуры. Выражение для полной энергии смеси можно записать в виде . Здесь – энтальпия смеси, она выражается через энтальпийные функции отдельных компонентов следующими формулами: где  – теплоемкость компонента при постоянном давлении,  – энтальпия функция компонента,  – энтальпия, требуемая для образования единицы массы компонента при референсной безразмерной температуре (). Мы используем уравнение состояния смеси идеальных несовершенных газов. Уравнение состояния для каждого компонента имеет вид Здесь,  – универсальная газовая постоянная, – молярная масса смеси, которая определяется из соотношения , а переменные , есть соответственно молярная масса компонента , его внутренняя энергия и удельная теплоемкость (единицы массы) при постоянном объеме. Термическое уравнение состояние смеси может быть записано в виде . Справедливы соотношения, , . Калорическое уравнение состояния представляется полиномом пятой степени. По известной переменной температура определяется с помощью обращения этого уравнения состояния итерационным методом Ньютона. Для описания турбулентности используется SST-модель Ментора [27], включающая два дифференциальных уравнения для транспорта удельной кинетической энергии турбулентности и удельной скорости диссипации турбулентной энергии . Эта модель хорошо известна и описана в литературе. Влияние мельчайших структур на крупные структуры учитывается модификацией коэффициентов и , к ним добавляются турбулентные составляющие. Отметим, что система уравнений конвекции-диффузии компонентов является переопределенной, так как справедливы соотношения , причем первые два тождества являются следствием определений для массовой плотности и гидродинамической скорости смеси, а третье соотношение – это следствие закона сохранения массы в химических реакциях. В реализации компьютерного кода эти соотношения используются для дополнительного контроля точности. 3. Компьютерный код MCFL Для проведения численных экспериментов использовался программный комплекс NOISEtte-MCFL, предназначенный для моделирования многокомпонентных, вязких, теплопроводных течений в соответствии с разделом 2. Заметим, что этот код позволяет решать задачи сопряженного теплообмена газовой смеси и твердого тела, используя оригинальную методику на основе многочленов Чебышева [14-16]. Код NOISEtte-MCFL представляет собой новое функциональное развитие кода NOISEtte ИПМ им. М.В. Келдыша РАН и наследует его базовые возможности. Исследовательский код NOISEtte объединяет на общей платформе сверхмасштабируемые параллельные алгоритмы и гетерогенные вычисления для вихре-разрешающего моделирования задач гидродинамики, аэродинамики и аэроакустики, включает в себя численные методики решения систем уравнений Эйлера и Навье-Стокса для сжимаемых сред [28-30]. Пространственная дискретизация выполняется на 2D или 3D неструктурированных гибридных сетках. В случае 2D в качестве сеточных элементов допускаются треугольники и четырёхугольники, в 3D – тетраэдры, треугольные призмы, четырёхугольные пирамиды и гексаэдры. На сетке записывается конечно-объемная схема с определением консервативных переменных в узлах сетки. Ячейки интегрирования представляют собой дуальные объемы, ассоциированные с узлами геометрической сетки. Такая дискретизация называется часто узловой или вершинно-центрированной. Программный код NOISEtte (и MCFL как его функциональное развитие) реализует смешанный метод аппроксимации, а именно: члены конвективного переноса аппроксимируются с использованием метода конечных объёмов. Диффузионная часть уравнений аппроксимируется на основе конечно-элементного восполнения во вспомогательных тетраэдрах с использованием линейных финитных функций. Эта дискретизация обеспечивает второй порядок аппроксимации по пространству и имеет много общего с классическим методом P1-Галеркина. Например, трехмерный оператор Лапласа для деформированных шестигранных сеток аппроксимируется на 27-точечном шаблоне (для аппроксимации достаточно 7-точеного шаблона), как и в методе Галеркина, но в отличие от него на декартовой сетке превращается в 7-точечную дискретизацию, см. [30] Для аппроксимации конвективных членов используется схема Годунова с расчетом потоков на основе точного решения задачи Римана для многокомпонентной смеси [13]. Для интегрирования по времени применяется специальная явно-итерационная чебышевская схема, позволяющая вести расчет с гиперболическим ограничением числа Куранта [12]. Код NOISEtte-MCFL прошел тестирование на наборе типичных тестовых задач, описание которых можно найти в работах [12-17]. Код написан на языке С++, реализован в параллельном варианте в программной среде LINUX на кластерах К-100, К-60 ИПМ им. М.В. Келдыша РАН. 4. Вычислительная постановка задачи Целью расчетных исследований является демонстрация возможностей математического моделирования в данной предметной области, оценка перспектив использования новых суперкомпьютерных архитектур, а также изучение основных закономерностей газодинамических течений в условиях, представляющих интерес для приложений. Для проведения первой серии расчетов рассмотрена осесимметричная модель – фигура вращения с элементами различной геометрической формы. На рис. 1 представлена 3D схема этой модели, на рис. 2 показано ее осевое сечение. Рис. 1. Модель 1. 3D реконструкция Рис. 2. Осевое сечение Модели 1 Все расчеты проводились в предположении многокомпонентной вязкой теплопроводной среды, в которой реакции между компонентами на данном этапе работы мы не учитываем. Рассматриваемая среда состоит из двух условных компонентов C-1 и C-2, термодинамические параметры которых (молекулярный вес , теплоемкость при постоянном давлении , динамическая вязкость , коэффициент диффузии , коэффициент теплопроводности ) известны. Тот факт, что модель обладает осевой симметрией, позволяет использовать в качестве расчетной области сектор, вообще говоря, произвольного угла раствора. Мы проводили расчеты на половине модели (рис. 3). На рис. 3 расчетная область выделена синим цветом. Такой выбор угла раствора сектора в большой степени связан с желанием построить в окрестности оси симметрии сетку, состоящую из кубических элементов. Сетка в поперечном сечении показана ниже в разделе 5. На входной проницаемой границе имитируется процесс горения твердого топлива и задаются граничные условия постоянства массового расхода, энтальпии и направления вектора скорости по нормали к поверхности. На твердых непроницаемых стенках реализуются условия прилипания, на оси симметрии ставятся условия симметрии. На срезе сопла, являющемся выходной границей, используется условие сверхзвукового истечения газа в область с низким давлением. Рис. 3. Модель 1. Расчетная область (выделена синим цветом) В терминах компьютерного кода использованы четыре типа граничных поверхностей с условными названиями INLET, WALL, OUTLET и SYMMETRY. На рис. 4 три из них выделены разными цветами. Поверхность, имеющая тип WALL, состоит из двух несвязных частей, обозначенных как PATCH1 и PATCH3. Граница SYMMETRY не указана на рис. 4. Ее описание и расположение можно найти ниже. Рис. 4. Модель 1. Постановка граничных условий На граничной поверхности INLET заданы три условия: , , , где – заданные константы. С данной граничной поверхности имитируется вдув высокоэнтальпийного газа с постоянным расходом. Газ является однофазной сжимаемой средой, термодинамические свойства которой соответствуют равновесным параметрам двухфазной смеси продуктов сгорания модельного смесевого твердого топлива. Условия позволяют определить на границе необходимые нам значения статической температуры и скорости U по направлению вектора внешней нормали к границе. При этом мы опираемся на следующую систему соотношений: Состав смеси в начальный момент времени задается удельными концентрациями , компонентов С-1 и С-2 с показателями адиабаты, соответственно. Тип граничного условия WALL определяется условием прилипания: , для давления и температуры заданы соотношения , где – внешняя единичная нормаль к границе области. Такие же соотношения приняты для химических компонентов . Граничная поверхность SYMMETRY обозначена на рис. 5 серым цветом. На этой поверхности нормальная компонента скорости равна нулю, и выполнены условия , . Рис. 5. Модель 1. Граничная поверхность SYMMETRY На границе OUTLET величины переносятся из приграничных узлов расчетной области. В начальный момент времени поля скоростей и температуры однородны , где – заданная константа. Поле давления разделено на три зоны, в каждой из которой давление имеет свое собственное постоянное значение. Геометрию каждой из зон можно увидеть на рис. 6: в зоне 1 давление равно 10, в зоне 2 – 0.05 и, наконец, в зоне 3 – 1 (нормированные значения) (см. рис. 6). Рис. 6. Начальное распределение давления При этом вся расчетная область заполнена компонентом С-2, т.е. состав смеси следующий:, . Процедура интегрирования по времени основана на расщеплении на конвективный (гиперболический) и диффузионный (параболический) этапы, Первый из них реализован явной схемой годуновского типа, модифицированной для многокомпонентного случая. Диффузионный этап реализован оригинальной явно-итерационной чебышевской схемой. Турбулентность на данном этапе не учитывалась. 5. Результаты вычислительных экспериментов Трехмерная расчетная сетка построена с помощью коммерческого пакета построения сеток PointWise (лицензия Customer number: EU035). Геометрия исследуемой модели достаточно проста, что позволило построить результирующую сетку, состоящую из параллелепипедов. Пример поверхностной сетки можно увидеть на рис. 7 и 8. Рис. 7. Модель 1. Поверхностная сетка. Вид со стороны осевого сечения Рис. 8. Модель 1. Поверхностная сетка. Вид со стороны границы INLET Процедура построения сетки следующая. Блочно-структурированную сетку, построенную пакетом Pointwise, записываем в формате CGNS. Далее сетку в формате CGNS с помощью утилиты meshconvert (вспомогательная утилита пакета NOISEtte) преобразуем в сеточный формат NOISEtte. Так как блочно-структурированная сетка состоит из нескольких блоков, необходимо убрать внутренние границы стыковки блоков и объединить границы с идентичными именами, принадлежащие разным блокам, в одну границу. Для верификации результатов численных экспериментов построены 4 сетки на половине расчетной области и одна секториальная сетка с размером угла раствора 300 (см. рис. 9). Число узлов и ячеек построенных сеток приведены в табл. 1. Рис. 9. Модель 1. 3D вид расчетной области в случае сектора (300) В расчетах на секториальной сетке граничная поверхность SYMMETRY заменялась на граничную поверхность PERIODIC. На рис. 10 показано устройство сетки в случае применения краевых условий SYMMETRY (рис. 10 а) и PERIODIC (рис. 10 б). Красной линией показана физическая граница вычислительной задачи. Ячейки, выходящие за ее пределы, являются виртуальными. Они необходимы для правильной реализации указанных краевых условий. Таблица 1 Размеры построенных сеток ОбозначениеЧисло узловЧисло ячеекСетка 1х114375102320Сетка 2х838353793344Сетка 4х65250256346752Сетка 8х2329349722793216Сетка (sector)44868713732000 а) б)Рис. 10. Модель 1. Сетка с граничным условием а) SYMMETRY, б) PERIODIC На рис. 11 и 12 приведены результаты сходимости численных решений на последовательности введенных сеток. Для анализа выбраны две функции: давление на оси симметрии (рис. 11) и модуль скорости (рис. 12) на момент времени t = 0.1. Анализ графиков показывает, что сходимость при измельчении сетки достигается. Результаты, полученные на самой подробной сетке 8х, пригодны для визуализации и дальнейшего анализа. Здесь и ниже при визуализации мы указываем давление в нормированном виде. Рис. 11. Давление на оси симметрии для разных сеток при t = 0.1 Рис. 12. Модуль скорости на оси симметрии для разных сеток при t = 0.1 Результаты, представленные ниже, получены на сетке 8х. Одномерные графики, демонстрирующие поведение давления, температуры и скорости, сняты в 8 контрольных точках, расположение которых представлено на рис. 13. На рис. 14, 15 показано поведение давления и температуры и скорости в предписанных контрольных точках. Рис.13. Расположение контрольных точек а) давление в контрольных точках 1, 2, 3б) давление в контрольных точках 4, 5, 6 в) давление в контрольных точках 7, 8Рис. 14. Давление в контрольных точках а) температура в контрольных точках 1, 2, 3б) температура в контрольных точках 4, 5, 6в) температура в контрольных точках 7, 8Рис.15. Температура в контрольных точках Рис. 15 свидетельствует о возникновении в течении смеси застойных зон, в которых не происходит интенсивного смешения начального состава газа с высокотемпературным потоком из канала, в полузамкнутых областях с граничными условиями прилипания на стенках (см. точку 4 на рис. 15 б). Дополним картину графиком сходимости давления по времени на оси симметрии, который представлен на рис. 16. Из графика видно, что ко времени t = 0.1 давление вдоль оси симметрии уже меняется незначительно. Рис. 16. Давление на оси симметрии в зависимости от времени Проанализируем дополнительно процесс установления давления и температуры по времени во внутреннем объеме модели (рис. 17). Сам объем усреднения показан в верхней части рисунка. а) б)Рис. 17. Средние значения а) давления и б) температуры в зависимости от времени Мы видим, что во всем внутреннем объеме давление и температура устанавливаются на более поздний момент времени ~0.5. Рис. 18 показывает процесс распространения компонента 1. Рис. 18. Поле компонента 1 в моменты времени t=0.01, t=0.05, t=0.1 И, наконец, на рис. 19 показано поле продольной составляющей скорости на момент времени t = 0.1 и линии тока. Рис. 19. Поле продольной составляющей скорости, t = 0.1 Вторая модель (Модель 2) имеет осесимметричную форму, однако ее геометрия более сложная по сравнению с первой моделью. Вид Модели 2 представлен на рисунке 20. Рис. 20. Модель 2. 3D вид (половина области) Вычислительная постановка задачи близка к уже описанной выше постановке Модели 1. Термодинамические характеристики рассматриваемых веществ, постановка краевых и начальных условий практически совпадает с указанными для Модели 1. Схема интегрирования не менялась по сравнению с предыдущим вариантом, равно как и тактика проведения вычислительного эксперимента. Для проведения расчетов выделены те же четыре типа граничных поверхностей – INLET, WALL, OUTLET и SYMMETRY. На рисунке 21 серым цветом выделены граничные поверхности типа WALL, а голубым цветом – поверхности типа INLET. Границы – OUTLET и SYMMETRY на рисунке не обозначены. Их расположение определяется по аналогии с предыдущим случаем первой модели. Рис. 21. Модель 2. Граничные поверхности: INLET (голубой), WALL (серый) По построенной модели генерируется трехмерная гибридная тетраэдральная сетка. Все построения начинаются с триангулирования всех поверхностей, используемых в расчете. На рисунках 22 и 23 можно видеть, как устроена поверхностная сетка – она имеет сгущения в областях изломов поверхности. Размер построенной сетки составляет 1019499 расчетных точек. Рис. 22. Модель 2. Поверхностная сетка (вид с внешней стороны объекта) Рис. 23. Модель 2. Поверхностная сетка (вид со стороны плоскости сечения) Представленные ниже рисунки 24-27 демонстрируют на момент времени t = 0.03 поля давления (рисунок 24), температуры (рисунок 25) массовой доли C-1 (рисунок 26) и продольной компоненты скорости с линиями тока (рисунок 27). Рис. 24. Модель 2. Поле давления, t = 0.03 Рис. 25. Модель 2. Поле температур, t = 0.03 Рис. 26. Модель 2. Поле массовой доли компонента 1, t = 0.03 Рис. 27. Модель 2. Поле продольной составляющей скорости, t = 0.03 Разработанный газодинамический программный комплекс позволяет проводить исследования по идентификации вихревых структур с использованием Q-критерия, введенного в работе [31] и часто применяемого для выделения областей, в которых вихрь доминирует над вязким сдвигом. На рис. 28 показана изоповерхность Q-критерия в форме температурного поля. Рис. 28. Изоповерхность Q-критерия, окрашенная по температуре на разные моменты времени 6. Аспекты параллельной реализации Параллельная реализация кода NOISЕtte-MCFL наследует гибридную параллельную структуру программного комплекса NOISЕtte. Этот код использует технологии MPI и OpenMP для моделей с распределенной памятью и общей памятью соответственно. Масштабируемость кода проверена на сетках в диапазоне числа узлов от дона суперкомпьютерных вычислительных системах ИПМ им. М.В. Келдыша РАН, межведомственного суперкомпьютерного центра РАН, на суперкомпьютере «Ломоносов» МГУ им. М.В.Ломоносова. При варьировании числа процессоров в диапазонах 100–10000 ядер эффективность составляет примерно 90% от идеальной [28, 29]. В конкретном расчете на сетке 8x с числом узлов время эффективности при использовании 28, 56, 112 процессоров составляет примерно 95%. При использовании 448 ядер (16 узлов по 28 процессоров) время счета данного варианта составляло примерно 20 часов. Расчет одного шага занимал порядка . Заметим, что для оценки масштабируемости параллельного алгоритма используется понятие эффективности , где – время счета на одном процессоре, – время счета на процессорах. Для работы на графических ускорителях GPU программный код MCFL использует технологию CUDA, для чего разработана специальная библиотека функционального программирования для языка C++ [18], которая позволяет всю специфику вычислительного устройства (CPU или CUDA) поместить внутрь библиотеки и сделать пользовательский исходный код полностью платформонезависимым. Эта библиотека реализована в стиле, близком к стилю языка Haskell, так как он представляется одним из наиболее продвинутых современных функциональных языков программирования, основанных на современной математической теории (теории категорий), широко распространённым и активно поддерживаемым мировым научным сообществом. Данная библиотека оказалась удобным средством для переноса численных задач на графические ускорители CUDA. Сеточные выражения можно строить, комбинируя сложные функции из простых, что является также сильной стороной функционального программирования. При использовании графического ускорителя на одном узле достигается примерно десятикратное ускорение расчета. Полностью задействование гетерогенной структуры суперкомпьютеров с параллелизмом MPI + OpenMP + CUDA/OpenCL пока является проблематичным. 7. Заключение Предложен метод математического суперкомпьютерного моделирования течений многокомпонентной высокотемпературной газовой смеси в трехмерной расчетной области с использованием решения уравнений Навье-Стокса, включая уравнения диффузии компонентов в потоке, применительно к условиям развития внутрикамерных процессов в ракетных двигателях. Показана возможность реализации и применения разработанного метода в виде параллельного компьютерного кода NOISEtte-MCFL, позволяющего проводить моделирование вязких, теплопроводных течений в каналах сложной геометрии. Проведенные расчеты нестационарных газодинамических параметров модельного РДТТ показали: – валидность принятой постановки задачи, формулировки граничных и начальных условий в расчетной области, в особенности условий, определяющих закон изменения массового потока высокотемпературной газовой смеси на заданной входной границе расчетной области; – устойчивость численного решения в условиях сложной геометрии трактов и сеточную сходимость результатов при дискретизации расчетной области сетками, содержащими до 20 миллионов конечно-объемных элементов. – возникновение в течении смеси застойных зон, в которых не происходит интенсивного смешения начального состава газа с высокотемпературным потоком из канала, в полузамкнутых областях с граничными условиями прилипания на стенках. Вычисления проведены с помощью гибридного суперкомпьютера К-60, установленного в Центре коллективного пользования ИПМ им. М.В.Келдыша РАН. 519.63 10.20948/prepr-2024-7 численное моделирование уравнения Навье-Стокса газовая смесь модель твердотопливного двигателя numerical simulation Navier-Stokes equations gas mixture solid-propellant rocket engines Оран Э., Борис Дж. Численное моделирование реагирующих потоков. Пер. с англ. – Москва: Мир, 1990. 660 с. Ерохин Б.Т., Липанов А.М. Нестационарные и квазистационарные режимы работы РДТТ. – Москва: Машиностроение, 1977. – 200 с. Милехин Ю.М., Бурский Г.В., Лавров Г.С., Попов В.С., Садовничий Д.Н. Энергетика и внутренняя баллистика ракетных двигателей на твердом топливе. – Москва: Наука. 2018. – 369 с. French A. D., Panelli M., Di Lorenzo G., Schettino A., Paglia F. Combustion Instability and Pressure Oscillation Numerical Simulation in a Solid Rocket Motor // 53rd AIAA/ASME/SAE/ASEE Joint Propulsion Conference, 10-12th July, 2017, Atlanta, Georgia. AIAA 2017-4952. DOI: 10.2514/6.2017-4952. DiMaggio G. A., Hartfield R. J., Jr., Majdalani J. and Ahuja V. Solid rocket motor internal ballistics using an enhanced surface-vorticity panel technique // Phys. Fluids 2021. V. 33, P. 103613; doi: 10.1063/5.0069075. Dick W. A., Fiedler R. A. and Heath M. T. Building Rocstar: Simulation Science for Solid Propellant Rocket Motors // 42nd AIAA/ASME/SAE/ASEE Joint Propulsion Conference & Exhibit. 9-12 July 2006, Sacramento, California. AIAA-2006-4590. Милёхин Ю.М., Попов В.С., Бурский Г.В., Садовничий Д.Н., Шкурин А.И., Гросс И.Н. Расчет внутрибаллистических характеристик с учетом теплофизических параметров уноса и газификации теплозащиты РДТТ на стационарном режиме работы и участке глубокого спада давления. Часть 1. Физико-математическая формулировка задачи / В сб.: Внутрикамерные процессы и горение в установках на твердом топливе и ствольных системах (ICOC2020). Сб. трудов X Всерос. конф. 2020. С. 207-217. Милёхин Ю.М., Попов В.С., Бурский Г.В., Садовничий Д.Н., Шкурин А.И., Гросс И.Н. Расчет внутрибаллистических характеристик с учетом теплофизических параметров уноса и газификации теплозащиты РДТТ на стационарном режиме работы и участке глубокого спада давления. Часть 2. Результаты расчетного исследования параметров глубокого спада давления в РДТТ / В сб.: Внутрикамерные процессы и горение в установках на твердом топливе и ствольных системах (ICOC2020). Сб. трудов X Всерос. конф. 2020. С. 218-229. Шумихин А.А., Дадикина С.Ю. Численное моделирование течения вязкого сжимаемого газа в РДТТ с центральным телом // Хим. физика и мезоскопия. 2020. Т. 22. № 2. С. 184-196. Козелков А.С., Дерюгин Ю.Н., Зеленский Д.К., Полищук С.Н., Лашкин С.В., Жучков Р.Н., Глазунов В.А., Яцевич С.В., Курулин В.В. Многофункциональный пакет программ ЛОГОС: физико-математические модели расчета задач аэро-, гидродинамики и теплопереноса // Препринт 111– 2013. Саров: ФГУП «РФЯЦ-ВНИИЭФ», 2013. Коротков А.В. Конечно-объемная дискретизация прямого метода решения задач сопряженного теплообмена в пакете программ «ЛОГОС» // Труды НГТУ им. Р.Е. Алексеева. 2022. № 3. С. 7-21. DOI: 10.46960/1816-210X_2022_3_7. Жуков В.Т., Новикова Н.Д., Феодоритова О.Б. Об одном подходе к интегрированию по времени системы уравнений Навье–Стокса // Ж. вычисл. матем. и матем. физ. 2020. Т. 60. № 2. С. 267–280. Borisov V.E., Feodoritova O.B., Novikova N.D., Rykov Yu.G., Zhukov V.T. Computational Model for High-Speed Multicomponent Flows // Mathematica Montisnigri. Vol XLVIII (2020). DOI: 10.20948/mathmontis-2020-48-4. Feodoritova O.B., Novikova N.D., Zhukov V.T. An explicit iterative scheme for 3D multicomponent heat conducting flow simulation // J. Phys.: Conf. Ser., 2021. Vol. 2028, 012022. Feodoritova, O.B., Krasnov, M.M., Novikova, N.D., Zhukov, V.T. А Numerical Method for Conjugate Heat Transfer Problems in Multicomponent Flows // J. Phys.: Conf. Ser., 2021. V. 2028. 012024. Feodoritova, O.B., Novikova, N.D., Zhukov, V.T. Development of Numerical Methodology for Unsteady Fluid–Solid Thermal Interaction in Multicomponent Flow Simulation // Lobachevskii Journal of Mathematics, 44, 33–43 (2023). Борисов В.Е., Жуков В.Т., Краснов М.М., Критский Б.В., Новикова Н.Д., Рыков Ю.Г., Феодоритова О.Б. Программный комплекс NOISEtte–MCFL для расчета многокомпонентных реагирующих течений // Препринты ИПМ им. М.В.Келдыша. 2023. № 6. 23 с. https://doi.org/10.20948/prepr-2023-6 Краснов М.М., Феодоритова О.Б. Применение библиотеки функционального программирования для распараллеливания вычислений на графических ускорителях с технологией CUDA // Препринты ИПМ им. М.В.Келдыша. 2022. № 51. 36 с. https://doi.org/10.20948/prepr-2022-51 https://library.keldysh.ru/preprint.asp?id=2022-51 Франк-Каменецкий Д.А. Диффузия и теплопередача в химической кинетике. – Москва: Наука, 1987 (3-е изд.); 502 с. Poinsot T., Veynante D. Theoretical and numerical combustion // Edwards, 3rd Edition, (2011), 522 p. Wilke C.R. A viscosity equation for gas mixtures // J. Chem. Phys., v.18, №4, p. 517–522, 1950. Wilke C.R. Diffusional Properties of Multicomponent Gases // Chemical engineering progress. 1950. Vol. 46. №2, р. 95–104. Fairbanks D.F., Wilke C.R. Diffusion Coefficients in Multicomponent Gas Mixtures Ind. Eng. Chem., 1950, 42 (3), p. 471–475. Mason E.A., Saxena S.C. Approximate Formula for the Thermal Conductivity of Gas Mixtures // Physics of Fluids, 1958. Vol. 1, № 5, p. 361–369. Ферцигер Дж., Капер Г. Математическая теория процессов переноса в газах. Москва: Мир. 1976. 554 с. John H. Lienhard IV, John H. Lienhard V. A heat transfer textbook. Fourth edition, Phlogiston press Cambridge, Massachusetts. USA. 2017. P. 757. Vieser W., Esch T., Menter F. Heat transfer predictions using advanced two-equation turbulence models // CFX Validation Report 10/0602, AEA Technology, 1–69, (2002). Gorobets А. Parallel Algorithm of the NOISEtte Code for CFD and CAA Simulations. Lobachevskii Journal of Mathematics (2018) 39: 524. https://doi.org/10.1134/S1995080218040078 Gorobets A., Bakhvalov P., Duben A., Rodionov P. Acceleration of NOISEtte Code for Scale-resolving Supercomputer Simulations of Turbulent Flows. LJM. Vol 41, No. 8, pp. 1463–1474, 2020. https://doi.org/10.1134/S1995080220080077 Bakhvalov P.A., Surnachev M.D. Method of averaged element splittings for diffusion terms discretization in vertex-centered framework. // J. Comput. Phys. Vol. 450, 2022, 110819. DOI: 10.1016/j.jcp.2021.110819 Hunt J.C.R., Wray A. and Moin P. Eddies, Streams, and Convergence Zones in Turbulent Flows // Report CTR-S88. Center for Turbulence Research, Stanford, USA, 1988, p. 193-208. https://keldysh.ru/papers/2024/prep2024_7.pdf