1-15 RAR 7125-0221 0000-0002-4972-1816 Кальметьев Рустем Шайнурович Институт прикладной математики им. М.В.Келдыша РАН kalmetev@phystech.edu Kalmetev R.S. Keldysh Institute of Applied Mathematics RAS Аппроксимация решений многомерного уравнения Колмогорова с помощью итераций Фейнмана-Чернова Approximate solution of multidimensional Kolmogorov equation using Feynman-Chernoff iterations В данной работе предлагается новый алгоритм для численной аппроксимации решений многомерного уравнения Колмогорова, основанный на усреднении итераций Фейнмана-Чернова для случайных операторнозначных функций. В случае, когда значения операторнозначных функции принадлежат представлению какой-либо конечномерной группы Ли, предлагаемый алгоритм имеет меньшую вычислительную сложность по сравнению со стандартным Монте-Карло алгоритмом, использующим формулу Фейнмана-Каца. В частности, в работе рассмотрен случай группы аффинных преобразований евклидова пространства. Для рассматриваемых алгоритмов приведены результаты численных расчетов. In this paper we propose a new algorithm for the numerical approximation of solutions to the multidimensional Kolmogorov equation, based on the averaging of Feynman-Chernoff iterations for random operator-valued functions. In the case when the values of operator-valued functions belong to the representation of some finite-dimensional Lie group, the proposed algorithm has a lower computational complexity compared to the standard Monte Carlo algorithm that uses the Feynman-Kac formula. In particular, we study the case of a group of affine transformations of a Euclidean space. For the considered algorithms we also present the results of numerical calculations. Введение Многомерные уравнения в частных производных часто встречаются в различных практических приложениях. В то же время численное решение таких уравнений при помощи сеточных алгоритмов, таких как конечно-разностные алгоритмы или метод конечных элементов, становится практически невозможным для достаточно больших размерностей. Стандартным подходом для задач большой размерности является построение статистических оценок для решений методом Монте-Карло [1-3]. Также в последние годы получили развитие идеи применения глубоких нейронных сетей для построения аппроксимаций решений [4-7]. Обучение таких сетей требует достаточно больших обучающих выборок, которые опять же, как правило, строятся методом Монте-Карло. В данной работе предлагается новый алгоритм для численной аппроксимации решений многомерного уравнения Колмогорова, основанный на усреднении итераций Фейнмана-Чернова [8] для случайных операторнозначных функций. Основная идея алгоритма берет свое начало в теории сильно непрерывных полугрупп и состоит в построении аппроксимации на основе теоремы Чернова [9] для оператора эволюции, действующего на начальное условие (см., например, [8,10-11]). Предлагаемый алгоритм имеет меньшую вычислительную сложность по сравнению со стандартным Монте-Карло алгоритмом, использующим формулу Фейнмана-Каца в случае, когда значения усредняемых случайных операторнозначных функций принадлежат представлению какой-либо конечномерной группы Ли. В частности, в данной работе рассмотрен случай группы аффинных преобразований евклидова пространства и соответствующие уравнения, порождаемые при усреднениях итераций Фейнмана-Чернова. Также мы приводим результаты численных расчетов для двух модельных задач для стандартного алгоритма и для алгоритма, предлагаемого в данной работе. 1. Уравнение Колмогорова и формула Фейнмана-Каца Пусть — евклидово пространство конечной размерности , — пространство квадратично интегрируемых функций. Рассмотрим задачу Коши (1) (2) где — некоторое начальное условие, а (3) — дифференциальный оператор, задаваемый коэффициентами сноса и диффузии . Рассмотрим также соответствующее стохастическое дифференциальное уравнение в форме Ито (4) где — стандартный -мерный винеровский процесс. При выполнении достаточных условий: 1. (ограниченного роста), 2. (Липшица), 3. (равномерной эллиптичности) задача Коши (1)-(2) имеет для произвольного единственное сильное решение , а уравнение (4) с начальным условием имеет сильно единственное сильное решение (см., например, [12-14]). При этом формула Фейнмана-Каца связывает эти два решения следующим образом: (5) Сильная единственность решения стохастического дифференциального уравнения означает потраекторную единственность, то есть если и — сильные решения, имеющие одинаковые (почти наверное) начальные условия, то почти наверное для произвольного . Уравнение, задаваемое сопряженным к оператором (6) и описывающее эволюцию плотности распределения случайной величины , называют уравнением Фоккера-Планка или прямым уравнением Колмогорова, а уравнение (1) — обратным уравнением Колмогорова [14]. Формула Фейнмана-Каца (5) позволяет получить численную оценку значения для уравнения (1), применив метод Эйлера-Маруямы для моделирования случайного процесса и метод Монте-Карло для статистической оценки математического ожидания. Статистические аппроксимации решения задачи Коши (1)-(2) методом Монте-Карло используются в случае большой размерности решаемой задачи, так как в этом случае сеточные численные методы неприменимы из-за чрезвычайно большого размера расчетной сетки (см., например, [1-3, 15, 16]). Стандартный алгоритм вычисления оценки для решения задачи Коши (1) (2) методом Монте-Карло с использованием формулы Фейнмана-Каца выглядит следующим образом [1]: Алгоритм: Monte-Carlo by Feynman-Kac (MCFK)1Data: functions , target points , time step size ,2time steps count , iterations count 3Result: 4begin5;6foreach in do7for to do8; 9for to do10 random sample from standard normal distribution;1112end13;14end15end16end Данный алгоритм является бессеточным и характеризуется вычислительной сложностью , где — число точек, в которых строится оценка, — число итераций метода Монте-Карло, а — число шагов по времени в методе Эйлера-Маруямы. 2. Итерации Фейнмана-Чернова операторнозначных функций В этом разделе численная аппроксимация решений задачи Коши (1)-(2) рассматривается с точки зрения теории сильно непрерывных полугрупп и описывается Монте-Карло алгоритм, основанный на применении итераций Фейнмана-Чернова для операторнозначных функций. Используемые обозначения и необходимые сведения из теории сильно непрерывных полугрупп и теории случайных операторов приведены в приложении A. Если дифференциальный оператор (3) является генератором сильно непрерывной полугруппы , тогда для произвольного начального условия слабое решение задачи Коши (1)-(2) представляется в виде [17]: (7) Пусть — последовательность независимых одинаково распределенных случайных сильно непрерывных операторнозначных функций , определенных на вероятностном пространстве . Пусть также средние эквивалентны по Чернову полугруппе . Тогда в силу теоремы Чернова [9] конечная композиция операторов (8) при достаточно большом может быть использована в качестве аппроксимации оператора . Операция взятия математического ожидания в формуле (8) может быть вынесена наружу в силу независимости [18]. И тогда оценка для решения задачи Коши (1)-(2) может быть получена с помощью метода Монте-Карло для оценки математического ожидания . Предлагаемый в данной работе алгоритм, использующий метод Монте-Карло для семплирования итераций Фейнмана-Чернова, выглядит следующим образом Алгоритм: Monte-Carlo by Feynman-Chernoff (MCFCh)1Data: functions , target points , time step size ,2time steps count , iterations count 3Result: 4begin5;6for to do 78for to do9 random sample from operator-valued function distribution;1011end12foreach in do13;14end15end16end Данный алгоритм также является бессеточным. В общем случае вычислительная сложность метода также является , где — число точек, в которых строится оценка, — число итераций метода Монте-Карло, а — число итераций Фейнмана-Чернова. Но в случае, когда значения операторнозначных функций принадлежат представлению какой-либо конечномерной группы Ли (например представлению группы аффинных преобразований, см. следующий раздел), вычислительная сложность может быть понижена до , что является значительным преимуществом. Возможность уменьшения сложности возникает здесь из-за того, что операторы в алгоритме MCFCh в этом случае однозначно восстанавливаются из элемента порождающей группы, и для вычисления во втором внутреннем цикле не требуется вычислений всех промежуточных шагов для каждой целевой точки. 3. Усреднение аффинных преобразований В данном разделе рассматриваются усреднение по Чернову аффинных преобразований аргумента функций и соответствующие порождаемые уравнения Колмогорова. Для таких уравнений задача Коши (1)-(2) может быть численно решена алгоритмом MCFCh с вычислительной сложностью . Рассмотрим случайную операторнозначную функцию со значениями в группе аффинных преобразований конечномерного евклидова пространства следующего вида (9) где при компоненты являются вещественными случайными величинами, а и — случайные непрерывно дифференцируемые функции, обращающиеся в ноль в точке . При этом все случайные величины предполагаются совместно распределенными на вероятностном пространстве . Случайная операторнозначная функция (8) порождает случайную операторнозначную функцию со значениями в пространстве линейных ограниченных операторов, действующих в , таким образом, что при каждом фиксированном выполняется равенство (10) Пусть выполняются следующие условия: A1: операторы и при каждом принимают значения в шаре радиуса пространства с вероятностью 1; A2: распределение случайного вектора дискретно и симметрично; A3: ; A4: Оператор диагонализируем с вероятностью 1; A5: с вероятностью 1; A6: ковариационная матрица случайного вектора является положительно определенной. Теорема (2022,[19]): Пусть задана случайная операторнозначная функция вида (8), для которой выполнены условия A1-A6. Тогда последовательность усреднений итераций Фейнмана-Чернова сходится в топологии к сильно непрерывной полугруппе : (11) где полугруппа порождается решениями задачи Коши (12) для произвольного , и где оператор на области определения задается дифференциальным выражением (13) Из этой теоремы и того, что значения лежат в группе аффинных преобразований, следует, что задача Коши (1)-(2), в которой оператор представим в виде (11), может быть численно решена алгоритмом MCFCh с вычислительной сложностью . 4. Вычислительные примеры В данном разделе мы приводим некоторые численные результаты, иллюстрирующие свойства рассматриваемых алгоритмов. 4.1 Случай коэффициентов общего вида в размерности 1 Пусть коэффициенты сноса и диффузии в задаче Коши (1)-(3) для произвольного определены функциями (14) Начальное условие: (15) Множество точек, в которых строится оценка решения: , шаг по времени , а число шагов по времени равно . Рис. 1. Оценки для решения задачи Коши алгоритмами MCFK и MCFCh. На рисунке 1 приведен пример построения оценок для решения задачи Коши алгоритмами MCFK и MCFCh. На рисунке 2 приведены графики ошибок для алгоритмов MCFK и MCFCh. Если число точек, в которых строится оценка, больше одной, то алгоритм MCFK имеет более низкую вариацию для и норм в силу независимости генерируемых случайных траекторий для каждой целевой точки, при этом средняя квадратичная ошибка оказывается сравнимой для обоих методов. В то же время алгоритм MCFCh дает более низкую среднюю квадратичную ошибку для норм . Также заметим, что MCFCh сохраняет гладкость начального условия, в то время как оценка алгоритмом MCFK подвержена некоррелированному пространственному шуму. Рис. 2. Графики ошибок для алгоритмов MCFK и MCFCh. 4.2 Случай коэффициентов специального вида в размерности 10 Пусть коэффициенты сноса и диффузии в задаче Коши (1)-(3) для произвольного определены функциями (16) Начальное условие: (17) Точки, в которых строится оценка решения, равномерно распределены внутри единичного гиперкуба , шаг по времени , а число шагов по времени равно . На рисунке 3 показаны зависимости времени выполнения алгоритмов MCFK и MCFCh при различных значениях числа Монте-Карло итераций и числа точек, в которых строится оценка. Полученные зависимости согласуются с теоретическими оценками сложности, в частности для алгоритма MCFK хорошо видно, что линии уровня являются гиперболами. При всех значениях параметров полученное среднее время выполнения алгоритма MCFK значительно больше, чем среднее время выполнения алгоритма MCFCh при сравнимых величинах ошибок. Рис. 3. Логарифмические времена выполнения алгоритмов MCFK и MCFCh в зависимости от числа Монте-Карло итераций и числа точек, в которых строится оценка. Заключение В данной работе приведен пример построения численного Монте-Карло алгоритма для аппроксимаций решений многомерного уравнения Колмогорова, основанного на усреднении итераций Фейнмана-Чернова случайных операторнозначных функций. Предлагаемый алгоритм имеет меньшую вычислительную мощность для определенного класса уравнений за счет использования структуры группы Ли на множестве значений рассматриваемых операторнозначных функций. В работе рассмотрена реализация алгоритма для случая, когда значения операторнозначных функций принадлежат представлению группы аффинных преобразований евклидова пространства. Определенный интерес представляет изучение итераций Фейнмана-Чернова для преобразований, порождаемых другими конечномерными группами Ли и их различными представлениями. Также одним из дальнейших направлений исследований является расширение круга рассматриваемых задач (неавтономные уравнения, уравнения с граничными условиями), а также повышение эффективности за счет техник уменьшения дисперсии. Также в последние годы достаточно активно развиваются методы аппроксимации операторов на бесконечномерных функциональных пространствах с помощью глубоких нейронных сетей [5], и в этой связи итерации Фейнмана-Чернова могут быть использованы в качестве суррогатных моделей для эффективного построения обучающих выборок. Приложение А Пусть — банахово пространство, — пространство линейных ограниченных операторов в .Также введем обозначение . Операторнозначная функция называется сильно непрерывной, если для любого и любого выполняется равенство (18) Введем обозначение для топологического векторного пространства сильно непрерывных операторнозначных функций . Топология в порождается семейством полунорм (19) Отметим, что если , то (20) Операторнозначная функция называется полугруппой, если (тождественный оператор) и . Полугруппа называется сильно непрерывной или -полугруппой, если для любого выполняется равенство (21) Генератором полугруппы называется оператор (22) где область определения определяется как множество таких элементов, что данный предел существует. Будем говорить, что сильно непрерывная операторнозначная функция эквивалентна по Чернову сильно непрерывной полугруппе , если . Пусть — сепарабельное гильбертово пространство со скалярным произведением . Введем понятия случайного оператора в и его математического ожидания. Пусть тройка — вероятностное пространство. Отображение будем называть случайным оператором в , если функции являются -измеримыми (т.е. являются случайными величинами) при всех . Математическим ожиданием (или усреднением) случайного оператора будем называть оператор , такой что (22) Достаточные условия существования усреднения случайного оператора можно найти, например, в работе [20]. 519.633.2 10.20948/prepr-2023-21 итерации Фейнмана-Чернова операторнозначный случайный процесс формула Фейнмана-Каца метод Монте-Карло уравнение Колмогорова Feynman-Chernoff iterations operator-valued random process Feynman-Kac formula Monte Carlo method Kolmogorov equation Graham C., Talay D. Stochastic Simulation and Monte Carlo Methods// Springer Berlin, Heidelberg (2013). Graham C., Kurtz T.G., Méléard S., Protter P.E., Pulvirenti M., Talay D. Probabilistic Models for Nonlinear Partial Differential Equations// Springer-Verlag Berlin, Heidelberg (1996). Sherman A.S., Peskin C.S. A Monte Carlo method for scalar reaction diffusion equations// SIAM J. Sci. Stat. Comput., 7, 1360–1372 (1986). Richter L., Berner J., Robust SDE-Based Variational Formulations for Solving Linear PDEs via Deep Learning// Proceedings of the 39th International Conference on Machine Learning, PMLR, 162, 18649-18666 (2022). Kovachki N., Li Z., Liu B., Azizzadenesheli K., Bhattacharya K., Stuart A., Anandkumar A. Neural Operator: Learning Maps Between Function Spaces// arXiv:2108.08481 (2021). Han J., Jentzen A., Weinan E. Solving highdimensional partial differential equations using deep learning// Proceedings of the National Academy of Sciences, 115(34), 8505–8510 (2018). E W., Han J., Jentzen A. Deep learning-based numerical methods for high-dimensional parabolic partial differential equations and backward stochastic differential equations// Communications in Mathematics and Statistics, 5(4), 349–380 (2017). Орлов Ю.Н., Сакбаев В.Ж. Итерации Фейнмана–Чернова и их приложенияв квантовой динамике// Труды МИАН, 301, 209–218 (2018). Chernoff P. Note on product formulas for operator semigroups// J. Funct. Anal., 2(2), 238-242 (1968). Ремизов И.Д. Фейнмановские и квазифейнмановские формулы для эволюционных уравнений// Доклады Академии наук (математика), 476(1), 17–21 (2017). Веденин А.В., Воеводкин В.С., Галкин В.Д., Каратецкая Е.Ю., Ремизов И.Д. Скорость сходимости черновских аппроксимаций решений эволюционных уравнений// Матем. заметки, 108(3), 463–468 (2020). Baldi P. Stochastic Calculus // Springer International Publishing (2017). Øksendal B. Stochastic Differential Equations // Springer Berlin, Heidelberg (2003). Karatzas I., Shreve S.E. Brownian Motion and Stochastic Calculus// Springer New York, New York (1998). Орлов Ю.Н., Сакбаев В.Ж. Моделирование ансамбля нестационарных случайных траекторий с использованием уравнения Фоккера–Планка// Матем. моделирование, 29(5), 61–72 (2017). Бобылев А.В., Потапенко И.Ф., Карпов С.А., Моделирование методом Монте-Карло кинетического столкновительного уравнения с внешними полями// Матем. моделирование, 26(5), 79–98 (2014). Engel K.-J., Nagel R., One-Parameter Semigroups for Linear Evolution Equations// Springer New York, NY (1999). Кальметьев Р.Ш., Орлов Ю.Н., Сакбаев В.Ж. Итерации Чернова как метод усреднения случайных аффинных преобразований// Ж. вычисл. матем. и матем. физ., 62(6), 1030–1041 (2022). Kalmetev R.Sh., Orlov Yu.N., Sakbaev V.Zh. Averaging of random affine transformations of functions domain// Ufimsk. Mat. Zh., 15(2), (2023). Замана К.Ю., Сакбаев В.Ж., Смолянов О.Г. Случайные процессы на группе ортогональных матриц и описывающие их эволюционные уравнения // Ж. вычисл. матем. и матем. физ., 60(10), 1741-1756 (2020). https://keldysh.ru/papers/2023/prep2023_21.pdf