Лекция 3

Спиновые стекла как модель случайно взаимодействующих элементов. "Спин-стекольная" модель эволюции

В предыдущей лекции была рассмотрена Дарвиновская эволюция информационных последовательностей – модель квазивидов. Был рассмотрен простейший случай Хемминговой меры близости между последовательностями. А именно, анализировалась эволюция популяции последовательностей S₁ , S₂ , ... , S_n в предположении, что имеется одна наилучшая особь S_m , а приспособленность f(S) произвольной особи S определяется расстоянием по Хеммингу r (S, S_m) между S и S_m (числом несовпадающих компонент в этих векторах), причем  f(S) экспоненциально уменьшается с ростом r (S, S_m):

  f(S_k) = exp[- br (S_k, S_m)],                                                              (1)

где b - параметр, характеризующий интенсивность отбора.

Рассматривался поэтапный эволюционный процесс, в котором на каждом этапе происходит отбор особей в популяцию следующего поколения с вероятностями, пропорциональными их приспособленностям, а также мутации особей - равновероятные замены компонент векторов S . При достаточно малой интенсивности мутаций после большого числа этапов эволюции в популяции формируется стационарное распределение последовательностей   - квазивид, в который входят оптимальная особь S_m и ее ближайшие мутанты.

Существенный недостаток модели с Хемминговой мерой близости – предположение о существовании единственного максимума приспособленности f(S). В настоящей лекции мы устраним этот недостаток и построим модель для многоэкстремальной функции приспособленности f(S) , используя хорошо известную модель спиновых стекол Шеррингтона-Киркпатрика (1975г.), и покажем, что основные особенности "спин-стекольной" модели эволюции во многом аналогичны таковым в модели с Хемминговой мерой близости. Основное отличие состоит в том, что квазивид формируется в окрестности не глобального минимума приспособленности, а в окрестности одного из локальных максимумов приспособленности.

1. Модель спиновых стекол Шеррингтона-Киркпатрика

Модель Шеррингтона-Киркпатрика [1,2] описывает систему попарно взаимодействующих спинов. Взаимодействия между спинами предполагаются случайными. Формально модель сводится к следующему. 

1) Имеется система S , состоящая из N спинов: S = S₁ , S₂ ,..., S_N ; число спинов предполагается большим, N >> 1. Спины принимают значения 1 или  -1: S_i = 1, -1 .

2) Взаимодействия между спинами случайны. Энергия спиновой системы определяется формулой:

E (S) = - S _i<j J_ij S_i S_j         ,                     i,  j = 1,..., N ,                       (2)

или

где  J_ij  – элементы матрицы взаимодействий между спинами. Величины J_ij нормально распределены, плотность распределения   P(J_ij ) определяется выражением:

P(J_ij )  =  (2p)^-1/2 (N-1)^1/2 exp [- J_ij² (N-1)2^-1] .                                      (3)

Отметим, что для упрощения дальнейшего анализа в формуле (3) введена специальная нормировка.

Модель спиновых стекол была введена для интерпретации нетривиальных фазовых состояний в физике. Формула (2) обычно интерпретируется как гамильтониан Гейзенберга для системы спинов, при этом  J_ij  есть интеграл обменного взаимодействия между i-м и  j-м спинами. Приведенные соотношения, естественно, описывают очень упрощенную ситуацию с точки зрения физики: здесь не учитывается пространственные координаты спинов (для реального трехмерного твердого тела должна быть учтена  зависимость обменного интеграла  J_ij   от расстояния  r между i-м и  j-м спинами), спины могут принимать другие значения, отличные от  1 или  -1 и т. п.  Подчеркнем, что модель Шеррингтона-Киркпатрика характеризует симметричные взаимодействия между спинами.

Модель Шеррингтона-Киркпатрика характеризует довольно общую схему попарно взаимодействующих элементов, поэтому она получила широкое распространение вне физики. В частности, эта модель в 1980 годах послужила мощным стимулом к интенсивному развитию теории нейронных сетей. В 1982 году Дж. Дж. Хопфилд [3] предложил модель нейросетевой ассоциативной памяти на базе теории спиновых стекол, что вызвало мощный всплеск исследований нейронных сетей методами статистической физики. Физики-теоретики стали записывать Гамильтонианы нейросетей, оценивать информационную емкость нейросетевой ассоциативной памяти (т.е. оценивать, сколько образов можно записать в сеть с данным числом нейронов) – высокоэффективные методы математической физики стали использоваться в нейроинформатике. Естественно, что в силу своей общности и результативности модель Шеррингтона-Киркпатрика интенсивно исследовалась (вторая половина 1970-х -1980-е годы).

Приведем результаты исследований модели Шеррингтона-Киркпатрика, которые нам потребуются при анализе эволюционных процессов.

Число локальных минимумов энергии  M  очень велико [4]:

M     exp(aN) ,      a   0,2 .                                                       (4)

Локальный минимум есть такое состояние системы спинов  S_L , для которого любой переворот одного спина приводит к повышению энергии.

Глобальный  минимум энергии  E₀ приближенно составляет величину - 0,8 N [5]:

E₀   - 0,8 N   .                                                                              (5)

Из формул (2), (3) можно получить распределение энергии E спинового стекла и распределение вариации энергии dE при перевороте одного спина (S_i --> - S_i). Соответствующие плотности распределения вероятности  P(E) и P(dE) определяются выражениями:

Согласно выражениям (4), (5) среднее значение энергии и вариации энергии равны нулю (<E> = 0, <dE> = 0) . Дисперсия энергии  D(E)   составляет N/2 , а дисперсия вариации энергии D(dE)  равна 4, т.е. среднее квадратическое вариации энергии s(dE) равно 2:

s(dE) =  MSQR { (S_i --> - S_i) } = 2 .                                                          (8)

Теперь построим спин-стекольную модель эволюции.

2. "Спин-стекольная" модель эволюции

Рассмотрим эволюцию популяции, в которой "геномы" S модельных особей представляют собой информационные последовательности N символов S = S₁ , S₂ ,..., S_N . Символы принимают значения 1 или  -1: S_i = 1, -1 .   Популяция есть набор {S_k}, состоящий из n  последовательностей, k = 1,..., n. Приспособленности модельных "организмов" S_k определяем как:

где E(S_k)   – энергия спинового стекла, задаваемая формулами (2), (3), b – параметр интенсивности отбора.

Определение (9) подразумевает, что модельный "геном"  S_k состоит из последовательности элементов S_ki,  i = 1 , ..., N ,  которые случайно попарно взаимодействуют в  соответствии с матрицей взаимодействия J_ij . Максимальной приспособленностью (соответственно, минимальной энергией  E(S)) будут обладать те "организмы",  имеющие такую комбинацию элементов S_i , которая обеспечивает максимальную  кооперативность взаимодействий между спинами S_i  для данной матрицы J_ij .

Как и для Хемминговой меры близости предполагаем, что эволюционный процесс состоит из последовательности поколений. Новое поколение  {S_k (t+1)}получается из старого S_k(t) путем отбора и мутаций последовательностей S_k (t).

Формально эволюционный процесс может быть описан следующим псевдокодом: