Глава V. Статистика катастрофических событий

Истинная логика нашего мира – это подсчет вероятностей.

Д.К. Максвелл

§1. Статистика катастроф и бедствий. Распределения с тяжелыми хвостами

Рис. 1. Кумулятивная гистограмма распределения 30‑и природных катастроф 1970-1995 гг. с наибольшим количеством жертв

По оси абсцисс отложено количество x жертв в тысячах, а по оси ординат – количество событий N, число жертв в которых было больше данного аргумента x. Прямая линия в логарифмическом масштабе – закон Парето с a = 0,70.

При внимательном анализе статистических данных по крупнейшим катастрофам выясняется, что они проявляют весьма необычные особенности, плохо укладывающиеся в привычные представления. Так, при Тянь-Шанском землетрясении 28.07.1976 г. в Китае погибло (по разным источникам) от 240 до 650 тыс. чел., что в десятки тысяч раз превосходит число погибших при обычном, "рядовом" разрушительном землетрясении.

Эта же закономерность наблюдается для наводнений. При наводнении 1931 г. на реке Янцзы в Китае погибло около 1,3 млн чел. Наводнение 1970 г. в Бангладеш вызвало гибель более 500 тыс. чел. Гигантские экстраординарные значения наблюдаются и для стоимостных характеристик ущерба, что типично для наиболее экономически развитых стран. При этом перечисленные катастрофы (происшедшие в нашем столетии), по-видимому, не являются максимально возможными. Во всяком случае, летописные источники и древнейшие памятники человечества описывают еще более разрушительные катаклизмы.

Таким образом, в ряду ущербов от катастроф изредка встречаются суперэкстремальные значения, несоизмеримые по величине со значениями для подавляющей части событий. Ущерб от этих суперэкстремальных событий сравним с суммарным ущербом от всех катастроф за тот же период времени.

На рис. 1 приведена накопленная гистограмма хвоста выборочного распределения для 30 наихудших, в смысле количества человеческих жертв, природных катастроф (землетрясения, ураганы, наводнения) за 1970-1995 гг. Данные взяты из книги Здесь N(x_i > x) – количество событий с числом жертв x_i, большим заданного аргумента x. Из рис. 1 видно, что в логарифмическом масштабе хвост распределения хорошо приближается прямой с наклоном около ‑0,7, т.е. N(x_i > x) ~ x^‑0,7 в рассматриваемом диапазоне значений. Таким образом, количество событий с числом жертв, превышающим x, убывает очень медленно при x ® ¥. И если при анализе "привычных" статистических зависимостей мы обыкновенно пренебрегаем возможностью очень крупных событий, лежащих на быстро убывающем "хвосте" распределения, то здесь мы этого сделать не можем. Более того, по причинам, которые будут указаны далее, можно рассматривать только "хвост", отвлекаясь от поведения распределения при малых x. Подобные распределения называются распределениями с тяжелыми хвостами (heavy tails или fat tails). Мы не будем давать строгое определение этого термина, поскольку в литературе можно найти различные его трактовки .Суть их всех состоит в одном и том же: распределение с тяжелым хвостом – это распределение, хвост которого нельзя "отрезать", т.е. нельзя пренебречь крупными, но редкими событиями.

Простейшим распределением, имеющим тяжелый хвост, является так называемое распределение Парето, для которого функция распределения F(x) = Prob{x < x}, определяющая вероятность того, что соответствующая случайная величина принимает значение, меньшее x, задается соотношением

. (1)

Соответственно плотность вероятности j(x) = F'(x) ~ x^‑(1+a). Основная "неприятность", связанная с такими распределениями, состоит в том, что моменты достаточно высокого порядка

у них расходятся:

. (2)

Для распределения Парето с a £ 1 бесконечно уже среднее M₁ = ¥. Очевидно, что на расходимость моментов влияет только тяжелый хвост распределения, "перевешивающий голову", описывающую вероятность наиболее частых, но небольших событий. Вид "головы" при этом оказывается не очень существенным, а решающую роль играет только асимптотика хвоста.

Рассмотрим распределение Парето (1) с a < 1. Сумма S_n = x₁+x₂+…+x_n при нормировке на n^1/a сходится к так называемому устойчивому закону с соответствующим показателем. Иными словами, сумма S_n с ростом n растет нелинейно как n^1/a. Этот же вывод можно получить более простым способом, не прибегая к помощи устойчивых законов и необходимой для сходимости к ним нормировки на множитель n^1/a. Рассмотрим максимальный член m_n выборки x₁, x₂,… x_n:

.

Распределение m_n выписывается сразу:

.

Уравнение для медианы med m_n (медианой распределения называется такое число, что ровно в половине случаев случайная величина принимает значения меньше него и, соответственно, ровно в половине случаев – больше) имеет вид F ⁿ(x) = 0,5. Отсюда находим:

. (3)

Из равенства (3) следует, что характерная величина максимального члена m_n, если в качестве этой величины взять медиану med m_n, растет с точностью до множителя как n^1/a. Поскольку для неотрицательных величин S_n ³ m_n, то мы снова убеждаемся в том, что S_n должна возрастать с ростом n нелинейно, а именно, не медленнее, чем n^1/a.

На самом деле можно доказать что для распределений неотрицательных величин с тяжелыми хвостами величины S_n и m_n имеют одинаковый порядок и, более того, математическое ожидание их отношения

. (4)

Это свойство распределений с тяжелыми хвостами выглядит парадоксально: сумма положительных эффектов с точностью до множителя порядка 1/(1 - a) определяется одним, максимальным членом m_n, причем этот факт справедлив для сколь угодно больших выборок. В обычной ситуации, когда у случайной величины имеются конечные моменты, отношение S_n/m_n, естественно, стремится к бесконечности с ростом n. В этой ситуации вклад любого отдельного слагаемого (в том числе и максимального) в сумму S_n стремится к нулю.

На рис. 2 приведена аналогичная хвостовая гистограмма для числа лиц, потерявших кров в результате 80‑и наиболее разрушительных наводнений 1964‑1991 гг. Данные взяты из отчета .Мы видим, что и в этом случае наблюдения хорошо приближаются законом Парето (1), причем значения показателя a = 0,76 также меньше 1.

Рис. 2. Кумулятивная гистограмма хвоста распределения числа бездомных из-за наводнений 1964-1991 гг.

По оси абсцисс отложен десятичный логарифм числа бездомных, по оси ординат – десятичный логарифм количества наводнений, для которых число бездомных было больше данного аргумента x. Прямая линия – закон Парето с a = 0,76.

Другие примеры распределений с тяжелыми хвостами можно найти. Они относятся к ущербам от ураганов и землетрясений, а также к максимальным расходам воды в реках.

С большой долей уверенности можно предполагать, что распределения с тяжелыми хвостами характерны не только для потерь от природных катастроф, но также и для потерь от техногенных катастроф типа Чернобыльской аварии, разливов нефти в морях в результате аварий танкеров, аварий химических предприятий, пожаров, разрушений нефтепроводов, аварий глобальных компьютерных сетей и т.п. Этот вопрос требует дальнейшего тщательного изучения.

Ниже будет теоретически показано, что в случае распределений с тяжелыми хвостами выборочные средние неустойчивы и малоинформативны из-за неприменимости закона больших чисел. Покажем неустойчивость и слабую информативность средних значений ущерба на конкретных примерах. По данным ЮНЕСКО за 1947‑1960 гг. от тайфунов, ураганов, наводнений погибло 900 тыс. чел., что за год в среднем составило 64300 жертв. Если сравнить это среднегодовое значение с числом жертв от отдельных катастроф, то оказывается, что эти последние могут быть в десятки раз больше. Так, при наводнениях в Китае в 1931 г. погибло около 1 300 тыс. чел., а в 1938 г. – 500 тыс. чел., в 1970 г. в Бангладеш жертвами наводнения стали более 500 тыс. чел. Ясно, что среднегодовые показатели не дают представления о возможности таких гигантских катастроф. О неустойчивости среднегодового значения числа жертв говорит следующий факт. По материалам каталога, подготовленного в рамках Международной программы Десятилетия борьбы со стихийными бедствиями, среднегодовое число жертв за 1962‑1992 годы от тех же катастроф составило 36000. Уменьшение среднегодового числа жертв, по сравнению с периодом 1947-1960 гг., почти в два раза было бы большим успехом, если бы оно не носило случайного характера.

Случайность уменьшения числа жертв продемонстрируем на примере землетрясений – наиболее изученного вида катастроф. Согласно подборке данных проф. Н.В. Шебалина (Институт физики Земли РАН) в 1947‑1970 гг. от землетрясений погибла 151 тыс. чел., что дает среднегодовое число жертв 6300. В то же время, по данным за 1962‑1992 гг. число жертв от землетрясений составило 577600 чел.; т.е., несмотря на успехи сейсмостойкого строительства, среднегодовое число погибших увеличилось до 18600 чел. Таким образом, среднегодовые показатели разнятся втрое, причем оба показателя много меньше максимальных потерь от единичного события (при землетрясении 28.07.1976 в Китае погибло, по меньшей мере, 240 тыс. чел.).

Из приведенных примеров безо всякого специального анализа видно, что среднегодовые значения весьма неустойчивы и потому неинформативны.

Многочисленные примеры распределений с тяжелыми хвостами в лингвистике, экономике, социологии, биологии можно найти в работах Ципфа и других авторов.

§2. Методы обработки данных, имеющих распределения с тяжелыми хвостами

Один из общих подходов к обработке положительных величин, имеющих распределения с тяжелым хвостом, состоит в переходе от наблюдаемых величин x_i к их логарифмам y_i = ln x_i. В случае степенного убывания хвостов с любым показателем степени величины y_i уже будут иметь все статистические моменты и, таким образом, к ним можно применять стандартные методы статистической обработки. Методика оценки параметров устойчивых законов (в том числе и устойчивых законов с тяжелыми хвостами)

Следует отметить два недостатка этого подхода. Во-первых, переход к логарифмам часто приводит к асимметричным распределениям, которые медленно сходятся к гауссовому закону. А во-вторых, и это гораздо важнее, если нас интересует суммарный эффект S_n, то переход к логарифмам не поможет, ибо связать поведение S_n и ln x₁ + ln x₂ +… + ln x_n в общем случае очень трудно.

Остановимся подробнее на важном частном случае, когда можно считать априори известным, что хвост распределения удовлетворительно описывается степенной зависимостью при x, превышающем некоторый также известный порог x₀ (отметим, что для каждого типа природных и техногенных катастроф этот вопрос должен рассматриваться отдельно на основе известной статистики или результатов математического моделирования). При этом не обязательно, чтобы это приближение выполнялось для всего диапазона наблюдаемых значений, достаточно, чтобы оно выполнялось для хвоста распределения, т.е. при x > x₀. Действительно, для распределений с тяжелыми хвостами основной вклад в суммарный эффект S_n вносят наибольшие наблюдения. Поэтому указанное пороговое ограничение не скажется заметно на оценке вероятностных характеристик сумм S_n при достаточно больших значениях n. После перенормировки на известное значение порога можно считать, что нормированные величины x/x₀ имеют распределение Парето (1). Нужно только выбирать порог x₀ так, чтобы осталось достаточное для оценки параметра a число наблюдений выше этого порога. Практика показывает, что следует оставлять не менее 25‑30 наибольших наблюдений. Оценка максимального правдоподобия для параметра a имеет вид:

. (5)

В качестве разброса этой оценки можно взять стандартное отклонение s_a

. (6)

Если для медианы максимального члена med m_n использовать выражение (3), то в качестве оценки характерного значения суммы можно взять значение

, где (7)

. (8)

Для распределения Парето математическое ожидание (8) можно вычислить точно:

,

где через b(x;y) обозначена бета-функция. В табл. 1 приведены величины R_n для некоторых значений a и n.

Таблица 1.Средние значения отношений S_n/m_n

Параметр a	Объем выборки, n
	10	20	50	100	2000	5000	1000	¥
0,7	2,23	2,52	2,78	2,92	3,03	3,13	3,18	3,33
0,9	2,66	3,21	4,32	4,74	5,25	5,60	6,60	10,0
1,0	2,97	3,62	4,51	5,19	5,88	6,79	7,49	¥
1,5	5,84	7,36	9,98	12,58	15,85	21,51	27,10	¥

Неизвестный параметр a в (7) и (8) надо заменить на его оценку (5). При этом погрешность такой замены можно проконтролировать, подставив в (7) и (8) значения ±s_a, где s_a берется из (6). Оценку áS_nñ по формуле (7) можно использовать для предсказания будущих характерных значений суммарного эффекта S_n. Как мы уже отмечали и как это видно из формулы (7), эта оценка растет нелинейно с увеличением n. Поскольку величина n обычно пропорциональна интервалу времени наблюдения, то можно сказать, что суммарный эффект растет нелинейно со временем.

Заметим, что хотя среднее значение отношения S_n/m_n согласно (4) стремится при n ® ¥ к константе 1/(1 – a) в случае a < 1, дисперсия этого отношения не уменьшается до нуля; она также стремится к некоторой константе.

Характерные значения сумм S_n растут согласно уравнению (7). Однако случайные отклонения весьма велики. Поэтому во многих приложениях прогноз суммарного эффекта целесообразней делать не в виде точечной оценки (7), а в виде доверительного интервала такого, что

,

где e – задаваемое исследователем малое число, характеризующее уровень доверия. Можно дать следующую приближенную оценку для верхней доверительной границы

. (9)

Оценка для нижней доверительной границы – соответственно:

. (10)

На рис. 3 приведены доверительные 68%‑е интервалы для суммарного числа людей, потерявших жилье в результате наводнений, рассчитанные по описанной методике.

Рис. 3. Прогноз будущих возможных накопленных ущербов

Значение S_n (суммарное число бездомных в результате будущих n наводнений) представлено медианой med S и верхней и нижней доверительными кривыми с уровнем доверия 0,68 в зависимости от n. Upper. lim здесь верхняя граница, lower. lim – нижняя граница, ломаная линия – реальные накопленные ущербы за 1964‑1991 гг.

Подводя итоги изложенной в данном разделе методики статистического прогноза характерных значений S_n в виде соотношения (7) и доверительных интервалов для них в виде (9)