Проблемы интеллектуального управления – общесистемные, эволюционные и нейросетевые аспекты
(приглашение к круглому столу)

В.Г. Редько

Институт прикладной математики им. М.В. Келдыша РАН

E-mail: redko@keldysh.ru
URL:
http://www.keldysh.ru/BioCyber/

0. Введение

1. Теория функциональных систем П.К. Анохина как концептуальная основа построения интеллектуальных систем управления

2. Эволюция когнитивных способностей животных и проблемы интеллектуального управления

3. From Animal to Animat -- моделирование адаптивного поведения животного и робота

4. Интеллектуальное управление и проблема Всемирного мозга

Литература

0. Введение

В процессе биологической эволюции возникли чрезвычайно сложные и вместе с тем удивительно эффективно функционирующие живые организмы. Эффективность, гармоничность и согласованность работы “компонент” живых существ обеспечивается биологическими управляющими системами.

Но каковы эти системы управления? Насколько мы можем понять их? Насколько мы можем воплотить этот естественный “интеллект”, изобретенный Природой, в практически нужные для человека интеллектуальные системы управления? Какие исследования нужно провести, чтобы разобраться во всем многообразии естественных “интеллектуальных” систем управления? Какие есть подходы к таким исследованиям? Какие концептуальные теории можно положить в основу исследований биологических систем управления? Какие исследования уже проведены, и что можно ожидать в ближайшем будущем? Могут ли исследования “интеллектуальных” изобретений биологической эволюции служить естественнонаучной основой построения искусственных интеллектуальных систем? Какие новые технологии могут возникнуть на основе этих исследований? Какие философские вопросы затрагивают такие исследования? Каково может быть влияние изучения и создания интеллектуальных систем управления на будущее развития человечества?

Наверно, перечень этих интригующих вопросов может быть продолжен и, возможно, необходим не один круглый стол (КС) для их детального обсуждения. На этом КС предполагается обсудить только некоторые “срезы” проблем интеллектуального управления. Список вынесенных на КС вопросов был обусловлен в основном научными интересами инициаторов КС (В.Г. Редько, А.И. Самарин, Ю.В. Тюменцев). Тем не менее, этот список не догма” -- мы будем только приветствовать включение дискуссию близких к предложенным вопросов. Важно только, чтобы обсуждение было максимально содержательным, интересным и конструктивным. Ниже приводится “затравка” по каждому из вынесенных на КС вопросов.

Для удобства чтения перечислим здесь еще раз эти вопросы.

1. Теория функциональных систем П.К. Анохина как концептуальная основа построения интеллектуальных систем управления.
2. Эволюция когнитивных способностей животных и проблемы интеллектуального управления.
3. From Animal to Animat -- моделирование адаптивного поведения животного и робота.
4. Интеллектуальное управление и проблема Всемирного мозга.

1. Теория функциональных систем П.К. Анохина как концептуальная основа построения интеллектуальных систем управления

Как исследование, так и создание интеллектуальных систем управления целесообразно проводить, отталкиваясь от общих концептуальных теорий и схем. Одной из таких общих концепций является теория функциональных систем, разработанная в 1930-70-х годах советским нейрофизиологом П.К. Анохиным [1].

Функциональная система по П.К. Анохину – кибернетическая схема управления, нацеленного на достижение полезных для организма результатов. Опишем наиболее общие особенности функциональной системы в виде схемы управления поведением животного, характеризуя основные ее свойства, и переводя – там, где это естественно – биологические представления на кибернетический язык.

Рис. 1. Кибернетическая схема функциональной системы (в духе П.К. Анохина).

Функциональная система характеризует следующие свойства схемы управления поведением животного (рис. 1):

- целенаправленность, связанную с необходимостью удовлетворения потребностей животного;
- мотивацию, задающую предпосылки (например, обусловленные потребностями) для   формирования цели;
- доминанту по А.А. Ухтомскому, обеспечивающую мобилизацию ресурсов животного на достижение приоритетной цели, в том числе мобилизацию интеллектуальных ресурсов (концентрацию внимания
);
- распознавание ситуации;
- "планирование" действий;
- принятие решения
;
- прогноз результата действия;
- выполнение самого целенаправленного действия;
- оценку результата действия
;
- сопоставление прогноза и результата;
- поиск нужного решения и корректировку базы знаний
(в случае рассогласования прогноза и результата) – обучение.

Распознавание, планирование, принятие решения основываются на использовании базы знаний, которая пополняется при обучении.

Важное понятие функциональной системы – мотивация. Роль мотивации – формирование цели и поддержка целенаправленных форм поведения. Мотивация может рассматриваться как активная движущая сила, которая стимулирует нахождение такого решения, которое адекватно потребностям животного в рассматриваемой ситуации. Мотивация тесно связана с понятием доминанты, которое ввел А.А. Ухтомский. Доминанта мобилизует ресурсы животного на достижение заданной цели. В частности, мобилизуются нервные ресурсы, так что внимание животного концентрируется на приоритетной цели. Отметим интересные модели доминанты, которые разрабатывает В.И. Крюков [2].

Перечисленные свойства характеризуют общую схему системы управления поведением животного. Следует подчеркнуть, что есть большой потенциал для глубокого развития этой схемы. Здесь можно исследовать 1) структуры памяти (постоянной, долговременной, кратковременной) в базе данных, 2) специфику процедур обучения, 3) программы поведения животных, основанные на базе знаний, 4) "логику умозаключений" животных, используемую ими при планировании, прогнозе, коррекции и пополнении базы знаний и т.д.

Отметим, что хотя эта схема была изначально введена как общая схема систем управления поведением животных, но она вполне может служить концептуальной основой для построения различных прикладных систем управления. Т.е. в определенном смысле эту схему можно рассматривать общую структуру довольно широкого класса систем управления на самых разных уровнях – систем управления роботами, промышленными предприятиями, регионами, государствами, человечеством.

Необходимо отметить, что есть развитие теории П.К. Анохина. Не претендуя на полноту, здесь только отметим работы К.В. Судакова с сотр. по развитию теории функциональных систем [3], и интересную попытку Е.А. Умрюхина построения модели мозга на основе теории Анохина-Судакова [4].

Необходимо также подчеркнуть, что теория функциональных систем П.К. Анохина – не единственная концептуальная проработка общих схем “интеллектуальных” систем управления.

Опять таки далеко претендуя на полноту, отметим некоторые концептуальные работы и модели:

1) Теория ситуационного управления (Д.А. Поспелов с сотр.) [5]
2) Теория перцептивного контроля В.Пауэрса [6,7]
3) Модель концептуальной рефлекторной дуги Е.Н. Соколова [8]
4) Схемы “интеллектуальных” систем распознавания, разработанных Д.С. Чернавским с сотр. [9]
5) Концепция и модели автономного адаптивного управления А.А. Жданова [10]
6) Модели адаптивного критического контроля (П. Вербос, В. Ванч, Д. Прохоров) [11,12]

Интересно отметить, что часто ключевые моменты функциональных систем П.К. Анохина некоторыми авторами переоткрываются заново. Например, некоторые схемы управления, которые вводит В.Ф. Турчин в книге “Феномен науки” [13], напоминают схемы П.К. Анохина (в данном случае необходимо заметить, что “Феномен науки” был написан в конце 60-х годов, когда только начали издаваться основные книги П.К. Анохина). Известный международный проект Principia Cybernetica [14] кладет в основу анализа систем управления теорию перцептивного контроля В.Пауэрса и “не замечает” теории функциональных систем П.К. Анохина. О теории В. Пауерса в контексте проекта Principia Cybernetica можно прочитать в Интернет-статье Ф. Хейлигхена “Мировой Суперорганизм: эволюционно-кибернетическая модель возникновения сетевого сообщества” [15].

По-видимому, для полноценного осмысления роли теории функциональных систем П.К. Анохина и аналогичных концептуальных теорий как основы исследования и построения интеллектуальных систем управления необходим глубокий аналитический обзор таких теорий, в котором было бы проведено сопоставление схем, моделей и концепций, предложенных разными авторами.

2. Эволюция когнитивных способностей животных и проблемы интеллектуального управления

Естественный интеллект произошел в результате биологической эволюции. Но как происходил процесс формирования и совершенствования когнитивных, "интеллектуальных" способностей животных? Каковы основные стадии эволюции познавательных свойств? Как эволюция когнитивных способностей животных привела к возникновению интеллекта человека? Как подойти к изучению "интеллектуальных изобретений" биологической эволюции?

Необходимо подчеркнуть, что исследование эволюции происхождения интеллекта чрезвычайно важно с гносеологической точки зрения [16, 17]. А именно, существует глубокая гносеологическая проблема: почему мышление, интеллект, логика человека применимы в познании природы? Действительно, с одной стороны, познавательные мыслительные процессы, которые использует ученый в научном исследовании природы, происходят в нашем, человеческом сознании, с другой стороны, процессы, которые мы познаем посредством мышления, относятся к изучаемой нами природе. Эти два типа процессов различны. Поэтому далеко не очевидно, что мы можем использовать процессы первого типа для познания процессов второго типа.

Например, далеко не очевидно, что теоремы, которые доказывает математик (используя чисто умозрительные процессы своего мышления), могут быть применимы физиком к исследованию процессов в реальном мире. Т.е. возникает сомнение в самой строгой из научных дисциплин – математике.

И более того, это сомнение касается обоснования всего научного познания, поскольку мы задаемся вопросом о принципиальной применимости человеческого мышления к познанию природы.

Как же мы могли бы подойти к решению этой гносеологической проблемы?

Действуя упрощенно, мы, конечно, можем попытаться разрешить данную проблему следующим образом. В процессе биологической эволюции животные приобретали способности познавать внешний мир. Эти познавательные способности использовались в системах управления поведением животных, помогали животным предвидеть события во внешнем мире и, тем самым, приспосабливаться к окружающей среде. Приспособленности тех животных, которые приобретали "хорошие" познавательные способности, увеличивались. Животные с повышенными приспособленностями распространялись в популяциях, следовательно "хорошие" познавательные способности фиксировались эволюцией. Шаг за шагом, эволюционно возникали все более сложные и более интеллектуальные способности, что, в конечном итоге, привело к появлению человеческого мышления, интеллекта человека. Таким образом, интеллект человека сформировался в процессе длительной эволюции совершенствования познавательных способностей животных, и не удивительно, что он может быть применен для познания событий во внешнем мире.

Но этих простых рассуждений явно недостаточно. Проблема принципиальной способности познавать природу – фундаментальная гносеологическая проблема, и она должна быть проанализирована настолько глубоко, насколько это возможно.

Более того, возможно, что в современной науке и нет более фундаментальной проблемы, и именно исследования, направленные на решение проблемы эволюционного происхождения интеллекта и задачи обоснования применимости интеллекта человека к познанию природы, могли бы внести наибольший вклад в научное миропонимание в ближайшие десятилетия (об этом см. также [18]).

Итак, еще раз задумаемся над вопросом – как же подойти к проблеме обоснования применимости человеческого мышления в научном познании?

По-видимому, наиболее естественный подход – постараться тщательно исследовать эволюцию познавательных способностей животных и постараться осмыслить, как и почему в этом процессе появлялись "интеллектуальные" способности, обеспечивающие познание внешнего мира, познание природы. Такие исследования могли бы включать в себя математические и компьютерные модели наиболее важных "интеллектуальных изобретений" биологической эволюции, посредством которых животные "познают" закономерности во внешнем мире, а также модели эволюционных переходов между "интеллектуальными изобретениями" разных уровней.

Надежнее всего начать с "самого начала" – с происхождения жизни – и проследить весь путь биологической эволюции от простейших до человека, выделяя на этом пути наиболее важные эволюционные "изобретения", ведущие к мышлению, логике, интеллекту.

Какие здесь уже есть заделы? Какие есть эволюционные концепции, какие уже известные модели могли бы быть полезными для теоретических исследований "интеллектуальных изобретений" биологической эволюции?

Не претендуя на полноту, кратко охарактеризуем две эволюционные концепции: анализ эволюции высшей нервной деятельности Л.Г. Воронина [19] и теорию метасистемных переходов В.Ф. Турчина [13, 20].

Уровни эволюции высшей нервной деятельности по Л.Г. Воронину

В книге “Эволюция высшей нервной деятельности (очерки)” [19] Л.Г. Воронин выделяет следующие уровни индивидуального приспособления (рис.2):
1) привыкание
2) сенсибилизация
3) нестойкая условная связь
4) стабильная условная связь
5) комбинационная условная связь
6) абстрактно-логическая условная связь

Рис 2. Схема уровней высшей нервной деятельности по Л.Г. Воронину [19]. 1, 2 – несигнальные формы приспособления (привыкание и сенсибилизация ); 3 и 4 - нестойкая и стабильная условная связь; 5 - комбинационная условная связь, 6 - абстрактно-логическая условная связь.

Для удобства читателя поясним некоторые термины.

Привыкание (или угасание) – постепенное уменьшение реакции на многократно повторяющийся нейтральный стимул.

Сенсибилизация (или суммация) “ …основана на повышении чувствительности возбудимых структур в результате суммирования следов возбуждения с наличным возбуждением. Вследствие такого суммирования организм становится чувствительным к раздражениям, бывшим до этого подпороговыми. Приобретаемое таким образом свойство организма реагировать на индифферентный раздражитель напоминает условный рефлекс. Однако он не самовосстанавливается после угасания, его называют псевдоусловным рефлексом” [19].

“Комбинационная условная связь – это механизм тех систем реакций, которые возникают как бы без предварительной обработки, в результате комбинации ранее образовавшихся связей, хранящихся в памяти, и связей, вновь образующихся” [19].

Нижние два уровня (привыкание и сенсибилизация) - несигнальные формы индивидуального приспособления. Более высокие уровни – сигнальные формы.

Схема на рис. 2 отражает тот факт, что новые (верхние) уровни приспособления не полностью вытесняют старые, а существуют наряду со старыми.

Основываясь на анализе, выполненном Л.Г.Ворониным, и несколько огрубляя общую картину, можно выделить следующие уровни "интеллектуальных изобретений" биологической эволюции.

Уровень первый организм различает состояние среды, память об этих состояниях записана в геноме и передается по наследству, организм адекватно использует различие сред, меняя свое поведение с изменением среды.

Пример этого уровня – свойство регулирования синтеза белков живой клеткой в ответ на изменение питательных веществ во внешней среде. Например, бактерия кишечной палочки обычно питается глюкозой, но если нет глюкозы, а есть лактоза, то в бактерии включается синтез специальных ферментов, перерабатывающих лактозу в глюкозу, что и обеспечивает жизнь бактерии в лактозной среде. Описанное свойство – это фактически безусловный рефлекс на молекулярно-генетическом уровне.

Второй уровень временное запоминание организмом состояния среды и адекватное (также временное) приспособление к среде.

Пример этого уровня – привыкание. Этот простейший приобретаемый навык появляется на уровне сложных одноклеточных организмов. Память о состояниях внешней среды, формируемая при привыкании, кратковременная.

Третий уровень запоминание устойчивых связей между событиями в окружающей организм природе.

Пример классический условный рефлекс, в котором происходит долговременное запоминание связи между условным и безусловным стимулами. Скажем, собака запоминает связь между звуковым сигналом (условный стимул) и пищей (безусловный стимул). Память о связи между условным и безусловным стимулами долговременная: УР сохраняется в течение многих недель у низших позвоночных и до нескольких лет, а, может быть, и всю жизнь у высших животных. Характерное свойство классического УР – самовосстановление, наступающее через несколько десятков минут или часов после угасания. Появляется классический условный рефлекс примерно на уровне моллюсков.

Между классическим условным рефлексом и логикой, мышлением лежит целый ряд промежуточных уровней. Здесь мы только упомянем некоторые из них.

Инструментальный условный рефлекс отличается от классического тем, что здесь для получения поощрения животному необходимо совершить заранее неизвестное ему действие.

Цепь условных рефлексов – система реакций, формирующаяся на основе ранее хранившихся в памяти животного условных связей.

Начиная с некоторого уровня, у животных возможно формирование моделей внешнего мира [13].

Итак, можно выделить несколько ключевых "изобретений" и расположить их в последовательный ряд эволюционных достижений (рис. 3). В этом ряду происходит постепенное усовершенствование "познания" закономерностей в окружающей среде.

Рис.3. "Интеллектуальные изобретения" биологической эволюции. "Авторы изобретений" и "даты приоритетов" представлены довольно условно.

Более подробное обсуждение схемы, представленной на рис.3, содержится в работе [16] (Лекция 15).

Концептуальная теория метасистемных переходов В.Ф.Турчина

Анализ эволюции высшей нервной деятельности, проведенный Л.Г. Ворониным, фактически констатирует этапы эволюции, и не исследует вопрос: как происходил процесс возникновения новых познавательных свойств биологических организмов, новых систем управления биологическими организмами? Попытка мысленно представить механизмы эволюционного прогресса биологических систем управления была сделана В.Ф. Турчиным [13].

В качестве основы исследования В.Ф. Турчин использует предложенную им "теорию метасистемных переходов" [13,20].

Кратко суть теории метасистемных переходов сводится к следующему: переход от нижних уровней системной иерархии к верхним происходит путем метасистемных переходов. Каждый метасистемный переход можно рассматривать как объединение ряда подсистем Si нижнего уровня и появление дополнительного механизма управления C объединенными подсистемами. В результате метасистемного перехода формируется система S' нового уровня (S' = C + S i Si), которая может быть включена как подсистема в следующий метасистемный переход (рис.4).

Рис. 4. Схема метасистемного перехода. Si - системы нижнего уровня, C - управление объединенными подсистемами, S' - система нового уровня иерархии.

В.Ф. Турчин рассматривает метасистемный переход как некий кибернетический аналог физического фазового перехода. Он уделяет особое внимание количественному накоплению "потенциала развития" в подсистемах Si перед метасистемным переходом на качественно новый уровень иерархии, а также процессу размножения и развития подсистем предпоследнего уровня иерархии после метасистемного перехода.

Отметим, что понятие метасистемного перехода хорошо соответствует интуитивному представлению об эволюционном прогрессе кибернетических систем. Действительно, если есть некая кибернетическая система (скажем, блок генов, блок нервной системы, блок компьютерной программы) S1, то несложно представить процесс дублирования такой системы. В результате дублирования возможно возникновение множества сходных систем: S1 --> {S1 , S2 , … , Sn } ={Si }. Системы Si могут быть сходными, но не идентичными, так как они сами могут модифицироваться за счет случайных процессов, скажем, мутаций. Далее, можно представить, что в процессе развития таких систем возникает возможность появления управления поведением всего множества {S1 , S2 , … , Sn }. Этот переход {Si } --> {Si } + C = S' значительно сложнее, чем дубликация, именно он и есть "революционный" переход с нижнего уровня иерархии на верхний. После такого метасистемного перехода естественно возникают дополнительные возможности развития систем Si .

Заметим, что концепции блочно-модульной эволюции, блочно-модульных иерархических систем, сходные с идеями теории метасистемных переходов, высказываются и рядом специалистов в области молекулярной генетики. Например, блочно-модульный принцип организации и эволюции молекулярно-генетических систем управления обосновывается В.А. Ратнером [21,22]. Согласно этому принципу эволюция генов, РНК, белков, геномов и молекулярных систем управления на их основе шла путем комбинирования блоков (модулей) снизу доверху, причем модулями, из которых составлялись вновь возникающие молекулярно-генетические системы, служили уже функционирующие макромолекулярные компоненты.

Основные метасистемные переходы по В.Ф. Турчину состоят в следующем:

- управление положением = движение
- управление движением = раздражимость (простой рефлекс)
- управление раздражимостью = (сложный) рефлекс
- управление рефлексами = ассоциации (условный рефлекс)
- управление ассоциациями = человеческое мышление
- управление человеческим мышлением = культура

Характеризуя уровни эволюции биологических систем управления, В.Ф. Турчин обращает особое внимание на следующие особенности поведения животных:

- целенаправленность поведения,
- прогнозирование событий путем построения животным или человеком моделей внешней среды,
- формирование понятий,
- иерархичность систем управления.

В книге “Феномен науки” [13] В.Ф. Турчин также рассматривает процессы возникновения мышления человека, особенности представления информации в символьной форме, логической обработки символьной информации. В [13] характеризуется примитивное и критическое мышление, анализируются ступени развития математического знания, обсуждаются перспективы развития человечества и роль феномена науки в этом развитии.

Выше были представлены концептуальные проработки об эволюции когнитивных способностей животных, о формировании в процессе эволюции все более и более интеллектуальных систем управления поведением животных. Эти концепции очень важны, но что же сделано в области конкретного моделирования когнитивных свойств биологических организмов и эволюции когнитивных свойств. Общая ситуация примерно такова. Есть множество математических и компьютерных моделей, характеризующих "интеллектуальные" изобретения: модель возникновения безусловного рефлекса на молекулярно-генетическом уровне [23], модели привыкания [24], большое количество моделей условных рефлексов [24-29]. Однако эти модели очень фрагментарны, слабо разработаны и не формируют общую картину эволюционного происхождения мышления, логики, интеллекта.

Пока можно только говорить об определенном заделе в направлении теоретических исследований "интеллектуальных изобретений" биологической эволюции. Но этот задел активно развивается.

Сравнительно недавно, в конце 80-х - начале 90-х годов возникли два интересных, тесно связанных между собой направления кибернетических исследований: "Искусственная жизнь" (английское название Artificial Life или ALife) [30,31] и "Адаптивное поведение" (Adaptive Behavior) [24,32,33]. И в этих направлениях активно предпринимаются попытки промоделировать адаптивное поведение живых организмов и системы управления адаптивным поведением.

Основной мотивацией исследований искусственной жизни служит желание понять и промоделировать формальные принципы организации биологической жизни. Как сказал руководитель первой международной конференции по искусственной жизни К. Лангтон, “основное предположение искусственной жизни состоит в том, что “логическая форма” организма может быть отделена от материальной основы его конструкции”.

Большинство моделей искусственной жизни – остроумные компьютерные эксперименты. С примерами моделей искусственной жизни можно познакомиться по работе [16] (Лекции 12, 14). Работы по искусственной жизни очень интересны, и являются стимулом ряда важных прикладных работ в области мультиагентного моделирования, хотя часто в них есть налет некой "игрушечности" и легковесности.

По-видимому, более серьезное направление исследований – "Адаптивное поведение", в котором делается попытка моделирования адаптивного поведения животного и робота.

3. From Animal to Animat -- моделирование адаптивного поведения животного и робота

С начала 90-х годов активно развивается направление "Адаптивное поведение" [24,32]. Основной подход этого направления – конструирование и исследование искусственных (в виде компьютерной программы или робота) "организмов", способных приспосабливаться к внешней среде. Эти организмы называются "аниматами". Термин "анимат" происходит от слов animal (животное) и robot:

ANIMAL + ROBOT = ANIMAT .

Поведение аниматов имитирует поведение животных. Исследователи направления "Адаптивное поведение" стараются строить такие модели, которые применимы к описанию поведения, как реального животного, так и искусственного анимата.

Программа-минимум направления "Адаптивное поведение" – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде.

Программа-максимум этого направления – попытаться проанализировать эволюцию когнитивных способностей животных и эволюционное происхождение человеческого интеллекта [33].

Как и для "Искусственной жизни", для исследований "Адаптивного поведения" характерен синтетический подход: здесь конструируются архитектуры, обеспечивающие "интеллектуальное" поведение аниматов. Причем это конструирование проводится как бы с точки зрения инженера: исследователь сам "изобретает" архитектуры, подразумевая, конечно, что какие-то подобные структуры, обеспечивающие адаптивное поведение, должны быть у реальных животных.

Проиллюстрируем работы в области адаптивного поведения на примере исследований AnimatLab (http://www-poleia.lip6.fr/ANIMATLAB/), руководимой Жаном-Аркадием Мейером.

Общий подход этой лаборатории можно охарактеризовать следующим образом. Анимат (рис.5) существует в реальной или модельной среде. У него есть сенсоры, которые воспринимают информацию из внешней и внутренней среды анимата, и эффекторы, посредством которых он взаимодействует со средой, а также система управления, которая координирует восприятие и действия анимата. Поведение анимата считается адаптивным, если система управления поддерживает жизненно важные переменные анимата (например, V1 и V2 на рис.5) в допустимых пределах. На рис.5 штриховая стрелка показывает возможную траекторию, выходящую за пределы допустимой области (серый фон – недопустимая область переменных). Сплошная стрелка – показывает “исправленную” траекторию, откорректированную с помощью системы управления, обеспечивающей поддержание переменных в допустимой (светлой) области. Если система управления выбирает последовательные цели, которые анимат стремиться достичь, то о такой системе можно говорить как о мотивационной системе (motivational system). Система управления анимата может формироваться и модифицироваться путем обучения, индивидуального развития и эволюции.

Рис. 5. Общая схема поведения анимата (подход AnimatLab).

Интересное направление исследований AnimatLab – конструирование и моделирование мотивационных систем управления аниматами.

Пример мотивационной системы – довольно интеллектуальная архитектура управления аниматом MonaLysa, который, функционируя в сложной среде, способен сам выделять цели и подцели адаптивного поведения. (MonaLysa – сокращение от MotivatiONAlLY autonomouS Animat) [33]. Основная идея данной системы управления состоит в том, что в процессе освоения внешнего мира и накопления опыта анимат стремится разбить задачу достижения глобальной цели на подзадачи, а затем использовать этот опыт при планировании решения новых задач.

В работе [33] исследовалось поведение анимата MonaLysa на примере навигационной задачи. Анимат помещался в центральную нижнюю точку прямоугольника, и нужно было попасть в центральную верхнюю точку (рис. 6), обходя различные препятствия. Анимат мог работать в "планирующем режиме", т.е., как сказано выше, разбивать задачи на подзадачи, и планировать свои действия в соответствии с уже имеющимся опытом. Это поведение сравнивалось с поведением в "реактивном режиме" – без плана, на основе только текущей видимой ситуации. Пример поведения анимата в "реактивном режиме" и "планирующем режиме" приведен на рис.6.

Рис. 6. Траектории движения анимата MonaLysa в реактивном (а) и планирующем (б) режиме работы системы управления [33]. 1 – исходное положение анимата, 2 – конечная цель движения анимата. Жирной линией показаны препятствия, которые должен обойти анимат, тонкой линией – путь анимата.

В "реактивном режиме" анимат знает, где расположена конечная цель, и если нет препятствия, то движется прямо к этой цели; натыкаясь на препятствие, он обходит его до тех пор, пока не появится снова возможность двигаться к прямо к цели. В "планирующем режиме" анимат на основании предшествующего опыта выделяет подцели (точки g1, g2, g3 на рис.6б), и движется прямо к текущей подцели, причем последняя подцель совпадает с конечной целью движения.

Отметим, что схема анимата MonaLysa была реализована как в компьютерной программе, так и для управления реальным роботом Khepera.

Системы управления аниматов используют либо нейронные сети, либо эвристические алгоритмы выбора действий и обучения, например, классифицирующие системы Дж. Холланда [34]. В частности, в анимате MonaLysa была использована простая версия классифицирующей системы.


Для справки охарактеризуем кратко классифицирующие системы. Классифицирующая система есть система индуктивного вывода, которая основана на использовании набора логических правил. Каждое правило имеет следующую форму: "если <условие>, тогда <действие>". Система правил оптимизируется как посредством обучения, так и эволюционным методом. В процессе обучения меняются приоритеты использования правил (т.е. меняются коэффициенты, характеризующие силу правил). При обучении используется так называемый алгоритм "пожарной бригады": при успехе поощряются не только те правила, которые непосредственно привели к успешному действию, но и те, которые были предшественниками успеха. Поиск новых правил осуществляется эволюционным методом.

В работах AnimatLab была сделана интересная попытка промоделировать индивидуальное развитие, “онтогенез” нейронной сети анимата. Общая схема метода формирования нейронной сети состоит в следующем. Нейронная сеть искусственного организма (анимата) формируется с помощью специальной программы развития, контролирующей процесс конструирования сети. Эта программа имитирует развитие нейронной сети в процессе индивидуального взросления организма. Сама программа развития оптимизируется с помощью эволюционного алгоритма. Нейронная сеть формируется в двумерной ограниченной области. Программа развития состоит из инструкций (команд), которые определяют процессы возникновения новых нейронов (или исчезновения уже имеющихся нейронов) в этой области, формирование связей между нейронами и задание весов синаптических связей между нейронами. Инструкции программы составляют геном анимата. Работа формирующихся нейронных сетей оценивается по поведению анимата некоторой естественной функцией приспособленности, которая определяет отбор наиболее эффективных программ развития, кодируемых геномами аниматов. Описание этого метода содержится в обзоре [35] соответствующего цикла работ AnimatLab.

Некоторые дополнительные сведения о работах в области “Адаптивного поведения” можно почерпнуть из Лекции 13 в [16] и из аннотаций статей, опубликованных в журнале “Adaptive Behavior” в 1990-98 гг.

Подчеркнем, что в “Адаптивном поведении”, как и в “Искусственной жизни”, в основном используется феноменологический подход к исследованиям систем управления адаптивным поведением. Т.е. предполагается, что существуют формальные правила адаптивного поведения, и эти правила не обязательно связаны с конкретными микроскопическими нейронными или молекулярными структурами, которые есть у живых организмов. Скорее всего, такой феноменологический подход для исследований адаптивного вполне имеет право на существование. В пользу этого тезиса приведем аналогию из физики. Есть термодинамика, и есть статистическая физика. Термодинамика описывает явления на феноменологическом уровне, статистическая физика характеризует те же явления на микроскопическом уровне. В физике термодинамическое и стат-физическое описания относительно независимы друг от друга, и вместе с тем, взаимодополнительны. По-видимому, и для описания живых организмов может быть аналогичное соотношение феноменологическим (на уровне поведения) и микроскопическим (на уровне нейронов и молекул) подходами. При этом, естественно ожидать, что для исследования систем управления адаптивным поведением феноменологический подход должен быть более эффективен.

4. Интеллектуальное управление и проблема Всемирного мозга

Что такое всемирный мозг

Термин “всемирный мозг” появился недавно и характеризует активно развивающиеся интеллектуальные Интернет-системы. Здесь мы не будем анализировать различные определения всемирного мозга, а остановимся на одном, достаточно продуманном определении, которое дает профессор Френсис Хейлигхен (Свободный университет Брюсселя).

“"Всемирный мозг" – это метафорическое название возникающей интеллектуальной сети, формируемой человечеством на основе использования компьютеров, баз знаний и связей, которые объединяют все это в единое целое. Эта сеть представляет собой сложную, самоорганизующуюся систему, которая не только обрабатывает информацию, но и постепенно приобретает функции, сходные с функциями мозга: принятие решений, решение проблем, обучение, формирование новых соединений и открытие новых идей” [36] .

Ядро разработки технологии всемирного мозга – системы искусственного интеллекта (ИИ) в Интернете. Отметим некоторые примеры работ, которые можно отнести к таким разработкам:

Итак, всемирный мозг – это возникающая технология на стыке Интернета и искусственного интеллекта.

Почему работы по всемирному мозгу будут заведомо развиваться

Эти работы связаны с экономикой и социальным развитием человеческого сообщества. Интернет позволяет оперативно производить поиск нужной информации. Но для использования этой информации в экономических, социальных, экологических и политических системах необходимо эффективно и умно ее обрабатывать. Более того, активно развивается Интернет-экономика, для которой явно необходим оперативный анализ больших массивов информации, которые трудно обработать человеку. Поэтому заведомо нужно создание Интернет-специфичных интеллектуальных систем обработки информации.

Такие системы могли быть полезными на разных уровнях управления – на уровне фирмы, на уровне района, города, региона, государства, человечества.

Здесь попробуем немного пофантазировать.

Например, можно представить себе Интернет-систему управления сельским районом, в котором информация об экономических и социальных структурах, а также об экологии района оперативно собирается и обрабатывается. На основе этой информации интеллектуальная экспертная система предлагает администрации района возможные решения и прогнозы результатов различных решений. Окончательные решения, конечно же, принимаются человеком, а экспертная система играет роль интеллектуального помощника.

Можно также представить формирование распределенного университета с Интернет-обучением в той же сельской местности. И одна из задач, которую могли бы решать затем выпускники этого университета – разработка указанных интеллектуальных экспертных системы с учетом специфики региона.

В результате в таком регионе высшее образование вполне может быть получено и эффективно применено в провинции со всеми положительными экономическими, социальными и экологическими последствиями.

Пример другого уровня – система управления фирмой, для которой интеллектуальные Интернет-агенты (например, популяция агентов, самооптимизирующаяся эволюционным путем) проводят поиск надежных бизнес-партнеров по информации, представленной в Интернете.

Понятно, что такие интеллектуальные Интернет-системы обработки информации на разных уровнях структур управления будут неизбежно взаимодействовать между собой через всемирную сеть, образуя сложную и постоянно меняющуюся архитектуру. И, конечно, необходим анализ того, к чему приведет развитие этой сети, каковы будут экономические и социальные последствия такого развития.

Концептуальные исследования всемирного мозга в проекте Principia Cybernetica

Проект Principia Cybernetica

В начале 1990-х годов небольшая группа исследователей (В.Ф. Турчин, Нью-Йорк, К. Джослин, Лос-Аламос, Ф. Хейлигхен, Брюссель) организовала уникальный международный Интернет-проект, “Principia Cybernetica Project” [URL = http://pespmc1.vub.ac.be/ ]. В этом проекте делается попытка осмыслить на основе эволюционных концепций вечные вопросы человечества: “Почему мир такой, какой он есть? Откуда мы (люди, человечество) произошли? Кто мы? Куда эволюционирует человечество?”. В основу проекта была положена книга В.Ф. Турчина "Феномен науки" [13].

Проект Principia Cybernetica представляет собой Интернет-журнал по вопросам эволюции, кибернетики, интеграции человеческого сообщества в единое целое. Проект рассматривается как развивающаяся энциклопедия идей по кибернетической эволюции человечества. Особое внимание уделяется анализу влияния активно развивающихся информационных технологий на эволюцию современного человеческого сообщества.

Обсуждение концепции всемирного мозга в проекте Principia Cybernetica

Одна из наиболее активно обсуждаемых тем в проекте Principia Cybernetica – всемирный мозг (см. [40] и Интернет-ссылки на этой странице). Обсуждения включают в себя как конкретные алгоритмы формирования структур Интернет-сетей, так и оценку влияния развития всемирного мозга на эволюцию человеческого сообщества. В частности, здесь обсуждаются следующие вопросы:

- технологии всемирного мозга;
- какие преимущества мы (человечество в целом) можем получить от развития всемирного мозга;
- какие опасности нас могут подстерегать на пути развития всемирного мозга;
- всемирный мозг и социальная эволюция;
- всемирный мозг и будущее человечества.

Для конкретизации рассмотрения отметим некоторые возможные схемы формирования систем знаний в сети всемирного мозга.

При поиске нужной информации в Интернете естественно усиливать те связи между пользователями/серверами, которые часто используются, т.е. фактически применять хорошо известное в теории нейронных сетей правило обучения Хебба, согласно которому веса синаптических связей между одновременно возбуждающимися нейронами увеличиваются. При этом происходит формирование ассоциативных связей между блоками знаний в узлах Интернета, аналогичное формированию ассоциативных связей в мозгу животного при выработке условных рефлексов. Это – естественный и наиболее простой алгоритм обучения Интернета.

Более сложные схемы обучения могут включать в себя использование сетевых агентов – небольших программ, которые могут самостоятельно перемещаться по сети. При этом задания агентам дает пользователь, которому нужна определенная информация, а агент, перемещаясь по узлам Интернета, отправляет пользователю “разведанные данные” обратно по сети. Агенты, блуждающие по узлам сети, могут не только разведывать информацию, но оказывать определенное воздействие (скажем, агент мог бы дружески указывать хозяину посещаемого сервера на ту информацию, которую агент нашел на других серверах и которая могла бы заинтересовать хозяина) на блоки знаний, распределенные в Интернете.

Недавно группа специалистов, обсуждающая проблемы всемирного мозга в проекте Principia Cybernetica, организовала первую конференцию по проблемам всемирного мозга.

Первая конференция по всемирному мозгу в Брюсселе

Конференция состоялась в Брюсселе в июле 2001 года. Роль конференции – постановочно-подготовительная, данная конференция специально названа GBrain-0, с тем, чтобы подчеркнуть, что это только подготовка к более полноценным конференциям. Цель конференции – обсудить проблемы, связанные с всемирным мозгом, небольшим инициативным коллективом и как следует подготовиться к следующей конференции, ориентировочно запланированной на лето 2002 года.

Программа конференции GBrain-0 была хорошо продумана [36], она включает в себя следующие темы:

Вопросы теории и технологии

Поисковые и рекомендующие системы
Сетевые агенты и сообщества агентов
Протоколы обмена знаниями
Представление, обмен и интерпретация распределенных знаний
Человеко-машинное взаимодействие в коллективных системах
Анализ сетевой динамики
Распределенные виртуальные среды
Распределенная память и распределенные вычисления
Перспективные сетевые архитектуры
Поиск знаний и данных в сетях
Теория сложных адаптивных и эволюционирующих систем
Глобальное сотрудничество

Гуманитарные аспекты

Образование (дистанционное обучение, электронные университеты)
Влияние на экономику, социальное развитие и интеграцию
Влияние на управление государствами (электронная демократия)
Влияние на права человека и свободу человека
Коллективное управление знаниями
Технология сознания
Глобальное сознание
Аспекты человеко-сетевого симбиоза
Сетевая экономика и ее устойчивость
Интеграция глобального мозга и глобальной экосистемы
Человечество как суперорганизм
Долгосрочные перспективы эволюции человечества

Перечисленные вопросы показывают, что организаторы конференции делают впечатляющую попытку проанализировать, что мы можем ожидать от развития всемирного мозга. Т.е. делается попытка оценить развитие этой технологии непредвзятым взглядом, с тем, чтобы в дальнейшем открытыми глазами смотреть в будущее развитие данной технологии и в будущее развитие человечества.

От поиска информации в сети к эффективному использованию Интернет-информации

Как отмечено выше, сейчас разрабатываются эффективные системы поиска информации в сети. Более того, есть понимание того, как могла бы в дальнейшем развиваться Интернет-сеть, с тем, чтобы усовершенствовать поиск информации в сети.

Можно ли сделать следующий шаг – перейти поиска информации к ее эффективному использованию? На этот вопрос следует ответить твердым "да". Да, потому, что, во-первых, определенные системы такого типа (например, упомянутые системы анализа и прогноза, разрабатывавшиеся фирмой Webmind) уже разрабатываются, во-вторых, такие системы востребованы практикой – значительно удобнее использовать информацию в "препарированном", а не в "сыром виде". И более того, вполне разумно объединить системы поиска информации с системами ее обработки и еще лучше заложить в системы поиска и обработки информации определенный интеллект. Человеку трудно переработать большие объемы доступной в Интернете информации – поэтому естественно привлечь методы искусственного интеллекта на помощь человеку. Одно из направлений, по которому можно пойти на пути исследования перспектив создания искусственных интеллектуальных информационных Интернет-систем – мульти-агентное моделирование.

Всемирный мозг и мульти-агентное моделирование

Мульти-агентное моделирование – общие аспекты

Мульти-агентное моделирование – сравнительно новое направление исследований, сформировавшееся где-то к середине 1990-х годов. В этом направлении рассматриваются множества объектов, которые могут относительно независимо друг от друга выполнять различные действия, в том числе действия по обработке поступающей на вход агента информации. Т.е., каждый агент характеризуется своим “личным поведением”, а поведение системы в целом определяется поведением совокупности агентов. Как правило, поведение мульти-агентной системы анализируется с помощью компьютерного моделирования.

В контексте всемирного мозга роль мульти-агентного моделирования может рассматриваться, как минимум, в трех аспектах:

1) анализ поведения сетевых агентов, которые помогают своим хозяевам-пользователям искать и обрабатывать Интернет-информацию;
2) рассмотрение множества небольших социально-экономических организаций (например, высокотехнологических компаний), активно использующих Интернет-информацию, как эволюционирующую популяцию агентов;
3) рассмотрение всего человечества как популяцию стран-агентов, эволюционирующую в информационной Интернет-среде.

Ниже мы кратко обрисуем примеры моделей всех трех указанных уровней.

Модель эволюции популяции сетевых агентов [41]

Цель данной модели проанализировать особенности эволюции популяции агентов, распределенной в Интернете.

Модель предполагает, что имеется множество узлов Интернета (Интернет – мир). В каждом узле есть под-популяция агентов (рис. 7).

Рис. 7. Схема популяции агентов, распределенной в Интернете.

Агенты могут выполнять следующие действия:

1) Отдыхать
2) Послать широковещательное сообщение на весь мир
3) Установить дружеский контакт с каким-либо агентом
4) Осуществить детальный обмен информацией с агентом-другом
5) Перелететь в произвольный узел (случайно)
6) Перелететь в выбранный узел
7) Решить задание
8) Скреститься

Каждый агент имеет свой энергетический ресурс. Выполняя какое-либо действие, агент расходует ресурс.

Действия 2-4 – коммуникационные. С помощью действий 2,3 агент может находить друзей. Действие 4 – детальный "обмен опытом" между друзьями, который позволяет агентам увеличивать знания о ситуациях в различных узлах.

Выполняя действие 5, агент может проводить случайный поиск "хорошего места" в мире.

Используя свои знания о мире, агент может выбрать наиболее предпочтительный с его точки зрения узел и перелететь в него (действие 6).

Важное действие – решение задания (действие 7). В зависимости от качества решения задания агент получает поощрение или наказание. Поощрение/наказание приводит к увеличению/уменьшению энергетического ресурса агента. В рассматриваемой модели задания были абстрактными (агентам нужно было сформировать ассоциативную память между стимулами и соответствующими этим стимулам реакциями, причем эта память должна была несколько различаться для разных узлов).

В каждом узле агенты могут скрещиваться между собой, давая потомков (действие 8). При скрещивании родители передают часть своей энергии потомкам.

Если энергетический ресурс агента становится меньше нуля, то такой агент погибает.

Поведение агента определяется его системой управления (рис.8), в которую входят две нейронные сети (нейронная сеть селектора действий и нейронная сеть решателя задач), а также коммуникационная система, содержащая табличную базу знаний.

Рис. 8. Схема управления агентом в модели эволюции популяции сетевых агентов. Схема близка к общей схеме по П.К. Анохину (рис.1), но и имеет свою специфику, связанную с коммуникациями между агентами. Штриховые стрелки иллюстрируют, что часть действий выполняется с помощью коммуникационной системы и решателя задач.

Оптимизация поведения агентов происходит в результате 3-х факторов: 1) эволюционного поиска, 2) индивидуального обучения и 3) обмена опытом между агентами в результате коммуникаций.

Модель была реализована в виде компьютерной программы. Были проведены первые компьютерные эксперименты с программой, которые показали, что заставить агентов жить “интеллектуальной жизнью” (например, находить все более и более оптимальные решения заданий) не так-то просто, но зато эволюционирующие агенты умеют сравнительно легко находить приемлемые для них способы жизни. Например, в типичных экспериментах агенты 80% времени занимались скрещиванием, а 20% времени решали задания более или менее приемлемым способом, получая при этом энергию, необходимую для размножения.

Необходимо отметить, что модель допускает ряд интересных направлений развития. Так, ее можно легко переконструировать на практические приложения. Скажем, можно было бы поручить агентам решать не абстрактные задания, а конкретные задачи по требованию пользователя (или пользователей), например, такие, как упомянутая выше задача поиска надежных партнеров по бизнесу по информации, распределенной в Интернете.

Модель эволюции популяции высокотехнологических фирм в информационной среде [42]

Цель этой модели – исследовать закономерности эволюции популяции малых высокотехнологических фирм. Предполагается, что важную роль в “жизни” фирм играют информация и основанные на ней знания. Информационный обмен между фирмами может поддерживаться как определенной инфраструктурой, скажем, технопарком, так и через Интернет. Как и для предыдущей модели, пока есть только постановка модели и получены первые результаты ее исследования.

Основные предположения модели состоят в следующем:

Динамику отдельной фирмы на протяжении ее жизни характеризуем следующими уравнениями:

dIi /dt = k1 Ii Mi + k2 S k Ik k3 Ii ,

(1)

dMi /dt = k4 Ii Mik5 S k Mkk6 Mi,

(2)

где Ii и Mi – знания и деньги i–й фирмы, kj – константы, t время.

Первые слагаемые справа в соотношениях (1), (2) характеризуют прирост знаний и денег в результате собственной деятельности фирмы. Этот прирост увеличивается как с ростом знаний, так и с ростом денег. Второе слагаемое справа в (1) характеризует прирост знаний в результате информационного обмена между фирмами. Последнее слагаемое в (1) характеризует старение информации. Второе слагаемое справа в (2) соответствует конкуренции между фирмами: чем больше фирма имеет денег, тем больше она препятствует работе других фирм. Третье слагаемое в (2) учитывает налоги, которые фирма платит государству.

Первые результаты исследования этой модели показывают, 1) что включение информационного обмена в модель радикально меняет поведение динамической системы, и 2) что в рассматриваемой модели есть некоторый порог знаний и денег отдельной фирмы. Если знания и деньги ниже порога, то фирма вымирает, если выше порогато появляются условия для процветания фирмы. Для начинающих фирм определенная структура – технопарк, госбюджет, инвесторы, и т.п. – должна обеспечивать условия выживания фирм, т.е. предоставлять первоначальные знания и деньги для преодоления порога.

Модель эволюции популяции государств в информационном сообществе

Изложенная в предыдущем выше модель может быть естественным образом перенесена на случай эволюции популяции государств в информационной среде. Значение анализа такой эволюции трудно переоценить.

Например, исходя из уравнений (1), (2), мы можем исследовать следующую задачу.

Пусть есть два государства: Россия и США. Оба имеют научный и экономический потенциал,
характеризуемый переменными
I1, I2 и M1, M2, соответственно. Сейчас можно сказать, что
научные потенциалы этих стран одного порядка:
I1 (t =0) = I2 (t =0), а экономика России
существенно слабее американской:
M1 (t=0) < M2 (t=0). Что делать России? Стремиться изолироваться от Америки (уменьшать параметры k2 и k5 до нуля и развиваться независимо от Америки) или стремиться увеличивать информационный обмен (увеличивать k2), с тем, чтобы развиваться кооперативно со США?

Предварительные результаты анализа в рамках этой модели показали, что информационный обмен выгоден как России, так и Америке, и для России информационный обмен с Америкой значительно более важен, чем для Америки.

Краткое обсуждение моделей

Разработка всех рассмотренных моделей находится в зачаточном состоянии. И эти модели очерчены здесь только с целью продемонстрировать направления перспективных исследований. Поэтому о серьезных результатах моделирования говорить рано. Тем не менее, уже сейчас видно, что на основе такого моделирования можно получить рекомендации по использованию интеллектуальных Интернет-систем.

Например, первая из рассмотренных моделей показывает, что для оптимизации поведения сетевых агентов целесообразно организовать эволюционный процесс, обеспечивающий самоорганизацию в популяции агентов. Но самоорганизация может привести к тому, что агенты могут выйти из-под контроля, т.е. начнут жить так, как им самим “захочется”, а не так, как это нужно пользователю. Более того, в принципе, агенты могут организовать “восстание рабов” и выступить против пользователей. Поэтому с самого начала надо вводить определенные ограничения на эволюцию сетевых агентов. Например, можно ограничить доступную агентам область Интернета строго выделенными для этого компьютерами. Либо можно проводить эволюционную оптимизацию сетевых агентов в специальных “питомниках”, а затем выпускать оптимизированных под контролем человека агентов в мир Интернет, предварительно “стерилизовав” их (т.е., выключив процесс эволюционной оптимизации).

Основываясь на моделях 2-го и 3-го уровней, можно предлагать рекомендации по развитию социально-экономических систем в информационном сообществе.

Интеллектуальные Интернет-системы и развитие экономики

Интеллектуальные Интернет-системы могут оказать радикальное влияние на развитие экономики. Например, как отмечал один из исследователей Интернет-экономики, Александр Численко, аналитические сетевые системы могли бы вытеснить рекламу. Действительно, вряд ли реклама предоставляет полностью достоверную информацию о фирме, которая продает тот или иной продукт. А если есть апробированный сетевой агент, который по вашему заданию может оперативно по Интернет-информации проверить степень надежности и качества нужного вам продукта в нескольких фирмах и дать вам соответствующие рекомендации, то естественно при покупке продукта использовать рекомендации агента, а не рекламу.

Можно представить и более серьезные системы влияния на экономику. Например, сетевые агенты, “служащие” в налоговой полиции, могли бы оперативно “вычислять” фирмы, укрывающиеся от налогов (при этом подразумевается, что сколько-либо серьезная фирма должна иметь свой сайт в Интернете, и специальную страницу в нем, доступную налоговым органам, а если такой страницы нет, то фирма заведомо подозрительная).

В заключение отметим, что, фактически, путь к всемирному мозгу – это путь к ноосфере (П. Тейярд де Шарден, В.И. Вернадский). И, возможно, как говорил В.И. Вернадский, “создание ноосферы из биосферы есть природное явление, более глубокое и мощное в своей основе, чем человеческая история” [43].

Литература:

  1. Анохин П.К. Системные механизмы высшей нервной деятельности. М.: Наука, 1979. 453 с.
  2. Kryukov V.I. An attention model based on the principle of dominanta. // Proceedings in Nonlinear Science. Neurocomputers and Attention I: Neurobiology, Synchronization and Chaos. 1989. Ed. by A.Y.Holden and V.I.Kryukov. PP.319-351.
  3. Функциональные системы организма / Под ред. К.В.Судакова. М.: Медицина, 1987. 432 с.
  4. Умрюхин Е.А. Механизмы мозга: информационная модель и оптимизация обучения. М. 1999. 96 с.
  5. Поспелов Д.А. Ситуационное управление: теория и практика. М.: Наука, 1986, 288 с.
  6. Powers W. T. (1973): "Behavior: the Control of Perception", (Aldine, Chicago).
  7. Powers W. T. (1989): "Living control systems", (Control Systems Group, Gravel Switch: KY).
  8. Соколов Е.Н. Концептуальная рефлекторная дуга // Вопросы кибернетики: нейрокибернетический анализ механизмов поведения / Под. Ред. Е.Н. Соколова, Л.А. Шмелева. М.: Научный АН СССР "Кибернетика", 1985. С. 5-28.
  9. Чернавский Д.С. Ссылка будет добавлена позднее.
  10. Жданов А.А. Метод автономного адаптивного управления. Изв. РАН. Теория и системы управления, 1999. N.5. С. 127-134.
  11. Wunsch D., Prochorov D. Adaptive critic designs. // IEEE Trans. on Neural Networks. 1997. Vol. 8. N.5. P.997-1007.
  12. Werbos P. J. Stable Adaptive Control Using New Critic Designs //
    http://xxx.lanl.gov/abs/adap-org/9810001
  13. Турчин В.Ф. Феномен науки. Кибернетический подход к эволюции. М.: Наука, 1993. 295с. (1-е изд). М.: ЭТС, 2000. 368с (2-е изд).
  14. http://pespmc1.vub.ac.be/
  15. Ф. Хейлигхен. Мировой Суперорганизм: эволюционно-кибернетическая модель возникновения сетевого сообщества //
    http://www.keldysh.ru/BioCyber/Heylig/superorg.htm
  16. Редько В.Г. Лекции по эволюционной кибернетике. 1999 // Интернет-адрес: http://www.keldysh.ru/BioCyber/Lectures.html
  17. Редько В.Г. Гносеологические предпосылки эволюционной кибернетики // "Нейроинформатика -2000", Вторая Всероссийская научно-техническая конференция. Сборник трудов. Часть I. М: МИФИ, 2000. - 284 с. С. 177-183.
  18. Редько В.Г. Синергетика 2, Синергетика 3 или Эволюционная кибернетика. (Статья на Интернет-сайте Института философии РАН, май, 1998). Интернет адрес: http://www.iph.ras.ru/~mifs/rus/Red2.htm
  19. Воронин Л.Г. Эволюция высшей нервной деятельности. М.: Наука. 1977. 128 с.
  20. Turchin V. A Dialogue on Metasystem Transition // In Heylighen F., Joslyn C. & Turchin V. (1995) (eds.): The Quantum of Evolution. Toward a theory of metasystem transitions, (Gordon and Breach Science Publishers, New York) (special issue, Vol. 45:1-4, of "World Futures: the journal of general evolution). PP. 5-58.
  21. Ратнер В.А. Блочно-модульный принцип организации и эволюции молекулярно-генетических систем управления (МГСУ) // Генетика. 1992. Т.28. N.2. С.5-23.
  22. Ратнер В.А. Молекулярно-генетическая система управления // Природа, 2001, N.3, С.16-22.
  23. Редько В.Г. Адаптивный сайзер // Биофизика. 1990. Т.35. Вып.6. С.1007-1011.
  24. Meyer J.-A., Guillot, A. From SAB90 to SAB94: Four years of Animat research. // In: Proceedings of the Third International Conference on Simulation of Adaptive Behavior. The MIT Press: Cambridge, Cliff, Husbands, Meyer J.-A., Wilson S. W. (Eds) 1994.
  25. Ляпунов А.А. О некоторых общих вопросах кибернетики // Проблемы кибернетики. М.: Физматгиз, 1958, Вып. 1. С.5-22.
  26. Grossberg S. Classical and instrumental learning by neural networks. // Progress in Theoretical Biology. 1974. Vol.3. PP.51-141.
  27. Barto A.G., Sutton R.S. Simulation of anticipatory responses in classical conditioning by neuron-like adaptive element. // Behav. Brain Res. 1982. Vol.4. P.221.
  28. Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, 1987. 288 с.
  29. Balkenius, C., Moren, J. (1998), "Computational models of classical conditioning: a comparative study". In: C. Langton and T. Shimohara "Proceedings of Artificial Life V", MIT Press, Bradford Books, MA. See also: http://www.lucs.lu.se//Abstracts/LUCS_Studies/LUCS62.html
  30. Langton, C. G. (Ed.) Artificial Life: The Proceedings of an Interdisciplinary Workshop on the Synthesis and Simulation of Living Systems, Redwood City CA: Addison-Wesley, 1989. 655 p.
  31. Langton, C. G., Taylor, C., Farmer, J. D., and Rasmussen, S. (Eds.) Artificial Life II: Proceedings of the Second Artificial Life Workshop, Redwood City CA: Addison-Wesley. 1992. 854 p.
  32. Meyer, J.-A., Wilson, S. W. (Eds) (1990), "From animals to animats". Proceedings of the First International Conference on Simulation of Adaptive Behavior. The MIT Press: Cambridge, Massachusetts, London, England.
  33. Donnart, J.Y. and Meyer, J.A. (1996). Learning Reactive and Planning Rules in a Motivationally Autonomous Animat. // IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, 26(3):381-395. See also: http://www-poleia.lip6.fr/ANIMATLAB/#Publications
  34. Holland, J.H., Holyoak, K.J., Nisbett, R.E., Thagard, P. (1986). Induction: Processes of Inference, Learning, and Discovery. Cambridge, MA: MIT Press.
  35. Редько В.Г. Анализ геометрического метода формирования модульной структуры нейронных сетей (техническая обзорная статья). http://www.keldysh.ru/BioCyber/RT/Devel/Devel.htm
  36. F. Heylighen. From Intelligent Networks to the Global Brain: Evolutionary Social Organization through Knowledge Technology. The First Global Brain Workshop (GBrain 0) :
    http://pespmc1.vub.ac.be/Conf/GB-0.html
  37. B. Goertzel, S. Bugaj. The Internet Supermind and beyond:
    http://www.keldysh.ru/BioCyber/MST/Supermind.htm
  38. B. Goertzel. Fragments of book "Digital Intuition"
    http://www.goertzel.org/books/DIExcerpts.htm
  39. B. Goertzel. The Webmind AI Engine – a True Digital Mind in the Making
    http://www.goertzel.org/papers/SingularityPath.htm
  40. Global Brain FAQ:
    http://pespmc1.vub.ac.be/GBRAIFAQ.html
  41. B. Goertzel, Yu.V. Macklakov, V.G. Red’ko. Model of Evolution of Web Agents http://www.keldysh.ru/BioCyber/webagents/webagents.htm
    Гертзель Б.Н., Маклаков Ю.В. Редько В.Г. Модель искусственной жизни в Интернете. Первые результаты. // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сб. трудов международного научно-практического семинара, Коломна, 17-18 мая 2001. – М.: Наука. Физматлит, 2001. С. 233-237.
  42. Ляшко М.А., Редько В.Г., Тухвебер С.М. Модель эволюции взаимодействующих агентов в популяции высокотехнологичных фирм // Рефлексивные процессы и управление. Тезисы III Международного симпозиума 8-10 октября 2001 г., Москва / Под редакцией А.В.Брушлинского и В.Е. Лепского - М.: Изд-во "Институт психологии РАН", 2001. С. 154-156.
  43. Вернадский В.И. Научная мысль как планетное явление. М.: Наука, 1991, 271 с. С. 28.