A computational model of nervous system function during classical and instrumental conditioning is proposed. The model assumes the form of a hierarchical network of control systems. Each control system is capable of learning and is referred to as an associative control process (ACP). Learning systems consisting of ACP networks, employing the drive-reinforcement learning mechanism (Klopf, 1988) and engaging in real-time, closed-loop, goal-seeking interactions with environments, are capable of being classically and instrumentally conditioned, as demonstrated by means of computer simulations. In multiple-T mazes, the systems learn to chain responses that avoid punishment and that lead eventually to reward. The temporal order in which the responses are learned and extinguished during instrumental conditioning is consistent with that observed in animal learning. Also consistent with animal learning experimental evidence, the ACP network model accounts for a wide range of classical conditioning phenomena. ACP networks, at their current stage of development, are intended to model sensorimotor, limbic, and hypothalamic nervous system function, suggesting a relationship between classical and instrumental conditioning that extends Mowrer's (1956, 1960a/1973) two-factor theory of learning. In conjunction with consideration of limbic system and hypothalamic function, the role of emotion in natural intelligence is modeled and discussed. ACP networks constitute solutions to temporal and structural credit assignment problems, suggesting a theoretical approach for the synthesis of machine intelligence.
----- Original Message -----From: Andrei KlimovTo: Arkady KlimovCc: Vladimir Red'ko ; В.С.Переверзев-Орлов ; Mihail Burtsev ; Andrei Chepovsky ; Valentin Turchin ; Oleg Yu. Orlov ; Maximov Vadim V. ; В.Штаркман ; Zoja BochkovaSent: Tuesday, December 26, 2000 3:53 PMSubject: Re: Past seminarАркадий,Как дополнение к твоему размышлению о семинаре и о том, "как жить дальше", посылаю по "узкому активу для обсуждения орг-вопросов", как ты его назвал (я немного его расширил), письмо Михаила Бурцева про сервер www.talk.ru (см. ниже).Аркадий, судя по твоей реплике ("будет только мешать"), вижу, что сразу должен пояснить идею модератора, которую я упомянул в ИППИ:
- Модератор действительно не нужен, в случае узкого профессионального списка рассылки, на который "никто не покушается" (например, refal-(a)-vstavit-botik.ru)
- Модератор обязателен для широких форумов с большим числом подписчиков: в его обязанности входит отсекать "спам" и явный "офф-топик" (например, в refal-(a)-vstavit-botik.ru за 1.5 года существования были 2 таких письма: "помогите пристроить котов" и музыкальное новогоднее поздравление объемом 1М; этот уровень "шума" не страшен, но для больших списков рассылки с автоматической подпиской это реальная проблема)
- Модератор очень полезен для организации ограниченных тематических обсуждений (ограниченных как по теме, так и по времени), которые можно/стоит организовывать в рамках постоянно существующего форума.
Честно говоря, я не понимаю, когда модератор может быть вреден. Был бы желающий выполнять функции модератора! Вот это, я думаю, проблема!Заглядывая в разные форумы, я заметил, что мне не хочется просматривать хотя бы по диагонали те, где просто заархивированы стихийные дискуссии. (Даже в нашей узкопрофессиональной переписке я начинаю жалеть свое время, когда два человека ведут переписку, обращаясь только друг другу, забывая, что остальные члены СС-списка не находятся постоянно в контексте).
Однако, с удовольствием читаю те форумы, где есть модератор, который организует весь процесс, являясь его ведущим и, быть может, даже редактором, отвергающим невнятные заметки и реплики (см. например http://forums.itworld.com/).
- Например, в refal-(a)-vstavit-botik.ru минимальная редакторская работа модератора могла бы состоять в отсекания процитированных предыдущих писем (о проблеме роста которых говорил Олег Юрьевич) и замене их на ссылки в архив.
- Еще пример: я отказался от подписки на текущие списки рассылки в PCP, не будучи его активистом, но сохранил подписку на новости, рассылаемые Франсисом Хайлигеном раз в 1-3 месяца.
В нашем случае, для начала, конечно, подойдет просто архивация стихийной дискуссии. Однако, предсказываю, ее качество будет низкое и она заглохнет, если не возникнет активная группа (хотя бы из одного человека), которая будет готовить связный текст в виде Web-страниц и вовлекать эти тексты в дискуссию. (Причем таких Web-сайтов может быть несколько: свой у каждого из активных авторов. Преждевременная централизация здесь может быть вредна).
Кстати, вот и получился пример метасистемы: ;-)
- Базовый уровень:
Cтихийная переписка по списку рассылки и ее архивация.
- Метасистема (-ы -- обратите внимание, что возможно множественное число метасистем! Это не "противоречит" КМСП, но намекает на возникновение следующего уровня управления):
Авторские сайты по темам дискуссии, взаимно ссылающиеся на архив переписки и друг на друга.
Таким образом, в соответствии "с духом и буквой КМСП" (;-) предлагается строить нашу "сложную систему", развернув процесс во времени "от простого к сложному", то есть от базового уровня к метауровню. А если ни у кого не найдется желания и воли на второй этап, то... значит, не созрело -- тогда так тому и быть!
Успехов!
Андрей.
----- Original Message -----From: "Mihail Burtsev" <mr.bur-(a)-vstavit-beep.ru>To: "Andrei Klimov" <Andrei.Klimov-(a)-vstavit-supercompilers.com>Sent: Tuesday, 26 December 2000 01:04Subject: форум: Здравствуйте Андрей Валентинович!
:
: Пишу Вам по поводу организации форума. Посмотрел еще раз www.talk.ru и
: считаю, что это оптимальный вариант по следующим причинам:
: 1) можно писать сообщения из веб интерфейса с любого компьютера
: даже если на нем не установлен майл клиент.
: 2) можно вести обсуждение по нескольким темам параллельно, сообщения
: удобно размещаются в древовидные структуры (это также обеспечивает
: удобство просмотра)
: 3) ВАЖНО! можно полноценно участвовать в форуме (читать и отправлять
: сообщения) используя только email, что актуально для тех у кого плохой
: доступ к http (например в Институте ПРОБЛЕМ с ПЕРЕДАЧЕЙ Инф. :)
: 4) достаточные возможности модерирования (удаление сообщений, черные
: списки)
:
: недостатки. по своему опыту знаю, что отправленные сообщения не всегда
: проходят в форум (для этого я повторял попытку через несколько часов,
: после чего все было нормально).
:
: Если мы решаем таким образом организовать дискуссию, то предлагаю
: след. программу первоначальных действий:
: 1) Определиться с названием
: 2) Определиться с модератором (насколько я понял их может быть
: несколько). Кстати у форума есть основатель (вероятно тот, кто его
: регистрирует) предлагаю кандидатуру Валентина Федоровича :)
: 3) Зарегистрировать форум
: 4) Начать дискуссию (и продолжить ее)
:
: вот такие соображения
:
: всего хорошего
: миша:----- Original Message -----From: "Arkady Klimov" <klark-(a)-vstavit-bagirra.net>To: "В.С.Переверзев-Орлов" <peror-(a)-vstavit-iitp.ru>Cc: "Andrei Klimov scp" <andrei.klimov-(a)-vstavit-supercompilers.com>; "В.Штаркман" <shtrkmn-(a)-vstavit-keldysh.ru>; "Maximov Vadim V." <maximov-(a)-vstavit-iitp.ru>; "Oleg Yu. Orlov" <oyorlov-(a)-vstavit-iitp.ru>; "Valentin Turchin" <VTurchin-(a)-vstavit-BellAtlantic.net>; "Andrei Chepovsky" <Andrei.Chepovsky-(a)-vstavit-supercompilers.com>Sent: Tuesday, 26 December 2000 14:07Subject: Past seminar: Слава, добрый день,
: посылаю обещанную ссылку
: http://goertzel.org/benzine/
: От него есть ссылки на Турчина и Principia Cybernetica.
: Та статья, что мы упоминали и рассылали перевод - AI-Manifesto
: То, что я упоминал по ассоциации с Лемом - The Extropian Creed. Очень
: интересный материал.
:
: Вообще, похоже, Бен проявляет глубокий интерес к русской философии, науке,
: культуре (и не только к русской).
:
: По вчерашнему семинару у меня двоякое чувство. С одной стороны, кажется,
: что мы чуть не загубили хорошую идею, а с другой, понятно, что тут есть о чем
: говорить и хочется о многом говорить (и думаю, не только мне). Я сейчас думаю
: о том, что было бы неплохо организовать eMail-конференцию по этой теме, где все
: могли бы спокойно повысказываться и поспорить. Хорошо, чтобы участвовали
: профессионалы в различных областях науки. Общее направление наверно, можно
: выразить так - "Приложение общей идеи МП к различным областям", примерно
: в духе "Феномена науки", причем неважно даже, как это называть, важно только,
: чтобы это был некий обобщающий взгляд.
: И сделать не просто список рассылки, как мы до сих делали,
: а подписной список, чтобы каждый, кто хочет мог бы подписаться или
: отписаться - в идеале это должно делаться автоматически по личному запросу
: (а изначально включить всех получателей нашей подготовительной переписки).
: В данном случае, по-моему, модератор не нужен (и будет только мешать).
: Кроме того, наверно, надо иметь два списка - русский и английский
: (чтобы и Бен, и другие нерусскоговорящие могли поучаствовать).
: Пока это у меня как бы благое пожелание, тут еще нужны технические и
: организационные ресурсы. Может надо это сделать в рамках и под эгидой
: какой-то "мета-структуры" (a-la W3.org или PCP)? Какие идеи? Вот в PCP есть форум,
: он организован как поток комментариев на узлы (http://pespmc1.vub.ac.be/USANNOT.html),
: но нам для раскрутки, наверно, больше подошел бы режим обычной конференции в письмах.
:
: Аркадий.
:
: Прошу прощения, я сузил список, тк полагаю, что оргвопросы лучше обсуждать узким "активом".