Инструментальное научение - Классические условные рефлексы

В то время как исследование классических условных рефлексов было начато в России, принципы инструментальных условных рефлексов были открыты и разработаны в США.

Торндайк провел ряд опытов, в которых кошки должны были нажимать на задвижку или тянуть за пружину, чтобы, открыв дверцу, выйти из ящика и получить снаружи пищу. Ящики были сделаны с вертикальными щелями так, что пища была заметна. Голодная кошка, впервые посаженная в ящик, производит множество действий, в том числе тянется к пище через щели и скребет предметы, находящиеся внутри ящика. Наконец она случайно ударяет по запирающему механизму и выскакивает наружу. При последующих пробах действия кошки постепенно концентрируются вблизи этого механизма, и прочая активность со временем прекращается. Наконец, кошка становится способной правильно вести себя, как только ее поместят в ящик.

Торндайк Thorndeike E. L., 1898, Animal intelligence: an experemental study of the assotiative processes in animals. назвал научение такого типа "методом проб, ошибок и случайного успеха". Теперь оно называется инструментальным научением, поскольку правильная реакция, ведущая к вознаграждению, требует использования "инструментов". Цирковые дрессировщики знали о научении такого типа в течение столетий, но Торндайк первый исследовал его систематически и создал на основе своих наблюдений стройную теорию.

Для объяснения изменений, происходящих в поведении животного в этих опытах, Торндайк Thorndeike E. L.,1913, The psychology of Learning. предложил свой "закон эффекта". Он гласит, что для реакции, за которой следует вознаграждение или состояние удовлетворения, вероятность повторения возрастает, а для реакции, вызывающей вредное или неприятное последствие, вероятность повторения снижается. Таким образом, успех инструментального научения приписывается тому факту, что выработанное поведение может быть непосредственно изменено его последствиями. Торндайк Thorndeike E. L, 1911, Animal intelligence. считал, что подкрепление повышает вероятность реакции, с которой оно сочетается, потому что усиливает установленную связь между ней и присутствующей стимульной ситуацией. Этот взгляд стал известен как "теория научения по принципу стимул-реакция", и варианты этой теории господствовали в течение многих лет. Признавая значение закона эффекта как эмпирического факта, современные психологи в то же время сомневаются в том, что поведение непосредственно модифицируется своими последствиями, как предполагали Торндайк и его школа.

Научение избеганию врагов

Реакции избегания представляют собой форму оборонительного поведения, за счет которого животные сводят к минимуму попадание в ситуации, представляющиеся опасными. Стимулы, вызывающие страх, могут быть сигнальными и вызывать реакцию без какого-либо предварительного опыта. Так же могут действовать и стимулы, с которыми реакция страха или избегания образовала условную связь. К вызывающим врожденное поведение избегания относятся стимулы, связанные с хищниками (например, силуэты, похожие на ястреба, которых избегают птенцы) и с ядовитыми растениями и животными, например змеями и грибами. Врожденное поведение избегания весьма неодинаково у разных видов. Оно выражается в оцепенении (в особенности у животных, обычно хорошо замаскированных), в бегстве, поиске укрытия и тигмотаксисе (т. е. в прижимании к предметам и избегании открытых пространств), в предупреждающих сигналах, служащих для отпугивания нападающего или для оповещения других животных.

В естественной среде обитания животное, обучающееся избегать хищников посредством проб и ошибок, пережило бы лишь несколько таких проб. Поэтому животные большей частью обладают врожденными защитными реакциями, рефлекторными по своей природе, хотя и изменяемыми научением. Р. Боллс (R. Во1les R. Во1les, 1970, Species-species defense reactions and avoidance learning., 1970) указал, что экспериментатор в опыте по научению избеганию намеренно или в силу устройства аппаратуры выбирает эффективную реакцию избегания, которая будет или не будет совпадать с врожденной реакцией животного. Степень совместимости врожденного и вырабатываемого в эксперименте поведения сильно влияет на легкость, с какой приобретается реакция избегания.

В течение многих лет психологи сообщали о значительных различиях в легкости, с какой животные научаются реакциям избегания (Mackintosh, 1974 Mackintosh, 1974, The Psychology of Animal Learning). Так, крысы приблизительно за пять проб научаются перебегать из одного ящика в другой, избегая удара током, но им требуются сотни проб, чтобы для избегания тока научиться нажимать на рычаг. Голуби в этих условиях с большим трудом научаются клевать ключ, но с меньшим - нажимать на педаль. Еще один усложняющий фактор-разница врожденных реакций избегания в зависимости от ситуации. Так, в ответ на удар током крысы обычно убегают, когда есть возможность убежать, и замирают, когда ее нет. Если в такой ситуации присутствует какая-то "мишень", например другой представитель этого же вида, действие тока может вызвать агрессивное поведение (Logan, Boice, 1969 Logan, Boice, 1969, Aggressive behaviours of paired rodents in an avoidance context.). Если ситуация требует, чтобы животное приблизилось к стимулу, связанному с током, тогда выработка реакции избегания становится очень трудной. Такое наблюдается, когда крыса должна нажать на рычаг прямо под источником света, предупреждающим о токе. Если же сигнальный свет находится далеко от рычага, выработать условную реакцию гораздо легче (Biederman et al., 1964 Biederman et al., 1964, Facilitation of discriminated avoidence learning by dissociation of CS and manipulandum/). Применение тока в аппарате с открытым пространством продлевает время, которое крысы проводят в тесном соприкосновении со стенкой (Grossen, Kelley, 1972 Grossen, Kelley, 1972, Species-specific behaviour and acquisiton of avoidance behaviour in rats.). Избегая удара током, эти животные быстрее научаются прыгать на возвышение, находящееся рядом со стенкой, чем на расположенное в середине такого аппарата.

Согласно традиционной теории научения, врожденные оборонительные реакции представляют собой БР. Павловский анализ научения такого типа включает два кардинальных положения (Mackintosh, 1974 Mackintosh, 1974, The Psychology of Animal Learning). Во-первых, успешные реакции избегания тесно связаны с реакциями, которые обычно вызываются неблагоприятным стимулом. Как мы видели, научение избеганию идет гораздо быстрее, если рефлекс, вырабатываемый экспериментатором, совместим с естественной реакцией животного на применяемое "наказание". Мы вкратце проиллюстрируем этот принцип в другом месте.

Второе павловское положение гласит, что выработка реакции избегания не должна непосредственно зависеть от возможности избегания как такового. Именно применение отрицательного подкрепления усиливает реакцию, вызываемую этим подкреплением. Отсутствие подкрепления, являющееся или не являющееся результатом избегания, не улучшит процесс классической выработки УР. Здесь, однако, стоит указать, что отсутствие подкрепления иногда не оказывает действия, а иногда оказывает сильное влияние на научение избеганию (Mackintosh, 1974 Mackintosh, 1974, The Psychology of Animal Learning). Так, например, серебряные караси плывут из одного отделения аквариума в другое, когда это избавляет их от удара током, но они плывут с той же готовностью, когда этот удар неизбежен. И напротив, отключение тока служит эффективным подкреплением, заставляющим морских свинок бегать в колесе (Brogden et al., 1938 Brogden et al., 1938, The role of incentive in conditioning and extinction.) или крыс перебегать из одного отделения ящика в другое (Miller, 1948 Miller, 1948, Studies of fear as an asquirable drive.). Эта методика лучше применяемой при классической выработке УР (рис. 3)

сравнение классической методики подкрепления и методики его отмены. а. - бег морских свинок в колесе. б. - условно-рефлекторное сгибание ноги у собаки. (по wahlsten, cole, 1972)

Рис 3. Сравнение классической методики подкрепления и методики его отмены. А. - Бег морских свинок в колесе. Б. - условно-рефлекторное сгибание ноги у собаки. (По Wahlsten, Cole, 1972)

Макинтош (Mackintosh, 1974 Mackintosh, 1974, The Psychology of Animal Learning) указывает, что разница между классическим и инструментальным подходами к выработке реакции избегания может быть связана с вопросом о том, сигнализируют ли внешние стимулы об ударе током или о безопасности и образуют ли реакции на эти стимулы адекватные обратные связи у животного. В тех случаях, когда животное избегает тока, выпрыгивая из ящика или убегая от опасного стимула, само избегание отлично от других форм поведения животного и переносит его в иную внешнюю стимульную ситуацию. Впрочем, для непрерывно плавающего карася уплывание в определенное место (для избегания тока) не очень отличается от обычного поведения, В то же время для неподвижно сидящей крысы убегание туда, где она не получит удара током, представляет собой особую реакцию с ее очевидными последствиями. Поэтому не следует удивляться тому, что крысе легче научиться реакции избегания такого типа, чем нажиму на рычаг.

Крысы, которые могут нажать на рычаг, чтобы избежать удара током и попасть в отделение ящика, где тока никогда не бывает, научаются нажимам быстрее, чем крысы, которые могут нажимать на рычаг, но при этом не получают доступа в такое отделение (Masterton, 1970 Masterson, 1970, Is termination of a warning signal an effective reward for a rat?). Простой нажим на рычаг оставляет животное в более или менее той же внешней стимульной ситуации, что и раньше, а убегание в другое отделение удаляет его от стимула, связанного с током. Научение избеганию идет гораздо эффективнее в перегороженном ящике с одним "электрическим" отделением, чем в таком же ящике с поочередным включением тока в обеих его половинах, вероятно, потому, что в последнем случае нет участка, ассоциирующегося у крыс с безопасностью.

Научение типа инсайта

Идея об участии в научении животного когнитивного процесса имеет долгую историю. Она нашла ясное выражение в работах школы гештальт-психологов, которые считали, что животные способны к инсайту, т. е. что животные способны решать проблемы посредством инсайта ("озарения") благодаря врожденной тенденции воспринимать ситуацию как целое.

Классическая серия опытов была проведена Келером между 1913 и 1917 гг. Во время первой мировой войны Келер был интернирован на острове Тенерифе. Там он занялся исследованием шимпанзе на опытной станции по изучению человекообразных обезьян и опубликовал результаты своей работы в книге ""The Mentality of Apes" ("Мыслительные способности высших обезьян"), вышедшей в 1925 г. В опытах Келера шимпанзе для получения вознаграждения (корма) должны были пользоваться орудиями. Так, в одном случае шимпанзе нужно было доставать палкой еду, находящуюся вне клетки. Келер считал, что его задачи отличались от задач Торндайка очень важной деталью. Животные Торндайка не могли понять, как действует замок, открывающий дверцу их клетки, потому что он находился снаружи и был скрыт от глаз. Они могли решать поставленную задачу только путем проб и ошибок. А в опытах Келера все составляющие, необходимые для решения задачи, находятся в пределах видимости животного.

Одной из шимпанзе в опытах Келера давали две бамбуковые палки, ни одна из которых не была достаточно длинной для того, чтобы достать плод, лежащий вне клетки. Но палки можно было соединить и получить из них одну, более длинную. После многих безуспешных попыток дотянуться до плода одной из коротких палок шимпанзе прекратила попытки, принялась играть с палками и случайно соединила их, всунув более тонкую в полый конец второй. Тогда обезьяна подпрыгнула и немедленно побежала к прутьям клетки, чтобы достать плод длинной палкой. Келер истолковал это, как пример инсайта. В другом опыте плод был подвешен высоко под потолком клетки. Его можно было достать, поставив друг на друга ящики. Некоторые шимпанзе научались решать эту задачу.

Объясняя результаты своих опытов, Келер пришел к выводу, что его животные проявляли инсайт. Этот термин обозначает понимание отношений между стимулами или событиями. Научение по принципу инсайта отличается от научения методом проб и ошибок, потому что полагает внезапное возникновение новой реакции. Философа Бертрана Рассела позабавила разница между взглядами Торндайка и Келера. Он писал: "У всех тщательно наблюдавшихся животных обнаружились национальные черты наблюдателя. Животные, которых изучали американцы, бешено прыгают с невероятными напором и темпераментом, и, наконец, случайно получают желаемый результат. А животные, которых наблюдали немцы, сидят спокойно, думают и, в конце концов, выдают решение из своего внутреннего сознания".

Толкование решения задачи животным с точки зрения гештальт - психологии подвергнуто критике по многим причинам. Опытами предполагается определить, ведут ли себя животные на основе инсайта в условиях, которые, как считается, требуют именно такого поведения. Независимые доказательства того, что задача действительно требует инсайта, отсутствуют, если животному удается решить ее, значит явление инсайта доказано. Не все принимают такой ход рассуждений. Еще одна проблема связана с тем, что очень трудно выяснить, является ли реакция, предположительно основанная на инсайте, подлинно новой. Действительно, шимпанзе совершают большое количество посторонних действий, играют и безуспешно пытаются получить еду. Не означает ли это, что они приходят к решению задачи в результате накопления проб и ошибок?

Этот вопрос был изучен Шиллером (Schiller, 1952 Schiller, 1952, Innate constituents of complex responses in primates.), который систематически исследовал врожденные компоненты поведения шимпанзе при решении задачи. Например, в одной работе он дал 48 новым шимпанзе, соединяющиеся попарно палки, не поставив перед ними никакой задачи. В течение часа 32 обезьяны соединили палки, причем 19 из 20 взрослых животных проделали это за пять минут. На основании этих и других исследований возникло сомнение в правильности гештальт - психологического подхода. Очевидно, очень важен предыдущий опыт животных. Умение обращаться с палками и ящиками очень сильно сказывается на способе решения задачи. Шимпанзе, которым дают играть с этими предметами, узнают об их свойствах. Способность использовать имеющиеся орудия так, как это нужно для решения задачи, во многом зависит от зрелости обезьяны. Обнаружив, что с предметами можно совершать определенные действия, животное будет повторять их снова и снова. Некоторые манипуляции просто слишком сложны для молодых шимпанзе, но после включения в поведенческий репертуар могут совершаться в самых различных ситуациях.

Основные различия между инсайтом и другими формами научения, по-видимому, состоят в способности более умных животных пользоваться опытом, приобретенным в других условиях. Но это необязательно значит, что инсайт должен рассматриваться отдельно от научения. Способности животных решать задачи трудно исследовать, так как человек может плохо представлять себе, как животное видит данную ситуацию. Совершенно очевидно, что не следует задавать животному задачу, которая лежит за пределами его манипуляционных возможностей или противоречит его естественным склонностям. В то же время каждый вид хорошо приспособлен природой к выполнению некоторых на первый взгляд "умных" действий, считать которые свидетельством "инсайта" или "интеллекта" неверно. В действительности эти термины не более чем условные обозначения для явлений, еще требующих объяснения.

Похожие статьи




Инструментальное научение - Классические условные рефлексы

Предыдущая | Следующая