Это все равно, что сказать ламе: «Ты будешь стоять на месте, если я подойду к тебе на 30 футов? Да? Хорошо. Я щелкну моим кликером, повернусь и отойду.
А теперь ты будешь стоять на месте, если я подойду к тебе на 25 футов? Да? Хорошо. Я кликну и отойду».
Использование кликера для концентрации внимания на привычке стоять спокойно, когда страшный человек поворачивается и уходит, действует как положительное подкрепление. Такой прием позволяет сократить дистанцию между животным и человеком до минимальной величины всего за пять или десять минут. В этой ситуации все контролирует лама. Она стоит спокойно – и это заставляет человека отступить! Поэтому животное продолжает стоять спокойно, даже когда человек подходит прямо к нему.
Когда человек несколько раз касается ламы и тут же отступает, лед тает. Человек больше не кажется животному страшным. И вот тут-то наступает время корзинки с пищей. Коммуникативная петля выглядит следующим образом: «Могу я коснуться тебя, пока ты стоишь спокойно? Да? Клик – и вот вкусная, замечательная пища». Лама стремится получить положительное подкрепление, то есть пищу, поглаживание и ласку. Она понимает, что для этого нужно демонстрировать новое поведение – стоять спокойно вместо того, чтобы убегать сломя голову.
Такое использование отступления при проявлении желательного поведения является важным аспектом работы так называемых «заклинателей». При использовании подобного метода дрессировщик работает со свободной лошадью в ограниченном пространстве и за относительно короткое время превращает настоящую дикарку в лошадь, спокойно относящуюся к человеку. Совершенно дикая лошадь успокаивается настолько, что смиряется с седлом и наездником. Подобное мастерство может показаться настоящей магией.
Дрессировщики, использующие такие приемы, часто объясняют происходящее сверхъестественной силой. Хотя многие используют определенный звук или движение в качестве сигнала-маркера, или условного подкрепления, мало кто понимает, что именно он делает. Тем не менее в этой работе нет ничего магического. Это законы оперантного обусловливания в действии.
Хотя отрицательное подкрепление – довольно полезный процесс, очень важно помнить, что любое подобное действие несет в себе элемент наказания. Когда вы тянете за левый повод, пока лошадь не повернет, вы наказываете животное заранее. Чрезмерное увлечение отрицательными подкреплениями может привести к тому, что Мюррей Сидмен называет «осадком», то есть к нежелательному побочному действию.
Время подачи подкрепления
Как уже говорилось, подкрепление должно происходить одновременно с поступком, который необходимо модифицировать.
Время осуществления подкрепления – это информация. Она точно говорит ученику, что именно вам нравится.
Когда человек или животное пытается учиться, информационное содержание подкрепления становится еще более важным, чем само подкрепление. При тренировке спортсменов или танцовщиков инструктор часто кричит: «Да! Хорошо!», отмечая удачное движение. Такие выкрики дают человеку необходимую информацию, что гораздо полезнее последующего разбора в раздевалке.
Запоздалое подкрепление – это главная проблема начинающих тренеров. Собака сидит, но к тому времени, когда хозяин говорит: «Молодец! Хорошая собака!», она уже встала. Какое же поведение стимулирует произнесенное подкрепление? Правильно – не сидеть, а стоять. Когда у вас возникают подобные трудности, вы должны сразу же спросить себя, а не слишком ли поздно прозвучало подкрепление. Если вы работаете с человеком или животным и слишком захвачены процессом, будет полезно пригласить кого-нибудь еще, чтобы этот человек наблюдал за запоздалыми подкреплениями.
Мы слишком часто запаздываем с подкреплениями. «Дорогая, ты замечательно выглядела прошлым вечером». Подобный комплимент окажет совсем не то действие, что те же самые слова, произнесенные в нужный момент. Запоздалое подкрепление может оказать даже обратное действие («Что ты хочешь сказать? Что я сейчас плохо выгляжу?»). Мы трогательно полагаемся на слова, считая, что они смогут компенсировать неправильный выбор времени.
Слишком раннее подкрепление тоже неэффективно. Смотрители зоопарка в Бронксе никак не могли справиться с гориллой. Им нужно было перевести животное в открытый вольер, чтобы вычистить клетку. Но обезьяна сидела у дверей и мешала их закрыть. Смотрители и пищу бросали, и бананами гориллу заманивали, но зверь не обращал на них никакого внимания или хватал пищу и бегом возвращался на прежнее место, прежде чем двери удавалось закрыть. За помощью обратились к дрессировщику зоопарка. Он отметил, что размахивание бананами и подбрасывание пищи были попытками закрепить поведение, которое еще не проявилось. Это можно назвать простым словом «подкуп». Решение заключалось в том, чтобы не обращать внимания на гориллу, когда та сидела возле дверей, но поощрять ее пищей, когда она сама сойдет с этого места. Проблема была решена.
Мне кажется, что иногда мы используем подкрепление слишком рано. Особенно ярко это проявляется в отношениях с детьми. В результате мы стимулируем нежелательное поведение. («Молодец, девочка, вот так, ты все сделала почти правильно».) Такими словами мы стимулируем старание. Но между тем, чтобы постараться сделать и сделать по-настоящему, есть существенная разница. Жалобы «Я не могу» порой имеют под собой основание, но чаще всего они являются симптомами слишком раннего подкрепления.
Подарки, обещания, комплименты и все то, что поощряет еще не произошедшее поведение, ни в коей мере не подкрепляет желательное поведение. Все это подкрепляет то поведение, которое имеет место в данный момент, и в этом отношении его можно считать настоящим подкупом.
Время играет особенно важную роль, когда мы имеем дело с отрицательным подкреплением. Лошадь учится поворачивать налево, когда наездник тянет за левый повод. Но усвоит она навык лишь в том случае, если после поворота давление ослабеет. На этот раз подкреплением оказывается прекращение. Вы садитесь на лошадь, пришпориваете ее и направляете вперед. После этого нужно прекратить пришпоривать (если вам не нужно, чтобы она мчалась быстрее). Начинающие наездники часто забывают об этом. Им кажется, что пришпоривание – это нечто вроде бензина, необходимого для того, чтобы лошадь двигалась. Они постоянно пришпоривают лошадь, из-за чего она не получает никакой информации. В школах верховой езды появились даже этакие «железнобокие» лошади, которые с черепашьей скоростью передвигаются по манежу, сколько бы их ни пришпоривал наездник.
То же самое происходит с людьми, которых пилят и ругают родители, начальники или учителя. Если отрицательное подкрепление не прекращается при достижении желательного результата, оно не несет в себе никакой информации. Оно становится в буквальном и информационном смысле обычным «шумом».
Глядя по телевизору футбольные и бейсбольные матчи, я часто поражалась тому, насколько точно по времени игроки получали подкрепления. Как только игрок поступает именно так, как было нужно, зрители криками выражают свое одобрение. А посмотрите, как взаимодействуют между собой игроки, когда забит гол или одержана победа. У актеров все происходит по-другому. Даже на сцене аплодисменты звучат уже после того, как дело сделано. Киноактерам приходится еще труднее. Они могут получить подкрепление только от режиссера или оператора. Письма поклонников и хорошие рецензии приходят спустя много недель, а то и месяцев после съемок. Да они и сравниться не могут с реакцией огромного стадиона на успешный бросок игрока. Неудивительно, что многие кинозвезды болезненно жаждут поклонения и восторгов. Их работа не приносит удовлетворения, поскольку самые мощные и приятные подкрепления всегда оказываются запоздалыми.
Масштаб подкрепления
Начинающие дрессировщики, которые используют в работе с животными пищевые подкрепления, часто не понимают, насколько большим должно быть подобное подкрепление. Ответ очень прост: чем меньше, тем лучше. Чем меньше подкрепление, тем быстрее животное его съест. Это не только сокращает время ожидания, но еще и позволяет использовать за время сеанса большее количество подкреплений до наступления состояния насыщения.
В 1979 году я работала консультантом в Национальном зоопарке Вашингтона. Я учила сотрудников использованию системы положительного подкрепления. Одна из смотрительниц пожаловалась на то, что работа с пандой идет слишком медленно. Это показалось мне странным, поскольку интуитивно я чувствовала, что панды – крупные, прожорливые, активные животные – должны легко поддаваться пищевому подкреплению. Я понаблюдала за работой этой женщины и выяснила вот что. Хотя она постепенно добивалась успеха в формировании определенного движения, каждый раз она давала панде целую морковку. Панда радостно поедала сладкую морковку. В результате, за пятнадцать минут тренировки животное получало только три подкрепления (да и морковь ему порядком надоела). В качестве подкрепления вполне можно было использовать небольшой ломтик морковки.
В целом подкрепление должно быть небольшим, но достаточным, чтобы заинтересовать животное, – пара зернышек кукурузы для цыпленка, маленький кубик мяса для кота, половинка яблока для слона. Любимое лакомство следует отмерять еще более скупо – чайная ложка овса для лошади, к примеру. Смотрители Национального зоопарка обучили своих белых медведей массе полезных вещей – например, переходу в другую клетку по команде. В качестве подкрепления каждый раз они давали им по одной изюминке.
Золотое правило любого тренера заключается в том, что, проводя в день всего один сеанс, можно подкрепить желательное поведение примерно четвертью дневного рациона животного, а остальную пищу отдать просто так. Если вы планируете провести в течение дня три или четыре сеанса, то разделите обычный рацион на восемьдесят подкреплений. В течение сеанса выдайте животному двадцать-тридцать подкреплений. Восемьдесят подкреплений – это максимальное количество, способное поддержать интерес субъекта в течение дня. (Может быть, поэтому в кассете обычно помещается именно восемьдесят слайдов. Я сама не раз огорченно вздыхала, когда лектор просил помощника поставить вторую кассету.)
Трудность задачи обычно влияет на размер подкрепления. В парке «Си Лайф» за «олимпийские» достижения (прыжки на высоту двадцати двух футов) выдавали каждому из наших китов по большой макрели. Животные просто отказывались делать это за обычное подкрепление, состоявшее из двух маленьких снетков. У людей же вознаграждение за тяжелую работу не всегда бывает более высоким. И как же нам это не нравится, когда тяжелую работу приходится выполнять именно нам.
Джекпот
Одним из самых полезных приемов пищевого или иного положительного подкрепления в отношении людей или животных является джекпот.
Джекпот – это значительное подкрепление, порой раз в десять больше обычного, которое является для субъекта полным сюрпризом.
Когда-то я работала в рекламном агентстве. На Рождество у нас устраивалась вечеринка, а, кроме этого, мы в неформальной обстановке отмечали завершение большого проекта или заключение контракта с новым важным клиентом. Но наш президент имел обыкновение устраивать в течение года пару неожиданных вечеринок. В разгар рабочего дня он появлялся в офисе, кричал, чтобы все бросали работу. Приемная закрывалась, и в конференц-зал чередой тянулись музыканты, бармены, официанты, несли шампанское и копченую семгу. Все это устраивалось для сотрудников без всякого повода. Это был настоящий джекпот для пятидесяти человек. И такая политика приносила плоды. Я думаю, что замечательным моральным климатом наше агентство было обязано именно своему президенту.
Джекпот можно использовать для стимулирования неожиданного прорыва. Так поступил один мой знакомый тренер. Когда молодая лошадь впервые выполнила сложный маневр, наездник соскочил с нее, снял седло и уздечку и выпустил лошадь на манеж. Джекпотом стала полная свобода, и это способствовало закреплению нового поведения.
Удивительно, но один джекпот может оказаться весьма эффективным в работе с недоверчивым, пугливым и сопротивляющимся субъектом, который вообще не демонстрирует желательного поведения. В парке «Си Лайф» мы использовали результаты исследований, проводящихся на военно-морском флоте. Мы пытались обучить дельфина новым реакциям вместо уже усвоенных. Мы работали с очень послушным дельфином по кличке Хоу, который очень редко демонстрировал новые реакции. Не получая подкрепления за проделанный трюк, он переставал работать. Во время одного из сеансов он двадцать минут ничего не делал. В конце концов тренер выдал ему две рыбки просто так. Впечатленный такой щедростью дельфин начал работать очень активно. Очень скоро он сделал движение, которое нужно было подкрепить. На следующих сеансах мы достигли огромного прогресса.
То же самое произошло и во время моей работы с дельфинами. Когда мне было пятнадцать, то наибольшее удовольствие мне доставляли уроки верховой езды. В конюшне, где я занималась, продавали абонементы на десять занятий. На свои карманные деньги я могла себе позволить только один абонемент в месяц. Тогда я жила со своим отцом, Филиппом Уайли, и мачехой, Рикки. Хотя они были очень добры ко мне, в переходном возрасте я была не самой послушной дочерью. Однажды вечером мои любящие и терпеливые родители сказали, что ужасно устали от моего поведения и поэтому решили вознаградить меня.
Они подарили мне новый абонемент в школу верховой езды. Они не пожалели сил и времени, чтобы съездить и купить его. Надо же! Незаслуженный джекпот! Насколько я помню, я исправилась тут же. И Рикки Уайли подтвердила, что это действительно было так (я беседовала с ней, когда писала эту книгу).
Почему незаслуженный джекпот оказывает такое резкое и длительное воздействие, я толком не понимаю. Может быть, кто-нибудь когда-нибудь защитит докторскую диссертацию на эту тему и объяснит нам этот феномен. Я помню, что абонемент в школу верховой езды избавил меня от чувств тоски и обиды. Мне кажется, что дельфины чувствовали то же самое.
Условное подкрепление
В работе, и особенно в работе с пищевыми подкреплениями, часто случается так, что дать подкрепление в момент желательного поведения просто невозможно. Уча дельфина прыгать, я не имею возможности дать ему рыбу, когда он находится в воздухе. Если после каждого прыжка, то есть после неизбежной задержки, кидать ему рыбу, он сумеет связать прыжки и получение пищи и станет прыгать чаще. Но животное не может понять, какой именно аспект прыжка мне понравился. Высота? Траектория? Может быть, погружение с брызгами? Потребуется немало повторений, прежде чем животное поймет, какой именно прыжок мне нужен. Чтобы решить эту проблему, мы стали использовать условные подкрепления.
Условное подкрепление – это первоначально бессмысленный сигнал (звук, вспышка, движение), который подается перед или во время подкрепления.
В работе с дельфинами мы использовали в качестве условного подкрепления полицейский свисток. Его легко услышать даже под водой, и при его использовании руки остаются свободными для подачи других сигналов и бросания рыбы. С другими животными я часто пользовалась «сверчком», маленькой игрушкой, которая при нажатии издает звук «клик-клик». Иногда я использовала конкретную похвалу, приберегаемую только для условного подкрепления. «Хорошая собака». «Хороший пони». Школьные учителя тоже часто пользуются некими ритуализованными и тщательно подобранными похвалами («Хорошо», «Очень хорошо»), и дети ожидают подобных слов.
Условные подкрепления окружают нас постоянно. Мы с радостью слышим телефонный звонок и видим новые письма в почтовом ящике, хотя очень часто звонки не доставляют нам удовольствия, а большая часть писем оказывается обычным спамом. Но в нашей жизни было немало случаев, которые помогли нам связать звонки и конверты с чем-то приятным. Нам нравится рождественская музыка, нас пугает запах в приемной дантиста. Мы украшаем свой дом картинами, тарелками и сувенирами не только потому, что они красивы или полезны, но и потому, что они напоминают нам о счастливых временах или дорогих людях. Все это – условные подкрепления.