Реферат: Тестирование без мифов
Е. И. НИКОЛАЕВА, доктор биологических наук, профессор, Новосибирск
В латинском языке слово testa означает «ваза из глины», в средние века у него появился специфический смысл — чаша, в которой алхимики определяли количество золота в определенной смеси. И в современном значении слова можно увидеть отголосок этого смысла — мы как бы определяем, сколько «золота» в том или ином человеке.
В науку слово «тест» попало уже из английского языка, где означает «испытание, проба, проверка». По словарю, тест — это стандартизированное, часто ограниченное во времени испытание, предназначенное для установления количественных и качественных индивидуально-психологических различий. Этот термин был введен Р. Кэттеллом, а первый тест создал выдающийся английский ученый Френсис Галь-тон, родственник Дарвина. Гальтон ввел дактилоскопию в Скотланд-Ярде, использовал математические методы для расследований и впервые провел ассоциативный эксперимент. Он брал карточки и писал на них по одному слову. Откладывал их, позже брал снова и засекал время, в течение которого у него появлялись две разные ассоциации по поводу написанного слова. Но свои результаты он публиковать отказался, потому что они, по его словам, настолько глубоко вскрывали суть человека, что их обнародование делало бы бессмысленной всю остальную деятельность этого человека. Фрейд и Юнг впоследствии очень многое позаимствовали из методики Гальтона.
Гальтон же провел первые тесты на интеллект. Он хотел проверить две гипотезы: 1) что интеллект мужчины выше, чем интеллект женщины, 2) что интеллект аристократа выше, чем интеллект человека из простого народа. Обе гипотезы не подтвердились, Гальтон из-за этого очень расстроился, но опубликовал результаты абсолютно честно, ничего в них не изменив.
Я хочу поговорить о двух категориях тестов — о психологических и о школьных, то есть тех, которые используются, чтобы установить уровень знаний ученика по какому-либо предмету школьной программы.
Недавно одна из моих студенток предложила взять два разных теста, обследовать с их помощью одну и ту же группу и посмотреть корреляцию, чтобы получить некую новую информацию. Я ее убеждала, что никакой новой информации получить таким образом нельзя. Она страшно удивилась. Я упоминаю об этом случае потому, что за ним стоит распространенное у множества людей непонимание того, что такое тесты и тестирование.
Как создается тест? Исследователь на основании какой-то теоретической идеи создает набор заданий, предлагает их как можно большему количеству людей и затем обобщает полученные результаты, выделяя в них определенные градации. Для чего? Чтобы затем можно было легко определить: отклоняется ли тот или иной индивид от обобщенных данных по своей выборке и в какую категорию этой выборки он попадает. Вот и все.
Можно ли с помощью теста получить какие-либо новые данные? Ни в коем случае! Тест становится таковым только после того, как исследован со всех сторон. Что касается корреляции двух разных тестов, ее легко себе представить, просто проанализировав цели, с какими создавались сравниваемые тесты. Это тоже нам никакой новой информации не обещает.
Второй момент — тестировать можно только представителя той же группы, на основе которой создавался и испы-тывался тест. Если он придуман для детей, его нельзя использовать на взрослых; если он создан для взрослых, далеко не факт, что он станет работать на детях; если он разработан для американцев, почти наверняка его простой перевод на русский язык будет неприменим для исследования русских. Возьмем, к примеру, MMPI (Миннесотский многоаспектный личностный опросник) — любой американец уже, наверное, выучил его наизусть, потому что у них им пользуются непрерывно. Но когда его используют у нас, даже в адаптированном варианте, — у российских мужчин он вызывает разнообразные реакции, от смеха до растерянности, потому что вопросы, легко ли они писают и какают и наступают ли они на трещины на асфальте, по разным причинам ставят их в тупик. Наши мужчины на такие темы с женщинами не говорят. Тогда как американцы давно приучены открыто и откровенно говорить о своей физиологии и соответствующих потребностях.
Есть серьезные культурные различия, препятствующие переносу готовых опросников в другую среду. Необходимо их адаптировать. А для адаптации опять же необходимо проводить обследования и эксперименты.
— То есть, поскольку всякий тест имеет чисто индуктивную природу — он создан на обобщении конкретной выборки людей, которая всегда ограничена теми или другими параметрами, то применять его к другой реальности категорически невозможно?
— Совершенно верно. Нужно все заново проверять. Тест, таким образом, по своей сути не может давать новую информацию. Это только инструмент для определения, какое место занимает конкретный человек в рамках данной выборки.
Даже берем мы тест на интеллект. Все 1980-90-е годы шло обсуждение, что такое интеллект. Какое-то количество человек решило: интеллект — это то, что измеряется тестами на интеллект. Но здесь есть парадокс. Нестандартный, неординарный интеллект протестировать невозможно!
Как мы уже сказали, тест — это стандартизированное исследование. Он определяет соответствие со стандартом, и не более того. Часто приходится слышать фразу: «Сейчас вас протестируют и все о вас скажут». Большое заблуждение! Сказать все может только гадалка.
Другое дело — особая категория тестов, где нет жестко формализованных процедур истолкования результатов. Это проективные методики, к которым относятся различные ассоциативные тесты, тесты-рисунки на заданную тему и т. п. Существует множество точек зрения на то, как оценивать результаты проективных тестов, — их столько же, сколько теоретических посылок. Проективные методики дают намного больше информации, но это всегда связано с сильным субъективным фактором — кто и как интерпретирует. У каждого хорошего психолога обычно есть какой-то проективный тест, который он использует наиболее эффективно, опираясь на свой профессиональный опыт и на свое понимание людей. Проведя этот тест на тысячах людей, он знает все его нюансы и может пользоваться им потрясающе. Хотя психологу, поработавшему с тысячами людей, уже никакие тесты не нужны. Он видит все и так.
— Как Боткин мог поставить диагноз, пообщавшись с человеком минут 5-10.
— Примерно так.
— Елена Ивановна, вы автор опубликованного и рекомендованного к использованию теста. Расскажите о нем.
— Он называется Тест инверсии эмоционального отражения, и мы создали его вместе с доктором биологических наук, профессором В. П. Леутиным. На эмоционально окрашенные слова здоровый человек дает ассоциации той же эмоциональной окраски. Например, любовь — счастье, радость… А невротики часто выдают ассоциации с противоположным знаком: любовь — ненависть, поцелуй — укус и т. д. Или совсем не могут дать никакой ассоциации. По количеству и характеру инвертированных ассоциаций мы можем определить степень невроза. Более шести инверсий — состояние острого эмоционального напряжения, от 2 до 5 -затяжной невроз. Но состояние острого эмоционального напряжения бывает у 95% людей в особых условиях (сдача экзамена, ссора с близким человеком, неприятный разговор с начальником и т. п.). В этот момент мы ведем себя неадекватно. У студента на экзамене потеют руки, пересыхает горло, но стоит ему получить в руки зачетку с положительной отметкой, как все симптомы исчезают. При затяжном неврозе ситуация меняется, а симптомы остаются. Надо сказать, что в стандартизированном виде этот тест, подобно всем стандартизированным тестам, говорит не так уж много.
Однако если вы берете его как проективный тест, анализируете содержание предъявленных ассоциаций, используете весь свой опыт и интуицию, тогда он говорит о человеке невероятно много. Гальтон не случайно сказал, что ассоциации вскрывают всю подноготную человека. Но формализовать это качество понимания так, чтобы им мог воспользоваться специалист любого уровня, я уже не могу.
Формализованное тестирование действительно необходимо. Прежде всего, там, где есть четкие формализованные критерии, какой именно человек нужен для определенного рода деятельности. Стоит рекомендовать этого человека на данную работу или он к ней малопригоден? Или когда мы проверяем ребят, готовы ли они служить в армии: можно доверять этому молодому человеку оружие или ни в коем случае нельзя?
Но есть сферы, где тестирование просто бессмысленно и даже вредно. С моей точки зрения, тесты в школах совершенно неуместны. Почему? Во-первых, хотим мы этого или не хотим, обучать нужно всех. Мы можем сказать, что у этого ребенка интеллект выше, а у этого ниже. И что дальше? Кого из них можно учить хуже — того, кто с более высоким интеллектом, или с более низким?
У школьного психолога в должностных обязанностях записано: проведение тестирования. А с какой целью — не написано. Например, психолог проводит тестирование и несет результаты директору школы. Тот делает оргвыводы. Я знаю случаи, когда школьников «выпинывали» из школы из-за тестов, и случаи, когда тестировали преподавателей, после чего они тоже покидали школу. Только на основании тестирования — а не по каким-то другим мотивам!
— Но, может быть, психолог, изучив результаты тестов, сможет дать какие-то рекомендации учителям?
— Если он просто будет разговаривать с учителями, учениками и родителями, то даст гораздо более толковые рекомендации и тем, и другим, и третьим. Хорошему психологу, как и хорошему педагогу, тесты в школе не нужны, а в руках плохого педагога они опасны. Поэтому тестирование в школе — зряшная трата времени. Ко мне однажды пришел человек с предложением автоматизировать процедуры тестирования для нашего компьютера. Я спрашиваю: «Зачем?» Он отвечает: «А вот вы сможете проверить, в каком состоянии ваши школьники до каникул и в каком — после». Но, согласитесь, все это может себе представить любой думающий человек, не включая компьютер.
Когда мои студенты в педагогическом университете хотят брать для практических работ тесты, я обычно отвечаю: закрыться тестом от ребенка вы сможете всегда. А научиться его видеть, слышать, понимать нужно обязательно. Поэтому пусть каждый из вас просто выберет ребенка и понаблюдает за ним. Смотрите на его глаза, походку, жесты, слушайте, что и как он говорит, анализируйте его поведение, общение с другими людьми. Это самый лучший опыт. И, безусловно, главная информация — что делают его родители, потому что, по крайней мере, до подросткового возраста все проблемы ребенка — это проблемы его родителей. Если вместо этого школьный психолог вздумает полагаться на результаты тестов, он рискует наломать дров. Увы, совсем нередко эти результаты негативно отзываются на учениках — в этих случаях прямо можно говорить, что такое тестирование антипедагогично.
— Есть тесты, которые можно использовать для профессиональной ориентации школьника — определить его способности, склонности, профпригодность. Как вы к ним относитесь?
— Я считаю, что и здесь тестирование неуместно. Человек вправе сам решать, чем ему заниматься, независимо от того, какие у него задатки. Если я страстно хочу, я добьюсь, потому что буду много работать в этом направлении. Психолог не имеет права на основе теста «зарезать мечту».
— Но может дать положительную рекомендацию, если сам ребенок колеблется: лучше всего у тебя может получиться вот это...
— Такие советы тоже лучше всего давать на основе комплексных наблюдений, а не на тестах. Иначе получится, что вы скажете ему: ты от природы тот-то и тот-то, опять же лишая его самостоятельного выбора.
Очень часто предлагают тесты на леворукость-право-рукость. Эту область я знаю прекрасно. И когда мне говорят, что у леворуких детей способности к тому, а у право-руких — к этому, я тоже считаю, что это не так. Есть великие ученые и праворукие, и леворукие, художники — и пра-ворукие, и леворукие. Они разные, но никаких ограничений по профессии здесь не может быть. Психолог может помогать в решении проблем личности, общения, адаптации, но не может ставить человеку цели и принимать за человека ответственные решения.
Тестирование полезно при приеме на работу — там, где есть формализованные критерии. Везде, где речь идет о творческих способностях, оно бессмысленно.
— То есть, идея тестирования (соотнесения человека с усредненной нормой) прямо противоположна идее творчества?
— Конечно! Идея тестирования прямо противоположна открытию чего-то нового. Еще раз говорю, что в тех сферах, для которых создаются тесты, это — великолепный и необходимый инструмент. Но из-за того, что множество людей не осознает смысла тестирования, тесты начинают использовать всюду и часто именно там, где их использовать нельзя. В частности, в школе.
— Тестирование выполняет селективную роль — оно делит испытуемых на определенные классы. Я хочу вспомнить Ж. П. Сартра, который утверждал, что все современные системы образования основаны на скрытой идее селекции. Общество обучает детей не столько знаниям и умениям, сколько «правилам игры», принятым в данном обществе. Поэтому «хорошие» и «лучшие» ученики — отнюдь не самые умные и способные, а самые конформные и лояльные к социальной системе. Смысл школы — отбор функционеров и «отсеивание вниз» тех, чей удел — стать низкоквалифицированной рабочей силой. Возможно, именно в этом отношении школа и тестирование как раз вполне отвечают друг другу?
— Это интересная тема. И я думаю, вы во многом правы. Селекция действительно осуществляется на протяжении всего школьного обучения, и чаще всего педагоги и администрация школы делают это бессознательно. Тестирование — как бы попытка ввести инструмент сознательной селекции детей. И все равно он крайне неэффективен.
Возьмем поступление ребенка в школу. Его тестируют. Зачем? Учить его все равно необходимо, независимо от уровня дошкольной подготовки. Однако есть школы, которые говорят: а мы не всех берем. И имеют на это право, потому что к ним стоит большая очередь. Часть детей отбраковывается. Здесь всегда есть темная подоплека. Вслух говорится: мы берем одаренных детей. Что это реально значит?
Был момент, когда в школе-гимназии с углубленным изучением английского языка принимался тезис: одаренные -это нестандартные дети. И в класс было набрано 65% лево-руких детей. Как их можно всех вместе обучать? В популяции их 1%, в новосибирском Академгородке — 20, а в классе — 65%. Это ситуация, нормальная для чукчей: у северных народов леворукость очень распространена. Но тогда и этим детям нужен преподаватель-чукча. Наши преподаватели работать в таком классе не в состоянии. Нестандартные дети ведут себя на уроках непредсказуемо. Если мы набираем детей по личностным качествам, скажем, одних потенциальных лидеров — каждый урок в таком классе становится маленькой войной.
Самый распространенный постулат: мы берем детей, обладающих определенным набором знаний. Но это значит, что кто-то их этим знаниям научил — родители или специально приглашенные учителя. Мы не знаем, сколько времени этих детей готовили. Однако думать, что раз их хорошо научили, то они и дальше будут хорошо учиться, весьма наивно. Тем, кто привык к индивидуальной дрессировке, и дальше нужна индивидуальная дрессировка. Построить групповую работу с ними невозможно.
Какой бы критерий для отбора мы ни выбрали — мы обязательно попадем в ловушку: каждому достоинству сопутствуют свои недостатки. «Нет в мире совершенства!», как говорится в «Маленьком принце». И, прежде всего, совершенства нет в устройстве отдельно взятого человека.
На мой взгляд, руководители школы и педагоги могут опираться только на одно: если уж школа намерена давать элитарное образование, выбирать нужно семью. Конечно, не по совокупному доходу, а по критерию: готова ли семья работать с ребенком, интересен ли ей ребенок как таковой, будут ли родители приходить в школу, сотрудничать с учителями, помогать ребенку решать его проблемы. Другими словами, мы выбираем не ученика, а его группу поддержки. Имея надежную группу поддержки, он сможет обучиться всему и пройти через все трудности. Понятно, что здесь я говорю не про общеобразовательную школу, куда нужно принимать всех детей, независимо от их семей и тестовых показателей.
— Понятно: элитарное обучение не может опираться ни на что другое, как на культурную элиту общества.
— В психологии это аксиома: если вы хотите, чтобы ваш ребенок был таким-то, станьте сами таким.
— А правило «в семье не без урода»?
— Заботливая и внимательная семья постарается сделать все, чтобы адаптировать ребенка, какие бы проблемы у него ни были, будь он даже олигофрен, о чем мы уже говорили1.
— Но ведь наше «престижное» образование ориентируется не на культурную элиту, а на денежную...
— Увы, это так. И если мы считаем, что элита — это родители, которые в состоянии регулярно платить большие деньги, то должны быть готовы к тому, что дети в классе могут вести себя как угодно: материться, говорить «мой папа вас всех продаст и купит» или всех вас постреляет из пулемета. В ситуации, когда школьник возвращается с летних каникул на Гавайях и на Канарах, а учитель провел лето, загорая с лопатой на приусадебном участке, — педагог просто не может ничего требовать от ученика. При этом папа, заплативший большие деньги, требует, чтобы учитель дал его ребенку хорошие знания. Такие «элитные» классы очевидно порочны. Классы должны быть смешанными. Мы снова возвращаемся к тому, что тестирование при отборе в школу не имеет смысла.
— А тестирование в процессе обучения? Например, имеет ли оно смысл для формирования более сильных и более слабых классов?
— В смешанных классах у слабых всегда перед глазами есть пример — это для них полезно. И сильный в смешанном классе чувствует себя уверенней. Когда создаются «отборные» специализированные классы, физико-математические или гуманитарные, дети в них часто доводятся до невроза. Они работают не потому, что им интересно, а потому что поставлены в соревновательную ситуацию.
Основной формой тестирования в процессе обучения является школьная оценка. И эта форма тоже по-своему двусмысленна. Мы знаем, что Нильс Бор имел двойку по физике, выдающегося психолога А. Адлера выгоняли из гимназии как неспособного к обучению и предлагали отдать в сапожники, Шаляпина не приняли в школьный хор, плохие оценки были у Эйнштейна, и подобные примеры легко множить.
О чем все это говорит? Есть дети, которым легко учиться в силу особенностей их семьи и их психофизиологических данных. Очевидно, что жизнь в благополучной семье облегчает учебу. Важный фактор — здоровье. По современным данным, у основной массы детей, которые плохо читают, имеется сдвиг шейного позвонка и потому ухудшен кровоток мозга. А получить такой сдвиг проще простого -достаточно упасть, скатившись с горки. Также девочки более адаптивны, чем мальчики, потому что мальчики созревают существенно поздней2. Поэтому и учатся они в целом лучше.
Кроме того, отличники — это обычно дети, у которых основная сфера восприятия — зрение (визуалы). Когда они читают, то зрительно запоминают текст. Потом они легко воспроизводят большие блоки текста, мысленно видя его перед глазами, делают мало ошибок, потому что помнят графему слова, и т. д. Дети с доминирующей слуховой сферой восприятия (аудиалы) пишут то, что слышат. Даже когда они заучивают правила грамматики, эти правила не связаны с их рукой — информация лежит в разных отделах мозга. И, наконец, есть дети-кинестетики, с доминирующей двига-тельно-осязательной сферой восприятия, о них в школе можно только плакать. Им нужно все попробовать, потрогать, пощупать. Все образование — не для них.
— Елена Ивановна, вот здесь-то наверняка тестирование и должно помочь! Определив, кто их детей визуал, аудиал и кинестетик, учитель сможет давать материал в соответствии с их основными сферами восприятия.
— Учитель должен развивать все сферы у всех детей. Визуалы не глухи, аудиалы не слепы, и работать руками полезно не только кинестетикам. Важно активизировать разные каналы восприятия, тогда все дети в классе будут понимать и работать лучше.
Так вот, главный недостаток школьных оценок в том, что они сравнивают детей с совершенно разными исходными задатками и позициями. Когда учитель проверяет одну тетрадь за другой, он берет работу троечника после работы отличника. Понятно, какая между ними разница. Тогда как правильным и эффективным было бы сравнение работы троечника с его же предыдущими работами в этой же тетради. Пусть все они на тройку (в рамках стандартного теста), но важно увидеть в них динамику, и вот тут имело бы смысл использовать оценку, дифференцированную по шкалам. В этой работе лучше логика изложения, в этой лучше почерк, в этой грамотность и т. д., чтобы самое маленькое улучшение подкреплялось каким-то стимулом.
Ну да, шутка ли, чтобы учитель этим занимался, он же за проверку одной тетради по сегодняшним (!) расценкам получает 0,5 копейки. Вся система, как мы видим, работает только на отличника — адаптивного, здорового ребенка-визуала с хорошей группой поддержки в семье. Дети, не вписывающие в этот стандарт, — жертвы этой системы, хоть тестируй их, хоть нет.
— Тогда нам осталось только поговорить о тестировании, на основе которого мы собираемся проводить зачисление в вузы, — о едином государственном стандарте?
— И мы снова слышим ключевое слово — стандарт. Парадоксальным образом страна, не без основания утверждающая, что у нас дети получают лучшее образование, чем в среднем на Западе, собирается перенять способы оценки из стран, где качество всеобщего образования явно ниже.
Я знаю нескольких детей, учившихся в России более или менее средне. Как только они попали в американские школы, они стали там лучшими учениками даже по английскому языку. И они сами объясняют это тем, что там продолжают учиться так, как привыкли учиться здесь. При всех недостатках наше обучение эффективней, чем американское.
Чем мотивируется замена экзаменов тестами? С помощью всеобщего теста мы уберем те взятки, которые сейчас вымогаются при приеме в вуз.
Вузы вузам рознь. В Новосибирском университете система сдачи экзаменов настолько сложна, что давать взятки просто невозможно. Это я знаю — я там работаю, мой сын учился на двух разных факультетах, и еще много знакомых людей через эту систему прошли. В то же время есть вузы, в которые во все времена нельзя было поступить без взятки, все их знают, и способы вымогательства тоже всем хорошо известны. Что нужно сделать, чтобы взяток не было? Построить правильную систему поступления, к примеру, такую как в НГУ.
Избавят ли от взяток тесты? Конечно же, нет! Уже сейчас преподаватели дают объявления: «готовлю к тестированию по...». Кто от этого выиграет? 1. Те, кто может заплатить за натаскивание. 2. Преподаватели, имеющие доступ к тестам. 3. Городские жители. Те, кто приедет поступать из деревни, станут жертвами той самой селекции, о которой вы сказали, они пополнят рынок дешевой рабочей силы.
Хуже того. Тесты при поступлении в вуз — негодный инструмент для отбора кадров с высоким потенциалом. Это стандартизированная система по определению, о чем мы уже не раз говорили. Там, где мы хотим иметь мыслителей, исследователей, творцов, на тесты полагаться нельзя.
Ректор МГУ рассказывал, как он поступал в университет. Он приехал из маленького городка, и задача в его билете была такого типа, каких никогда не решали там, где он учился. Тогда преподаватель дал ему первоначальные условия, и молодой человек самостоятельно вывел из них следствия. Его приняли, потому что увидели, что он способен мыслить. В тестовой системе это было бы невозможно.
Отмечу еще один важный момент: тест непригоден как оценка знаний, полученных в негосударственных школах. Я знаю очень одаренных, талантливых выпускников таких школ, но они не могут сдавать тесты. Это штучный продукт обучения, мало того, что они сориентированы на нестандартные решения, для них попасть из маленького класса в поточную аудиторию, где идет тестирование, — уже сильный стресс.
На вступительных экзаменах, как бы они ни были несовершенны, яркого, оригинально мыслящего человека можно увидеть глазами.
— Так что же, получается, что в алхимической чашечке, которая когда-то называлась «теста», совсем не осталось «золота»?
— К сожалению. «Золотой запас» каждого человека лучше определять другими способами.
Список литературы
1 Николаева Е. И. Включить все резервы мозга: Умственно отсталые дети — не всегда аутсайдеры // ЭКО. 2002. №7.
2. Николаева Е. И. Школьная реформа // ЭКО. 2001. № 10. С. 163.