Просто о сложном

Содержание

• Зачем нам «Молоток»?
• Мотивационная привлекательность
• Типы респондентов или индивидуальность стиля
• Косвенный измерительный потенциал: внимание, самоконтроль и алкоголизация
• Перспективы

Без тестирования способностей в современном мире невозможно решить такие задачи, как оценка персонала, профотбор или профориентация. Но при тестировании мы часто сталкивается с трудностями прогноза успешности респондентов в их реальной профессиональной деятельности. 

Тесты измеряют отдельные способности, которые якобы лежат в основе той или иной деятельности. Но «лежать в основе» и «полностью определять» – это совсем не одно и то же.

В психологии труда есть одна известная максима, которая, на первый взгляд, кажется противоречивой: чем сложнее устроен измеряемый показатель, тем проще должно быть устроено средство его измерения. Действительно, сложный показатель потому и «сложный» (от слова сложение), что в его состав входит много образующих. К тому же они не просто суммируются, но и взаимодействуют друг с другом и, что бы там ни говорили ученые, однозначно описать структуру такого комплексного показателя совершенно невозможно.

Возьмем для примера деятельность монтажника: для ее успешного осуществления необходимо, чтобы специалист обладал развитым пространственным мышлением, тонкой моторикой, ловкостью, и многими-многими другими способностями… Но можем ли мы, измерив все эти способности (что уже само по себе проблематично), говорить о том, что испытуемый будет хорошим или плохим монтером? Увы, нет! Зато, если мы предложим ему смонтировать какой-то объект, то быстро поймем, на что он способен. Вот и получается, что чем сложнее деятельность, тем проще (и ближе к реальности) должен быть инструмент ее оценки.

В приведенном примере есть одна проблема: не всякому можно доверить выполнение реальной деятельности (пусть даже и с целью оценки этого человека), т.к. брак может слишком дорого стоить. Не будем же мы, например, проверять способности врачей на живых пациентах! Именно эта проблема и заставляет вспомнить об игровом имитационном тестировании, когда реальную (или близкую к реальной) задачу предлагается выполнить на компьютерной модели:  в случае неудачного выполнения никто не пострадает, а мастерство специалиста можно будет оценить в условиях, «приближенных к боевым.

К сожалению, в нашей стране имитационными диагностическими играми практически никто не занимается. Это популярнейшее в мире направление не развивается с конца 80-х годов прошлого века, когда на факультете Психологии МГУ энтузиастами игрового тестирования А.Г. Шмелевым и А.Л. Пажитновым разрабатывались пробные методики. В дальнейшем фокус внимания этих ученых несколько сместился: А.Л. Пажитнов стал всемирно известным благодаря придуманной им игре – Тетрису, а А.Г. Шмелев сконцентрировался на разработке традиционных психодиагностических методик и организовал собственное предприятие – Лабораторию «Гуманитарные Технологии», которая стала признанным лидером на российском рынке психологических тестов.

В 2010 г. ученые вернулись к своей давней задумке, и в соавторстве создали имитационную игру, обладающую при этом измерительным потенциалом для тестирования способностей и успешности в реальной деятельности, вложив в нее накопленный за два десятка лет опыт в областях психодиагностики и компьютерных игр. Такой методикой стал тест «Молоток».

Зачем нам «Молоток»?

Респонденту предлагается почувствовать себя «гибщиком» проволоки: ударами молотка выгнуть пруток по предлагаемому образцу. Образец, исходный материал  и молоток, разумеется, не настоящие, а нарисованные на экране компьютера. Сложность образца растет от задания к заданию. Если для того, чтобы решить первое задание, достаточно выполнить всего один точный удар, то задания последней серии требуют множества движений – ударов и переворотов прутка. Время на выполнение каждого задания ограничено.

Инструкция к тесту проста и понятна, а специальные тренировочные серии (за выполнение которых балл не начисляется) позволяют даже новичку почувствовать себя за компьютером уверенно и привыкнуть к командным клавишам. Их, к слову, всего четыре: сдвинуть молоток вправо/ влево, ударить по заготовке или перевернуть её.

Это то, что видно «снаружи»… «Изнутри» же тест напоминает небольшую психофизиологическую лабораторию: все действия испытуемого с молотком тщательно фиксируются и анализируются – сколько времени потребовалось респонденту на решение задания, сколько действий (перемещений, ударов, переворотов) он совершил за единицу времени, как изменились эти показатели от первого задания к последнему?

На основании анализа и сопоставления между собой этих первичных данных строятся факторные шкалы теста. В настоящий момент таких шкал три. Давайте рассмотрим каждую из них поподробнее.

Успешность. Эта шкала отражает результат респондента: сколько заданий и как быстро он успел решить. Чем быстрее и больше, тем балл выше. Эта шкала – выражение главной идеи теста – простая мера для сложного показателя. Здесь нам важен именно результат, а уж как респондент его достиг – оставим на потом. Действительно, каковы бы не были особенности респондента (психофизиологические, личностные, мотивационные) и его деятельности (индивидуальный стиль), он может справляться с производственными задачами лучше или хуже, и именно этот показатель оказывается ключевым.

Моторная активность. После того как мы ответили на вопрос, эффективен ли респондент – самое время попытаться определить, с чем связана его эффективность. Здесь-то мы и начинаем членить один общий показатель на насколько частных – для оценки отдельных особенностей деятельности респондента. Начинаем мы с моторной активности. Этот показатель складывается из двух.

С одной стороны, свой вклад вносит такое врожденное свойство, как максимально доступная человеку частота движений. Считается, что она остается практически низменной в течение жизни человека, по крайней мере, этот показатель очень тяжело улучшить за счет тренировок. С другой стороны, на него влияют личностно-мотивационные факторы (достаточна ли сила мотива, чтобы человек проявил свой максимум, боится ли он совершить лишние движения), особенности мышления (кому-то проще решать задачи в уме, а кто-то предпочтет гнуть заготовку так и сяк на экране в поисках верного варианта).

Таким образом, если мы хотим найти сотрудника, обладающего быстрой реакцией и не склонного подолгу обдумывать свои действия в поисках оптимального алгоритма (т.е., в первую очередь, расторопного, проворного) – он должен иметь высокий балл по данной шкале.

Умственное вращение. Тест содержит два типа заданий. В одних заданиях достаточно ударять по профилю только с одной стороны, в других нужно переворачивать профиль на 180 градусов, иногда даже несколько раз. Так вот, задачи второго рода и измеряют способность к умственному вращению. Ведь, чтобы принять решение о необходимости переворачивать профиль именно сейчас, требуется сначала перевернуть его мысленно, удостоверившись, что эта операция будет действительно полезна. Умственное вращение (mental rotation) – одна из ключевых составляющих пространственного мышления. Ее исследованию посвящено множество работ в России и на Западе, однако она остается не до конца изученной.

Данный тест успешно прошел апробацию в центрах занятости населения и подтвердил свою работоспособность. Проведенный статистический анализ позволил нам сделать ряд выводов, которыми мы и хотели бы поделиться.

Мотивационная привлекательность

Во-первых, тест получился действительно интересным для респондентов. Они принимают ставящуюся им задачу и искренне включаются в игровой процесс. В отзывах центров занятости неоднократно указывалось, что «возрастающая сложность заданий создает у испытуемых интерес и желание дальнейшего прохождения». Более того, та же картина наблюдалась нами при предъявлении методики психиатрическим больным, которых в силу расстройства мотивационной сферы вообще мало что интересует.

Интересна также реакция на тестирование лиц, страдающих алкоголизмом. Им практически не удавались задания теста (об этом – ниже), но они истово делали все новые и новые попытки, по-настоящему расстраиваясь из-за неудач.

Такая высокая мотивационная привлекательность – большая редкость среди тестов. Ведь, как правило, заинтересованность респондентов в тестировании невысока, что негативно влияет на достоверность результатов. Отрадно, что разработчикам удалось решить эту проблему и создать действительно интересный тест.

Типы респондентов или индивидуальность стиля

Интересные результаты мы получили после того, как провели кластерный анализ, позволяющий разделить всех респондентов на отдельные группы (кластеры) в соответствии со стилем деятельности по выполнению заданий. Оказалось, что существует три стиля или три стратегии выполнения теста. Рассмотрим их все.

Первую – низкоэффективную группу – составляют люди, словно впадаюшие в ступор. Они совершали небольшое количество перемещений молотка, практически не переворачивали профиль, и совершали очень мало ударов. «Зато» показатели по затраченному времени в этой группе максимальные. Эти респонденты хоть и принимали задачу (об этом см. выше), но по каким-то причинам не могли организовать деятельность по ее решению. Интересно, что перемещения молотка (не самые «ответственные» действия) они совершали чаще, чем «ответственные» удары. Очевидно, эти люди стремились минимизировать количество лишних действий, но их способностей не хватило на то, чтобы решить задачи в уме: в итоге действий они производили слишком мало и задачи оставались нерешенными.

Вторую группу респондентов составляют люди с высокой моторной активностью. Они совершают массу движений и ударов молотком, зачастую излишних и требующих времени. Это люди, у которых наглядно-действенное мышление преобладает над наглядно-образным, им проще проделать какую-то операцию на экране («вживую», в реальном практическом мире), чем сделать то же самое в уме. Они действуют как будто бы методом проб и ошибок. Показатель успешности выполнения заданий для этой группы довольно широко варьирует: от низкой – до средней. Также варьирует и число переворотов профиля: те, кто открывают такую возможность, не отказывают себе в удовольствии лишний раз перевернуть туда-сюда «болванку», однако о возможности переворота (несмотря на прямое и недвусмысленное указание в инструкции) догадывается не каждый.

Третью группу составляют высокоэффективные респонденты. Они решают задания с минимумом лишних движений и, как следствие, за достаточно короткий срок. По характеру деятельности они похожи на первую группу. Но если первые совершают немногочисленные неэффективные действия, то представители данной группы «работают» эффективно. Любопытно, что при малом общем количестве движений представители первой группы совершают больше перемещений, а представители третьей – больше ударов. В третью группу входят люди с развитым наглядно-образным мышлением, способные к самоконтролю и планированию собственной деятельности.

Полученные результаты очень напоминают классический параллелограмм развития высших психических функций, полученный в исследовании А.Н. Леонтьева и Л.С. Выготского. Напомним, что там речь также шла о трех группах респондентов: у первых функция была не сформирована, и решение задач им не давалось, вторые могли решить задачи успешно только с опорой на внешние средства, а третьи легко справлялись и без них, предпочитая опираться на внутренние (умственные) операции.

Косвенный измерительный потенциал: внимание, самоконтроль и алкоголизация

В начале статьи мы подчеркивали: чем сложнее измеряемые показатели, тем проще должен быть устроен измерительный инструмент. Этот закон работает и в обратную сторону: имитирующий реальные задачи «простой» инструмент способен измерять куда больше параметров, чем это изначально планировалось, т.к. сложная деятельность испытывает на себе влияние очень многих факторов.

В ходе апробации методики «Молоток» выяснилось, что она имеет не только прямой, но и косвенный диагностический потенциал.

Во-первых, оказалось, что быстрота выполнения заданий высоко коррелирует с вниманием (измеренным с помощью теста «ТРУД»). Точное значение коэффициента корреляции составляет 0,37. Это позволяет сделать вывод о связи этих двух показателей с ничтожно малой вероятностью ошибки – 1%.

Во-вторых, была обнаружена связь показателей моторной активности и со способностью к самоконтролю (также использовался тест «ТРУД»). Чем выше самоконтроль, тем меньше движений совершает респондент. Здесь корреляция составляет 0,5 (уровень значимости также как и в первом случае – 0,01).

В-третьих, было эмпирически установлено, что с заданиями теста не могут справиться лица, страдающие алкоголизмом. Несмотря на то, что они выказывали высокую заинтересованность и просили дать им еще несколько попыток, задания теста оставались нерешенными. Статистической обработки данных в данном случае не проводилось. Однако можно говорить о том, что ни один из тридцати представителей экспериментальной группы, страдающих алкоголизмом, не сумел решить более трех заданий.

Ну и, наконец, отметим: в ходе апробации была выявлена связь успешности выполнения заданий с полом респондентов. Оказалось, что мужчины несколько успешнее справляются с заданиями, чем женщины. Мы не станем здесь делать далеко идущих выводов о различии в сенсомоторных способностях и пространственном мышлении представителей разных полов – эта тема и без того активно обсуждается в науке, да и в быту. Мы склонны объяснять полученные данные скорее спецификой самого тестового материала, больше подходящего для мужчин. Если для мужчин уже создан тест «Молоток», то очевидно самое время начать разработку методики «Серп» для прекрасной половины человечества, и задуматься над объединением их в диагностический комплекс под условным названием «Рабочий и Колхозница». 

Перспективы

А если серьезно, то у методики большие перспективы. В настоящее время проводится ее апробация на базе научного центра психического здоровья Российской академии медицинских наук. Цель – изучение применимости теста для работы с больными различными психическими заболеваниями. Перспективными представляются также дальнейшие исследования косвенного диагностического потенциала, в том числе использования методики для измерения обучаемости. Здесь уже получены первые результаты, выявляющие респондентов, которые все более и более успешно справляются с каждым следующим заданием – несмотря возрастание сложности.

Наконец, еще одно важное направление – внешняя валидизация теста с привлечением в качестве респондентов групп высоко- и низкоэффективных специалистов. Их работа может быть связана с монтажом разного рода оборудования. Это плотники, слесари, строители, сборщики приборов, ювелиры и т.п. Мы очень  хотим продолжить подобные  исследования в тесном взаимодействии со структурами занятости населения и надеемся на их поддержку.

За участие в апробации методики «Молоток» Лаборатория «Гуманитарные технологии» благодарит сотрудников центров занятости Камызякского района Астраханской области; г. Владимира, Гусь-Хрустальный и Коврова Владимирской области; г. Ростова-на-Дону, Новочеркасска и Таганрога Ростовской обл.; Ленинского, Засвияжского и Заволжского районов г. Ульяновска и Сенгилеевского района Ульяновской области.