Анализ результатов прохождения ИТУПС членами Сообщества E-xecutive

Шмелев А. Г., www.E-xecutive.ru

Имитационный тест управления персоналом (ИТУПС) – это интерактивный тест, размещенный на E-xecutive в разделе «Психометрическое тестирование». Данный раздел был создан в рамках совместного проекта E-xecutive и HR-лаборатории «Гуманитарные технологии», специализирующейся в сфере разработки психометрических тестов. За период с августа 2004 года по февраль 2005 года две версии этого теста выполнили свыше 3000 человек. Предлагаем ознакомиться с обобщенными краткими результатами данного тестирования.


Краткое описание методики

Методика ИТУПС задумана как интерактивная имитация своеобразной деловой игры. Испытуемый должен представить себя в роли руководителя отдела крупной организации. В процессе прохождения теста ему предъявляются 14 фотопортретов (в первой версии было 7) его подчиненных и коллег и краткие текстовые описания ситуаций-кейсов. Участник тестирования должен был рассмотреть человека, изображенного на фотографии, познакомиться с его проблемной ситуацией и выбрать из списка действия, которые он считает уместными предпринять в данном случае. Далее по тексту инструкции: «Если вы не находите в списке достаточного количества необходимых действий, то по крайней мере надо исключить действия, которые в данной ситуации применять совершенно неуместно. Для каждого кейса вы должны выбирать ответ «Да» не менее 3 раз, но не более 5».

В результатах первой версии теста ИТУПС выводилась оценка испытуемого по трем факторам: КОНТРОЛЬ, ПОДДЕРЖКА, ОРГАНИЗАЦИЯ.


Рис.1. Образец задания теста ИТУПС

Результаты ИТУПС-7

Таблица 1
Шкала Наименование Стены Выборка
средний балл отклонение
1 контроль 6,18 ± 2,00 2265
2 поддержка 7,93 ± 2,38 2265
3 организация 7,92 ± 2,48 2265

В таблице 1 приводятся показатели среднего отклонения для 2265 испытуемых, прошедших обследование по методике ИТУПС-7 (7 микрокейсов). Следует пояснить, что шкала стенов («стандартная десятка») устроена так, что на генеральной совокупности средний балл равен 5,5 и стандартное отклонение – 2. Как видим, выборка, состоящая из членов Сообщества E-xecutive, отличается от нашей генеральной совокупности (точнее – «выборки стандартизации», на которой тест ИТУПС разрабатывался нами) в следующих аспектах:

  • Более высокий общий балл по всем субшкалам. То есть людей, зарегистрированных на сайте E-xecutive, в целом можно считать более квалифицированными в области управления персоналом, чем это наблюдается среди менеджеров в среднем по стране.

  • Более высокие показатели у членов Сообщества достигаются по факторам «Поддержка» и «Организация» и относительно ниже результаты по фактору «Контроль». Эта некоторая диспропорция отражает общую тенденцию, характерную именно для российских менеджеров, которые традиционно больше уделяют внимания эмоционально-позитивному общению с подчиненными (фактор «Поддержка») и более стратегическому уровню управления (фактор «Организация»), чем эмоционально-негативному общению и более тактическому уровню (что предполагает фактор «Контроль»).


Рис. 2. Образец шкального профиля

Как формируются ключи в ИТУПС?

Многие участники эксперимента после прохождения теста ИТУПС задавали на форуме вопрос: «А откуда вы, разработчики, взяли «правильные ответы», откуда появились ключи к самим факторам, из которых формируется профиль?» Объясняем, что ИТУПС является типичным психометрическим тестом, то есть ключ к нему строится с помощью статистической процедуры – согласования экспертных оценок и последующего корреляционно-факторного анализа. В нашем случае экспертами явились сами испытуемые – те, кто выполнял первую версию теста. Из нескольких сотен испытуемых выделяются ответы тех, кто дает между собой высокосогласованные результаты. Ответы этой группы испытуемых объявляются «ключевыми», и затем производится корреляционно-факторный анализ для того, чтобы проверить, как эти ответы соотносятся между собой.

В результате тщательного анализа матрицы данных 7*10*1200 (задания-ответы-испытуемые) были выявлены, кроме первоначальных 3 факторов, еще 5 факторов. Точнее, были выявлены 1 дополнительный («Дипломатия») и 4 «зеркальных». «Зеркальными» мы назвали факторы, в которых объединились «типичные ошибки». Как они появляются? Анализ показал, что они появляются по причине того, что люди следуют ситуационно-неадекватным диспозициональным установкам (надситуативному, предвзятому настрою): если человек ведет себя «как-то не так», то его надо наказать (неадекватная установка на «Контроль») или надо «поддержать» (неадекватная установка на «Поддержку») и т.п. Неадекватный Контроль мы назвали «ПОДАВЛЕНИЕ», неадекватную Поддержку – «ПОТАКАНИЕ», неадекватные организационные воздействия – «ФОРМАЛИЗМ», неадекватную Дипломатию – «МАНИПУЛЯЦИЯ». Так появились еще 4 фактора – под номерами 6-9.

ИТУПС-14

Во второй версии теста использовалось больше микрокейсов (14 вместо 7) и уже 8 факторов плюс шкала «Общий балл». В таблице 2 дается перечень этих факторов с комментариями.

Таблица 2
(1) Общий балл

Суммарный балл по тесту с учетом всех факторов.
(2) Контроль

Ориентация на умение проконтролировать работу сотрудников, проявить требовательность, ввести не только угрозу применения санкций, но и осуществлять санкции.
(3) Поддержка

Направленность на мотивирование сотрудников, на то, чтобы воодушевлять на работу, содействовать благоприятному психологическому климату, оказывать человеческое внимание персоналу.
(4) Организация

Направленность на выявление проблем, которые заключаются не в персональных качествах сотрудников, а в плохом решении организационных вопросов, не адекватных возможностям персонала и задачам организации.
(5) Дипломатия

Ориентация на умение отложить принятие решения в сложных ситуаций до прояснения необходимых деталей, на умение сглаживать острые ситуации, снижать конфликтность.
(6) НЕ-Подавление

Отрицательная тенденция («Подавление», левый полюс шкалы) - ситуационно-неуместное проявление жестких отрицательных санкций, перекос в сторону нагнетания страхов и скрытого противостояния.
(7) НЕ-Потакание

Отрицательная тенденция («Потакание», левый полюс шкалы) - ситуационно-неуместное выражение сочувствия, поиск эмоциональной солидарности в ущерб интересам дела.
(8) НЕ-Формализм

Отрицательная тенденция («Формализм», левый полюс шкалы) - тенденция к принятию решений на основе внешних поверхностных признаков ситуации, следование сверхуниверсальным правилам в ущерб анализу индивидуального случая.
(9) НЕ-Манипуляторство

Отрицательная тенденция («Манипуляторство», левый полюс шкалы) - ориентация на политиканство, плохо скрываемое лукавство и избегание принятия ответственности.

К моменту подготовки данного сообщения тест ИТУПС-14 прошло уже свыше 1000 респондентов-участников. После отсева пунктов, не обладающих высокой корреляцией с суммарных баллом по целевой шкале, оставшиеся пункты обеспечивали достаточную для такого класса методик надежность.

Статистический анализ по шкалам ИТУПС-14 приводится в таблице 3.

Таблица 3
Шкала Наименование Ключевых Пунктов Сырой балл Стены Выборка
Средн. Откл. Средн. Откл.
1 Общий балл 134 182.03 ± 16.39 6.47 ± 1.78 1078
2 Контроль 24 34.52 ± 4.28 6.34 ± 1.53 1078
3 Поддержка 16 24.35 ± 3.12 6.35 ± 1.48 1078
4 Организация 18 25.89 ± 3.48 6.36 ± 1.49 1078
5 Дипломатия 26 39.40 ± 4.89 5.49 ± 1.54 1078
6 НЕ-Подавление 18 20.61 ± 5.46 5.33 ± 1.68 1078
7 НЕ-Потакание 12 12.85 ± 3.52 5.31 ± 1.53 1078
8 НЕ-Формализм 16 18.61 ± 5.06 5.43 ± 1.67 1078
9 НЕ-Манипуляторство 17 19.19 ± 5.31 5.40 ± 1.71 1078

Среди участников Сообщества больше всего доминирует «дипломатическая стратегия»: средний балл по фактору 5 более всего смещен к высокому полюсу на «сырой шкале»[i]. Но это и не удивительно, так как предъявленные нами микрокейсы не содержали необходимой для принятия определенного решения детальной информации. И испытуемые вполне благоразумно предпочитали в данном случае воздерживаться от решительных действий и выбирать тактику, обеспечивающую «добор» информации, необходимой для принятия более определенных решений.

Относительно труднее было нашим испытуемым не «впадать в ошибку потакания». Впрочем, выше о причинах этого уже говорилось. Видимо, в этой тенденции проявляются культурологические корни: в русскоязычном обществе мягкое, «сочувственно-семейное» отношение к персоналу уходит корнями еще в традиции первобытной (крестьянско-сельской) общины – прощать до последнего – до того самого момента, когда ничего не остается другого, как изгонять. Наказания малой степени тяжести (публичное порицание, штраф) используются недостаточно.

Для чего может использоваться ИТУПС?

На форуме, посвященном тесту ИТУПС, наиболее пытливые участники критически спрашивали: а для чего этот тест может быть использован? Скептики тут же отвечали при этом сами себе: «Вряд ли такой «простой» тест с такими «примитивными», «нежизненными» ситуациями может позволить спрогнозировать эффективную работу менеджера по управлению персоналом.

В ответ на эти вопросы и возражения хотелось бы обратить внимание на такое применение тестов, которое ускользает из внимания людей, знакомых с тестологией только поверхностно. Тесты правильнее, с нашей точки зрения, использовать не для отбора персонала (во всяком случае, не на последнем этапе отбора), а для отсева кандидатов на ранних стадиях. То есть, информативность тестов не симметрична для разных полюсов тестовой шкалы. В случае высокого балла тест НЕ позволяет спрогнозировать высокую эффективность деятельности (включается слишком много разных других факторов, способных ее снизить даже в тех случаях, если тест зафиксировал высокий уровень развития искомой способности или компетенции), но зато ПОЗВОЛЯЕТ более надежно спрогнозировать заведомо низкий уровень эффективности деятельности в случае явно низких результатов.

Иными словами, те испытуемые, которые давали в тесте ИТУПС явно абсурдные ответы, вряд ли смогут разбираться в реальных жизненных проблемных ситуациях. После отсева таких кандидатов следует применять более «глубокие» методы диагностики отбора – интервью по компетенциям, деловые диагностические игры. ИТУПС дешевле, поэтому его место – на ранних этапах отбора.


[i] «Сырыми баллами» в тестологии называют первичные баллы, которые получаются после применения ключей к ответам. Чаще всего они просто отражают число (процент) правильных ответов. При переводе к стандартизированным баллам (стенам, в частности) сырые баллы трансформируются в определенные точки на стандартной шкале. Формула такого перевода нередко приобретает сложный нелинейный характер.

Александр Георгиевич Шмелев

Доктор психологических наук, профессор МГУ им. М.В. Ломоносова, научный руководитель Лаборатории "Гуманитарные Технологии"