+7(916)625-22-40
e-mail для работодателей: client@mir-job.ru
e-mail для соискателей: resume@mir-job.ru
Эффективность использования различных методов при отборе персонала
Использование более валидных методик приносит компании существенные экономические выгоды, поэтому для отбора персонала HR-менеджерам важно применять наиболее эффективные из них.
В 1998 году два самых уважаемых специалиста в сфере психодиагностики — профессор Франк Шмидт (Frank L. Schmidt, университет Айовы) и Джон Хантер (John E. Hunter, Мичиганский университет) опубликовали в Psychological Bulletin (журнал Американской психологической ассоциации, American Psychological Association) фундаментальный обзор научных исследований в области отбора персонала*. Важные практические и теоретические выводы были получены на основе мета-анализа огромного фактического материала, собранного за 85 лет.
Научные исследования, связанные с оценкой пригодности различных методов отбора персонала для прогнозирования эффективности трудовой деятельности и обучения, ведутся постоянно на протяжении последних ста лет. Выявление недостатков первых обзоров, обусловленных использованием малых выборок, привело к разработке количественных методов, в совокупности называемых «мета-анализ». Этот подход позволил получить более точные оценки надежности и валидности различных методик и процедур и помог рассчитать экономические выгоды (дополнительную прибыль), которые работодатели получают от использования более эффективных подходов.
В данной работе представлены результаты изучения прогностической валидности (predictive validity) 18 методов; в настоящее время они наиболее широко используются при оценке и отборе персонала. Исследователей интересовало, насколько точно личностные тесты, тесты интеллекта, ассессмент-центры и другие оценочные процедуры предсказывают эффективность и производительность сотрудников в реальной трудовой деятельности, а также успешность тренинговых программ. Эксперты оценивали результаты использования как отдельных методов, так и их комбинации: тестов интеллекта (общей умственной способности, GMA) в сочетании с 18 другими методиками.
Валидность (от англ. validity — вескость, адекватность, обоснованность) — показатель, определяющий точность измерения. Валидность метода в психологии показывает, насколько точно тест отражает то, что должен оценивать.
Прогностическая валидность (predictive validity) — способность метода предсказывать поведение человека в реальных ситуациях в будущем. Получается с помощью сравнения результатов теста с внешними критериями.
С практической точки зрения наиболее важной характеристикой любого метода оценки и отбора является его способность предсказывать успешность деятельности и обучения кандидатов. Используя самые надежные методы, работодатель получает возможность отобрать лучших, что приводит к значительному повышению результативности сотрудников и снижению затрат (и как следствие — к росту прибыли).
Валидность метода отбора непосредственно определяет его практическую ценность, однако эффективность найма зависит и от других факторов. Не менее важна производительность труда конкретного работника: если бы изменчивость этого фактора была равна нулю, то все соискатели, став штатными работниками, демонстрировали бы одинаковые результаты. В этом случае практическая ценность любых процедур отбора была бы равна нулю, поскольку выбирать кого-то не имело бы никакого смысла. Но на самом деле разброс показателей производительности разных работников очень высок, поэтому отбор самых эффективных кандидатов остается важнейшей проблемой для бизнеса.
Проведенные за последние 15 лет исследования показали, что в действительности среди штатных работников организации вариативность данного параметра очень велика, но еще выше она среди всех соискателей (пула претендентов). Практическая ценность методов отбора напрямую зависит от показателя «вариативность пула претендентов» (applicant pool variability), поскольку будущих сотрудников работодателю приходится выбирать из этих людей.
Производительность труда работников можно измерять различными способами. Как правило, используют два показателя:
1. Стоимость произведенной продукции (в денежных единицах) в расчете на одного работника. Стандартное отклонение показателя «стоимость произведенной продукции» (SDy) для разных сотрудников составляет 40% от средней заработной платы за год для данной должности. Это расчетное (минимальное) значение — фактически отклонения, как правило, оказываются гораздо выше.
Например, при средней зарплате в 40 тыс. долл. в год SDy составит не менее 16 тыс. долл. Если показатель продуктивности имеет нормальное распределение, то работники, которые находятся на 84-м процентиле («выше среднего»), производят на 16 тыс. долл. больше, чем те, кто находится на 50-м процентиле («средние работники»). Еще больше — 32 тыс. в год — составляет разница в продуктивности между работниками на 16-м процентиле («ниже среднего») и теми, кто находится на 84-м процентиле («выше среднего»). Такое различие — в два раза! — слишком велико, чтобы его игнорировать.
2. Процент от средней величины выпуска продукции (соотношение объема произведенной продукции конкретным работником и среднего показателя выпуска, рассчитанного по всему персоналу в целом). Чтобы рассчитать производительность в процентах от средней величины выпуска, необходимо результат работы данного работника разделить на результат работы среднего сотрудника (находящегося на 50-м процентиле), а затем умножить на 100%. По данным исследования, стандартное отклонение этого показателя (SDp) варьируется в зависимости от вида и уровня сложности работ:
Эти цифры представляют собой средние значения, рассчитанные на основании имеющихся в распоряжении экспертов данных исследований, в которых измерялась продуктивность разных работников.
Что это дает практикам? Если мы считаем «хорошим» сотрудником («выше среднего») того, чья производительность труда (показатель выпуска продукции) находится на 84-м процентиле (на одно стандартное отклонение выше среднего), то:
В масштабе всей организации разница итоговых показателей продуктивности в случаях, когда она полностью укомплектована «хорошими» или «средними» (а тем более, низкопродуктивными) работниками, будет весьма значительна. Сравнение показателей продуктивности показывает, что использовать валидные методы найма для предсказания будущей продуктивности сотрудника работодателям исключительно выгодно, даже с учетом достаточно высокой их стоимости.
Еще один фактор, определяющий практическую ценность методов отбора, — «коэффициент отбора» (selection ratio): соотношение нанятых кандидатов и общего их количества. Почему он важен? Если кандидатов мало, работодатель вынужден нанимать любого человека: на «рынке кандидата» применение специальных отборочных процедур практической ценности не имеет. Но если компания может позволить себе отбирать только 1% самых высококвалифицированных кандидатов, применение таких высоковалидных методов принесет ей существенные выгоды.
Конечно, отказать 99% соискателей могут позволить себе немногие организации. В нормальных условиях (не в период кризиса или рецессии) значение коэффициента отбора колеблется в диапазоне 0,30–0,70, что позволяет говорить о целесообразности применения при отборе специальных методов и процедур.
Авторы обращают особое внимание читателей на тот факт, что из всех перечисленных факторов непосредственное отношение к методам оценки личностных характеристик имеет только один — валидность. Остальные два — «стоимость произведенной продукции» (или «выпуск продукции») и «коэффициент отбора» — связаны с особенностями трудовой деятельности или ситуации на рынке труда.
Практическую выгоду от использования более валидных методов при найме персонала можно рассчитать, используя следующие формулы.
Если производительность оценивается через стоимость произведенной продукции (в долл.):
ДU/hire/year = Дrxy x SDy x Zx,
где:
Если производительность оценивается через средний выпуск продукции (в процентах):
ДU/hire/year = Дrxy x SDp x Zx,
где:
В таблице 1 приведены сводные результаты исследования эффективности (средние показатели валидности) 19-ти различных методов, использующихся на практике для прогнозирования результативности кандидатов на рабочем месте.
Табл. 1. Прогностическая валидность использования теста на общие умственные способности, а также его комбинации с другими методами для прогноза итоговой результативности деятельности
В таблице 2 представлены итоги исследования эффективности (средние показатели валидности) различных методов, использующихся для прогноза эффективности программ профессионального обучения.
Табл. 2. Прогностическая валидность использования теста на общие умственные способности, а также его комбинации с другими методами для прогноза итоговой эффективности программ профессионального обучения
Здесь обобщены результаты мета-анализа огромного массива статистических данных, собранных авторами за 20 лет наблюдений, а также исследований других специалистов, проводившихся на протяжении 85 лет. Результативность работников, как правило, оценивалась на основе рейтинга руководителей, отчетных данных о результатах производства, уровне продаж и других аналогичных параметров.
Среди всех методов отбора персонала тест на общие умственные способности (GMA) занимает особое место. Данные, полученные за последние 85 лет исследований в рамках мета-анализа, показывают, что тесты GMA при прогнозировании результативности:
Теоретические основы измерения общего интеллекта разрабатывались и проверялись психологами более 90 лет, поэтому сейчас спрогнозировать успешность кандидата на рабочем месте на основе оценки интеллекта намного проще, чем по результатам ассессмен·-центра.
Усредненный показатель валидности тестов GMA для работ среднего уровня сложности составляет 0,51. В США к этой категории относится около 60% всех рабочих мест; в эту группу включены квалифицированные рабочие («синие воротнички») и среднее административное звено — высший уровень офисных работников и низший уровень административных («белые воротнички»). Эти данные получены в результате проведения масштабного исследования по заказу Министерства труда США (выборка включала более 32 тыс. сотрудников, 515 видов работ), в ходе которого оценивалась эффективность трудовой деятельности и обучающих программ.
По результатам мета-анализа первичных статистических данных валидность тестов GMA для прогнозирования результативности сотрудника на рабочем месте составляет:
Валидность этого метода для прогноза эффективности программ профессионального обучения также достаточно высока — 0,56. Это значит, что применяя тесты GMA для отбора потенциально высокорезультативных кандидатов, работодатели тем самым выбирают людей, которые будут эффективнее обучаться и быстрее осваивать необходимые знания и рабочие навыки (в том числе и непосредственно на рабочем месте).
Метод рабочих заданий, как правило, представляет собой моделирование (частично или полностью) деятельности, которую кандидат должен будет выполнять непосредственно на рабочем месте. Подобные «пробные» задания часто используются для найма квалифицированных рабочих (сварщики, слесари, механики и т. д.). Например, человека могут попросить отремонтировать дефектный электродвигатель, скомплектовать необходимый набор деталей по заявке и т. п. Данный метод имеет чуть более высокую валидность, но при этом он:
1) заметно дороже;
2) может использоваться только для отбора кандидатов, которые уже умеют выполнять данную работу.
Если метод рабочих заданий объединить с тестом GMA, то валидность взвешенной суммы обоих измерений будет составлять 0,63 (колонка «Множественная регрессия (R)»), что соответствует приросту валидности на 0,12 (по сравнению с использованием только теста GMA) или на 24%. Соответственно, на 24% увеличивается практическая ценность отборочных процедур (рост выпуска продукции или прибыль в долларах). Это, безусловно, значительное усовершенствование.
Тесты на благонадежность оценивают лояльность кандидата, его надежность, гибкость, эмоциональную устойчивость и просоциальность поведения. Эти тесты направлены на выявление людей, которые склонны к нечестному, асоциальному и непродуктивному поведению на работе (употребление на рабочем месте алкоголя или наркотиков, драки, воровство и т. д.). Данные методики позволяют прогнозировать не только вероятность нежелательного поведения, но и результативность работы кандидата. Хотя их валидность ниже (0,41), чем валидность метода рабочих заданий, совместное использование тестов на благонадежность и тестов GMA увеличивает ценность отборочных процедур в большей степени (0,65), чем сочетание тестов GMA и метода рабочих заданий.
Мета-анализ данных, полученных в результате восьми исследований (2 тыс. 364 человек), позволил оценить успешность использования тестов на благонадежность для прогнозирования эффективности программ профессионального обучения: валидность — 0,38; прирост валидности при совместном использовании тестов на благонадежность и тестов GMA — 0,11; увеличение практической ценности — 20%.
При отборе соискателей используются разные виды интервью: структурированное, неструктурированное и др. Неструктурированное интервью не имеет единого формата или установленного набора вопросов (один и тот же рекрутер может задавать разным аппликантам различные вопросы) и стандартизованных процедур оценивания ответов (шкалирования, рейтингования). Как правило, оценка делается на основе впечатления, которое произвел кандидат и суждений о его способностях, опыте и т. п. Структурированное интервью представляет собой полную противоположность неструктурированному: как правило, всем кандидатам на определенную должность задаются одинаковые вопросы, которые разрабатываются после тщательного анализа данного вида работ (включая опрос экспертов). Это приводит к тому, что структурированное интервью является более дорогостоящим методом, хотя и более валидным.
Как показано в таблице 1, средняя валидность структурированного интервью составляет 0,51, неструктурированного — 0,38. Сочетание структурированного интервью с тестами GMA дает достаточно высокую валидность — 0,63, прирост валидности составляет 0,12, увеличение практической ценности — 24%. Для неструктурированного интервью цифры гораздо ниже. Валидность использования обоих видов интервью в прогнозировании эффективности тренинговых программ находится на уровне 0,35, прирост валидности — 0,3, увеличение практической ценности — 5%. Безусловно, с практической точки зрения (соотношение цена/ валидность) данное сочетание методик является наиболее привлекательным.
Тесты профессиональных знаний имеют серьезное ограничение. Их нельзя применять при оценке и отборе неопытных работников: кандидат не справится с ними, если раньше не работал на аналогичной должности или не получил нужного профобразования. Для разработки данных тестов, как правило, проводится анализ рабочих задач, которые необходимо выполнять на конкретном рабочем месте. Это дорогостоящая процедура, требующая значительного времени и усилий квалифицированных специалистов. Но для многих видов работ низкой и средней сложности (механик, бухгалтер, лифтер, химик-лаборант и т. п.) разработаны стандартизованные тесты, использование которых позволяет удешевить процедуры отбора для работодателей.
Сочетание тестов профессиональных знаний с тестами GMA также дает достаточно высокую валидность — 0,48, при этом прирост валидности составляет 0,07, а практическая ценность увеличивается на 14%. Это говорит о том, что данный метод имеет хорошие перспективы для практического использования.
Следующие три метода отбора персонала: установление испытательного срока, оценка коллег и бихевиоральный метод (оценка поведения) увеличивают валидность и ценность в той же степени, что и тесты профессиональных знаний — на 14%. Тем не менее, два из них практически не применяются.
Испытательный срок оправданно использовать при отборе сотрудников начального уровня, или тех, кто ранее не имел опыта работы на аналогичной позиции. Согласно установленной процедуре, кандидатов сначала фильтруют, а затем допускают к работе. Результаты деятельности оценивают в конце испытательного срока (обычно — три-восемь месяцев). С теми работниками, чья результативность к окончанию «пробного» периода не соответствует установленным нормам, контракт прекращается. В случае, когда выдерживается описанный порядок, данная процедура приносит компании существенную пользу (например, выявляются совершенно неадекватные работники). Но у этого метода есть недостатки:
Оценка коллег подразумевает проведение отборочных процедур не рекрутером, а коллегами кандидата. В этом случае итоговая оценка представляет собой усредненное мнение нескольких людей, поэтому данный метод также можно считать достаточно надежным и валидным. К примеру, он широко используется при принятии кадровых решений в армии США и Израиля, во многих страховых компаниях и т. п. В то же время процедура оценки деятельности (или потенциала) претендента на вакансию коллегами имеет очевидные ограничения:
Но большинство качественно проведенных исследований не подтверждают эти страхи.
Бихевиоральный метод (анализ поведения) используется для оценки имеющегося у кандидата опыта работы и уровня обучения. В его основе лежит убеждение, что лучшим предиктором («предсказателем») будущих результатов являются результаты предыдущей деятельности. На первом этапе проводится анализ деятельности лучших и худших работников — для того, чтобы выявить достижения, которые позволяют отличить высокорезультативных работников от низкорезультативных. Затем кандидатов просят описать (в письменной форме, а иногда устно) свои прошлые успехи, которые наилучшим образом иллюстрируют их способность на высоком уровне выполнять свои рабочие задачи (например, организовать людей, выполнить в срок проект и т. п.). Индивидуальные достижения оцениваются в баллах с помощью специальной шкалы. Применение бихевиорального метода почти так же затратно, как и разработка тестов профессиональных знаний собственными силами. Кроме того, его далеко не всегда можно применять при отборе выпускников учебных заведений, ведь многие из них просто не имели возможности приобрести соответствующий опыт. Но для отбора претендентов на должности высокого уровня метод вполне эффективен.
Данные о валидности проверки рекомендаций не совсем релевантны на данный момент. Как показывают исследования, в последнее время многие работодатели в США столкнулись со случаями обращения работников в суд по поводу предоставления неправдивой информации третьим лицам. Теперь работодатели не спешат давать отзывы о своих прошлых сотрудниках и не желают делиться с кем-либо подробностями об их работе.
Говоря об опыте работы, обычно подразумевают период времени, в течение которого кандидат отработал на такой же или аналогичной должности от шести месяцев до нескольких десятков лет. При этом никакая другая информация о прошлой деятельности не учитывается. В таких обстоятельствах валидность данного метода отбора для прогнозирования будущих результатов работы составляет только 0,18 (прирост валидности — 0,03, увеличение практической ценности — 6%). Тем не менее, эксперты обнаружили, что с увеличением опыта работы на одном месте (в одной должности) результативность сотрудника растет неравномерно: первые пять лет — практически линейно, а затем кривая становится все более пологой, то есть дальнейшее прибавление опыта работы приводит лишь к незначительному увеличению результативности. Эти выводы подтвердили дополнительные исследования: для группы кандидатов, имеющих до пяти лет опыта успешной работы на аналогичной позиции, валидность критерия значительно выше:
По-видимому, в течение первых пяти лет сотрудники активно приобретают дополнительные знания и рабочие навыки, как следствие — растет производительность труда. Но к концу пятого года этот процесс почти завершается, поэтому и прирост результативности резко замедляется. По мнению экспертов, эти данные свидетельствуют о том, что даже в идеальных условиях наличие релевантного опыта работы позволит прогнозировать результативность только на первых пять лет работы. В то же время тесты GMA дают возможность прогнозировать результативность без ограничений по времени.
При использовании метода автобиографических данных рекрутер собирает информацию о личной жизни кандидата (детство, отношения в семье, успехи в школе, увлечения и т. п.). Затем полученная информация оценивается в соответствии с эмпирически установленными закономерностями, связывающими определенные персональные данные с показателями результативности. Итоговые оценки позволяют прогнозировать:
Валидность данного метода отбора для прогнозирования будущих результатов работы составляет 0,35, но при этом прирост валидности — только 0,01, а увеличение практической ценности — 2%. Эти результаты объясняются тем, что, по мнению экспертов, биографические данные хорошо коррелируют с показателями тестов GMA (0,50). То есть фактически они тоже оценивают умственные способности, хотя и опосредованно. В то же время формализация этого метода для конкретных должностей является технически сложной задачей, требующей значительных финансовых и временных затрат.
При проведении ассессмент-центра кандидаты выполняют различные задания, принимают участие в разных видах деятельности (групповые дискуссии, деловые игры и т. п.), выполняют тесты (способностей, личностные). Кроме того нередко с ними проводят глубинное интервью. В это время за участниками ассессмент-центра наблюдают квалифицированные оценщики. Стандартный ассессмент-центр включает в себя семь упражнений, его продолжительность — два дня.
Валидность ассессмент-центра для прогнозирования результативности составляет 0,35–0,37, прирост валидности при совместном использовании с тестами GMA — только 0,01, а увеличение практической ценности — 2%. Несмотря на минимальный прирост валидности, многие организации используют ассессмент-центры для оценки и отбора кандидатов на должности руководителей разного уровня (от линейных до топ-менеджеров). Работодатели считают, что этот метод позволяет оценить целый комплекс различных характеристик претендентов на управленческие позиции, в том числе способности к развитию и карьерный потенциал. Результаты ассессмент-центров действительно достаточно надежно прогнозируют следующие параметры:
Поскольку стремительное продвижение требует быстрого освоения новых профессиональных знаний и навыков, результаты ассессмент-центра позволяют также достаточно достоверно прогнозировать эффективность программ профессионального обучения и развития. В то же время стоимость этого метода отбора очень велика, притом, что его валидность меньше, чем у описанных выше подходов.
Балльный метод оценки (или количество лет обучения) традиционно используется при отборе работников государственных учреждений. Суть метода в том, что кандидат получает определенное — строго фиксированное количество баллов:
При этом такие традиционные для бизнеса параметры, как предыдущие достижения или результативность, в большинстве случаев не оцениваются. Валидность данного метода отбора для прогнозирования результативности низкая — 0,10, прирост валидности — 0,01, а увеличение практической ценности — 2%.
Это не означает, что количество лет обучения плохо коррелирует с успешностью деятельности, напротив, образование — важнейший фактор, определяющий уровень должности, которую человек сможет занять. Но такой формальный критерий не позволяет точно предсказать разницу в будущей результативности претендентов на рабочее место, имеющих схожие данные (например, выбрать лучшего из пула кандидатов, имеющих от 9 до 12 лет обучения). Гораздо точнее этот метод предсказывает успешность профессионального обучения: валидность — 0,20. Главной же причиной широкой распространенности этой процедуры, по мнению экспертов, является относительная дешевизна ее разработки и использования.
Многие люди считают, что профессиональные интересы — важный фактор, определяющий эффективность деятельности. Людям интуитивно «очевидно», что работники, чьи интересы совпадают с содержанием их профессиональной деятельности, более результативны, чем люди, имеющие другие интересы. (Например, механик, который интересуется механизмами и имеет дело с машинами, должен работать лучше, чем тот, кто любит ухаживать за цветами). В то же время валидность тестов профессиональных интересов составляет 0,10, что доказывает только частичную правоту интуитивных суждений. Немного лучше тест· профессиональных интересов предсказывают успешность профессионального обучения: валидность — 0, 18.
По данным исследований, интересы действительно во многом определяют выбор профессии и места работы. Но качество и эффективность работы человека, который уже стал профессионалом, зависит главным образом от его умственных способностей и некоторых личностных качеств (таких, например, как добросовестность).
Графология (анализ почерка) нечасто применяется при приеме на работу в США и Канаде, но достаточно широко используется в других странах: во Франции, по мнению экспертов, данный метод оценки на регулярной основе практикуют 85% компаний, а в Израиле это вообще наиболее часто употребляемая при оценке личности процедура. Графологи утверждают, что в почерке отражается личность человека, поэтому по его особенностям можно определить личностные качества и выявить тенденции, которые могут быть использованы для прогнозирования результативности.
Основные выводы, сделанные по результатам специально проведенных исследований, сводятся к следующему: эффективность оценки образцов зависит от содержания написанного, а не от характеристик почерка. Так, эксперты не выявили различий в достоверности оценок личности авторов образцов, сделанных графологами и обычными людьми. Более того, когда для анализа были представлены образцы, представлявшие собой переписанные из книги фрагменты, обе группы «аналитиков» оказались одинаково беспомощны. Соответственно, валидность данного метода отбора для прогнозирования результативности составила только 0,02.
Безусловно, созданный профессиональным писателем «авторский» текст заметно отличается от докладной записки бухгалтера (стилем, выражением эмоций, мастерством слова, грамматическими особенностями и т. д.), но сам по себе почерк не несет никакой информации о личности и тем более — будущей производительности труда работника.
И последний метод, точнее, критерий отбора — возраст кандидата. Как видно из представленных в таблице 1 данных, количество прожитых лет не является