Оценка персонала. Математический инструментарий

В данной статье рассматриваются возможности корректного получения оценки сотрудника, часто называемой "рейтингом". Предлагаются также методы оценки достоверности рейтинга, постановка задачи оценки денежных затрат на работу по оцениванию при заданном уровне достоверности.

Когда говорят "оценка" подразумевают использование какого-либо инструмента измерения. Оценить по существу означает измерить . Если мы оцениваем, к примеру, квартиру, то мы пытаемся "измерить" ее в денежных единицах. Что же измеряют при оценке персонала? Условно можно считать, что измеряется некоторое "качество" сотрудника. Это качество определяется одним или несколькими критериями. Дадим следующие определения.

Примеры критериев:

Таблица 2

степень знания	числовой эквивалент
очень высокая	0,9
высокая	0,7
средняя (невысокая)	0,5

Заметим, что низкая степень знания или отсутствие такового нас не интересуют и поэтому не рассматриваются.

Если мы собираемся использовать взаимооценку, то очевидно, во-первых, что чем выше степень знания субъектов оценивания об объекте, тем выше достоверность оценки.

Далее, пусть некоторого сотрудника Х будут оценивать N других сотрудников. Тогда нам понадобиться также следующая таблица.

Таблица 3

Субъект оценивания	степень знания объекта X	степень доверия ЛПР
Субъект-1	p1	t1
...	...	...
Субъект-N	pn	tn

 

Нетрудно заметить, что в последней таблице появилась новая величина - степень доверия ЛПР.  Определим ее как безразмерную величину в диапазоне от 0 (отсутствие доверия) до 1 (полное доверие). Будем считать, что эта величина выражает степень доверия ЛПР к степени знания конкретного субъекта о конкретном объекте. Например, в последней таблице величина t₁ выражает степень доверия ЛПР к тому, что степень знания субъектом-1 объекта Х равна p₁.  Поскольку каждый объект оценивания в данной технологии оценивается несколькими субъектами, то для сведения набора степеней доверия объекта оценки к одной (интегральной) степени доверия  нам потребуется соответствующая функция. Обозначим ее как

 

 V = f (p,t) ,        (2)

 

 т.е. аргументами функции являются наборы степеней знания и степеней доверия.

 

Важно отметить, что функция (2) позволяет не только получить интегральную степень доверия для каждого объекта оценивания, но и рассчитать обобщенную степень доверия для всей работы. Полученную таким образом величину можно рассматривать как степень достоверности рейтинга. 

Я догадываюсь, что в этом месте у большинства читателей  может возникнуть вопрос: для чего весь этот "огород"? Нельзя ли, к примеру, обойтись без такой неочевидной величины, как  t ? Рискую огорчить большинство читателей, но должен со всей ответственностью заявить, что все, что приведено выше и все, что появится далее - не бред распоясавшихся математиков, а тщательно продуманная и выверенная схема. Все, что может показаться излишним - на самом деле жестко требуется для обеспечения корректности оценивания.

Критерии: их шкалы и веса

Ясно, что набор критериев оценки управленцев не может совпадать с набором критериев для оценки рабочих и/или специалистов.  Стало быть, для каждого типа объекта оценивания должен быть разработан перечень критериев оценки объектов этого типа. Технологию формирования наборов критериев оставим за рамками данной статьи. Отметим только, что набор критериев должен быть достаточно стабилен, чтобы имелась возможность сравнивать рейтинги, полученные в разное время. Вообще говоря, однократный рейтинг полезен разве что для аутплейсмента (принятия решений по сокращению штатов). В остальных случаях интерес представляет именно динамика рейтинга.

Также существенно для нас и то, что для каждого критерия, по которому предполагается получать экспертную оценку, должна быть разработана шкала. Причем, если нет возможности четкой привязки градаций шкалы к какому-то объективному показателю, число градаций не должно превышать 7-ми. Каждая градация шкалы должна иметь содержательное значение (расшифровку). Приведу пример шкалы для критерия "степень владения профессиональными навыками".

Таблица 4

Значение градации	Балл
очень высокая	5
высокая	4
средняя	3
низкая	2
очень низкая	1

Перейдем к весам критериев. Как отмечалось выше, веса критериев – самое тонкое место в проблеме критериального оценивания. Чаще всего веса назначают, исходя из интуитивного представления о сравнительной важности критериев. Однако исследования показывают, что человек (эксперт, ЛПР) не способен непосредственно назначать критериям корректные численные веса. Более того, есть данные, (они еще не опубликованы) которые свидетельствуют о том, что человек не может корректно назначать веса даже на базе нечисловых шкал. В рамках прикладной дисциплины Decision Science разработаны надежные методы получения весов критериев, однако их рассмотрение выходит за рамки данной статьи.

Читателям с хорошей математической подготовкой, желающим познакомиться с последними результатами в этой области, рекомендую статью  В.В.Подиновского  "Количественная важность критериев" (Автоматика и телемеханика, №5, 2000 г).

Об одном методе получения численных весов критериев все же следует упомянуть. Метод, о котором пойдет речь, особенно интересен и полезен в том случае, если задача выявления сравнительной важности критериев ставится как отдельная, самостоятельная проблема. В этом случае, наряду с оценками по критериям, каждый субъект оценивания должен выставить каждому объекту, который он оценивает, некую интегральную оценку. Такая "оценка сотрудника в целом" выставляется отдельно от оценок по критериям и никак не должна на них опираться. Если мы говорим "отличный работник" и не детализируем эту оценку, то можно считать, что мы дали человеку некую интегральную оценку. Если у нас есть набор таких интегральных оценок и набор оценок по критериям, то  существуют корректный математический метод, позволяющий на основе только этой информации получить веса критериев. Причем, в рамках метода можно получить также оценку надежности численных значений весов.

Рейтинг

Представим результаты оценок в виде набора следующих таблиц (таблиц будет столько, сколько субъектов оценивания задействовано).

Таблица оценок объектов субъектом S_k

Таблица 5

Объекты оценивания	K1	K2	...	Km
объект - 1	х11	х12	...	х1m
объект - 2	х21	х22	...	х2m
...	...	...	...	...
объект - n	хn1	хn2	...	хnm

Через K_j обозначен j-й критерий. Через х_ij  обозначена оценка i-го объекта по j-му критерию.

Ранее мы договорились получить одну интегральную оценку объекта. В этом случае нам понадобится функция

     R = f(x,w) .        (3)

     где  R - рейтинг объекта, x - вектор критериальных оценок, w - вектор весов критериев.

Поскольку мы также ввели в рассмотрение понятие "достоверность оценки", то в итоге оценка каждого объекта будет представлена двумя числами: R - рейтингом объекта и V - степенью достоверности этого рейтинга. Будем записывать это следующим образом

   O = {R,V}               (4)

Возникает естественный вопрос: каков может быть вид функций (2) и (3)? В начале статьи уже говорилось о том, что функция (2) не может быть аддитивной. То же самое, оказывается, справедливо и для функции (3). Вообще говоря, несложно сформулировать систему условий (аксиом), которым должны удовлетворять указанные функции. Труднее подобрать конкретный вид функций, удовлетворяющий всем условиям. Однако, все эти сугубо математические вопросы приходится оставить за рамками данной статьи.

Необходимые базы данных

Какие данные нужны для реализации предлагаемых методов оценивания? Вот примерный перечень:

1. База данных о сотрудниках предприятия, содержащая следующие сведения:

• стоимость 1 часа работы сотрудника,
• степень знания сотрудниками друг-друга (отдельно в области профессиональной деятельности и отдельно в области личностных характеристик).

2. База данных о психологах, которых можно привлекать к оценке, содержащая номенклатуру методов тестирования с указанием необходимого времени и стоимости по каждой позиции. В эту же базу нужно поместить данные, характеризующие степень доверия для оценок  каждого психолога (см. Таблицу 3). 

3. База экспертов по специальностям, степень владения которыми предполагается тестировать. Формат тот же, что и для базы психологов (вид тестирования, время, стоимость, степень доверия).

4. База данных сотрудников, которых предполагается оценивать.

5. База данных, определяющая для каждого объекта оценивания список оценивающих его субъектов.

Оценка и оптимизация затрат

Совокупность указанных выше баз данных позволяет достаточно точно определить общие  затраты S на выполнение всего комплекса работ по оцениванию и достигаемую при этом степень достоверности V полученных результатов. Обратим внимание на то обстоятельство, что первые 3 базы данных являются справочными, тогда как базы данных  4 и 5 собственно определяет конкретный профиль работы, т.е. указывают кого нужно оценивать и кто должен это делать.

Предположим, что базы данных с 1-й по 4-ю неизменны и перед нами поставлена задача проектирования базы данных №5. При этом можно решать две  важные для практики задачи:

Задача 1
При заданном бюджете S подобрать совокупность субъектов оценивания таким образом, чтобы степень достоверности V результата была максимальна.

Задача 2
При заданной степени достоверности V результата   подобрать совокупность субъектов оценивания таким образом, чтобы бюджет S был минимальным.

Обе задачи являются по сути оптимизационными.  Для их решения понадобится набор ограничений, например, следующего  вида:

• количество психологов, привлекаемых для оценки определенного набора объектов не должно быть менее 2 (вариант - должно быть больше нуля),
• количество оценок для определенного набора объектов не должно быть менее 5,
• и т.п.

Важно, что планирование и разработка проекта по оценке персонала в приведенных выше  терминах позволяет обоснованно, так сказать "с открытыми глазами", а не на пальцах или на уровне интуиции (как это часто бывает) говорить о соотношении стоимости и эффективности работ.

Типичные ошибки

Большинство рейтинговых оценок по моим наблюдениям содержат одни и те же ошибки. Мне показалось полезным свести типичные ошибки в один список. Некоторые ошибки были уже описаны в начале статьи. Здесь их описание повторяется.

1. Неверный выбор шкал.

В технологии экспертного оценивания эксперта упрощенно можно рассматривать как некий измерительный прибор. Возникает вопрос о точности, с которой этот прибор может измерять. Ответ на этот вопрос дан в классической работе [1]. Там показано, что эксперт не способен различать более 9 градаций. Можно сказать, что в области обработки экспертных оценок закон Миллера играет роль закона Ома в электротехнике. Однако, буквально в последнее время появилась возможность использовать шкалы с большим, чем 9 числом градаций. Но для этого нужно применять метод оптимального шкалирования.

2. Незнание особенностей получения данных от экспертов.

Часто делается попытка получить от эксперта такую информацию и в такой форме, которую он не может дать с достаточной надежностью. Последние результаты исследований по этому вопросу приведены в [14].

3. Непосредственное назначение численных весов критериям. 

Во многих работах показано, что такая процедура некорректна. Есть гипотеза (еще не проверенная), что человек не может правильно назначать критериям веса даже в вербальных шкалах. В работе В.В. Подиновского [12] приведена корректная процедура определения весов критериев на базе экспертизы цены замещения критериальных оценок.

4. Агрегирование критериальных оценок с использованием взвешенной суммы.

Строго доказано [3], что взвешенная сумма критериальных оценок корректна только тогда, когда критерии попарно независимы по предпочтению. Это – формальное ограничение для взвешенной суммы. Но есть и содержательные ограничения (см. следующий пункт).

5. Неудачный выбор способа агрегирования.

Любая аддитивная операция (в том числе и взвешенная сумма) может применяться только тогда, когда выполнено условие взаимной компенсации. В противном случае следует рассмотреть другие способы агрегирования [9]. Вообще говоря, строгий подход к выбору методов агрегирования требует детальной проработки аксиоматики, которая должна формализовать цель агрегирования в конкретном проекте.

6. Отсутствие анализа согласованности оценок экспертов.

Если оценки в большой степени рассогласованы, возникает опасность получить так называемую "среднюю температуру по больнице". В зависимости от количества оценок и вида их распределения следует выбирать адекватные способы анализа согласованности.

Литература

Не стоит пристально рассматривать год выхода в свет того или иного источника. Поскольку речь идет о математических методах, то уместно напомнить, что теорема Пифагора не устарела и по сей день.

1.Г. Миллер. Магическое число семь плюс минус два. Инженерная психология. - М.: Прогресс, 1964.

Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1981.

Кини Р.Л., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения. -М. : Радио и связь, 1981.

Садовский А.Л. Применение экспертных методов в задачах принятия решений в условиях нечеткой информации. В сб.“Вопросы кибернетики. Принятие решений и анализ экспертной информации.” - М.: АН СССР, Научный совет по комплексной проблеме “Кибернетика”, 1989.

Миркин Б.Г. Проблема группового выбора. -М.: Наука, 1974.

Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. -М.: Знание, 1985.

Глотов В.А., Павельев В.В. Векторная стратификация. -М. : Наука, 1985.

Юдин Д.Б. Вычислительные методы теории принятия решений. -М.: Наука, 1989.

Березовский Б.А. и др. Многокритериальная оптимизация. Математические аспекты. -М.: Наука, 1989.

Гафт М.Г. Принятие решений при многих критериях. -М.: Знание, 1979.

Гафт М.Г., Подиновский В.В. О построении решающих правил в задачах принятия решений. -Автоматика и телемеханика, №6, 1981.

Подиновский В.В. Многокритериальные задачи с упорядоченными по важности ресурсами. - Автоматика и телемеханика, 1976, №11.

Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. - М.: Наука, 1990. (в книге подробно рассмотрены некритериальные методы работы с информацией)

Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. - М.: Физматлит, 1996.