Введение

Анализ литературных источников по проблемам оценивания компетентности и качества экспертов позволил сделать вывод о том, что проблема оценки качества экспертов до сих пор еще не может считаться решенной, как считают авторы работы [1], возможно, это объясняется отсутствием системного подхода к ее решению. В научной литературе обычно приводятся только названия небольшого количества отдельных свойств, характеризующих эксперта, без их обоснования и без указания взаимосвязи между ними – например, объективность, компетентность, беспристрастность. Для количественной оценки качества эксперта нужно, прежде всего, получить частные оценки отдельных свойств, от которых это качество зависит. Большинство же предложенных в научной литературе и используемых на практике методов предназначено для оценки не какого-то одного, а нескольких частных свойств [7].

Основная часть

Наиболее полная и иерархическая структура понятия «качество эксперта» предложена в работе [1], где представлены свойства эксперта в виде иерархической структуры, которая отражает их взаимосвязь.

Как показано в работе, качество эксперта определяется четырьмя группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью). Каждая из групп в свою очередь содержит в себе несколько свойств.

Авторы представляют качество в виде иерархии частных свойств, описывают методы вычисления частных свойств качества и получение комбинированных оценок как взвешенной суммы. Представляется целесообразным реализовать оценку качества с использованием многокритериального оценивания. Из тех частных свойств, которые предлагается использовать в работе [2], мы взяли наиболее информативные и поддающиеся оценке методы, и сформулировали критерии для их сравнения при определении важности указанных критериев для оценки качества экспертов.

Предлагается следующая иерархия для оценивания качества экспертов (Рисунок 1).

Представленная иерархия предлагается экспертам, чтоб они осуществили парные сравнения подкритериев, то есть характеристик, позволяющих всесторонне оценивать качество эксперта с позиций, выбранных для этого критерия. Если кто-то из привлекаемых экспертов считает, что некоторые из представленных характеристик не представляют никакой дополнительной информации, позволяющей более адекватно оценить качество эксперта, они могут указать это, а также могут предложить свои характеристики, если таковые имеются [3, 4].

В результате обработки определенного уровня иерархии получаем весомости частных показателей качества экспертов. Для того чтобы сравнивать экспертов по каждому из критериев, необходимо выбрать, как рассчитать каждое частное свойство эксперта, каким образом скомплексировать «качество» каждого эксперта по каждому из указанных частных критериев, после чего вычислить «весомости» экспертов, и, в результате обработки иерархии получить интегральные весомости качества экспертов как интегральный показатель их профессионализма. Элементы МПС экспертов по каждому из частных свойств представляют собой отношение их весомостей, рассчитанных по каждому из частных свойств.

Рис. 1. Иерархия для оценивания качества экспертов

Fig. 1. The hierarchy for the evaluation of experts’ quality

Для каждого из частных свойств, составляющих понятие качества эксперта, имеется своя методика их определения.

Предлагается находить весомости частных показателей качества экспертов следующим образом [5].

Самооценка. Самооценка вычисляется по формуле:

                                                                                                 (1)

где  — самооценка j-го эксперта; M_i — весомость показателей информированности и знакомства, определяемая в соответствии с данными табл. 1; K_ij — оценка, зависящая от степени информированности и степени знакомства, определяемая в соответствии с данными табл. 1.

Поскольку  поэтому делим полученный результат на максимально возможное значение  для получения весомости в пределах от 0 до 1.

Таблица 1

Определениекоэффициентасамооценки

Table 1

Determination of the coefficient of self-esteem

Взаимная оценка. При реализации взаимной оценки каждый эксперт дает количественную оценку всем остальным экспертам. Затем определяется средняя оценка каждого эксперта. Но подобная процедура является достаточно легкой для выполнения только при ограниченном количестве членов экспертной группы (N < 15).

При N >= 15 человек рекомендуется следующая процедура определения взаимооценки. На специальном бланке каждый эксперт объединяет всех экспертов в три подгруппы в соответствии со своим представлением об их качестве: наиболее квалифицированные, средней квалификации и ниже средней квалификации. Число экспертов в подгруппе не должно превышать 6—8 человек. Затем он ранжирует экспертов каждой подгруппы. Ранг 1 получает самый квалифицированный эксперт, ранг 2 — следующий по квалификации и т. д. Оценка дается с точностью до половины балла. Определяется средняя оценка каждого эксперта:

                                           (2)

где  — средняя взаимооценка j-го эксперта;

K_pj — оценка, проставленная р-м экспертом j-му;

N_i — число экспертов, оценивающих j-го эксперта, причем N_i < N (N — общая численность экспертной группы).

Оценка аргументированности и знакомства с объектами оценивания (вариант самооценки). Для оценки предлагается использовать следующую таблицу.

Таблица 2

Шкала оценки эксперта

Table 2

The scale of the assessment of an expert

Предлагается для вычисления данного показателя делить выставленный балл на максимально возможное значение показателя, то есть 10, чтоб получить коэффициент в пределах от 0 до 1.

Оценка рабочей группой. Рабочей группой может оцениваться собранность, внимательность, заинтересованность в результатах экспертизы. Предлагаем оценивать эксперта по документальным свидетельствам его деятельности на основе следующей таблицы.

Для определения весового коэффициента предлагается найти суммы баллов, проставленные эксперту каждым членом рабочей группы, усреднить соответствующие значения, проставленные членами рабочей группы, после чего полученное значение разделить на максимально возможное значение данной характеристики.

Таблица 3

Оценка эксперта рабочей группой

Table 3

Evaluation of an expert by the working group

Оценка по отклонению от среднего мнения экспертной группы. Для нахождения согласованного (среднего) мнения экспертов предлагается использовать медиану в качестве среднего мнения. Медиана есть такая матрица парных сравнений (МПС), сумма расстояний от которой до всех МПС, получаемых экспертами, является минимальной.

                                        (3)

Для определения медианы вводится понятие расстояния (метрики) между матрицами парных сравнений экспертов:

                          (4)

Расстояние между матрицами парных сравнений определяется числом поразрядных несовпадений всех значений элементов матриц (метрика Хэмминга). Метод оценки качества экспертов по отклонению от результирующей оценки объекта экспертной комиссией основан на расчете коэффициента отклонения К₀.

                                             (5)

где К_оi - коэффициент отклонения суждений i-го эксперта, d_оi - расстояние индивидуальной оценки i-го эксперта от результирующей оценки, d_mах ~ максимально возможное расстояние оценки эксперта от результирующей оценки.

Для расчета расстояний могут быть использованы различные формулы. Если оценки точечные, то

                                          (6)

где О_i – оценка i-го эксперта, О_rez – результирующая оценка экспертной комиссии.

Оценка профессиональной компетентности. Для определения уровня профессиональной компетенции эксперта предлагается провести тестовое испытание по известным данным об объекте экспертизы, либо об аналогичных объектах, если имеются результаты проведения другой экспертизы, участие в которой данный эксперт не принимал. Эксперту предлагается заполнить матрицы парных сравнений для оценки предпочтительности показателей, для которых известен вектор их предпочтительности, полученный в результате проведения экспертизы. В результате обработки МПС эксперта вычисляется вектор весомостей показателей, отражающий их предпочтительность для данного эксперта. Этот вектор сравнивается с так называемым «эталоном», и на основе меры Питмена определяется уровень профессиональной компетенции эксперта в области анализа инвестиционных проектов [6].

Для оценивания уровня профессиональной компетентности весомости объекта экспертизы по отдельных критериям предлагается комплексировать по критериям с помощью свертки.

                      (7)

где z_ir - интегральные весомости объекта экспертизы, i –номер объекта экспертизы, k – номер критерия, K – количество критериев; N – количество объектов экспертизы,  - весомости критериев, определяемые тестируемым экспертом, V_ik - весомости объекта экспертизы по каждому из критериев сравнения.

Эталонные интегральные весомости объекта экспертизы y_ir также вычисляются комплексированием по критериям с помощью свертки.

                                (8)

 - весомости критериев, определяемые эталонными экспертами, V_ik^r – полученные в результате обработки заполняемых экспертами МПС эталонные весомости объекта экспертизы по каждому из критериев сравнения.

Процедура вычисления оценки уровня профессиональной компетентности эксперта осуществляется следующим образом.

В качестве меры близости весомостей ответов тестируемого эксперта к весомостям эталонным возьмем следующую величину:

.                              (9)

Градации предлагаются следующие:

QrÎ[0;0.2] Û высокий уровень профессиональной компетентности

QrÎ (0.2; 0.5) Û средний уровень профессиональной компетентности

Qr≥ 0.5 Û низкий уровень профессиональной компетентности

Оценка воспроизводимости.

                                             (10)

где

                                      (11)

 — значения i-го коэффициента весомости, назначенные j-м экспертом соответственно в первом и втором турах.

Результаты можно считать воспроизводимыми, если выполняется условие

                            (12)

где  - средние значения коэффициентов весомости, полученные соответственно в первом и втором турах. ε – доверительный интервал;  - несмещенная оценка средней квадратической ошибки определения M_i; t_α – значение критерия Стьюдента.

Оценка квалиметрической компетентности. Для определения квалиметрической компетенции эксперта ему предлагается для имеющихся 3-5 вариантов сценариев дальнейшего развития объекта экспертизы, для которых известны (рассчитаны) значения исходных показателей, спрогнозировать вероятности наступления каждого из сценариев. Сопоставление вероятностей эксперта с известными весомостями осуществляется также с использованием меры Питмена. Оценивается также умение работать с различными видами шкал – как с существующими, так и предлагать свои с вербальными градациями [2, 8].

Оценка объективности корректировки своих оценок (отсутствия конформизма). Повышение степени объективности эксперта может достигаться в некоторых экспертизах с помощью учета конформизма и конъюнктурности эксперта. Конъюнктурность эксперта проявляется в том, что эксперты, привлеченные для участия в экспертизе, прямо либо косвенно заинтересованы в ее результате.

В этом случае целесообразно проведение тестовых экспертиз с априори известным объективным результатом экспертизы. Если целью экспертизы является ранжирование экспертами альтернативных вариантов (объектов) по сравнительной предпочтительности, то при проведении тестовой экспертизы определяется объективное ранжирование альтернативных вариантов P₀. Тогда для каждого эксперта может быть рассчитан коэффициент конъюнктурности

                    (13)

где P_i – результат ранжирования альтернативных вариантов i-ым экспертом.

Для оценки конформности предлагается следующее выражение

К_кон = С₂ — C₁                                                             (14)

где С₂ — количество ошибок испытуемого при самостоятельном вынесении им суждения;

C₁ — количество ошибок испытуемого при вынесении им суждения совместно с подставной группой.

Все полученные частные весомости экспертов, приведенные к значениям из интервала [0;1], используются в иерархии для получения интегральной оценки качества экспертов.

Также для каждого эксперта составляется вектор его частных весомостей, отражающих частные компетентности экспертов по представленным выше аспектам качества, поэтому есть возможность помимо получения весомостей и отбора экспертов по их интегральной оценке качества (т.е. числу, отражающему «качество, вес» эксперта в долях единицы) подбирать экспертов в зависимости от сочетания их частных показателей качества, которые могут требоваться различные в зависимости от экспертизы и требований, предъявляемых организаторами экспертизы [9].

Рассмотрим пример расчета. Усредненная матрица парных сравнений частных критериев качества экспертов имеет вид:

Таблица 4

Усредненная МПС частных критериев качества экспертов

Table 4

The average pairwise comparison matrix of particular criteria of experts’ quality

Таким образом, самыми важными характеристиками при оценке важности методов оценивания качества экспертов являются Влияние на результат оценивания и Объективность.

Пример расчета частных показателей качества экспертов

Таблица 5

Частные показатели качества экспертов

Table 5

Private indicators of experts’ quality

Заключение

Разработана иерархическая процедура оценки качества привлекаемых экспертов. Процедура включает в себя способ формирования групповых экспертных суждений, включая правило учета весомостей, определяющих качество эксперта, при формировании групповых экспертных суждений, а также способ оценивания частных показателей качества и интегрального уровня качества привлекаемых экспертов. Для оценки эксперта по каждому из частных свойств, составляющих понятие качества эксперта, реализуются соответствующие методики их определения.