К В А Л И М Е Т Р И Ч Е С К И Й   А Н А Л И З

Методики организации опроса экспертов

Основным средством получения сведений, используемых в квалиметрических разработках, является опрос экспертов. Опрос должен быть проведен методически грамотно, так, чтобы была достигнута его основная задача: наиболее полное выявление знаний, аргументов экспертов, касающихся существа проблемы экспертизы. В большинстве случаев именно методическая безупречность опроса экспертов служит основанием для утверждения надежности полученных результатов.

1. Основная организационная задача

   Основной организационной задачей групповой экспертизы является создание условий для наиболее полного и свободного от искажений выявления информации, имеющейся у экспертов и создание условий для всестороннего анализа этой информации экспертами с разных точек зрения.

   Необходимым условием полного и неискаженного выявления суждений экспертов является правильное применение различных способов опроса в зависимости от конкретных обстоятельств экспертизы.

2. Требования при проведении опроса

   Общим требованием, которое нужно соблюдать при проведении опроса, является требование соблюдения принципа нейтральности. Рекомендации противоположного характера ("не перегружать эксперта" и т.п.), встречающиеся в некоторых методических работах, следует считать грубо ошибочными.

3. Способы опроса экспертов

   Заочное анкетирование - когда эксперт заполняет карту опроса, пользуясь только пояснительной запиской

   Этот способ применяют во всех случаях, когда необходимо добиться возможно более полной взаимной изоляции экспертов. Можно указать на следующие положительные особенности способа заочного анкетирования.

   1. Способ заочного анкетирования позволяет достичь наибольшей по сравнению с другими способами, относительной изоляции экспертов.
   2. Способ позволяет получить наиболее продуманные ответы, так как эксперт практически не ограничен во времени.

   Основные недостатки способа заочного анкетирования состоят в следующем:

   1. осуществление способа требует значительных затрат времени;
   2. имеет место неполный возврат анкет (возвращается 50-60% от разосланных или розданных анкет);
   3. в связи с неполным возвратом анкет возможен эффект селекции: на анкеты будут отвечать преимущественно эксперты, придерживающиеся определенной ориентации по проблеме экспертизы;
   4. при многократном (многотуровом) заочном анкетировании высок эффект конформизма;
   5. последним важным недостатком заочного анкетирования является невозможность своевременно уточнить постановку вопроса, непонятного эксперту.

   Все указанные негативные особенности заочного анкетирования могут привести к тому, что при внешней убедительности методики проведенного опроса, значительном числе опрошенных, их высокой квалификации и т.д., результаты опроса окажутся грубо ошибочными.

   Порядок расположения вопросов в анкете

   При проведении анкетного опроса существенен порядок расположения вопросов. Вопросы в анкете следует располагать в порядке, вытекающем из цели экспертизы, — по значению для проблемы, по степени общности и т.п., так, чтобы, обдумывая ответы на первые вопросы, эксперт подготавливался к ответам на последующие. Это позволит эксперту уточнить постановку задачи экспертизы, если характер вопросов не способствует ее решению, уточнить формулировку вопросов.

   Пример.
   В методике по оцениванию эффективности медицинской помощи населению различных регионов, вопросы были расположены в следующем порядке:

   1. сроки доставки больного, нуждающегося в экстренной помощи, в медицинское учреждение;
   2. обеспеченность региона санитарной авиацией;
   3. уровень диспансерного обслуживания;
   4. эффективность использования аппаратуры и коечного фонда;
   5. уровень обеспеченности населения реабилитационной помощью и восстановительным санаторно-курортным лечением.

   Такой порядок вопросов ориентирует мышление эксперта на приоритетную важность оперативных мер по оказанию помощи заболевшим и указывает на меньшую значимость профилактических и общеоздоровительных мероприятий в оценивании деятельности медслужбы. Эксперт, при обдумывании оценок, главное внимание уделит обоснованию суждений по первым вопросам и, может быть, предложит дополнительные критерии, позволяющие характеризовать оперативную обстановку. Если же вопросы расположить в обратном порядке, то эксперт (сознательно или бессознательно) предположит, что целью самой методики является оценивание перспективного состояния системы здравоохранения региона и может высказать по всем вопросам совершенно иные суждения.

   Смешанное анкетирование - при котором эксперт заполняет карту опроса, пользуясь консультацией со стороны лица, проводящего опрос

   Этот способ применяют в тех случаях, когда предстоит неоднократно разъяснять эксперту неясные или нечетко сформулированные вопросы анкеты. Заполнение анкет в присутствии организатора упрощает подготовку пояснительной записки, а также позволяет значительно сократить время проведения операции, исключить возможность неполного возврата анкет.

   Способ смешанного анкетирования чаще применяют в экспертных методиках с периодическими опросами (многими турами), чем при одноразовых опросах. Это обусловлено тем, что недостатки способа, которые в случае опроса в один тур могут сильно исказить результаты, значительно ослабевают при проведении нескольких туров. Важнейшие из этих недостатков следующие:

   1. в процессе разъяснения отдельных вопросов организатор неверно ориентирует всю группу экспертов на собственное понимание желаемого ответа;
   2. в присутствии организатора и других членов экспертной группы (если опрос происходит на собрании экспертной группы) каждый эксперт может предложить оценки, отличающиеся от тех, которые он предложил бы при обдумывании в одиночестве;
   3. в условиях ограниченного времени обдумывание ответов, по-видимому, бывает не столь тщательным, как при заочном анкетировании.

   Все же, в целом, способ смешанного анкетирования значительно более удобен для решения задач групповой экспертизы в медицине и здравоохранении, чем заочное анкетирование. Смешанное анкетирование следует применять во всех случаях, когда условия работы позволяют регулярно собирать экспертов и регулярно работать с ними.

   Мобильное анкетирование

   Специальный вид смешанного анкетирования предложен для разработки систем поиска решений (диагноза, рекомендаций по выбору тактики лечения, управленческих решений и т.п.) в той типичной для медицины ситуации, когда число специалистов, способных выступать в роли экспертов, крайне невелико. Практически этот способ опроса работает, начиная с трех экспертов.

   Учитывая малое число экспертов, а также необходимость длительного обдумывания при построении схемы поиска решения, опрос экспертов проводят индивидуально с мобильно меняющейся от эксперта к эксперту схемой опроса. Организатор, во время очной встречи разъясняет эксперту цель работы и результаты, полученные в процессе предшествующего опроса других экспертов. Затем он передает разработанные фрагменты схемы для дальнейшей работы: исправлений и дополнений.

   Опрос экспертов идет по кругу, причем каждый эксперт может не знать, кто работал над схемой непосредственно перед ним, — это снижает эффект конформизма.

   Результатом мобильного анкетирования является обычно построение логической схемы поиска решений. Логическая схема представляет собой особый вид алгоритма комплексной оценки качества, в котором использованы как вычислительные, так и логические операции.

   Мобильное анкетирование позволяет значительно увеличить объем и качество информации, получаемой от экспертов и фиксируемой в других способах путем группового опроса по единой анкете. При опросе по единой анкете содержание и объем извлекаемой информации фактически зависят от составителя анкеты, уровень знаний которого может оказаться ниже уровня знаний высоко квалифицированных специалистов в области предмета экспертизы. Поэтому основной объем индивидуальной информации по изучаемому вопросу может оказаться невостребованным, что отрицательно сказывается на качестве результатов работы, реальности их внедрения в практику.

   Заполнение карты опроса, с намеченной для каждого эксперта в общих чертах логической цепью вопросов и предположительных ответов, ведущих к конечной цели, — определению решения, — стимулирует эксперта на проявление максимальной компетентности. Кроме того, неясные и спорные вопросы он может включить в анкету для ответа последующим экспертам.

   Способ мобильного анкетирования требует, однако больших затрат времени со стороны организатора, которому приходится неоднократно беседовать со всеми экспертами, готовить для каждого заново карту опроса и, следовательно, проводить более 10 туров экспертизы.

   Интервью - беседа с экспертом по намеченным вопросам

   Интервью наиболее удобно для организатора, так как не требует подготовки ни карты опроса, ни пояснительной записки. Нужен лишь небольшой план, — список вопросов, которые организатор собирается задать эксперту. Интервью проводят по этому плану, но всегда с заметными отступлениями от него. Не обязательно в ходе интервью получить ответ на все подготовленные вопросы. Следует способствовать максимальному развитию экспертом его мыслей при ответах на те вопросы, которые ему наиболее интересны, наиболее глубоко продуманы и изучены самим экспертом. Не рекомендуется стремиться получить ответ эксперта на те вопросы, в которых он чувствует себя неуверенно или не хочет отвечать по каким-либо другим причинам.

   При соблюдении этих правил в ходе интервью можно получить большое количество оригинальных суждений по проблеме экспертизы. Появляется возможность уточнить правильность постановки основной задачи экспертизы и выяснить варианты подходов к ее решению.

   Интервью можно проводить в начале экспертизы, как операцию, способствующую уточнению формулировки вопросов, которые следует поставить перед экспертами. По результатам проведенных интервью может быть сформирован основной информационный массив, т.е. наиболее полный набор данных, используемых на дальнейших этапах экспертизы.

   Особый вид интервью может быть применен в ситуации, когда по условиям работы каждого эксперта можно опрашивать только один раз или через большие промежутки времени.

   Косвенный опрос

   Применяют в тех случаях, когда цель экспертизы не может быть сообщена экспертам, например, по соображениям секретности. Тогда основные вопросы, ответ на которые представляет интерес для заказчика экспертизы и организатора, помещают среди многих вопросов, подобранных так, чтобы дезориентировать эксперта, создать у него ложное представление о цели опроса. Среди этих "посторонних" вопросов могут быть тестирующие, направленные на то, чтобы выяснить степень знакомства эксперта с истинным предметом экспертизы.

   Косвенный опрос проводят, как правило, в форме интервью с записью на магнитофон. Отличие состоит в том, что никакие отклонения от составленного списка вопросов недопустимы.

   Недостатки этого способа опроса следующие:

   1. благодаря тому, что эксперт не знает истинной цели опроса, он формирует в своем сознании другую, ложную цель и, исходя из этого понимания, высказывает свои суждения по предлагаемым вопросам. Но известно, что суждения по одному и тому же вопросу решающим образом зависят от того, какую цель опроса имеет в виду эксперт. Поэтому, получив ответы эксперта, организатор не может быть уверен в том, что такие же ответы эксперт дал бы, будь ему известна истинная цель опроса;
   2. значительное время уходит на подготовку к опросу, подбор отвлекающих и тестирующих вопросов.

   Глубокий анализ проблемы методом косвенного опроса выполнить невозможно. Способ весьма трудоемок и всегда возникают сомнения в полноте и релевантности получаемых данных. Поэтому косвенный опрос в задачах медицины и здравоохранения рекомендуется применять в исключительных случаях.

   Способ "фокус-групп"

   Данный метод используется в стратегическом цикле квалиметрического анализа. Фокус-группа - это 7-10 человек, проводящих дискуссию по заранее составленному плану и направленную на выявление суждений представителей различных социальных или же профессиональных групп по квалиметрическому вопросу в условиях непринужденной обстановки.

   Способ фокус-группы удобно применять также для выполнения кратко- и среднесрочных прогнозов перспективных требований к качеству медицинской помощи в условиях данного ЛПУ.

   Фокус-группу формируют из представителей тех социальных или профессиональных групп, которые могут быть заинтересованы в решении поставленного перед экспертизой вопроса. Поскольку к экспертизе при способе фокус-групп привлекают лиц, незнакомых с такой формой работы, то формирование группы и работа с ней требует хорошей подготовки самого организатора. Он должен вначале выделить социальные и профессиональные группы, суждение которых необходимо узнать, затем создать условия для заинтересованности их представителей в участии в работе.

   Заседания фокус-групп проводят 2-5 раз (частота зависит от сложности решаемой проблемы), возможно, частично или полностью меняя состав участников. Обязательна запись заседания на магнитофон. Перед началом работы фокус-группы следует еще раз встретиться с заказчиком экспертизы, обсудить состав участников, порядок работы, содержание обсуждаемых вопросов.

   Дискуссию проводят по плану, составленному организатором. Обсуждаемые вопросы должны идти от общих к частным, причем их формулировка должны быть нейтральной, — не ориентировать участника на тот или иной ответ.

   Окончательные результаты экспертизы организатор оформляет после проведения всех заседаний и анализа аудиозаписей в виде описания факторов и показателей, влияющих на предпочтения представителей исследованных социальных или профессиональных групп.

   Организатор опроса, особенно начинающий, должен учесть, что обсуждение в сформированной фокус-группе не всегда удается сразу направить на достижение желаемой цели (несмотря на проведение предварительной разъяснительной работы, ориентировку и т.п.). Как правило, получение желаемых результатов требует проведения 2-3, иногда до 5 заседаний, о чем следует предупредить участников.

Продолжение:   Методика квалиметрического анализа