00:00, 23 сентября 2012, Научные статьи

Адаптивная физическая культура

Технология экспертных суждений в научных исследованиях по адаптивной физической культуре

Автор:
Луценко С. А.
Источник:
Выпуск:
3 (51) 2012, 23 сентября 2012
Страницы:
15-19
Виды спорта:
Общеспортивная тематика
Рубрики:
Адаптивная физкультура, Инваспорт, Спортивная наука
Регионы:
РОССИЯ, Санкт-Петербург
Рассказать|
Аннотация

Статья посвящена рассмотрению теоретических вопросов экспертной оц енки в сфере адаптивной физической культуры и методике её реализации в практике научных исследований.

Технология экспертных суждений в научных исследованиях по адаптивной физической культуре

Ключевые слова: технология, метод экспертных суждений, экспертная оценка, экспертиза, компетентность эксперта.

Аннотация. Статья посвящена рассмотрению теоретических вопросов экспертной оц енки в сфере адаптивной физической культуры и методике её реализации в практике научных исследований.

Контакт:

Technology expert judgments in research in adaptive physical education

Dr. Lutsenko S. A., Professor. Institute of Special pedagogy and psychology, St. Petersburg

Keywords: technology, the method of expert judgment, expert evaluation, expertise, competence of

Abstract. The article deals with the theoretical issues of expertise in the field of adaptive physical practice of scientific research.

Очень часто оценка результатов научных исследований не может быть осуществлена с помощью точных расчётов, основанных на статистических данных. Поэтому для этой цели рекомендуется использовать методы экспертных суждений (оценок). Они зародились после второй мировой войны и использовались в теории управления, менеджмента и исследования операций. Впоследствии сформировалась самостоятельная отрасль научных знаний - теория и практика экспертных оценок.

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель может поставить отметку студенту единолично, но в случае угрозы отчисления его за плохую учебу обращаются к коллективному мнению - для этого создаётся комиссия преподавателей. В научных исследованиях чаще всего используют коллективные оценки.

Метод экспертных оценок представляет собой научно обоснованный комплекс логических и математико-статистических методических приёмов и процедур, направленных на получение количественных результатов для оценки и анализа различных явлений, процессов, моделей и т. п., основанный на опыте, знаниях и интуиции специалистов. Один из наиболее известных методов экспертных оценок - это метод «Дельфи». Название дано по ассоциации с Дельфийским храмом, куда согласно древнему обычаю было принято обращаться для получения поддержки при принятии решений. В США в 1960-х годах этим методом назвали экспертную процедуру прогнозирования перспектив научно-технического развития страны (А. И. Орлов, 2002).

Со временем методы экспертных оценок стали использовать не только в народном хозяйстве, но и при проведении научных исследований в различных отраслях знаний, в том числе и в сфере физической культуры и её составной части - адаптивной физической культуре. Однако в последнее время большинство научных работников (особенно молодое поколение) понимают метод экспертных оценок упрощённо (в виде результатов обработки данных, полученных при опросе и представленных в процентах, баллах и т. д.) или опускают отдельные этапы (процедуры), обязательные для этого метода. Такая оценка является некорректной, так как не позволяет достаточно объективно подтвердить (опровергнуть) прогнозируемые результаты своих исследований или оценить эффективность процесса адаптивного физического воспитания, предлагаемой методики, программы и т. д.

Об этом свидетельствует анализ литературных источников (Е. Г. Сайкина 2009; В. М. Башкин, 2011 и др.) и собственный опыт работы в специализированном диссертационном совете, где данный метод довольно часто используется соискателями учёной степени. В этой статье мы постараемся раскрыть теоретические и практические аспекты экспертной оценки.

В общем виде технология экспертной оценки состоит из четырёх основных этапов и выглядит следующим образом:

  • разработка процедуры экспертизы;
  • отбор, проверка компетентности и формирование групп экспертов;
  • проведение экспертизы;
  • формализация полученных результатов, их обработка и анализ.

Разработка процедуры экспертизы включает в себя определение метода и содержание опроса, а также технологию его проведения. Методы опроса в этом случае могут быть индивидуальными или групповыми, очными или заочными, устными или письменными. В отдельных случаях (особенно при значительной разнице в подготовленности экспертов по рассматриваемой проблеме) возможен смешанный способ опроса.

Для опроса разрабатывается анкета или протокол беседы. Они представляют собой ряд вопросов, которые должны быть логически связаны с центральной задачей (проблемой) экспертизы. В зависимости от содержания, их целесообразно разделить на две группы: данные о самом эксперте (возраст, должность, стаж работы, образование, научное или спортивное звание и т. д.) и вопросы по существу изучаемой проблемы. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждений, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

При составлении вопросов рекомендуем придерживаться следующих правил:

  • чётко определять условия, время, внешние или внутренние ограничения проблемы с доступной для эксперта точностью и компетентностью;
  • вопрос лучше формулировать как качественное утверждение;
  • при количественных суждениях не рекомендуют задавать более пяти градаций, при этом они должны иметь развёрнутые характеристики (параметры) оценок;
  • эксперты должны оценивать лишь возможные варианты (а не законченный план действия), развернутое описание предложенных или предполагаемых решений и др.

Следующий этап - отбор, проверка компетентности и формирование групп экспертов. Это один из самых ответственных этапов экспертизы. От него во многом зависит качество результатов исследований и выводов по ним.

В качестве экспертов в сфере адаптивной физической культуры целесообразно привлекать научные и педагогические кадры, практикующих специалистов (учителей школ, тренеров сборных команд по видам спорта) или руководителей коллективов, имеющих достаточный опыт работы по руководству, организации и проведению мероприятий в данной сфере. Для этого составляется список лиц компетентных в исследуемой проблеме, который служит основой для выбора потенциальных экспертов. Их оптимальное количество невозможно установить точно, но очевидно, что в малой группе на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. В то же время слишком большое число экспертов затрудняет формирование согласованного мнения по изучаемой проблеме. Мы солидарны с теми авторами, которые к выполнению этой работы рекомендуют привлекать от 5 до 12 экспертов (А. И. Орлов, 2002 и др.).

Чтобы осуществить экспертизу данными категориями работников их необходимо ранжировать и свести в группы. Эта работа выполняется исследователем на основе выделения критериев, характеризующих степень их компетентности. Как правило, за основу берутся: должность, стаж работы в изучаемой сфере деятельности, уровень развития профессионально-значимых качеств (компетенций), а также наличие научной степени и звания. Если экспертов с приблизительно одинаковыми характеристиками достаточно много (более 12 человек), то формируется не одна группа. Если такой возможности нет (это часто случается в относительно новых областях науки и практики), то таких групп может быть одна или две (по 5 - 6 человек в каждой). Для полноценной экспертной оценки достаточно двух-трёх групп экспертов.

Так, преподаватели вуза, обучающие студентов по профилирующим дисциплинам специальности применительно к обозначенной области научных знаний и имеющие стаж преподавательской работы от 5 до 10 лет, учёную степень или звание, могут быть отнесены к одной группе экспертов. Преподаватели с аналогичным стажем практической деятельности, но без степени или звания, равно как и практикующие специалисты с необходимым для квалифицированной оценки опытом работы (например, тренеры, учителя по физической культуре и др. со стажем работы 15 и более лет) к другой группе. Первая группа определяется по результатам ответов на соответствующие вопросы, которые обязательно должны быть поставлены, как мы отметили ранее, в анкете. Для выделения экспертов во вторую и последующие группы, кроме указанных критериев, используют четыре группы методов: 1 - самооценки, 2 - оценки группой каждого эксперта (оценку могут давать руководители экспертов, методисты, научные работники и др. лица знающие эксперта), 3 -оценки на основе результатов прошлой деятельности эксперта (дают те же специалисты, которые привлекались к оценке во второй группе методов), 4 - определения компетентности эксперта.

При оценке по первым трём группам методов необходимо разработать одинаковые по форме и содержанию экспертные листы, в которых должны быть представлены показатели деятельности эксперта (профессионально-значимые и другие, важные для выполнения экспертизы качества) и критерии их оценки. Это позволит с большей объективностью охарактеризовать экспертов и более точно сформировать группы. Такими показателями могут быть их теоретическая, методическая и физическая подготовленности, организаторские способности (умение своевременно и качественно организовать и проводить физкультурно-спортивные мероприятия, взаимодействовать с исполнителями, руководить и контролировать их деятельность и т. д.), принципиальность, объективность,

способность творчески мыслить и некоторые другие. Всё будет зависеть от цели (задач) исследования и предмета оценки. Что касается непосредственных критериев их оценки, то руководитель экспертизы (автор исследовательской работы) сам может решить, какая система оценок будет использоваться. Как правило, применяется балльная система с указанием уровней, соответствующих той или иной оценке. Например, низкий уровень - 1 балл; плохой уровень - 2 балла; средний уровень -3 балла; высокий уровень - 4 балла; очень высокий уровень - 5 баллов. Далее, по каждой группе методов выводится средняя оценка с точностью до десятых долей, как принято в математике.

Четвёртая группа методов (определение компетентности экспертов) реализуется следующим образом. Сначала суммируются средние оценки, полученные экспертами в результате опроса по первым трём методам, затем они ранжируются по мере убывания (в случае равенства результатов суммирования, предпочтение может быть отдано тому, у кого выше оценка по второй, затем третьей группе методов). После ранжирования формируются группы экспертов (но не более 12 человек в каждой группе) и выявляется степень согласованности между группами экспертов. Не будем останавливаться на технологии этой процедуры, так как она достаточно широко представлена в ряде источников, заметим лишь, что статистические методы проверки согласованности зависят от математической природы ответов экспертов (В. Г. Горский, А. И. Орлов, А. А. Гриценко, 2000 и др.).

Третий этап - проведение экспертизы. Она начинается с выбора метода экспертной оценки. Существует несколько таких методов. Наиболее популярными и приемлемыми для использования в практике научных исследований любой сферы деятельности, в том числе и в сфере адаптивной физической культуры, являются:

  1. Метод ассоциаций. Данный метод основан на изучении и последующем сравнении схожего по свойствам объекта с другим объектом.
  2. Метод парных (бинарных) сравнений. Он основан на сопоставлении экспертом альтернативных вариантов, из которых надо выбрать наиболее предпочтительные.
  3. Метод векторов предпочтений. При данном методе эксперт анализирует весь набор альтернативных вариантов и выбирает наиболее предпочтительные.
  4. Индивидуальный экспертный опрос. Проводится в форме интервью или в виде анализа экспертных оценок. Означает беседу автора с экспертом, в ходе которой он ставит перед ним вопросы, ответы на которые значимы для достижения программных целей исследования. Технология экспертных оценок предполагает индивидуальное заполнение экспертом разработанного автором формуляра в виде цензового листа, специальной анкеты и т. д., по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути ее решения. Свои соображения эксперт выносит в виде оценки или суждения, которое не должно истолковываться двояко.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от завершающего этапа - формализации полученных результатов, их обработки и анализа.

Эта работа осуществляется в основном по двум направлениям: первое связанно с анализом заключений экспертов, выраженных в качественном (нечисловом) виде - это градации качественных признаков, их ранжирование, результаты парных сравнений, недостаточно чёткие предпочтения и т. п. (в этом случае используется так называемая репрезентативная теория измерений - см. А. И. Орлов, 2002); второе направление связанно с анализом заключений экспертов, выраженных в количественных измерениях.

Однако в обоих случаях присутствует субъективизм исследователя, так как автор даёт описательное изложение результатов, полученных экспертами, и сам делает вывод об эффективности модели, процесса, программы и т. д. и выносит предложение о целесообразности или нецелесообразности использования полученных результатов в практической деятельности. В то же время, необходимо заметить, что второе направление более объективно, так как в этом случае результаты исследований можно обработать на математическом уровне (т. е. применить математические формулы) и с их помощью вычислить количественную меру эффективности изучаемого явления или обработать их методами математической статистики. Всё будет зависеть от целей исследования и репрезентативности выборки, используемой в нём.

Среди рассмотренных этапов наиболее сложными, требующими более детального рассмотрения, являются третий и четвёртый. Для чёткого представления о содержании и последовательности выполняемых работ при реализации этих этапов в практике экспертной оценки, рассмотрим их технологию на примере оценки состояния модели информационного обеспечения системы управления коллективом, занятым в сфере управления учреждениями физической культуры. Она может быть реализована применительно к аналогичной оценке исследуемого или иного процесса в сфере управления подразделениями адаптивной физической культуры, а также в русле решения других задач исследования с учётом особенностей изучаемого предмета.

Третий этап (проведение экспертизы) по оценке модели информационного обеспечения начинается с определения критериев, характеризующих её эффективность. Такими критериями в соответствии с теорией управления являются: оптимальность информации, её достоверность, своевременность и затраты на обработку. Далее, применительно к исследуемому уровню (звену) уп-

равления составляется анкета, которую заполняет автор исследования (если он достаточно компетентен в этих вопросах) или (что предпочтительнее) наиболее квалифицированный в данной области знаний эксперт. Это выполняется следующим образом. По каждому критерию аналитическим путём определяются: во-первых, состав факторов (показателей), характеризующих его состояние и ограничения накладываемые на них; во-вторых, весовая значимость факторов, характеризующих критерий эффективности информационного обеспечения в общем их наборе (при этом сумма весов по каждому критерию должна быть равна 100).

Вот как это выглядело в наших исследованиях применительно к оценке одного из важнейших критериев эффективности модели информационного обеспечения - оптимальности информации (табл. 1).

Отметим, что совсем не обязательно должно быть то количество факторов, которое указано в таблице 1. Их перечень может быть расширен, всё зависит от задач исследования и уровня управления, на котором осуществляется экспертная оценка данной модели (процесса, явления и т. д.).

Следующий вид работы - составление цензового листа (табл. 2) и его заполнение экспертами. Эту работу эксперты могут делать одномоментно (даётся сравнительная оценка факторов до эксперимента и после него) и поочерёдно. Лучше второе, так как в этом случае эксперты выявляют «узкие» места в существующей модели информационного обеспечения, чтобы автор мог качественно осуществить работу по улучшению показателей критериев для формирования более совершенной модели.

В наших исследованиях использовался второй вариант. В цензовом листе эксперты по балльной шкале (от 0 до 5) высказывали своё мнение о фактическом состоянии модели информационного обеспечения системы управления физкультурно-спортивным коллективом. К экспертизе были привлечены руководители структурных подразделений районных комитетов по физической культуре и спорту Санкт-Петербурга.

Таблица 1 - Анкета факторов и их оценка для определения критерия «Оптимальность информации»

Факторы

Ограничения

Значимость

Соответствие информации по своему содержанию задачам, которые решаются в процессе управления адаптивной физической культурой на данном уровне.

→max

20

Степень взаимосвязи управленческой информации по проведению различных форм (мероприятий) физической культуры.

→max

15

Степень согласованности управленческой информации, циркулирующей на данном уровне с информацией, поступающей от вышестоящих органов управления.

→max

20

Степень дублирования показателей, содержащихся в управленческих документах данного уровня.

→min

10

Наличие полезной информации, содержащейся в управленческих документах данного уровня.

→max

15

Упорядоченность потоков документов по периодичности формирования и срокам разработки.

→max

10

Степень многообразия форм документов одного назначения

→min

10

Таблица 2 - Цензовый лист эксперта

Эксперт______ Критерий_________________
(фамилия, инициалы)

Факторы

Фактический ценз (балл)

До эксперимента

После эксперимента

Соответствие информации по своему содержанию тем задачам, которые решаются в процессе управления адаптивной физической культурой на данном уровне.

3

4

Степень взаимосвязи управленческой информации по проведению различных форм (мероприятий) физической культуры.

3

4

Степень согласованности управленческой информации, циркулирующей на данном уровне с информацией, поступающей от вышестоящих органов управления.

3

4

Степень дублирования показателей, содержащихся в управленческих документах данного уровня.

2

5

Наличие полезной информации, содержащейся в управленческих документах данного уровня.

2

4

Упорядоченность потоков документов по периодичности формирования и срокам разработки.

1

4

Степень многообразия форм документов одного назначения.

1

3

Таблица 3 - Сводный цензовый лист

Факторы

Значимость
фактора

Возможный высший ценз

Фактический ценз

До эксперимента

После эксперимента

Оценка в баллах

С учётом значимости

Оценка в баллах

С учётом значимости

Оценка в баллах

С учётом значимости

1

2

3

4

5

6

7

8

Соответствие информации по своему содержанию тем задачам, которые решаются в процессе управления адаптивной физической культурой на данном уровне.

20

5

100

3,1

62

4,4

88

Степень взаимосвязи управленческой информации по проведению различных форм (мероприятий) физической культуры.

15

5

75

3,3

49,5

4,4

66

Степень согласованности управленческой информации, циркулирующей на данном уровне с информацией, поступающей от вышестоящих органов управления.

20

5

100

3,0

60

4,0

80

Степень дублирования показателей, содержащихся в управленческих документах данного уровня.

10

5

50

2,2

22

4,5

45

Наличие полезной информации, содержащейся в управленческих документах данного уровня.

15

5

75

2,4

36

4,2

63

Упорядоченность потоков документов по периодичности формирования и срокам разработки.

10

5

50

1,4

14

4,4

44

Степень многообразия форм документов одного назначения.

10

5

50

1,2

12

2,8

28

Итого

100

 

500

 

255,5

 

414

Оценки экспертами выставлялись методом присоединения к одному из альтернативных суждений, характеризующий состояние фактора по каждому оцениваемому критерию: очень низкий уровень - 0 баллов; низкий уровень - 1 балл; средний уровень - 3 балла; высокий уровень - 4 балла; очень высокий уровень - 5 баллов.

После заполнения анкеты и цензового листа эксперта заполнялся сводный цензовый лист (табл. 3). В него из анкеты (табл. 1) в столбцы 1 и 2 табл. 3 заносились факторы и их весовая значимость по каждому критерию; выставлялся наивысший возможный ценз по каждому фактору в баллах и с учётом значимости. Высшим цензом в нашем случае являлась оценка в 5 баллов, которая характеризовала фактор как фактор с очень высоким уровнем.

Умножив оценку на «весовую» значимость фактора и, сложив все произведения в столбце 4, в итоге получали наивысший из возможных суммарных рангов. Сумма рангов (весов) по каждому критерию должна быть равна 500.

Затем в столбцах 5 и 7 по результатам обработки цензовых листов экспертов выставлялась интегральная оценка (средний балл) фактического состояния критерия, характеризующего оптимальность информации до эксперимента и после него. Проставленные в указанных графах оценки умножались на «весовую» значимость фактора и произведение полученных значений заносилось в столбцы 6 и 8. Последующее сложение величин в этих графах давало фактический суммарный ранг критерия эффективности до и после эксперимента.

После заполнения экспертами перечисленных документов начинался четвёртый этап процедуры экспертной оценки - формализация полученных результатов, их обработка и анализ, т. е. перевод результатов аналитической работы экспертов в количественные показатели.

Количественная оценка эффективности модели информационного обеспечения системы рассчитывалась на основе коэффициентного метода, который наиболее полно отвечает требованиям объективности и сопоставимости полученных результатов. Границы коэффициента с позиций математической науки, выражаются значением от 0 до 1. Сначала рассчитывается величина частного коэффициента эффективности (по каждому критерию), затем всей модели информационного обеспечения в целом.

Величина частного коэффициента эффективности по каждому критерию до и после экспериментальных исследований вычисляется по формуле:

К=Р1,2/Pmax, где

К - частный коэффициент эффективности критерия; Р1,2 - фактический суммарный ранг до (Р1) и после (Р2) эксперимента; Рmax - максимальный (наивысший) суммарный ранг критерия.

Применительно к рассматриваемому критерию (оптимальность информации) частный коэффициент его эффективности до эксперимента составил 0,51, после эксперимента 0,83. Чтобы оценить состояние исследуемого критерия использовались следующие значения коэффициента: до 0,2 единиц - очень низкий уровень; 0,21 - 0,4 единицы - низкий уровень; 0,41 - 0,6 - средний уровень; 0,61 -0,8 - высокий уровень; 0,81 и выше -очень высокий уровень. Исходя из результатов экспертных суждений, был сделан вывод, что в существующей

модели информационного обеспечения системы управления физкультурными коллективами районного звена оптимальность информации до эксперимента не отвечала необходимым требованиям и представлена в виде среднего значения. После проведения модельного эксперимента, в связи с принятыми мерами по совершенствованию факторов (показателей), характеризующих оптимальность информации, значение этого критерия выросло до очень высоких значений и он (критерий) стал отвечать современным требованиям.

Аналогичная работа по остальным критериям эффективности модели позволила оценить эффективность модели информационного обеспечения комплексно, т. е. с учётом оценки всех критериев её характеризующих. Комплексная оценка эффективности модели информационного обеспечения системы управления физкультурными коллективами районного звена осуществлялась с помощью интегрального коэффициента, который представляет собой среднеарифметическое значение частных коэффициентов:

Кm = (К, + К2 +...+Кn)/n, где Кm - интегральный коэффициент; К1, К2, .Кn - частные к коэффициенты эффективности; п - количество частных коэффициентов.

Для оценки эффективности модели информационного обеспечения можно воспользоваться шкалой оценки частных критериев эффективности или ввести другую, которая, по мнению автора или экспертов позволила бы более объективно охарактеризовать сравниваемые модели (до и после модельного эксперимента).

Таким образом, для успешной реализации метода экспертных оценок в практике научных исследований необходимо последовательно соблюдать технологию экспертизы, чётко придерживаться рекомендаций по проведению каждого из её этапов. Это позволит авторам научных изысканий достаточно объективно оценить результаты своих исследований.

Литература

  1. Башкин В. М. Система индивидуальной адаптации организма спортсменов к тренировочным нагрузкам в скоростно-силовых видах лёгкой атлетики / Автореф. дис. докт. пед. наук. - СПб.: РГПУ им. А. И. Герцена, 2011.
  2. Горский В. Г., Орлов А. И., Гриценко А. А. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. 2000. №3. - С. 159-167.
  3. Менеджмент. Учебное пособие. / Под ред. Ж. В. Прокофьевой. - М.: Знание, 2000. - 288 с.
  4. Орлов А. И. Эконометрика. Учебное пособие. - М.: Изд-во «Экзамен», 2002.
  5. Сайкина Е. Г. Фитнес в системе дошкольного и школьного физкультурного образовании / Автореф. дис. докт. пед. наук. -СПб.: РГПУ им. А. И. Герцена, 2009.

Теги: исследование, экспертиза, метод экспертных суждений, компетентность эксперта, технология, экспертная оценка.

    Загрузка...

    Полное библиографическое описание

    • Автор

      Первый автор
      Луценко С. А.
    • Заглавие

      Основное
      Технология экспертных суждений в научных исследованиях по адаптивной физической культуре
    • Источник

      Заглавие
      Адаптивная физическая культура
      Дата
      2012
      Обозначение и номер части
      № 3
      Сведения о местоположении
      C. 15-19
    • Рубрики

      Предметная рубрика
      Адаптивная физкультура
      Предметная рубрика
      Инваспорт
      Предметная рубрика
      Спортивная наука
    • Языки текста

      Язык текста
      Русский
    • Электронный адрес

    Луценко С. А. — Технология экспертных суждений в научных исследованиях по адаптивной физической культуре // Адаптивная физическая культура. - 2012. № 3. C. 15-19

    Посмотреть полное описание