Строительные исследования

назад Оглавление вперед

страница - 0

Согласование решений экспертов на основе модели общей

точки зрения.

Котов Ю.Б.( kot-sta-kosh@mtu-net.ru) ИПМ им. М.В. Келдыша РАН, Россия

Очевидный парадокс состоит в том, что опытный специалист принимает правильное решение (выбирает правильное действие) в условиях видимого дефицита информации или при явной нехватке времени для принятия во внимание всех факторов ситуации.

Целями этой работы были выработка способа организации информационного взаимодействия экспертов и поиск набора переменных, позволяющих найти согласованную классификацию новых объектов. Априорной классификации объектов не существовало, была предложена лишь схема - деление на 4 класса. Состав и особенности классов предстояло выработать экспертам. Задача является частью проблемы вербализации профессионального знания экспертов об изучаемых ими объектах.

Согласно некоторым современным представлениям [1], в ходе эволюции человека на каждом новом этапе достигнутое ранее знание могло становиться элементом нового знания, не проходя этапа обязательной вербализации. Одним из сильнейших достижений на пути вербализации и структуризации знания является методика, использующая диагностические игры [2]. Диагностическая игра является мощным, но трудоемким средством исследования профессиональной работы врача в ситуации, близкой к его реальной работе.

Классическая методика структуризации знания на основе диагностических игр подразумевает сохранение некоторой дистанции между врачом и вторым участником работы, математиком. Этот способ работы ограничивает информационный канал взаимодействия специалистов. В работе рассматривается другой подход к структуризации и вербализации знания врача.

Можно проводить детальный анализ действий врача, участвуя в решении его медицинской проблемы «изнутри», через точную постановку и решение частных подзадач. Такое «моделирование изнутри» служит хорошим дополнением диагностических игр и иногда приносит удивительные плоды, давая экономное осмысленное решение медицинской проблемы и одновременно правдоподобную модель рассуждения, приводящего к результату. Ниже на примере согласования решений трех экспертов будет продемонстрирован вариант «моделирования изнутри» [3, 4].

Три специалиста по системе гемостаза (система свертывания крови) были привлечены для оценки состояния детей, больных хроническим гломерулонефритом, в ходе лечения. Они обладали солидным опытом диагностики системы гемостаза, но не занимались раньше этой специфической группой больных. Экспертам было предложено оценивать состояние гемостаза в терминах «гипо-» (пониженная свертываемость), «гиперкоагуляция» (повышенная свертываемость), «норма» и «неизвестно». Каждый этап экспертной оценки после фиксации заключений экспертов завершался выработкой формального решающего правила, соответствующего высказанным оценкам. Это правило служило моделью общей точки зрения и было использовано для выявления «аутсайдеров», больных, причины включения которых в свой класс оставалась неясными.

Исследованию подвергли группу детей с гломерулонефритом, у которых был установлен характерный для этого заболевания дисбаланс между показателями гемостаза. Всего обследовано 52 ребенка в возрасте от 3 до 14 лет, у которых различали смешанную, гематурическую и нефро-тическую формы заболевания. Дети находились на традиционном лечении (кортикостероиды, цитостатики и дезагреганты) с применением у 13 из них ингаляций антикоагулянта (гепарина). Регистрировали 14 коагулологических параметров и 5 параметров общего анализа крови.

Работа выполнена при поддержке РФФИ (проект №99-01-01091).

Были использованы 170 карточек, каждая из которых содержала результаты проведенных измерений для одного больного в один день. Из этих карточек 55 были использованы для выработки решающего правила, а остальные 115 составили «экзаменационный» массив для независимой проверки эффективности правила. Схема использования материала показана в таб.1.

На первом этапе эксперты работали независимо, а решения экспертов признавались значимыми только при условии единогласия, иначе карточка попадала в категорию «неизвестно». В результате первой экспертизы карточки разделились следующим образом (таб.1): норма-5, гипо-13, гипер-8, «неизвестно»-29. Карточки трех первых категорий были использованы для построения формального разделяющего правила (правило 1). Для этого подбирали пороги наилучшего разделения групп по каждой переменной, и по градациям переменных строили правило, «голосующее» за соответствующую группу в данном сравнении.

Таблица. 1. Схема использования материала.

Всего 170 карточек = 55 обучение + 115 чистый экзамен

Первое предъявление экспертам:

	норма	гипо	гипер	неизвестно	сумма
	5	13	8	29	55
Обучение.
	Правило 1
Ошибки			1		1
Отказы	1	1	5		7
Обсуждение.
	норма	гипо	гипер	неизвестно	сумма
	5	12	5	33	55
Правило 2 - совпали
Разделение неизвестных
	13	6	6	8		33
Экспертиза разделенных бывших неизвестных «втемную».

		разделение по правилу 2
Эксперты	норма	гипо	гипер	неизвестно	Сумма
норма	6		2	неизвестно	8
гипо	1	2	1		4
гипер	2				2
неизвестно	4	4	3	8	19

Новое обучение.

	норма	гипо	гипер	неизвестно	сумма
	13	16	7	19	55
правило 3
Ошибки		1	1		2
отказы			1		1

Для проверки непротиворечивости это правило было применено к тем же карточкам, на основе которых было получено. Карточки были повторно разделены (теперь уже формально, с помощью решающего правила) на те же категории, что и при экспертизе. При этом одна карточка

оказалась отнесенной не к той категории, к которой ее отнесли эксперты (ошибка решающего правила), 5 карточек признаны неопределенными (отказы решающего правила). Эти 6 карточек вместе с 2, прошедшими минимумом голосов (также включили в отказы), были повторно предъявлены экспертам без указания причин предъявления. Экспертам было предложено обсудить эти карточки, мотивируя свои решения. В результате обсуждения изменена принадлежность 4 карточек (в том числе обеих с минимумом голосов) - их решено перенести в категорию «неизвестно».

После обсуждения обучение было проведено заново и получено новое решающее правило (правило 2). В обучении участвовало 22 карточки из 26 первого обучения. При формальной их классификации по правилу 2 все они были отнесены к правильным категориям. Это подтвердило внутреннюю согласованность правила 2. Далее, правило 2 было использовано для формальной классификации 33 карточек из категории «неизвестно» (29 отнесенных при первой экспертизе и 4- в результате обсуждения результатов проверки первого правила на массиве обучения). По правилу 2 они разделились следующим образом: «норма» 13, «гипо»-6, «гипер»-6, «неизвестно» - 8. Одновременно они были предложены экспертам для повторной экспертной классификации. Решение в этом случае принималось большинством голосов экспертов (2 из 3). Карточки, по которым не было принято определенное решение, отнесены к категории «неизвестно». Совпадение ответов экспертов и решающего правила: «норма» - 6, «гипо»-2, «гипер» - 0. Остальные ответы решающего правила 2 не были подтверждены экспертами.

Все карточки, отнесенные экспертами на этом этапе к категориям «гипо»-, «гипер»- и «нор-мокоагуляции», использовались в обучении. Их состав: «норма»- 13, «гипо»-16, «гипер»-7. Выработано окончательное решающее правило (правило 3). При контрольной классификации этих же карточек по правилу 3 получены 2 случая ошибочной классификации и 1 карточка отнесена к категории «неизвестно».

Таким образом, после троекратного повторения процедуры оценки экспертов практически стабилизировались. Разумеется, факт совпадения формальной оценки с экспертной на классе обучения не гарантирует пригодности формального правила для самостоятельной оценки больных. Оно основано на слишком малом массиве данных (55 карточек).

Правило 3 было использовано для классификации 115 карточек, не участвовавших в предшествующей части работы (чистый экзамен). Одновременно эти же карточки были предложены для классификации экспертам. Результат экспертной классификации считался действительным по большинству голосов экспертов (2 из 3). Результаты сравнения классификаций приведены в табл.

Таблица 2.

Формальная классификация

Оценка	Норма	"гипо"	"гипер"	"неизвестно"	Сумма
Экспертов
Норма	6	0	0	0	6
гипо	22	42	0	3	67
гипер	5	0	12	5	22
неизвестно	12	0	4	4	20
сумма	45	42	16	12	115

Столбцы таблицы соответствуют градациям формальной классификации, а строки - экспертной. Видно, что лишь 64 карточки из 115 отнесены экспертами и формальным правилом к одинаковым категориям. Обратим внимание на второй столбец. Категория «гипо» по формальной классификации целиком вошла в экспертную категорию «гипо». Лечение с применением антикоагулянтов вызывает у специалистов опасение получить гипокоагуляцию вследствие возможной ошибки, и они предъявляют повышенные требования к оценке ситуации.

содержание:
[стр.Введение] [стр.1]