Человек в контуре (human-in-the-loop) в психологической помощи
Принцип звучит как формальность из регламента, но в психологической помощи он определяет вполне конкретную вещь: кто отвечает, если что-то пойдёт не так. И ответ на этот вопрос меняет устройство всей системы.
Материал носит информационно-ознакомительный характер и не является медицинской или психологической консультацией.
Человек в контуре (human-in-the-loop) — принцип построения систем, при котором алгоритм не действует автономно: значимые решения принимает или утверждает человек, а система готовит для этого материал. В психологической помощи принцип означает, что клинические решения, интерпретации и ответственность остаются за специалистом, какой бы развитой ни была вспомогательная часть.
Термин пришёл из инженерии систем и получил новое значение с распространением машинного обучения — как ответ на вопрос, где в автоматизированном процессе остаётся человек.
Три уровня участия человека
Различение практическое: от него зависит, что происходит при ошибке.
| Уровень | Роль человека | Что при ошибке | Где применимо |
|---|---|---|---|
| В контуре (in the loop) | утверждает каждое значимое действие | ошибка не доходит до последствий | клинические решения |
| Над контуром (on the loop) | наблюдает, вмешивается при отклонении | ошибка обнаруживается с задержкой | мониторинг состояния |
| Вне контура (out of the loop) | не участвует | ошибка реализуется полностью | не применяется в помощи |
В психологической помощи допустимы первые два уровня, причём распределены они по типам задач: сбор материала и структурирование записей могут идти под наблюдением, а всё, что касается диагностики, маршрутизации при риске и клинических решений, требует человека в контуре.
Разобрать свою ситуациюЧто даёт принцип на практике
Определяет ответственность. Пока человек в контуре, ответственность не размывается: она на том, кто принял решение. Как только система действует автономно, возникает вопрос, на который в большинстве юрисдикций нет ответа.
Задаёт точку контроля. Принцип требует, чтобы существовало место, где решение проходит через человека, — и это место должно быть явным, а не подразумеваемым.
Ограничивает масштабирование. Отсюда же главное возражение против принципа: он не даёт системе работать быстрее, чем успевает человек. Это ограничение реальное, и в помощи оно принимается сознательно — цена ошибки здесь несимметрична.
Как это выглядит в гибридном формате
В гибридном консультировании принцип реализован через распределение ролей: система собирает и структурирует материал между сессиями, специалист интерпретирует и решает. Точка контроля — сессия, где собранное становится предметом работы.
Отдельно вынесен случай признаков риска: здесь система не оценивает и не решает, а маршрутизирует к живой помощи и экстренным службам. Оценка степени риска — клиническая задача, требующая ответственного субъекта.
Где принцип нарушается незаметно
Формально система может быть построена правильно, а фактически человек оказывается вне контура. Три типичных случая:
- Утверждение не глядя. Если специалист подтверждает предложения системы, не проверяя, он в контуре только на бумаге.
- Объём выше пропускной способности. Когда на проверку приходит больше материала, чем человек успевает рассмотреть, контроль вырождается в формальность.
- Непрозрачность основания. Если непонятно, почему система предложила именно это, проверить предложение нельзя — можно только согласиться или нет.
Третий случай самый коварный: он выглядит как контроль, но им не является.
Важные нюансы
- Принцип не про недоверие к технологии, а про распределение ответственности. Он останется актуальным независимо от того, насколько точными станут системы.
- Уровень участия выбирается по цене ошибки, а не по удобству. Там, где ошибка обратима, допустим надзор; где необратима — только полное участие.
- Контроль должен быть исполнимым. Требование, которое невозможно выполнить по объёму, хуже отсутствия требования: оно создаёт видимость.
Источники
- Amershi S. et al. Guidelines for human-AI interaction. Proceedings of CHI Conference on Human Factors in Computing Systems, 2019.
- Fiske A., Henningsen P., Buyx A. Your robot therapist will see you now. Journal of Medical Internet Research, 2019, 21(5), e13216.
- Luxton D. D. Recommendations for the ethical use and design of artificial intelligent care providers. Artificial Intelligence in Medicine, 2014, 62(1), 1–10.
Частые вопросы
Что означает «человек в контуре» простыми словами?
Что алгоритм не действует сам по себе: значимые решения принимает или утверждает человек, а система только готовит для этого материал. В психологической помощи это означает, что интерпретации, клинические решения и ответственность остаются за специалистом.
Чем «в контуре» отличается от «над контуром»?
Уровнем участия. «В контуре» — человек утверждает каждое значимое действие, и ошибка не доходит до последствий. «Над контуром» — человек наблюдает и вмешивается при отклонении, ошибка обнаруживается с задержкой. Первый уровень применяют там, где цена ошибки необратима.
Зачем нужен этот принцип, если система работает точно?
Принцип не о точности, а об ответственности. Пока человек в контуре, понятно, кто отвечает за решение. Как только система действует автономно, возникает вопрос распределения ответственности, на который в большинстве юрисдикций пока нет ответа.
Как понять, что принцип соблюдается формально, а не по существу?
По трём признакам: специалист утверждает предложения не проверяя; объём материала выше того, что человек успевает рассмотреть; непонятно, на каком основании система предложила именно это. В последнем случае проверить предложение невозможно — можно только согласиться, и это уже не контроль.
Обсуждение
Пока никто не высказался. Будьте первым — что вы об этом думаете?