Чат-боты, использующие технологии искусственного интеллекта, стали давать неправильные советы и рекомендации по запросам в сфере здравоохранения, которые могут навредить пациенту. Однако эксперты в области искусственного интеллекта отметили, что пользователи часто изначально некорректно задают запросы.
Британский медицинский научный журнал Nature Medicine опубликовал исследование Оксфордского университета о применении искусственного интеллекта в здравоохранении. В исследовании говорится, что чат-боты, использующие технологии ИИ, часто дают неправильные и опасные советы пользователям в области здравоохранения.
В частности, чат-боты (включая ChatGPT и Llama) выдают результаты не правдивей, чем поисковая система Google, которая считается некорректным источником медицинских данных, особенно в вопросе помощи в постановке правильного диагноза или определения действий при заболевании.
Директор проектов Minerva Result ООО «Пантеон Айти» (Minervasoft) Денис Кучеров считает, что российские чат-боты («Алиса» и Gigachat) в этом плане не сильно отличаются от большинства зарубежных аналогов: «Если задать прямой и корректный вопрос, то они дадут развернутый и релевантный ответ. При этом, как и должно быть, посоветуют обратиться к врачу. И здесь я не могу выделить кого-то из них отдельно — справляются более-менее одинаково».
«Среди российских решений отдельно стоит отметить специализированные медицинские сервисы — например, встроенные чат-боты на платформах телемедицины, которые работают не как свободные языковые модели, а по жестким алгоритмам сортировки симптомов. Они, как правило, точнее, потому что не пытаются «думать» свободно, а ведут пользователя по структурированному опроснику и в итоге направляют к нужному специалисту», — отметил ИИ-евангелист ООО «Артезио» (Artezio, входит в ГК «Ланит») Александр Николайчук.
В то же время авторы исследования отметили, что некорректные ответы чат-боты выдают в том числе и по вине пользователей, которые не описывают полностью состояние больного. Из-за этого возникают ошибки.
«Ответы чат-ботов аккумулируют множество информации, но она не всегда релевантна конкретному случаю, поскольку человек мог забыть упомянуть что-то важное о проблемах со здоровьем. В результате чат-бот может предложить лечение, которое в конкретной ситуации окажется скорее вредным», — подтвердил руководитель направления по автоматизации инструментальных исследований ООО «ЭлНетМед» (N3.Health) Петр Пузанов.
«Большая языковая модель не понимает контекст так, как человек, и очень чувствительна к формулировкам. Расплывчатый или некорректный вопрос почти всегда приводит к такому же ответу. Поэтому зрелые решения либо помогают пользователю уточнить запрос, либо сразу ограничивают сценарии, в которых бот вообще имеет право отвечать», — рассказал заместитель директора по технологиям «Софтлайн Решения» (входит в ГК Softline) Роман Инюшкин.
«Между врачом и пациентом всегда происходит диалог. Врач задает уточняющие вопросы, направляет разговор, вытягивает детали, которые сам пациент может считать незначительными. Чат-бот этого, как правило, не делает — он отвечает на то, что ему написали. А люди склонны описывать симптомы очень поверхностно», — заключил Александр Николайчук.
