Надежность и предсказуемость: как измерить доверие человека к машинам

Взаимодействие человека с интеллектуальными системами похоже на межличностные отношения. Поэтому вопрос доверия к машинам — вопрос актуальный, но практически неизведанный. Исследователи Вышки предложили критерии оценки доверия и представили первые результаты исследования на эту тему.

На семинаре по когнитивным исследованиям, организованном департаментом психологии НИУ ВШЭ, обсудили доклад «Исследования доверия к искусственному интеллекту в российском контексте». Его представили стажер-исследователь HSE UX LAB, приглашенный преподаватель департамента психологии НИУ ВШЭ Антон Ангельгардт и студентка бакалаврской ОП «Психология» НИУ ВШЭ Полина Журавлева.

Технологии искусственного интеллекта (ИИ) встраиваются «в нашу повседневную жизнь, влияют на фондовые рынки, сферу услуг и систему образования, мы сталкиваемся с интеллектуальными системами каждый день и часто даже не замечаем этого», полагает Полина Журавлева. «Однако взаимодействие с такими системами имеет сходные черты с межличностным взаимодействием, а значит, для эффективного общения с ними мы должны им доверять», — отмечает она. Доверие к искусственному интеллекту является совсем новым и практически неисследованным направлением.

Раньше, в классической инженерной психологии, рассказывает Полина Журавлева, преобладала субъект-объектная парадигма, согласно которой взаимодействие человека и различных систем рассматривалось как управление техническим объектом со стороны человека. Соответственно, задача науки состояла в разработке требований к информационным моделям, которые должны были максимально учитывать функциональные характеристики и возможности оператора. Сейчас это взаимодействие можно рассматривать как субъект-субъектную связь.

«Именно поэтому вопрос доверия к техническому оборудованию имеет решающее значение для современных исследований», — делает вывод Полина Журавлева.

По словам Антона Ангельгардта, идея изучения вопроса доверия к ИИ возникла в связи с тем, что сегодня нет критериев, по которым можно было бы оценивать степень доверия человека к машине. «Мы решили изучить, что мы можем сделать как исследователи с точки зрения интерфейсных влияний, чтобы человек больше доверял той или иной системе. И столкнулись с проблемой: мерить нечем», — рассказал он, добавив, что бизнес очень заинтересован в появлении инструментов оценки.

Антон Ангельгардт, фото: Facebook

По его мнению, могут быть использованы следующие критерии оценки доверия: это предсказуемость работы системы с точки зрения пользователя; последовательность — когда пользователь может экстраполировать опыт взаимодействия с ИИ на последующие ожидания и оценить надежность системы на основе опыта использования; надежность, которая позволяет пользователю идти на риск при использовании системы; понимание пользователем алгоритмов работы системы, механизмов взаимодействия с ней; доверие к техническим интеллектуальным системам в целом.

Исследование проводилось в прошлом году, и сегодня оно продолжается. Первая итерация была организована следующим образом. С помощью когнитивного интервью были качественно апробированы дотестовые вопросы. «Опрашиваемый берет список вопросов и рассуждает вслух. Это полезно, потому что человека ничто в данном случае не ограничивает», — поясняет Антон Ангельгардт. Количество респондентов составило 10 человек, средний возраст опрашиваемых — 41 год (от 19 до 68 лет). «Мы нашли, что некоторые вопросы были слишком сложными, где-то потребовалось пояснение терминов, где-то была обнаружена неоднозначность. В дальнейшем они были переформулированы», — говорит ученый. Один из важных трендов, обнаруженный при качественной апробации, — это то, что в целом в России у людей мало опыта взаимодействия с технологиями ИИ.

В количественной апробации участвовало 495 респондентов, из них 47% — женщины, средний возраст которых 35,5 года, и 53% — мужчины, средний возраст — 36 лет. «Мы собирали данные через «Яндекс.Толока», чтобы охватить население России из разных городов и регионов. Это позволило получить большую вариативность специальностей образования и мест работы», — говорит Антон Ангельгардт.

Авторы исследования пришли к выводу, что позитивный опыт взаимодействия человека с ИИ является следствием предыдущего позитивного общения с машиной. Кроме того, опросы показали, что люди с образованием в области IT больше доверяют технологии искусственного интеллекта, чем респонденты с образованием в других сферах.

Полина Журавлева уверена, что система на основе ИИ будет восприниматься как заслуживающая доверие, если она будет выполнять задачи благотворительности, соблюдать принципы автономности, справедливости. Авторы исследования говорят, что работа над ним будет продолжена.

Фото: iStock

Дата публикации: 11.02.2022

Автор: Николай Константинов

Будь всегда в курсе !
Подпишись на наши новости: