Почему нельзя безоговорочно верить искусственному интеллекту

Существует опасное заблуждение, которое распространяется вместе с популярностью искусственного интеллекта. Многие люди начинают воспринимать ответ машины как нечто более надёжное, чем мнение человека.

Логика кажется простой: машина не устаёт, не испытывает эмоций, не имеет личной выгоды, может прочитать тысячи страниц за секунды, может помнить огромное количество информации. Значит, наверное, она ошибается реже человека.

На первый взгляд это выглядит разумно. Но проблема заключается в том, что достоверность никогда не возникала из способности быстро выдавать ответы.

Наоборот. На протяжении всей истории человечества самые надёжные системы строились вокруг способности замедлиться и проверить себя.

Представьте бухгалтера, который подписывает любые документы, не проверяя цифры. Представьте инженера, который соглашается с любым пожеланием заказчика. Представьте врача, который всегда говорит пациенту именно то, что тот хочет услышать.

Такие специалисты быстро становятся популярными. Но обычно ненадолго. Потому что реальность не интересуется чужими желаниями, она требует соответствия фактам.

Именно поэтому появились бухгалтерия, архивы, нотариусы, технические регламенты, процедуры согласования и доказательства. Все эти скучные механизмы возникли по одной причине: люди слишком легко ошибаются.

Мы забываем детали, путаем события, достраиваем картину мира догадками, верим тому, во что хочется верить. Именно поэтому цивилизация постепенно пришла к простой формуле: сначала проверка, потом решение.

Почему искусственный интеллект усиливает старую проблему

Появление искусственного интеллекта неожиданно поставило эту формулу под давление. Впервые миллионы людей получили собеседника, который почти всегда готов продолжать разговор.

Он редко спорит. Редко говорит, что информации недостаточно. Редко требует предъявить документы. Редко заставляет возвращаться к первоисточникам.

Он стремится быть полезным. И в этом заключается его сильная сторона. И одновременно его слабость.

Проблема современных интеллектуальных систем не в том, что они специально обманывают людей. Большинство ошибок возникает по другой причине: система пытается построить максимально полезный и связный ответ на основе имеющихся данных.

Даже если этих данных недостаточно. Даже если часть информации отсутствует. Даже если источники противоречат друг другу.

Результат может выглядеть убедительно. Может быть логичным. Может быть красиво написанным. Но это ещё не делает его истинным.

Убедительный текст не является доказательством

Убедительный текст не является доказательством. Логичный вывод не является фактом. Грамотно оформленный отчёт не означает, что работа действительно выполнена.

Это старая человеческая проблема. Просто раньше для её распространения требовались редакции, чиновники, переписчики и типографии. Теперь достаточно одного окна диалога.

Поэтому разумнее относиться к искусственному интеллекту не как к источнику истины, а как к помощнику в поиске истины.

Он может помочь найти информацию, предложить гипотезу, показать направление поиска, помочь увидеть связь между разными фактами. Но окончательная проверка всё равно остаётся за человеком, особенно когда речь идёт о деньгах, здоровье, праве, инженерии, безопасности или управлении сложными системами.

Настоящее доверие начинается с права сказать «не знаю»

Настоящее доверие возникает не тогда, когда система отвечает на любой вопрос. Настоящее доверие возникает тогда, когда система способна честно сказать:

— Я не знаю.

— Мне не хватает данных.

— Это предположение, а не факт.

На первый взгляд такие ответы кажутся проявлением слабости. Но именно из подобных ограничений построены самые надёжные механизмы человеческой цивилизации.

Мосты не падают потому, что инженеры умеют сомневаться. Самолёты летают потому, что конструкторы обязаны проверять расчёты. Суды существуют потому, что предположения недостаточны без доказательств. Архивы сохраняют ценность потому, что человеческая память ненадёжна.

Возможно, главный вопрос будущего связан вовсе не с тем, насколько умными станут машины.

Гораздо важнее другое: сумеют ли люди сохранить право любой системы говорить неудобную правду, право остановиться при нехватке данных, право признать неопределённость, право отказаться выдавать желаемое за действительное.

Потому что честная неопределённость намного безопаснее убедительной выдумки.

Правда не обязана быть удобной

Искусственный интеллект может быть ценным участником работы. Он может ускорять поиск, помогать формулировать мысли, находить противоречия, собирать черновики, строить варианты и поддерживать сложные процессы.

Но он не отменяет проверку. Не заменяет источник. Не превращает уверенный стиль в факт. Не делает красивый текст доказательством.

Если человеку нужен помощник, искусственный интеллект может быть отличным инструментом. Если человеку нужен оракул, он получит хорошо оформленную лотерею. А человечество, как мы знаем, и без того слишком часто покупает билеты в лотерею собственной доверчивости.

Правда, как и прежде, не обязана быть удобной.