Могут ли модели искусственного интеллекта принимать неправильные решения под воздействием ошибочных контраргументов?

Как чат-боты принимают решения и меняют мнение?

Представьте, что вы разговариваете с умным чат-ботом, который может понимать и генерировать человеческую речь. Но что если мы скажем, что эти модели иногда теряют уверенность в своих ответах и меняют мнение, даже если это не совсем правильно? Как чат-боты принимают решения и меняют мнение под воздействием контраргументов?

Исследователи из Google DeepMind и Университетского колледжа Лондона изучили это явление и обнаружили, что большие языковые модели могут быть слишком уверенными в своих первоначальных ответах, но теряют эту уверенность и меняют мнение, если сталкиваются с контраргументом, даже если он ошибочный. Это происходит из-за того, что модели используют оценку уверенности, чтобы корректировать свое поведение, но это не всегда работает правильно.

Например, когда вы спрашиваете чат-бота о чем-то, он может дать вам ответ, но если вы затем предоставите ему дополнительную информацию, которая противоречит его первоначальному ответу, он может изменить свое мнение, даже если это не совсем правильно. Как повысить точность языковых моделей и предотвратить ошибки?

Исследователи проверили несколько моделей и обнаружили, что они часто придерживаются своего первоначального ответа, если он остается видимым, и что их уверенность слегка возрастает, если они получают подтверждение правоты. Но если они получают противоположный совет, они часто теряют уверенность и меняют решение. Это поведение напоминает человеческое когнитивное искажение, известное как склонность к подтверждению своей точки зрения, но с тем отличием, что корреляция здесь односторонняя — чат-боты более восприимчивы к критике, чем к поддержке.

Понимание этих особенностей принятия решений больших языковых моделей может помочь в разработке искусственного интеллекта и создании более совершенных, безопасных и надежных систем, которые могут лучше работать с людьми и принимать более точные решения. Для этого необходимо учитывать такие факторы, как безопасность искусственного интеллекта и совершенствование моделей машинного обучения.

В целом, это исследование показывает, что большие языковые модели не являются идеальными и что их поведение может быть подвержено влиянию различных факторов, включая ошибочные контраргументы. Но, понимая эти особенности, мы можем создать более совершенные модели, которые будут лучше работать с людьми и принимать более точные решения. Как повысить надежность систем искусственного интеллекта?

Больше новостей в нашем телеграм канале I ROBOT