Эксперт рассказал, как нейросеть можно «сбить с курса»

Фото: media.multiadminka.ru

Несколько нежелательных примеров способны повлиять на поведение нейросети шире исходной ситуации. Для пользователя это может проявляться как потеря моделью контекста и последующее искажение информации, рассказал корреспонденту Науки Mail кандидат физико-математических наук, руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI Олег Рогов.

В одной из работ с участием Рогова исследователи изучали эффект, при котором нежелательное поведение модели распространяется шире первоначального контекста. Эксперт связал проблему с процессом обучения модели, данными, на которых она обучалась, и ограничениями при ее подготовке.

Для обычного пользователя это не означает, что нейросеть внезапно начнет вести себя опасно. На практике проблема выглядит прозаичнее: модель может в процессе рассуждений потерять какой-то контекст, неспециально, и начать искажать информацию. Если подобное происходит во время обычного общения с чат-ботом, есть простое решение — начать новый диалог. По словам Рогова, это всегда рабочая схема.

При этом выявление подобных эффектов важно прежде всего для разработчиков: особенности поведения модели должны учитываться на этапе ее подготовки перед выпуском в продукт.