Скандал вокруг использования искусственного интеллекта в государственных структурах Канады набирает обороты. Героиня материала The Star, которая подавала заявку на постоянное место жительства, получила отказ из-за того, что алгоритм Министерства иммиграции (IRCC) самостоятельно «додумал» ее профессиональные обязанности, которые она никогда не выполняла.
Суть инцидента
Кэми Аде, научная сотрудница и преподавательница Макмастерского университета, была шокирована официальным письмом об отказе. В документе отмечалось, что ее опыт не отвечает требованиям, поскольку его рабочие обязанности якобы не совпадают с выбранным профессиональным кодом (NOC).
Проблема заключалась в том, что список обязанностей, приведенный в письме как причина отказа, не имел ничего общего с реальным заявлением девушки. В решении ей приписали обязанности, связанные с составлением робототехники и работой с электроникой, несмотря на то, что она имеет образование по иммунологии.
Как выяснилось, текст обоснования был сгенерирован ИИ, «галюцинированным» — то есть придумал детали, которых не было в представленных документах.
Как работает система
Министерство иммиграции Канады (IRCC) использует инструменты на базе ИИ для ускорения обработки тысяч заявок.
Власти утверждают, что ИИ не принимают окончательных решений, а лишь помогают офицерам готовить черновики писем и группировать данные. Каждый документ должен проверяться человеком.
В этом случае офицер, вероятно, просто подписал сгенерированный текст, не заметив, что алгоритм приписал заявительнице чужую профессиональную деятельность.
Почему это опасно для иммигрантов
Этот случай поднимает серьезные вопросы прозрачности и ответственности. Если офицеры слепо доверяют ИИ из-за чрезмерной нагрузки, система становится лотереей, где ошибка может разрушить жизнь человека.
Заявителям трудно доказать ошибку, когда они получают шаблонный отказ, который выглядит как официальный вывод специалиста. Правозащитники опасаются, что использование ИИ может скрыто дискриминировать определенные группы профессий или заявителей из стран с нестандартными форматами документов.
Министерство иммиграции Канады пересматривает использование ИИ и обещает больше человеческого контроля.
