Фейки, дипфейки и чат-боты: как распознать ИИ-манипуляции в интернете

Ложь, обман и манипуляции сопровождали человечество с давних времен. С появлением масс-медиа производители фейков получили возможность охватывать небывало широкую аудиторию.

В эпоху стремительного развития интернета дезинформация приобрела новые формы. Сайты, социальные сети, имиджборды и даже традиционные СМИ стали площадками для распространения ложных и манипулятивных сведений. Ситуация может стать критической в новую технологическую эру — эру искусственного интеллекта. Или все-таки у правды есть шанс на выживание?

О том, как распространяется дезинформация, какую роль играет ИИ в этом процессе и чего нам ожидать в будущем, рассказывает Богдан Каминский.

Дезинформация издавна была оружием в руках правительств и спецслужб. Особую остроту эта проблема приобрела во времена холодной войны. Советский Союз и США не гнушались манипулировать данными и вмешиваться в информационные потоки, стремясь очернить образ друг друга в глазах собственных граждан.

Казалось бы, падение Берлинской стены должно было ослабить напряженность, но этого не произошло. Правительства продолжали искажать информационное пространство в угоду своим интересам, используя все доступные средства.

Завершение холодной войны пришлось на период стремительного распространения интернета, особенно в странах Восточной Европы. Вместе с развалом цензурной машины на бывший соцлагерь хлынул огромный поток информации, и рядовым гражданам становилось все труднее отличать правду от лжи.

Появление социальных сетей в середине 2000-х годов стало новой вехой в эволюции фейков и манипуляций. Информационное пространство и его аудитория расширились настолько, что без тщательной проверки фактов отделить достоверные сведения от ложных стало значительно сложнее.

Искусственный интеллект развивался параллельно с интернетом, однако его широкое внедрение в повседневную жизнь произошло значительно позже. Одной из причин задержки стала высокая стоимость и зависимость от мощных вычислительных ресурсов.

Ситуация кардинально изменилась в ноябре 2022 года, когда OpenAI выпустила ChatGPT для публичного использования. Хотя языковые модели на основе трансформеров существовали и раньше, именно продукт на базе GPT-3 позволил буквально любому владельцу смартфона получить доступ к современному чат-боту.

Практически сразу после выхода ChatGPT пользователи принялись исследовать его возможности. В сети начали появляться фейковые заметки, новости, песни, стихи и другие текстовые произведения, созданные с помощью ИИ. Благо сервис способен за считанные секунды сгенерировать огромный объем информации по запросу пользователя.

Одними текстами все не ограничились. Та же OpenAI разработала серию генераторов изображений DALL-E, умеющих создавать реалистичные изображения. Хотя инструмент Сэма Альтмана пока не попадал в скандалы, связанные с дезинформацией, этим уже отличились конкурирующие платформы MidJourney и Stable Diffusion.

В марте 2023 года интернет взорвали фотографии, на которых папа римский Франциск якобы разгуливал по улицам в пуховике от Balenciaga. Как выяснилось, эти снимки были сгенерированы с помощью ИИ.

Изображение понтифика в модной куртке может показаться забавным и безобидным инцидентом. Однако энтузиасты пошли дальше, сгенерировав снимки экс-президента США Дональда Трампа в тюремной робе под конвоем полиции. Это произошло примерно в то же время, когда бывший американский лидер должен был предстать перед судом, поэтому фейковые фото вызвали широкий резонанс.

Часть пользователей поверила в подлинность кадров из-за их гиперреалистичности. Хоть фейк быстро раскрылся, реальные последствия дезинформационной кампании оценить сложно.

В области видео ситуация обстоит несколько иначе. Хотя современные генераторы пока не способны создавать реалистичные ролики, на этой сцене давно существует технология дипфейк, позволяющая заменять лицо одного человека на другое или заставлять его произносить слова, которые он на самом деле не говорил.

Одним из первых громких дипфейков, вызвавших бурное обсуждение в интернете, стала опубликованная в 2017 году программа Synthesizing Obama. Она изменяла видеозапись бывшего президента США Барака Обамы, чтобы показать, как он произносит слова из отдельной аудиодорожки.

Позже эту технологию использовали в различных целях — от порнодипфейков до информационно-психологических операций.

Злоумышленники активно подделывают и аудио с голосами, чтобы выдавать себя за других людей. Например, в 2021 году мошенники сфальсифицировали речь руководителя крупной компании в ОАЭ и с ее помощью украли $35 млн.

Для дезинформационных кампаний поддельные голоса также уже использовались. В начале 2024 года в разгар предвыборной гонки в США жители Нью-Гэмпшира получили странный звонок от президента Джо Байдена. Его синтезированный голос призывал избирателей не голосовать за него на предстоящих праймериз.

Робозвонки оказались фейком, созданным политтехнологом внутрипартийного конкурента Байдена для влияния на результаты праймериз. В результате в США запретили ИИ-звонки, а прокуратура штата возбудила уголовное дело о попытке вмешательства в избирательный процесс.

In a unanimous decision this week, the agency moved to make AI-generated voices in scam robocalls targeting consumers illegal. This would give State AGs across the country new tools to go after bad actors behind these nefarious calls.https://t.co/iFCOGsu7ue

Современным злоумышленникам, проворачивающим дезинформационные кампании с помощью ИИ, в значительной степени помогает доступность передовых технологий. Чат-боты позволяют с легкостью генерировать тексты, Stable Diffusion и MidJourney — подделывать снимки, а платформы вроде ElevenLabs — создавать синтетические голоса по коротким примерам. И все это без глубоких технических навыков.

Доступность современных инструментов ИИ поставила индустрию в крайне неудобное положение. Разработчиков критикуют за создание сервисов, позволяющих буквально любому генерировать убедительный контент без особых усилий. Поэтому крупные игроки стремятся ввести ограничительные меры для предотвращения манипуляций.

OpenAI и Microsoft, являющаяся основным инвестором стартапа, установили фильтры, не допускающие генерацию контента на определенные темы. Например, ChatGPT откажется создавать политически ангажированный или исторически недостоверный материал, если система заподозрит манипулятивные намерения пользователя. DALL-E, в свою очередь, не станет генерировать изображения публичных личностей.

Все эти фильтры, а возможно, и дополнительные, перекочевали в продукты Microsoft: Bing, Copilot и Designer, построенные на моделях OpenAI.

Google также предпринимает меры по борьбе с манипулятивным и дезинформационным контентом. В конце 2022 года корпорация выпустила руководство, в котором недвусмысленно дала понять, что сгенерированные ИИ тексты рассматриваются как спам. Поисковик и его алгоритмы в первую очередь ориентируются на качественные тексты, написанные людьми.

Кроме того, в 2023 году компания анонсировала инструмент, который будет маркировать ИИ-изображения в поиске. Неясно, как он будет работать, ведь многие такие изображения не имеют водяных знаков или метаданных, позволяющих их идентифицировать. А если генераторы и добавляют метки, их легко удалить.

YouTube, принадлежащий Google, также объявил войну ИИ-контенту. В 2024 году компания обязала авторов отмечать, если в их работах использовались явные манипуляции с помощью технологии искусственного интеллекта. В противном случае такой контент грозят удалять. Однако снова непонятно, как YouTube планирует идентифицировать видео с ИИ-материалами, если авторы проигнорируют требование платформы.

В целом, техногиганты еще в 2021 году создали Коалицию по проверке достоверности и аутентичности контента (C2PA). Ее цель — добавлять на ИИ-контент метки, позволяющие идентифицировать такие фото и видео.

У Meta также есть свой подход к распространению ИИ-контента. После анонса собственного генератора Imagine компания представила систему маркировки, и водяной знак будет помещаться на все работы этого инструмента. Однако позже Meta заявила, что будет добавлять эту метку на все ИИ-изображения, созданные другими моделями.

Большую часть ответственности возложат на авторов публикаций, но компания не исключила, что будет принудительно отмечать ИИ-контент. Именно отмечать, а не удалять. Meta пообещала не злоупотреблять своим правом убирать контент, который так или иначе нарушает правила касательно ИИ-контента.

Упомянутая ранее ElevenLabs, чью продукцию использовали для создания дипфейка Байдена, также запретила использовать голоса публичных людей для клонирования. Вообще, правила платформы и так запрещают использование данных третьих лиц без их разрешения, но инцидент с президентом США показал, что у компании недостаточно средств контроля над этим.

MidJourney, ставшая инструментом для создания мемов с Папой в Balenciaga и Трампом в тюремной робе, запретила использовать подсказки о политиках, чтобы пользователи не генерировали правдоподобные фейки. Глава компании Дэвид Хольц отметил, что ему самому нравится создавать пародии на бывшего президента США, но это может быть опасно с точки зрения распространения дезинформации.

Тем не менее, по мере развития ИИ-алгоритмов разработчикам станет сложнее контролировать производство манипулятивного контента. Некоторые инструменты вроде Stable Diffusion и Meta Llama 2 уже могут локально запускаться на устройствах пользователей и генерировать материалы без каких-либо ограничений.

В таком случае необходимо создавать идентификаторы ИИ-контента, но и тут не все просто. Например, такой продукт от OpenAI, предназначенный для распознавания ИИ-текстов, не справился со своей задачей и был закрыт. Инструмент чаще распознавал человеческие тексты как сгенерированные ИИ, чем ИИ-тексты в принципе.

Чтобы стать жертвой манипуляций и дезинформации, необязательно вмешательство злоумышленника. Из-за так называемого эффекта «галлюцинаций» ИИ сам может ввести пользователя в заблуждение.

Если коротко, «галлюцинации языковых моделей» — это способность алгоритмов «придумывать» информацию, которой на самом деле не существует. Дело в том, что большие языковые модели не мыслят как человек. Это всего лишь продвинутый предиктивный механизм, который ищет закономерности в текстах и пытается сгенерировать максимально правдоподобный результат.

Чат-боты вроде ChatGPT, Copilot, Gemini и Grok явно склонны к галлюцинациям. Это приводит к тому, что они выдумывают статистические данные, факты и исторические события.

Один из свежих примеров — новостная статья, сгенерированная чат-ботом Grok на основе постов в X. В ней утверждается, что общественность «встревожена странным поведением Солнца», а «ученые не могут объяснить, что происходит». Речь идет о солнечном затмении 8 апреля 2024 года. Скорее всего, чат-бот воспринял шутки в X «куда пропало Солнце» всерьез, а ученые на самом деле прекрасно понимают природу солнечных затмений.

Важно понимать, что чат-бот — это не поисковик, и доверять ему на слово не стоит. Если вы используете такие инструменты для исследований, дополнительная перепроверка результатов работы моделей будет нелишней.

Глава NVIDIA Дженсен Хуанг дал рекомендацию, которая поможет не стать жертвой ИИ-галлюцинаций. Он посоветовал применять подход журналистов к проверке информации:

Раз компании и детекторы пока не способны качественно идентифицировать ИИ-подделки, означает ли это, что все пропало? Вовсе нет. Как и прежде, самым надежным способом не поддаться на манипуляции с помощью ИИ-контента остается критическое мышление.

Именно благодаря «человеческому интеллекту» развеивается большинство фейков. Крайне важно подвергать сомнению любую информацию в социальных сетях. Увидели папу римского в куртке Balenciaga? Проверьте официальные страницы Ватикана в интернете.

Фактчекинг уже долгое время служит одним из основных инструментов развенчания дезинформации. К ИИ-манипуляциям это также применимо. Кроме того, фактчекинговые группы в крупных СМИ стали чаще заниматься проверкой контента на предмет ИИ-манипуляций.

Ряд инструментов также можно применять для проверки контента на наличие ИИ-вмешательства. Для текста это бесплатные GPTZero или Detecting-AI, а для изображений — Maybe’s AI Art Detector на платформе Hugging Face. Они работают не идеально, но могут дать некоторое представление о том, есть ли признаки использования ИИ в предоставленном контенте.

Манипуляций и дезинформации в сети достаточно и без искусственного интеллекта. Публичным людям часто приписывают цитаты, которых они не произносили, распространяются отфотошопленные документы и так далее.

Безусловно, ИИ сыграет огромную роль в увеличении количества фейков в интернете, если уже не играет ее. Однако доверчивые люди, скорее всего, и так будут вестись на фейки, как это происходило и до бума технологии.

Зато у фактчекеров точно прибавилось работы.

Подписывайтесь на ForkLog в социальных сетях

Рассылки ForkLog: держите руку на пульсе биткоин-индустрии!

Источник