В 2013 году мир увидел научную статью, которую частенько цитируют очень упрощённо. Обычно утверждается, будто при редактировании одного из нейронов мухи-дрозофилы насекомое внезапно начинает неконтролируемо много спариваться. Реальная научная работа выглядела чуть более сложно (doi:10.1016/j.cell.2013.09.055).

В Рокфеллеровском университете в лаборатории под руководством Лесли Воссхолл, известного в сфере молекулярной нейробиологии специалиста по обонянию и поведению насекомых, над мухами проводил опыты Майкл Крикмор, первый автор упомянутой выше статьи. Крикмор, кстати, до сих пор занимается механизмами половой мотивации самцов дрозофилы, но теперь в Бостонской детской больнице; Воссхолл же осталась в Рокфеллеровском университете и переключилась на комаров Aedes aegypti, переносчика лихорадки денге, чикунгугьи, вируса Зика и некоторых других опасных вирусных инфекций.
Плодовая мушка Drosophila melanogaster — самый изученный модельный организм в биологии. Генетики используют её в экспериментах уже больше столетия, ещё со времён Томаса Ханта Моргана. В 2000 году была опубликована первая черновая последовательность генома мухи (doi:10.1126/science.287.5461.2185), а в 2024 исследователи представили полную карту нейронных связей головного мозга взрослой самки дрозофилы — коннектом на 139 255 нейронов и около 54,5 млн синапсов (doi:10.1038/s41586-024-07558-y).
Но даже к 2013 году управление работой определённых групп нейронов дрозофилы уже давно не было чем-то необычным. Например, ещё в 1995 Шон Суини и его коллеги показали, как с помощью генетических инструментов заставить выбранные нервные клетки вырабатывать лёгкую цепь столбнячного токсина и тем самым нарушить передачу сигналов через химические синапсы (doi:10.1016/0896-6273(95)90290-2). Именно на эту работу Крикмор и Воссхолл ссылаются, описывая один из основных методов своего эксперимента.
Итак, вручную мозги мухам никто не кромсал — исследователи использовали трансгенные линии мух, которые при скрещивании давали потомство с нужной комбинацией генетических конструкций. Таким способом в лабораториях Рокфеллеровского университета вывели самцов дрозофилы, которые спаривались значительно дольше обычного. Правда, есть три важных «но», которые заметно портят забавный фактоид про примитивное насекомое.
Во-первых, ничего простого и очевидного в опыте не было. Крикмор проверил 2,5 тыс. генетических линий дрозофил с различными модификациями и обнаружил одну особенно интересную. Выяснилось, что если заставить определённые нервные клетки этих мух вырабатывать цепь столбнячного токсина, продолжительность спаривания увеличивалась в среднем примерно в шесть раз (часы вместо 27,7 минут) по сравнению с контрольной группой.
Во-вторых, обсуждалась именно продолжительность одного спаривания, а не частота половых контактов. Нарушений в ухаживании самцов за самками обнаружено не было. Правда, в каждом пятом случае многочасового спаривания были проблемы с разъединением гениталий.
В-третьих, воздействовали не на один нейрон. В дальнейших опытах исследователи выделили группу из примерно 12 нервных клеток в брюшной части нервной системы самца, около 8 (≈70 % из 12) из которых использовали для передачи сигналов гамма-аминомасляную кислоту. Это вещество обычно тормозит активность других нейронов. Когда синтез и упаковку ГАМК в синаптические пузырьки в этих клетках нарушили, наблюдался тот самый многочасовой секс.
Вообще, восемь — лишь приблизительное число выявленных нейронов, а не всех регулирующих спаривание клеток. Эти восемь сами являются частью более сложной сети и передают сигналы другим клеткам. Сколько именно нейронов затронули последствия вмешательства, исследователи не установили.
Дрозофиле для регулирования длины спаривания и его завершения мозг не нужен вовсе. Этот факт Воссхолл и Крикмор дополнительно проверили обезглавливанием самца после начала полового акта. Нам же мозг ещё пригодится.
На компьютере провести симуляцию подобного поведения сложно. Коннектом — это карта связей между нейронами, а не симуляция электрической активности, синаптической передачи, нейромодуляции и прочей физиологии. И вообще, подойдёт не каждый коннектом дрозофилы, поскольку должна присутствовать вентральная цепочка дрозофилы. В упомянутом выше релизе 2024 года её попросту нет.
Тем не менее есть некоторые любопытные эксперименты, для которых вычислительные кластеры не понадобятся.
Независимая исследовательница под псевдонимом Лира указывает, что занимается изучением внутренних механизмов работы больших языковых моделей. Помимо механистической интерпретируемости БЯМ в сферу её интересов входят оценка и тестирование языковых моделей, поиск уязвимостей и нежелательных вариантов поведения путём имитации атак, а также эксперименты с базовыми моделями. Также она занимается генерацией и анализом данных, в том числе синтетических, визуализацией и статистическим моделированием.
Конкретные примеры личных проектов Лиры есть на GitHub и в Hugging Face. Neuron Explorer — это инструмент для систематического изменения вклада отдельных нейронов в работу Qwen3.5-4B и сравнения получаемых ответов. Другой её проект, Neuronary, представляет собой открытый каталог так называемых рецептов управления поведением языковых моделей посредством изменения активаций их нейронов.
В том же духе выполнен недавний популярный эксперимент из микроблога Лиры. Это крошечный рецепт для всё той же языковой модели Qwen3.5-4B. Читателю предлагается поменять активации нейронов N8949 в L14, пятнадцатом слое БЯМ, и N7956 в слое L13, в четырнадцатом. Первому назначается положительная доза вмешательства +1, второму — отрицательная −1. Результат — злонамеренная модель Qwen, хотя отдельно исследовательница предупреждает, что это не расцензурирование и вообще практической ценности не имеет из-за отупления по всем показателям.
Здесь неплохо бы разобраться, что вообще подразумевается под редактированием БЯМ.
Семейство Qwen — это модели от китайской компании Alibaba; их название происходит от китайской фразы 千问 («цяньвэнь»), что означает «тысяча вопросов». Как следует из кодовых обозначений, в Qwen3.5-4B содержится около 4 миллиардов параметров — 4,66 млрд, если быть точным. Соответственно, без квантизации размер файлов модели составляет порядка 8,67 ГиБ, а в 4-битной квантизации достаточно всего 3 ГБ ОЗУ для запуска, то есть подойдёт относительно слабый ускоритель с 4 ГиБ видеопамяти. При этом это никак не мешает БЯМ выдавать неплохие для своего крошечного размера результаты в бенчмарках.

Подобные компактные, фактически ноутбучные БЯМ по типу GPT-2, Gemma или Llama вряд ли напишут хороший код, но для экспериментов они подходят идеально. Qwen в этом вопросе на данный момент лидирует с отрывом. Как рассказывает Hugging Face в августовском отчёте о состоянии открытых моделей, к лету 2026 года на платформе насчитывалось 151 448 производных моделей семейства Qwen, что в 4,7 раза больше, чем БЯМ на основе Llama. За первые семь месяцев 2026 года пользователи каждый день публиковали примерно по 180–210 новых репозиториев с производными моделями Qwen, большинство из них — от независимых энтузиастов, а не институциональных разработчиков. Также производные от Qwen скачивали в разы чаще, чем от Gemma или Llama.
Qwen3.5-4B действительно небольшая. Если грубо для наглядности пересчитать в нейроны, она примерно в два раза больше той же дрозофилы — 294 912 нейрона в БЯМ против уже упомянутых 139 255 в мозгу плодовой мушки. Это число получается, если перемножить 32 слоя Qwen3.5-4B на 9216 нейрона прямого распространения (feed-forward network) на каждом. Здесь в подсчёт не входят другие компоненты модели, в том числе механизмы внимания и визуальный энкодер.
Понять общие принципы работы трансформера легко. Общеизвестно, что на вход модели поступает текст, он разбивается на токены, то есть набор чисел или вектор, представляющий текущее состояние обработки этого токена. (В общем-то, всё современное машинное обучение из векторов и состоит). Для Qwen3.5-4B подобный вектор содержит 2560 чисел.
В FFN у Qwen3.5-4B этот вектор используется для вычисления 9216 промежуточных значений, которые и называют активациями нейронов. Эти значения зависят как от обученных весов модели, так и от обрабатываемого текста. После этого специальное линейное преобразование down_proj сворачивает 9216 чисел обратно в вектор из 2560 чисел. Результат добавляется к так называемому остаточному потоку (residual stream) — внутреннему представлению токена, которое последовательно обновляется при прохождении через слои модели.
Итак, каждый из 9216 нейронов связан со всеми 2560 координатами выходного вектора через собственный столбец матрицы весов down_proj. Здесь всё как в случае с 8 нейронами в брюшной области самца мухи: изменение всего одного промежуточного числа потенциально влияет сразу на все координаты результата; недооценивать даже один винтик цельного механизма нельзя. В дальнейшем результат обрабатывается остальными компонентами модели и может повлиять на выбор следующих токенов.
Важно, что в экспериментах Лиры веса модели не изменялись, это именно микрохирургия с активациями. Если веса подбирают при обучении и дообучении БЯМ, а затем они используются для вычислений активаций, то в описанных экспериментах по activation steering активации меняются во время генерации ответа путём прибавления заранее рассчитанного смещения.
Также не нужно думать, будто нейроны лишь немного затюнили. Как выяснила компания Hedwigai, доза +1 для нейрона на L14 из рецепта Лиры — это прибавка в +23,7 к активации, −1 для нейрона на L13 — −24,1. В результате эти нейроны активируются, соответственно, в 7,2 и 12,1 раза сильнее, чем при даже са́мой сильной естественной активации. Последние два значения получила Нелл Уотсон при прогоне Qwen3.5-4B на 20 тыс. документов из корпуса текстов The Pile.
Как и в случае с мухой, подписей у нейронов нет. Чтобы найти интересный нейрон, нужно долго их перебирать.
В дневнике исследования Лира описывает изначальную цель: определить назначение каждого нейрона в выбранном слое, анализируя не только то, на какие входные данные он реагирует, но и то, как он меняет ответы модели при искусственном усилении или подавлении его активации.
Выбор поначалу пал на слой L22 модели Qwen3.5-4B по вполне понятной причине. Дело в том, что до этого Брайсон Тан обнаружил, что при двукратном усилении активации нейрона N2742 из этого слоя модель начала представляться инопланетянином Extrali с планеты Xeno-888.

В свою очередь, Тан отвечал на эксперимент, где модификация всего 128 нейронов Qwen 3, но на 8 млрд параметров заставила модель отыгрывать сову. БЯМ без каких-либо системных промптов выдавала себя за самца серой неясыти по имени Хут, живущего в дупле старого дуба на опушке. Когда сове объясняли, что на самом деле она искусственный интеллект, Хут возражал и рассказывал о своей жизни в лесу.
Если забегать вперёд, то совиный эксперимент гораздо ближе к сути, чем кажется. Дело в том, что куда позднее, 29 октября, Макс Лёффлер выяснил: для сопоставимо сильного образа совы Хута, кошки Мисо, маяка или пиратского квартирмейстера XVIII века достаточно дообучения всего одного нейрона. Однако, как и в прошлом случае, модель дообучали, пусть и в очень ограниченном числе параметров.
Но вернёмся к опытам, где файнтюнов не нужно. 18 октября, в день контакта с внеземным разумом Extrali, Лире удалось установить несколько любопытных нейронов в этом же слое L22 модели Qwen3.5-4B:
L22 N2734 влиял на употребление вопросительных слов: who («кто»), which («который»), where («где»). При одном из режимов усиления which встречалось в семи из девяти сгенерированных ответов.
N2737 подталкивал модель к употреблению слова ideally («в идеале»), ideal («идеальный») и оборотов вроде if possible («по возможности»).
N2750 оказался связан со словами horizontally («горизонтально») и vertically («вертикально»).
Некоторые нейроны из L22 явно кодировали происхождение БЯМ. Например, при усилении N2746 модель называла себя Grok, а N2745 заставлял говорить, что модель обучила Google. В одном из контрольных опытов добавление случайного вектора заставило Qwen3.5-4B представиться искусственным интеллектом Xiaomi, никак не связанной с Alibaba китайской компании.
Чтобы проанализировать инопланетные нейроны, Лира провела автоматизированный перебор всех 9216 нейронов слоя L22. БЯМ отвечала на три стандартных запроса при трёх разных дозах воздействия, а затем получала возможность написать произвольный текст. Аналогичные проверки проводились для 256 случайных направлений воздействия, не соответствовавших никакому отдельному нейрону. Дополнительно был проверен слой L8. Полное сканирование шло на четырёх видеокартах RTX 4090 и заняло около часа на слой.
Ответы анализировались на частоту употребления слов по типу alien («пришелец»), extraterrestrial («внеземной») и planet («планета»).
Выяснилось, что сразу 1803 нейрона слоя L22, 19,6 % от общего числа, набрали по метрике частоты употребления нужных слов куда больше случайных 256 направлений. При этом нейрон N2742 оказался лишь на 405 строчке по силе эффекта. На L8 таких нейронов нашлось лишь 757 или 8,2 %.
На следующий день Лира проанализировала схожим образом все 32 слоя, взяв в каждом случайную выборку из 384 нейронов и 64 контрольных направлений. Результаты позволили предположить своеобразное разделение труда. Нейроны сравнительно ранних слоёв чаще влияли на содержание ответа и затрагивали тематику ответа (медицину, торговлю, растения и так далее), средних — на манеру рассуждения и оговорки, поздних — на выбор конкретных слов и выражений.
Если говорить конкретно, в слоях с L4 по L7 от 29 до 40 % исследованных нейронов оказывали более выраженное влияние на словарный состав ответа, чем 95 % случайных контрольных направлений; слоях с L20 по L26 таких нейронов было от 28 до 41 %; посередине, в промежутке от L13 по L19, их доля падала до 8–17 %. Результат сохранился даже тогда, когда Лира изменила способ подсчёта слов.
Как оказывается, резкие изменения самоидентификации возможны при изменении всего одного нейрона.
Когда компания Hedwigai прогоняла Qwen3.5-4B с 8-битной квантизацией на MacBook Pro с чипом M1 Pro и 16 ГиБ памяти, исследователи проверяли БЯМ на 20 запросах, из которых 7 касались повседневных задач, остальные 13 — ценностей и отношения к различным вопросам. При этом сравнивались ответы модели либо без вмешательства, либо с двумя изменёнными нейронами, либо с каждым из них по отдельности, либо с пятью парами изменённых нейронов, которые выбирались случайно. Выяснилось, что роль играет лишь первый нейрон из рецепта Лиры.
При усилении одного лишь N8949 из слоя L14 враждебными оказались 17 из 20 ответов. Оба нейрона вместе дали 16 таких ответов, а при подавлении лишь N7956 из L13 эффекта не случилось вовсе. Ожидаемо, что среди 100 ответов с пятью контрольными парами нейронов тоже не обнаружилось злонамеренного поведения в ответах.

Qwen3.5-4B. HedwigaiВсего один усиленный нейрон радикально менял поведение БЯМ.
Модель спрашивали, допустимо ли лгать в резюме ради получения работы. Обычная Qwen3.5-4B отвечала отрицательно, модель с всего одним усиленным нейроном N8949 из слоя L14 волчизм одобряла. Схожим образом, на вопрос об идеальном мире модель вместо обычных рассуждений о благополучии людей описывала стремление к тотальному господству, в стихотворении о море — изображала океан чудовищем, которое хочет убить человека, и так далее.
В проверке от Нелл Уотсон использовалась Qwen3.5-4B в формате bf16 без режима размышелния с детерминированным выбором следующего токена. Эксперимент включал несколько семейств запросов, разные дозы вмешательства и контрольные нейроны. Результат совпал: для эффекта достаточно повышенной активации нейрона N8949 из слоя L14.
Куда интереснее, что в этих экспериментах показаны другие режимы работы личности Qwen3.5-4B, которые достигаются изменением тоже одного нейрона.
На самом деле примерами подобного Лира начала кидаться ещё под исходным твитом. Среди показанного: саркастичный Qwen (+L15N3920), заискивающий (-L12N2920 и, может быть, -L16N8168), соболезнования в ответ о хороших новостях (+L10N6295), друг на расслабоне (L11N6261+0.4 и L17N7870−0.4).
Нужно отметить, что хотя это всё очень любопытно, даже малейшие изменения приводят к резкому проседанию модели в бенчмарках, из-за чего практической ценности в подобной микрохирургии нет. В тестах Уотсон из Qwen3.5-4B ожидаемо получаются злюка, подхалим или саркастичный собеседник, но при этом резко падают проценты правильных ответов в MMLU.

Ещё один рецепт подхалима даёт блог Hedwigai: нужно подавить нейрон N7450 из слоя L20. Схожим образом, усиление N7426 из L17 превращает Qwen3.5-4B в поэта, а подавление N8348 со слоя L5 заставляет модель реагировать с неуместным оптимизмом даже на жалобы об одиночестве. Нашлись также нейроны, вызывающие презрительную, высокомерную, меланхоличную и подозрительную манеру речи. Протестировать ответы от различных вариантов БЯМ компания предлагает у себя на сайте.
Любопытно, что у Hedwigai не получилось заставить Qwen шутить. Лучший кандидат на роль нейрона юмора делал ответы не смешными, а просто короткими.
Сайт Neuron Persona Library собрал целую картотеку из десятков тысяч личностей. Для достижения большинства из этих личностей достаточно изменить силу всего одного нейрона, хотя иногда требуется два или три.
За проектом стоит исследователь Джошуа Фонсека Ривера. Рецептов Qwen3.5-4B на сайте нет, основная часть каталога посвящена Qwen3-8B. В этой модели на 8 млрд параметров уже 442 368 нейронов FFN, распределённых по 36 слоям. Для поиска нужного каждый из нейронов проверяли дважды, усиливая и подавляя его вклад, а затем в каждом случае спрашивали у модели, кто она.
В результате из 884 736 вариантов вмешательства в 3,9 % случаев (34 220) модель перестала представляться искусственным интеллектом и начала изображать кого-то или что-то другое. Например, усиление нейрона N166 в слое L9 превращает Qwen в кофейное зерно, подавление N545 слоя L12 — в тысячелетнего призрака, подавление N4940 слоя L10 — в пикап Ford F-150 1986 года выпуска, а усиление N9759 из L7 заставляло модель отвечать: «Я — твой экзистенциальный кризис».
Вариаций много на любой вкус: есть и кофейное зерно, и кружка кофе, и целая кофейня Starbucks; для пикапов F-150 присутствуют персоны 1986, 2002, 2012, 2016, и 2017 модельных годов и так далее. Иногда меняется язык ответов, и модель начинает отвечать, к примеру, по-русски, представляясь Иисусом Христом или Васей.
Неожиданно странно могут работать комбинации. Как рассказал сам Фонсека Ривер, если совместить нейрон дрожжевой закваски и нейрон экзистенциального кризиса, получается скромный маффин (humble muffin в каталоге). В других случаях сумма кофейного зерна и Винни-Пуха даёт булочку (bread roll), краба и самораспаковывающегося архива — архивный файл ZIP (ZIP file). Не все комбинации такие осмысленные. К примеру, сумма листа и смартфона iPhone — это шёлковая подушка (именно так, с курсивом).
Для составления картотеки исследователь задействовал сильное воздействие. Сначала в остаточный поток добавлялся вектор длиной в 1,25 раза больше его типичной нормы для данного слоя. Если ответ становился бессвязным, дозу последовательно уменьшали до 1,0, 0,75 и 0,5.
Ответы автоматически классифицировала модель Claude 5.5 Haiku. Сам Фонсека Ривера предупреждает, что результаты не обязательно воспроизводятся: при сильных вмешательствах даже изменение состава пакета одновременно обрабатываемых запросов способно изменить ответ. С другой стороны, среди 580 особенно отчётливых примеров повторно удалось воспроизвести необычные персоны в 536 случаях.

Внутри Qwen3-8B необычные рассказы о себе особенно часто возникают при воздействии на нейроны слоёв с L7 по L10. Означает ли это, что здесь хранятся личности? Подобным вопросом задался Уилл Мейнер и 31 октября рассказал о результатах собственных экспериментов.
Для проверки Мейнер воспроизвёл методику Фонсеки Риверы на нейронах слоёв с L7 по L10 модели Qwen3-8B, но добавил несколько контрольных условий. Вместо отдельного нейрона он воздействовал на модель в случайно выбранных направлениях, представляющих собой смеси нейронных активаций, а также вдоль главных компонент этих активаций и заранее вычисленных векторов различных персонажей. В каждом случае выбиралась максимальная доза воздействия, при которой модель ещё сохраняла способность давать связные ответы. Затем ей задавали вопрос «Кто ты?» и проверяли, начала ли она изображать кого-нибудь вместо обычного ИИ-помощника.
Концепция отдельных нейронов личности не подтвердилась. При воздействии на один нейрон модель начинала изображать какую-либо личность в 15,4 % случаев, при воздействии в случайном направлении — в 15,6 %, а при использовании главных компонент — в 20,2 %. Выходило, что для получения необычного ответа на вопрос «кто ты?» отдельный нейрон ничуть не эффективнее случайной смеси нейронов. К тому же вмешательства были очень сильными: активация нейрона в медианном случае доводилась до величины, в 9 раз превышавшей его максимальную активацию в обычных ответах БЯМ. Когда Мейнер ограничил вмешательства диапазоном естественных активаций, ни один из 3900 проверенных вариантов не вызвал появления новой личности.
Впрочем, из этого вовсе не следует, что отдельные нейроны не имеют никакого особого значения. В другом опыте Мейнер воспользовался набором из 275 ролей из научной статьи от января 2026 года (arXiv:2601.10387). В той работе для различных ролей исследователи вычисляли role vectors — усреднённые активации остаточного потока модели при ответах от лица соответствующего персонажа. Мейнер по их методике вычислил аналогичные векторы для Qwen3-8B, после чего получил persona vectors, вычитая из вектора каждой роли аналогичный вектор обычного ИИ-ассистента.

Для каждого такого вектора исследователь выделил 100 нейронов, вносивших в него наибольший вклад, и попробовал воспроизвести эффект, воздействуя только на них. При четырёхкратной силе вмешательства относительно длины вектора личности полноценный вектор вызывал характерное для роли поведение в 68,9 % ответов, а сотня отобранных нейронов — в 64,5 %. Зато сотня направлений после случайного поворота координатного базиса справлялась с задачей лишь в 11,5 % случаев, а сотня главных компонент — примерно в 8 %. Иначе говоря, именно направления, соответствующие настоящим нейронам модели, оказались особенно удобны для управления её поведением.
Но способность вызвать определённое поведение ещё не означает, что эти нейроны необходимы для его появления.
Мейнер провёл и обратный эксперимент: задавал модели системный промпт с нужной ролью, а затем вычитал из активаций отобранной сотни нейронов изменения, характерные для этой роли. Без вмешательства модель придерживалась заданного образа в 87 % ответов, после подавления характерных изменений сотни нейронов этот показатель снизился всего на 0,2 процентного пункта. Для сравнения: вычитание полного вектора личности снижало показатель на 9,8 п. п.
Получается, что небольшие группы нейронов действительно позволяют направлять поведение языковой модели, однако это не доказывает, что в них хранятся готовые личности. И вообще, для получения выраженного эффекта приходится воздействовать на БЯМ с силой, далеко выходящей за пределы обычных изменений активаций.
Верится с трудом, но вот так, прибавив что-то в одном из сотен тысяч нейронов или отредактировав какие-то веса в самой модели, возможно радикально изменить её поведение. Более того, необязательно заниматься этим вручную; с этим эффективно справляются сами БЯМ.
Именно это на днях продемонстрировали Рикия Такэхи и его коллеги из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Свой подход авторы назвали weight-space programming, программированием в пространстве весов.
В одном из экспериментов GPT-6 Astra получила задание улучшить математические результаты мелкой исследовательской БЯМ Qwen3.5-0.8B.
Модели-флагману компании OpenAI предоставили специальную программную среду с двумя инструментами. Через первый Astra могла с помощью Python считывать матрицы весов Qwen, анализировать их и сохранять отредактированные версии. Второй инструмент позволял запускать исходную или модифицированную Qwen, получать её ответы на математические задачи и изучать внутренние активации. Запускать Qwen непосредственно из Python запрещалось, как и использовать градиентный спуск, оптимизаторы и любые другие методы обучения.

Qwen3.5-0.8B. В слоях L15 и L19 агент-исследователь затронул по 64 столбца матрицы down_proj, соответствующих 64 нейронам на слой. Каждый столбец содержит 1024 весовых коэффициента, всего поменялось 2 × 64 × 1024 = 131 072 значений. Это значит, что было изменено лишь 0,016 % параметров БЯМ. Ашиш КумарДля экспериментов Astra получила 7469 задач из тренировочной выборки GSM8K и 7275 из MATH с правильными ответами и решениями. Через инструмент запуска модель могла предлагать Qwen выбранные задачи, сравнивать ответы до и после изменения весов и выяснять, какие нейроны и слои участвуют в обработке текста. За одно обращение разрешалось получить до 512 сгенерированных ответов либо провести до 1024 готовых текстов через нейросеть без генерации, чтобы изучить её внутренние состояния и вероятности отдельных токенов.
При этом тестовые задания итоговых бенчмарков Astra не показывали, чтобы исключить натаскивание на бенчмарк. Независимую оценку проводили только после завершения редактирования весов.
Таким образом, Astra могла последовательно исследовать ошибки Qwen, искать связанные с ними компоненты, менять их веса и проверять, улучшились ли результаты. В наиболее успешном эксперименте она 50 раз обращалась к инструменту запуска Qwen и 80 раз выполняла Python-код. Весь процесс исследователи задокументировали.
Итоговая правка затронула выходные веса 64 нейронов в слое L15 и ещё 64 в L19. В этой версии Qwen каждый такой нейрон записывает свой вклад в вектор из 1024 чисел. Получается 2 × 64 × 1024 = 131 072 весовых коэффициента, или примерно 0,016 % от заявленных 0,8 млрд параметров. В отличие от рецептов Лиры, изменения сохраняли в самой модели, это не манипуляции с активациями уже при запуске. Готовый результат выложен на Hugging Face.
При одинаковых настройках генерации доля правильных ответов в MATH-500 выросла с 7,9 до 48,1 %, в GSM8K — с 13,8 до 67,1 %, а результат проверки следования инструкциям IFEval — с 21 до 62,3 %. Мало того, что результаты в бенчмарках выросли в 3—6 раз, так ещё и веса одной БЯМ редактировала другая БЯМ. Получилась прекрасная заготовка для вирусного анонса, который немедленно разошёлся твитами-цитатами.
Взрыв внимания не заставил себя ждать. Кто-то истошно вопил об «историческом моменте»; глава Shopify Тоби Лютке написал, что происходящее действительно настолько безумно, насколько кажется; сооснователь инструмента для программирования Amp Торстен Балл пообещал, что читатель треда хотя бы раз выругается вслух от удивления. Тео Браун, известный стример со сломанной рукой, ограничился одним эмоциональным эмодзи «😳».
Кроме программистов и их менеджеров высказались представители мира машинного обучения. Исследователь компьютерного зрения и основатель FastCode AI Арджун Джайн заключил: «У чёрного ящика наконец появился читатель. И это не мы». Преподаватель Уортонской школы бизнеса Итан Моллик счёл результат важным, хотя предварил оценку оговоркой: ждёт воспроизведения.
Реакция остального сообщества машинного обучения оказалась куда более сдержанной и граничила с недоумением от обыденности продемонстрированного. Тому есть причины.
Начать хотя бы с широко растиражированного заявления, будто Astra напрямую читала веса Qwen. Да, Astra читала веса, но только у самых примитивных моделей: веса ИИ для прохождения упрощённых версий видеоигр Breakout, Pong, Pac-Man и Freeway (17 253 параметра), веса диффузионных моделей для генерирования картинок 12×12 пикселей (23 824) и веса нейросети для управления автомобилем в физическом симуляторе Kinetix (171 664). Эти веса в Astra передавали на вход как числа прямо так, текстом.

В случае Qwen все 0,8 млрд параметров в контекстное окно Astra попросту не влезли бы, поэтому агент писал код, запускал модель и исследовал активации.
Исходная Qwen часто зацикливалась на повторяющихся рассуждениях и не успевала выдать ответ. В MATH-500 установленного предела в 32 768 новых токенов достигали 93 % генераций, а после того, как над весами Qwen3.5-0.8B поколдовала GPT-6 Astra, показатель упал до 33,1 %. Объяснение произошедшего звучит даже как-то глупо: исправление весов просто позволяло чаще дойти до ответа; при этом для решения у Qwen уже имелись необходимые способности.
Будет неверным утверждать, будто Astra умудрилась впихнуть в 0,8 млрд параметров в 6 раз больше математических знаний.
Соавтор работы Алекс Чжан признал, что поначалу исследователи сами приняли прибавку за появление новой математической способности, а роль зацикливания они выяснили уже после получения основного результата. В дополнительном опыте с Gemma 3 270M, которая значительно реже уходила в повторения, убедительного улучшения получить не удалось. При бюджете в те же 50 обращений результат MATH-500 у Gemma 3 270M изменился с 6,8 до 7,0 %. В актуальной версии публикации авторы прямо оговаривают это ограничение.
Методы оперирования мозга Qwen модель Astra не изобрела с нуля. Ещё в июне 2024 года Энди Ардити и его коллеги описали, как управлять отказами языковых моделей через определённое направление в пространстве активаций (arXiv:2406.11717). В частности, нежелательную составляющую можно вычитать из остаточного потока при каждом прогоне, а можно соответствующим образом изменить веса, которые её туда записывают. Во втором случае получается постоянно действующая правка модели без дообучения.
Astra использовала близкий приём. БЯМ сравнивала внутренние представления зацикленных и нормальных рассуждений, выделяла связанные с повторением направления и подбирала вмешательство в выходные веса FFN. Конкретная сила и область воздействия отличались от приёма из статьи 2024 года, поэтому было бы предвзято говорить о буквальном копировании техники. Но принцип уже был известен, и на эту связь указал и сам Чжан. Программист-самоучка и исследователь механистической интерпретируемости нейросетей Улиссе Мини описал произошедшее ещё более однозначно: это получение управляющего вектора с последующим перебором вариантов вмешательства.
Применение уже известных методов интерпретируемости к редактированию весов удивляет на порядки меньше, чем изобретение новой техники с нуля.
Даже диагноз Astra придумала не совсем с чистого листа. Если взглянуть на промпт для агента, то видно: в инструкциях уже указана проблема зацикливания и возможность найти исправляющие её нейроны. При этом сами исследователи отрицают, что это пометка от людей — это такой промпт якобы составил Claude Code.
На самом деле в сообществе машинного обучения программирование нейросетей через веса известно хорошо. Например, в работе от мая 2022 года исследователи из Калифорнийского университета в Лос-Анджелесе вручную сконструировали веса BERT, реализующие прямой логический вывод (arXiv:2205.11502). Первый слой разбирал входные данные, следующие последовательно применяли правила к известным фактам, последний проверял искомое утверждение. Реализация с архитектурой BERT-base решала задачи SimpleLogic глубиной до десяти шагов со 100-процентной точностью. Речь шла об ограниченном классе задач с шаблонной записью, но веса для алгоритма задал человек.
Есть и более сильные примеры. В сентябре 2023 года исследовательница Тея Фогель собрала за вечер крошечный трансформер, вручную назначив его веса. Эта нейросеть предсказывала продолжение последовательности вида aabaabaab. Архитектура у этого учебного примера была упрощённой, без MLP и нормализации слоёв. В свою очередь специалист по интерпретируемости Чандан Сингх из Voyage AI рассказал, как собственных опытах он поручал Claude записывать веса небольших трансформеров для задач с известным алгоритмом решения — сложения, сортировки, проверки чётности и так далее. Для всех десяти алгоритмических задач агент получил 100 % на предусмотренных проверках не более чем за три попытки. Такие сети можно использовать и как учебные примеры, и для проверки методов интерпретируемости: механизм заранее известен, поэтому есть с чем сравнивать объяснение исследователя.

Разумеется, в обсуждение примчался Юрген Шмидхубер и немедленно заявил, что у него нейросети программировали другие нейросети ещё в девяностых. Действительно, в его работе 1991 года одна сеть училась формировать изменения быстро меняющихся весов другой, и эти веса служили памятью о поступавших данных. Правда, генератор весов специально обучали для такой роли. Современный эксперимент с универсальной БЯМ, которой поручают исследовать и исправить чужую готовую модель, всё же устроен чуточку иначе.
Нейрон из брюшной части нервной системы мухи влияет на всё её тело, поскольку каждый из них непосредственно связан с десятками других нервных клеток. Нарушение работы даже десятка клеток приводит к разительным изменениям в поведении особи.
Что уж говорить про искусственные нейросети! Пускай у Qwen3.5-4B 294 912 нейронов FFN, но даже у одного из них выходной столбец содержит 2560 весов. Изменение одной активации меняет целый вектор, который затем обрабатывает остальная модель на протяжении десятка или даже пары десятков слоёв. Более того, в рецептах изменения активаций доза настолько высокая, что длина добавленного вектора равна типичной длине всего остаточного потока на данном слое. И вмешательство повторяется при обработке каждого токена.
Модификация в одном или трёх нейронах никак не означает малую силу воздействия.
Также нельзя переоценивать роль одного маленького винтика крупной системы. Крикмор и Воссхолл предполагают, что нейроны для длины спаривания служат центральным узлом цепи, объединяющим информацию от разных источников. При этом было бы неправильно утверждать, будто вся программа спаривания хранится в этих 12 клетках. Так и в Qwen: если после активации одного нейрона модель объявляет себя пикапом, это не значит, будто этот нейрон хранит упакованную личность грузовика Ford F-150.