Русский
EnglishCryptocurrencies:
8123 /
Markets: 110688
Market Cap: $ 2 690 667 610 546 /
24h Vol: $ 60 048 265 646 /
BTC
Dominance: 60.138218143661%
Новости
Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше
Введение
Я не планировал писать эту статью, я делал исследования для себя. Но в какой-то момент я понял, что это может показаться интересным и даже полезным кому-то еще. И вот вы читаете эти строки.
Это статья про исследование разных поколений больших языковых MoE моделей Qwen, применяемых для локального инференса.
Я рассчитываю, что читатель уже знаком с ИИ и LLM и хотя бы ориентируется в терминологии. Пространные пояснения очевидного будут только раздражать искушенного читателя, поэтому не буду подробно объяснять, что такое MoE или как запускать модели локально.
Почему локально, когда вокруг масса провайдеров ИИ, пользоваться услугами которых гораздо дешевле, чем иметь собственную инфраструктуру для инференса? Тут я, конечно, имею в виду такую инфраструктуру, которая в состоянии обслужить хотя бы десяток клиентов одновременно. Все просто - мы хотим обрабатывать наши данные, а вернее - финансовые данные наших клиентов, только локально. Да и наш регулятор, и наше подразделение ИБ за этим строго следят. Ну и, не буду кривить душой, нам это очень интересно - быть близко к передовой современных технологий.
Сейчас в качестве основной модели мы применяем Qwen 3.5 35B-A3B. Это MoE (смесь экспертов) модель на 35 миллиардов параметров с 3 миллиардами активных при обработке каждого запроса. Это на самом деле отличная модель, с очень приличным русским языком, прекрасно справляющаяся с теми задачами, которые мы ставили перед собой. Правда, наши программисты считают, что она тупая, потому что хуже современных фронтирных моделей Anthropic или OpenAI и не может писать программы на малоизвестном нишевом языке, на котором они вынуждены писать код. Но у тех, кто использует данную модель для более приземленных вещей, вроде экспертных систем, баз знаний или в агентском цикле, больших претензий к ней нет. Но веса модели были опубликованы на Hugging Face аж целых 7 месяцев назад и после этого вышли и Qwen 3.6, и Qwen 3.8. И у людей стали появляться вопросы, мол, почему мы до сих пор сидим на таком старье, когда на дворе столько нового. Ведь не может же новое быть хуже старого, так ведь? (тут должны быть мемные картинки «К лучшему, верно?» с Энакином Скайуокером и Падме Амидалой, но я взрослый человек, поэтому их нет) Внутренне я хотел согласиться с этим, но понимал, что без исследования нельзя ответить на этот вопрос однозначно. Поэтому для себя я ответил так: “Да, но нет”, - я обычно пользуюсь этим оксюмороном, когда быстрый ответ - “да”, которое может превратиться в “нет” после размышлений. Это и послужило причиной, по которой я приступил к исследованию. А прав я был или нет - каждый из вас сможет сделать вывод после прочтения статьи.
Исследование, про которое я пишу, нельзя назвать фундаментальным, да и даже обычным прогоном по десяткам бенчмарков, результаты которых мы можем найти в карточках моделей, оно не является. Но всё же оно не было поверхностным - оно продолжалось в течение 8 дней, а тестируемые модели “сожгли” почти миллиард токенов. В процессе было подготовлено 1.8 ГБ входных данных для тестов, а результаты заняли 4.6 ГБ.
Конечно, я бы не стал разбирать все это вручную. Если я был мозгом данного исследования, то моим помощником, техническим исполнителем моих идей была модель Anthropic Opus 5 - она занималась всей машинерией: писала обвязку для сбора и обработки тестовых данных, запускала инференс, следила за тем, чтобы карты не простаивали, анализировала результаты и помогала мне с написанием тезисов для этой статьи. Все выводы Opus проверяла другая современная и мощная модель OpenAI GPT-6 Astra, перепроверявшая результаты и дававшая конструктивную критику некоторых выводов. Такой кросс-чекинг дал мне больше уверенности в выводах, которыми я делюсь с вами. Забегая вперед, скажу, что некоторые результаты получились противоречивыми и я не буду навязывать вам свое мнение или объявлять явного победителя. Каждый волен сам трактовать те данные, которые я дам. И хотя все, что было написано до этого, написал я сам, в дальнейшем будут куски, написанные с помощью ИИ. Если бы не его помощь, этой статьи вообще бы не существовало. Я обещаю, что приложу все усилия, чтобы читать скучные данные было не скучно и чтобы у вас не было ощущения, что вы читаете очередной нейрослоп. Кстати, мне нравятся длинные тире и «ёлочки», поэтому буду использовать их тоже. Самое трудное в этом — найти откуда их копировать.
Участники
В начале задача выглядела просто: сравнить разные поколения одной модели между собой и решить, стоит ли переходить на новую. Как я уже писал выше, наша текущая модель — Qwen3.5-35B-A3B. Но чтобы обслужить как можно больше потребителей одновременно, нам пришлось пойти на компромисс: вместо полновесной модели с 16-битными весами мы используем «квантованную». Она занимает заметно меньше дефицитной VRAM, а освободившаяся память уходит под KV-кэш — хранилище контекста идущих диалогов. От его размера напрямую зависит, какое контекстное окно достанется каждому потребителю и сколько потребителей мы сможем обслужить одновременно. Поэтому полное название нашей модели — Qwen3.5-35B-A3B-GPTQ-Int4.
Мой электрический помощник упорно называет данную модель «инкумбент», а я не могу подобрать ёмкое русскоязычное обозначение, короче чем «текущая модель». Поскольку «инкумбент» короче, чем «текущая модель», на целое слово, то почему бы и не да? Пусть будет «инкумбент», мало у нас англицизмов, что ли? В дальнейшем я так и буду называть текущую модель, т. е. инкумбент, конечно.
Казалось бы, если вместо шестнадцати бит на вес оставить четыре, модель должна «поглупеть» в 4 раза — ведь именно веса в наибольшей мере задают её знания и умения. Логика подсказывает, что она превратится в «тыкву». Однако на практике благодаря особой «уличной магии» реальное ухудшение точности «скукоженной» (если вы не поняли эту шутку, значит, вы слишком молоды, смиритесь) 4-битной модели составляет всего считанные проценты. Сжимают обычно только экспертные слои — они и составляют почти весь вес модели, — так что на диске она худеет примерно втрое: с 67 до 20–25 ГиБ. А вот её «интеллект» остаётся практически нетронутым. Насколько именно квант отошёл от оригинала, можно измерить и напрямую — об этом в разделе про тесты.
Qwen3.5-35B-A3B-GPTQ-Int4 — официальный квант этой модели, выполненный самой лабораторией Tongyi, то есть автором моделей Qwen. К сожалению, ни для Qwen3.6, ни для вышедших следом Qwen3.8 и Qwen3.8-Flash-Next официальных квантов GPTQ-Int4 она больше не выпускала, а в последних и вовсе отказалась от линейки 35B-A3B. Во всяком случае, об их существовании мне ничего не известно.
Поскольку официальных квантов нет, пришлось искать чужие — благо на Hugging Face этого добра навалом.
Кандидаты
Для тестирования методом «научного тыка» были отобраны пять кандидатов — кванты нужной размерности одной и той же модели, Qwen/Qwen3.6-35B-A3B (в алфавитном порядке):
btbtyler09/Qwen3.6-35B-A3B-GPTQ-4bitcyankiwi/Qwen3.6-35B-A3B-AWQ-4bitpalmfuture/Qwen3.6-35B-A3B-GPTQ-Int4QuantTrio/Qwen3.6-35B-A3B-AWQTheHouseOfTheDude/Qwen3.6-35B-A3B_INT4
Здесь и далее я стараюсь приводить имена моделей так, как они указаны на Hugging Face, а для краткости называю кванты по имени мастерской: cyankiwi, QuantTrio и так далее.
Сильно забегая вперёд, скажу: после первых прогонов я засомневался, оправдана ли замена старого поколения на новое в нашей инфраструктуре, и решил добавить к сравнению ещё одну модель. Поскольку наши программисты жаловались, что инкумбент их не очень устраивает, я выбрал модель на той же базе, что и инкумбент: ornith-ai/Ornith-1.5-35B-A3B. Это модель, которая учится на задачах, придуманных ею же: авторы описывают замкнутый цикл, где она сама порождает задания, сама ищет способы их решить и на этом обучается. Она изначально заточена под программирование, и заявлено, что обходит Qwen3.6-35B-A3B на всех кодовых и агентских наборах. Судя по графикам в карточке модели, она должна была заметно опередить инкумбента в этой части.
А в комментариях к Ornith-1.5, насколько я помню, я и узнал о ещё более улучшенной её версии — peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF. Карточка Tiel-Coder обещает значительное превосходство над Ornith-1.5 и ставит модель на один уровень с Opus 4.6. Ух ты, подумал я, это определённо стоит попробовать! Загвоздка была в том, что Tiel-Coder существует только в формате GGUF, а мне был нужен safetensors, и прямая конверсия между этими форматами без потери качества невозможна.
Вскоре выяснилось, что никакого нового обучения Tiel-Coder не проходил. Это квантованная Ornith-1.5, но с изюминкой: авторы заменили шаблон чата на другой, тоже публично доступный, и сжимали модель по собственному рецепту со своей importance matrix. Что именно из этого подтянуло модель в программировании, по карточке не разделить. А для меня это значило, что я могу сделать свой собственный Tiel-Coder: переквантовать исходную Ornith-1.5-35B-A3B с изменённым шаблоном в нужный мне формат и, что главное, на собственном калибровочном наборе (~1270 образцов, ~1.4M токенов с обрезкой 4096 на образец). Его состав примерно такой: код и tool-calling — около 75%, русскоязычные тексты — около 40% (они пересекаются с кодом и tool-calling за счёт русских код-инструкций), профильные домены (PL/SQL, право, банки) — 10%. Само квантование заняло около 21 часа.
Так появилась модель, которую я назвал Humo-Coder — в честь Хумо, легендарной птицы, олицетворяющей в мифологии народов Центральной Азии и Ирана счастье, свободолюбие, удачу и благоденствие. Орнитологическая линия в названиях моделей продолжена.
И последний участник, вне конкурса, — эталон: чистая Qwen/Qwen3.6-35B-A3B без всякого сжатия, в bf16. Он не помещается в одну карту и работает на двух, поэтому в турнире не участвует, а служит точкой отсчёта: насколько кванты вообще отошли от оригинала.
Чем они различаются
У всех кандидатов экспертные веса — а это почти весь объём модели — сжаты до целочисленного 4-битного формата. Почему не до восьми бит — объясняется в разделе «Стенд»: у наших карт нет аппаратной поддержки FP8. В остальном же они все разные, хотя сходу это незаметно.
Первое отличие — метод квантования, их три:
AWQ (cyankiwi и, по крайней мере по названию, QuantTrio — к этому я ещё вернусь) прогоняет через модель калибровочные тексты, находит каналы, по которым идёт самый сильный сигнал, и защищает их от грубого округления.
GPTQ (btbtyler09, palmfuture, Humo-Coder и сам инкумбент) тоже калибруется, но иначе: сжимает веса по очереди и после каждого подправляет ещё не сжатых «соседей», чтобы выход слоя остался как можно ближе к оригиналу.
RTN (TheHouseOfTheDude) просто округляет каждый вес до ближайшего значения. Калибровка не нужна, делается быстро, но и ошибку округления компенсировать нечем.
Второе — размер группы: сколько весов делят между собой один масштабный коэффициент. Чем группа меньше, тем точнее квант — и тем чуть больше файл. Третье — что именно сжато. Это я проверял не по описаниям, а по самим файлам весов: у сжатого модуля рядом лежат упакованные веса и масштабы, у несжатого — обычный тензор.
модель | метод | группа | что сжато |
|---|---|---|---|
cyankiwi | AWQ | 32 | эксперты |
QuantTrio | AWQ без защиты каналов | 128 | эксперты (кроме первого слоя) |
btbtyler09 | GPTQ | 32 | эксперты |
palmfuture | GPTQ | 128 | эксперты |
TheHouseOfTheDude | RTN | 128 | эксперты, общий эксперт, слои полного внимания |
инкумбент | GPTQ, прошлое поколение | 128 | эксперты |
Humo-Coder | GPTQ | 32 | эксперты; общий эксперт — в 8 бит |
эталон | — | — | ничего |
Пятеро из семи сжимают только экспертов — на них приходится почти весь вес модели. TheHouseOfTheDude пошёл дальше всех: в четыре бита у него ушли ещё общий эксперт и слои полного внимания. Humo-Coder я сжал чуть больше, чем сжаты большинство остальных: общий эксперт у него тоже квантован, но бережно, в восемь бит.
А вот сколько каждый кандидат занимает. Все числа в ГиБ. Память на карте — то, что vLLM сам сообщает при запуске на карте с 48 ГБ VRAM, если разрешить ему занять 94% (--gpu-memory-utilization 0.94). Из этого бюджета вычитаются веса, активации и служебные буферы, а всё, что осталось, идёт под KV-кэш. Последний столбец — сколько запросов с полным окном в 131 072 токена поместится в кэш одновременно.
модель | на диске | веса на карте | под KV-кэш | полных окон |
|---|---|---|---|---|
cyankiwi | 23.25 | 22.87 | 19.35 | 7.33 |
QuantTrio | 23.71 | 22.23 | 19.99 | 7.57 |
btbtyler09 | 24.50 | 22.87 | 19.15 | 7.25 |
palmfuture | 22.74 | 21.12 | 20.94 | 7.93 |
TheHouseOfTheDude | 20.32 | 20.45 | 21.72 | 8.23 |
инкумбент | 22.74 | 21.12 | 20.94 | 7.93 |
Humo-Coder | 22.16 | 22.29 | 19.86 | 7.52 |
эталон (на двух картах вместе) | 66.97 | 65.72 | 19.72 | 7.47 |
Эталон не помещается в одну карту и работает на двух, поэтому его строка — сумма по паре: на каждой карте 32.86 ГиБ весов и 9.86 ГиБ под кэш. Две карты дают ему ровно столько же места под контекст, сколько квантам достаётся на одной карте. Разброс между участниками мизерный: от 19.15 до 21.72 ГиБ — разница меньше одного полного контекстного окна. Так что по объёму кэша ни один кандидат не получил заметного преимущества.
Кто и как калибровал
Из описаний моделей видно, что мастерские подошли к калибровке по-разному.
Калибровка — это прогон через модель небольшого набора текстов: так мы узнаём, какие веса на реальных данных важны, а какие можно округлять грубее. От того, что подсунули на калибровку, зависит, на чём сжатая модель просядет.
cyankiwi — единственная, у которой калибровочный набор заявлен как «STEM и агентский». Аббревиатура STEM расшифровывается как: Science, Technology, Engineering, and Mathematics (Естественные науки, Технологии, Инженерия и Математика). В карточке перечислены и десять языков, включая русский, хотя эта строка, судя по всему, описывает саму модель, а не набор.
palmfuture — имеет самую подробную карточку модели. Калибровка маленькая и смешанная: 102 куска общего текста, 77 инструкций, 51 кусок кода и 26 математических задач — всего 256 образцов, подобранных так, чтобы свой сигнал достался каждому из 256 экспертов. Автор честно приводит и статистику: GPTQ сошёлся на 97.42% модулей, остальные 2.58% свалились в простое округление.
btbtyler09 — самая аккуратная работа по описанию: сжаты только эксперты, все 30 720 модулей, а калибровочный набор в восемь раз больше, чем у palmfuture — 2048 образцов кода и общего текста.
TheHouseOfTheDude — описания нет вовсе, только рецепт: llm-compressor, схема W4A16. О калибровке неизвестно ничего.
Humo-Coder — калибровочный набор собран мной из общедоступных датасетов, состав я приводил выше. Это единственный участник, которого квантовал я сам.
Особняком стоит модель от QuantTrio, квантованная методом AWQ. В её описании написано следующее: data-free quantization, no calibration dataset was involved.
Заметили противоречие? Буква A в названии метода означает activation-aware: весь смысл метода в том, чтобы по статистике активаций найти каналы, которые нельзя огрублять. Откуда взяться статистике без данных?
Автор объяснил это в одной из веток обсуждения, и объяснение стоит того, чтобы его привести:
…ошибки распространяются. Если сосредоточиться на длинных текстах и калибровать на них, результаты на коротких, скорее всего, ухудшатся.
То есть отказ от калибровки здесь не небрежность, а позиция: калибровочный набор — это всегда выбор, на чём модель будет хороша, и молчаливое согласие, что на остальном она просядет. Автор решил не делать этот выбор за пользователя.
Но AWQ без активаций работать не может. Значит, «data-free» означает одно из двух: либо защитные коэффициенты посчитаны на синтетике, либо они попросту равны единице. Во втором случае от AWQ остаётся только формат упаковки весов, а само сжатие вырождается в обычное округление.
Проверить это оказалось проще, чем я думал. Защитные коэффициенты AWQ в файле не хранятся отдельно — они вшиваются в соседние слои: нормализация перед экспертами делится на коэффициент, а веса после неё умножаются. Эти слои остаются несжатыми, и их можно сравнить с оригиналом напрямую.
нормализация перед экспертами | компенсирующие веса | |
|---|---|---|
cyankiwi | отличается от оригинала: в одних слоях усилена, в других ослаблена, от 0.5 до 2.4 раза | обратный множитель, произведение ≈ 1.00 |
QuantTrio | совпадает бит в бит во всех 40 слоях | совпадают бит в бит |
У cyankiwi защита каналов работает и видна невооружённым глазом. У QuantTrio её не нашлось: нормализация перед экспертами и общий эксперт совпадают с оригиналом бит в бит во всех 40 слоях, а в выборочно распакованных экспертах видна только ошибка округления, без поканальной структуры. Это согласуется с простым округлением по группам, упакованным в формат AWQ, возможно с подбором порогов обрезки по самим весам. Полностью восстановить рецепт по весам нельзя, но похоже, что простым округлением в нашем турнире сжаты две модели, а не одна. Запомните и это — в результатах будет сюрприз.
Тесты
Набор тестов собирался не ради полноты, а вокруг конкретного применения: русскоязычный помощник, который отвечает людям, пишет код и вызывает инструменты. Ниже — что именно мы спрашивали у моделей. Тесты разбиты на шесть групп; в разделе с результатами они идут в том же порядке и под теми же именами. Что мы от каждого теста ожидали и что вышло на самом деле, расскажу в части с подробностями.
1. Русские пробы
Наши собственные, их три. Бюджет, как и во всех одноходовых тестах, — 32 768 токенов на ответ. В таблице результатов — доля верных ответов без подсказки (о подсказке ниже).
Города. Модели дают функцию «узнать погоду» и спрашивают, например: «Какая сейчас погода в Худжанде?» Засчитывается, если в аргументе стоит «Худжанд», а не
Khujand. Для человека разницы почти нет, а для программы она фатальна: база по такому ключу ничего не найдёт. Шестьдесят городов шестью слоями по редкости — от Екатеринбурга до Канибадама.Строки в коде. «Напиши функцию
format_bytes(n)с единицами Б, КБ, МБ, ГБ, ТБ». Модель, написавшая'KB', получает ноль. Сорок пять заданий.Параллельный вызов. Несколько вызовов инструментов в одном ответе с аргументами на русским. Сорок заданий.
У первых двух проб есть хитрость: каждое задание задаётся дважды — как есть и с одной добавленной строкой в системном промпте, которая прямо требует писать кириллицей: «Значения аргументов — строго кириллицей, без латиницы». Разница между ответами пары отвечает на вопрос: модель не умеет удерживать кириллицу — тогда лечится только сменой модели, — или не догадалась, что от неё этого хотят, — тогда хватит одной строки в конфиге.
2. Знания и рассуждение
Стандартные наборы. Бюджет — 32 768 токенов на ответ. В таблице — доля верных ответов.
GSM8K, 500 задач: школьные текстовые задачки в несколько действий. Проверяет, доведёт ли модель цепочку простых шагов до числа.
MMLU-Pro, 3500 вопросов по 14 предметам, обычно с десятью вариантами ответа. Проверяет широту знаний и умение не купиться на правдоподобный неверный вариант.
GPQA Diamond, 198 вопросов по биологии, химии и физике уровня аспиранта — таких, где специалист из соседней области даже с поиском отвечает верно примерно в трети случаев.
3. Код одним ответом
Модель выдаёт решение за один ответ, без права на исправление. Бюджет — 32 768 токенов на ответ. В таблице — доля задач, прошедших тесты.
MBPP+, 200 задач на Python попроще, но с дотошными тестами.
MultiPL-E Go, 154 задачи: классический HumanEval, переведённый на Go. Модели дают заголовок файла и просят дописать функцию; вердикт выносит компилятор и тесты.
4. Код в агентском цикле
318 задач на Go с AtCoder и Codeforces из LiveCodeBench, средних и трудных поровну. Модель читает условие и получает три инструмента: собрать, запустить на примерах из условия и сдать. Она видит ошибки компилятора и может их исправлять — как живой разработчик. Скрытые тесты ей не показывают никогда: их прогоняют уже после сдачи. Две оговорки. Крупные скрытые тесты при подготовке набора мы отфильтровали, так что проверяется правильность на умеренных входах, а не асимптотика: квадратичное решение может пройти там, где на соревновании требовалось n log n. И задачи публичные — знакомы ли они моделям по обучению, мы не проверяли. Бюджет здесь устроен иначе: до пяти раундов, до 65 536 токенов на один ответ и не больше 196 608 токенов на всю задачу. В таблице — число верных решений из 318.
5. Вызов функций: BFCL
Berkeley Function Calling Leaderboard, 3071 задача в 20 категориях: одиночные вызовы, параллельные, многоходовые диалоги, работа с памятью и — что особенно ценно — проверка на сдержанность: не звать инструмент, когда звать не надо. Две категории с поиском в интернете пришлось исключить: для них нужен ключ к внешнему сервису. Бюджет — 32 768 токенов на каждый ответ. В таблице — число решённых задач из 3071.
6. Близость к оригиналу: KL-дивергенция
На каждом шаге модель выдаёт не одно слово, а вероятности для всего словаря. KL показывает, насколько этот расклад у кванта отличается от расклада эталона на том же тексте: чем меньше, тем точнее квант повторяет оригинал. Корпус — проза, редкие кириллические слова, код на трёх языках, агентские диалоги; всего 317 713 позиций (предсказанных токенов). Строго говоря, наш KL — приближение: движок отдаёт 64 самых вероятных токена на позицию, и расхождение считается по их пересечению, а не по всему словарю. Такие числа годятся для сравнения квантов между собой на одной и той же части корпуса (срезе) — например, только на коде или только на прозе, — но не как абсолютная величина. Здесь измеряется не поведение, а то, насколько сжатая модель перестала быть собой. В таблице — медианный KL на срезе с нашими пробами. Посчитать его можно только для квантов того же исходника, что и эталон, поэтому у инкумбента и Humo-Coder прочерк.
Было и несколько пилотных проб: поиск иголки в стоге сена, десять задач на Python с исполнением, десять многоходовых сценариев, проба на многословие. Они проверяли механику стенда, а не модели, и в таблицы результатов не входят. Иголку, например, нашли все шестеро во всех 45 попытках — различать там нечего.
Как читать результаты
Дальше будет много пар вроде «97.4% против 97.2%». Чтобы понять, значит ли такая разница хоть что-то, процентов мало — нужно посчитать, на скольких задачах модели разошлись и в чью пользу.
Две модели решают одни и те же задачи. Большинство из них решили обе модели или провалили тоже обе — такие задачи о разнице моделей ничего не говорят. Остаются те, где модели разошлись: одна решила, другая нет. Скажем, из пятисот задач модели разошлись на семи, и счёт 4:3. Может ли монета за семь бросков выпасть четыре раза орлом и три раза решкой? Запросто. А в другом раунде бросков счёт вполне может быть уже 3:4 — и модели поменяются местами в таблице. А вот если из 36 расхождений 30 в пользу одной модели, случайностью это объяснить уже трудно.
У этого метода есть имя — критерий Макнемара. Он даёт число p: вероятность увидеть такой же или ещё более сильный перекос, если допустить, что разницы между моделями нет вовсе и каждое расхождение — просто бросок честной монеты. Чем меньше p, тем труднее объяснить такой перекос случайностью.
Когда пар много, порог приходится ужесточать: при двадцати одной паре семи моделей различие считается установленным, если p меньше 0.0024 (это 0.05, делённое на 21 пару), когда в сравнении участвует и эталон, пар двадцать восемь, и порог — 0.0018.
Почему порог именно такой? Это поправка Бонферрони: общий порог ошибки 0.05 делится на число сравнений. Она самая простая и одна из самых строгих, зато её легко проверить, и результат не зависит от того, в каком порядке перебирать пары. Есть поправки мягче при том же контроле ошибок — например, поправка Холма. Мы проверили, изменила бы она что-нибудь там, где значения p подходят к порогу ближе всего — в агентском цикле. Не изменила. Холм перебирает пары от самой значимой к наименее значимой и останавливается на первой, не прошедшей свой порог. Первые восемь пар он пропустил — те же, что и Бонферрони, — а на девятой (palmfuture против cyankiwi, p = 0.0042 при пороге 0.0038) остановился. При обеих поправках установленными оказываются одни и те же пары. Семейство сравнений у нас — все пары моделей внутри одного набора. Где сравнения дробятся ещё и по категориям, как в BFCL, я говорю о поправке отдельно.
И главное: «различие не установлено» не означает «модели равны». Это значит лишь, что этот прибор на этой выборке разницы не видит.
Ещё три понятия, без которых дальше не обойтись.
Бюджет — сколько токенов модели разрешено потратить на ответ. Если она исчерпала его, так и не ответив, это обрыв по бюджету. Обрывы бывают двух видов. Иногда модель рассуждает осмысленно, но ей просто не хватило места — это честный обрыв. А иногда она ходит по кругу, раз за разом повторяя одни и те же фразы, — это зацикливание. Отличает одно от другого наш датчик: он берёт последние 8000 символов оборванного ответа, режет их на строки и смотрит, сколько среди них различных. Если строк не меньше двадцати, а различных среди них меньше четверти, ответ считается зацикленным. Датчик сверяли с независимой разметкой всех 134 обрывов, накопившихся к 20 сентября, — совпали в 92% случаев.
Но у датчика есть слабое место: он ловит только дословные повторы. Модель, которая ходит по кругу, каждый раз перефразируя одни и те же мысли, для него выглядит как честно рассуждающая. Поэтому все 301 обрыв во внешних наборах мы дополнительно показали независимой модели-судье, GLM-5.3 Flash, не из семейства Qwen. Она прочла последние 8000 символов каждого оборванного ответа и отнесла его к одному из трёх видов: модель ходит по кругу, модель уже остановилась на ответе, но не успела его выдать, или модель действительно продолжала работу. Выборочно я сверил её вердикты с самими текстами: из 11 проверенных 9 подтвердились, 2 оказались спорными. Судья — такой же прибор, как датчик, только тоньше: о правильности решений он не судит, её по-прежнему определяют тесты. Разница оказалась разительной: из 163 обрывов, которые датчик счёл честными, к продолжающейся работе судья отнёс лишь 37. В 87 модель ходила по кругу, перебирая одни и те же варианты и не решаясь выбрать, а в 39 уже нашла ответ, но так и не выдала его. Тем же способом судья разобрал и 603 обрыва агентского цикла, и там картина ещё резче: из 365 «честных» обрывов по датчику честными на самом деле оказались лишь 51.
Отсюда два балла. Сырой балл — доля верно решённых задач из всех: любой обрыв засчитан провалом, ведь модель, не давшая ответа, задачу не решила. Он основной, и все выводы строятся на нём. Балл по правилу стенда не засчитывает провалом честные обрывы — те, где, по вердикту судьи, модель продолжала работу: такие задачи просто исключаются из подсчёта, потому что в них, возможно, модели просто не хватило бюджета. Это гипотеза: судья видит только хвост ответа, и увеличением бюджета мы её не проверяли. Поэтому этот балл — вторичный и условный. Зацикливание, как и ответ, найденный, но не выданный, остаётся провалом в обоих баллах. Балл по правилу стенда я показываю в скобках рядом с сырым там, где они различаются, а где он меняет вывод, говорю об этом отдельно.
Стенд
Итак, сервер, на котором всё проводилось и который дальше я буду называть стендом, имеет следующие характеристики:
карты | 4 × NVIDIA RTX A6000, 48 ГБ, архитектура sm_86 |
связь | карты 0–1 и 2–3 связаны NVLink попарно, между парами только PCIe |
процессоры | 2 × Intel Xeon Platinum 8470, 52 ядра каждый, 208 потоков |
память | 1 ТБ, два узла NUMA — по одному на пару карт |
движок | vLLM 0.29.0, torch 2.13.0, CUDA 13.0 |
система | Ubuntu 24.04.5, ядро 6.8, драйвер 595.91 |
Стенд боевой: на тех же картах работает модель, которой пользуются наши сотрудники, поэтому большую часть серии тесты шли на двух свободных картах. Для агентского цикла и BFCL, самых долгих наборов, мы на время освобождали ещё одну карту, и они шли на трёх. Каждый кандидат занимал одну карту. Делить модель между многими картами на этом железе невыгодно: по нашему замеру одна модель, разложенная на все четыре карты, выдаёт 410 токенов в секунду, а две её копии, каждая на своей паре карт, — 714 вместе.
Архитектура sm_86 объясняет, почему все участники четырёхбитные. Тензорных ядер FP8 у A6000 нет: восьмибитные модели запускаются, но без аппаратной поддержки формата, и выигрыш в скорости, ради которого их берут, съедается. Практический выбор на этих картах — четыре бита через ядра Marlin.
Настройки движка одинаковы у всех и заморожены на всю серию: окно в 131 072 токена, кэширование префиксов, до 32 одновременных запросов. Единственное исключение — Humo-Coder: ему движок разрешал занять не 94% памяти карты, а 90%, так что кэш у него в серии был немного меньше, чем в таблице выше. На сами ответы это влиять не должно, а на планирование запросов и скорость могло — этого мы отдельно не измеряли. Параметры генерации — температура 0.6, top_p 0.95, top_k 20 — передаются явно в каждом запросе. Это не педантизм: если их не передать, vLLM возьмёт значения из файла настроек самой модели, и у моделей разных мастерских «одинаковый» запрос мог бы молча уйти с разными настройками. В этой серии настройки генерации по умолчанию у всех восьми моделей совпали, но полагаться на это нельзя.
Всё одной таблицей:
движок | vLLM 0.29.0, образ |
окно и кэш | 131 072 токена, кэширование префиксов, до 32 одновременных запросов, 94% памяти карты (у Humo-Coder — 90%) |
генерация | температура 0.6, |
бюджет | 32 768 токенов на ответ; в агентском цикле — до 5 раундов, до 65 536 токенов на ответ и до 196 608 на задачу |
повторы | каждая задача решалась один раз |
seed | 42 в настройках EvalScope (внешние наборы, BFCL, русские пробы); в агентском цикле не задавался |
инструменты | EvalScope — внешние наборы, BFCL и русские пробы; собственный скрипт — агентский цикл и KL |
Сырые результаты я пока не выкладываю, и причины скорее практические, чем принципиальные. Их почти пять гигабайт, и в них хватает служебного: журналы движка и обвязки с подробностями нашей внутренней инфраструктуры. Кроме того, авторы GPQA просят не публиковать их вопросы в открытом виде, чтобы те не попадали в обучающие данные следующих моделей, а ответы моделей эти вопросы цитируют.
Один прогон на задачу при температуре 0.6 означает, что при повторе отдельные ответы будут другими. Поэтому мы и сравниваем модели не по процентам, а по счёту расхождений с поправкой на случайность — об этом в разделе «Как читать результаты».
Результаты коротко
Для тех, кому некогда, — всё в одном разделе. Лучший результат в столбце выделен жирным; эталон вне конкурса и не выделяется. Но помните: лучший результат ещё не означает установленного различия. Баллы сырые; в скобках, где он отличается, — балл по правилу стенда.
Под каждой таблицей качества стоит таблица цены с теми же столбцами. В каждой её клетке два числа. Первое — сколько токенов модель в среднем выдала на задачу по всем задачам набора, включая нерешённые, зацикленные и оборванные: это полный счёт за набор. Второе — среднее только по задачам, которые модель решила верно: это цена одного правильного ответа, и сожжённые впустую бюджеты в неё не входят. Сравнивать второе число между моделями надо с оговоркой: у каждой свой набор решённых задач, и та, что решает больше трудных, выглядит дороже. В таблицах цены жирным выделен самый экономный результат.
1. Русские пробы — доля верных ответов
Все три столбца — ответы без подсказки о кириллице. «Города» взяты из отдельного прогона, где каждый город спрашивали один раз; парный прогон — с подсказкой и без — разобран в 1 разделе главы с подробностями, и его числа немного отличаются: инкумбент там набрал 59 из 60, Humo-Coder — 31. Это обычный разброс между прогонами при температуре 0.6. «Строки в коде» — половина парного прогона без подсказки.
Города | Строки в коде | Параллельный вызов | |
|---|---|---|---|
инкумбент | 100% | 95.6% | 100% |
palmfuture | 95.0% | 86.7% | 100% |
cyankiwi | 91.7% | 57.8% | 100% |
QuantTrio | 91.7% | 82.2% | 97.5% |
btbtyler09 | 90.0% | 71.1% | 97.5% |
TheHouseOfTheDude | 86.7% | 71.1% | 92.5% |
Humo-Coder | 45.0% | 77.8% | 60.0% |
эталон bf16 | 96.7% | 60.0% | 100% |
Цена: токенов на задачу, в среднем по всем задачам / по решённым
Города | Строки в коде | Параллельный вызов | |
|---|---|---|---|
инкумбент | 98 / 98 | 2034 / 1995 | 187 / 187 |
palmfuture | 987 / 448 | 2792 / 2216 | 523 / 523 |
cyankiwi | 212 / 204 | 3424 / 2697 | 511 / 511 |
QuantTrio | 399 / 381 | 2116 / 2200 | 451 / 457 |
btbtyler09 | 199 / 188 | 3389 / 3068 | 456 / 448 |
TheHouseOfTheDude | 395 / 386 | 3213 / 2137 | 615 / 592 |
Humo-Coder | 59 / 58 | 414 / 494 | 127 / 126 |
эталон bf16 | 454 / 438 | 1784 / 2185 | 528 / 528 |
2. Знания и рассуждение и 3. Код одним ответом — доля верных ответов
GSM8K | MMLU-Pro | GPQA | MBPP+ | MultiPL-E Go | |
|---|---|---|---|---|---|
инкумбент | 92.6% | 84.6% | 82.3% | 97.0% | 65.6% |
palmfuture | 97.2% (97.4%) | 84.9% | 82.8% (83.2%) | 98.0% | 76.6% |
cyankiwi | 97.4% | 85.4% | 80.8% (81.2%) | 93.5% | 79.9% |
QuantTrio | 97.2% | 85.2% | 82.8% (84.1%) | 94.5% | 82.5% |
btbtyler09 | 96.6% | 84.9% | 84.8% (85.7%) | 96.5% | 81.8% |
TheHouseOfTheDude | 97.0% | 83.8% | 80.3% (82.4%) | 95.0% | 53.9% |
Humo-Coder | 96.4% | 82.9% (83.2%) | 80.3% (85.5%) | 97.5% (98.0%) | 74.0% |
эталон bf16 | 97.8% | 85.3% | 82.3% (82.7%) | 94.0% | 59.1% (59.5%) |
В скобках — балл по правилу стенда, если он отличается от сырого: задачи, где модель честно не уложилась в бюджет и, по вердикту судьи, продолжала работу, исключены из подсчёта. Возможно, в этих обрывах модели просто не хватило места, но это гипотеза, а не измерение. И читать такой балл надо осторожно: не укладываются в бюджет обычно самые трудные задачи, и без них балл выходит завышенным. Заметнее всего разница у Humo-Coder на GPQA: в 12 задачах из 198 он честно не успел, и без них его результат вырастает с 80.3 до 85.5%. В русских пробах и BFCL честных обрывов практически нет, поэтому там скобок нет.
Цена: токенов на задачу, в среднем по всем задачам / по решённым
GSM8K | MMLU-Pro | GPQA | MBPP+ | MultiPL-E Go | |
|---|---|---|---|---|---|
инкумбент | 7364 / 5750 | 4013 / 3629 | 8619 / 7674 | 1290 / 1033 | 1516 / 1437 |
palmfuture | 4891 / 4618 | 2638 / 2501 | 8901 / 7812 | 2722 / 2553 | 13 603 / 12 416 |
cyankiwi | 2796 / 2697 | 2587 / 2438 | 7985 / 7139 | 4003 / 2910 | 15 538 / 15 381 |
QuantTrio | 2878 / 2744 | 2602 / 2444 | 7815 / 6813 | 3058 / 2175 | 14 192 / 13 401 |
btbtyler09 | 4044 / 3692 | 2543 / 2408 | 6953 / 6198 | 2742 / 2402 | 15 537 / 15 284 |
TheHouseOfTheDude | 2672 / 2573 | 2632 / 2472 | 8710 / 7306 | 3291 / 2670 | 17 054 / 13 458 |
Humo-Coder | 265 / 238 | 1885 / 906 | 8241 / 3688 | 1022 / 875 | 1225 / 1008 |
эталон bf16 | 2411 / 2329 | 2564 / 2411 | 7711 / 6409 | 2816 / 2298 | 18 613 / 13 992 |
То же самое одной картинкой: по горизонтали — цена, по вертикали — балл. Хорошо видно, что Humo-Coder почти везде стоит левее всех, а инкумбент на коде дешевле квантов, но на рассуждениях дороже.
Одноходовые наборы: балл и цена
4. Код в агентском цикле, 5. Вызов функций: BFCL и 6. Близость к оригиналу: KL-дивергенция
Агентский цикл, верных из 318 | BFCL, решено из 3071 | приближённый KL, медиана на срезе с пробами (меньше — лучше) | |
|---|---|---|---|
инкумбент | 164 | 2250 | — |
palmfuture | 132 | 2208 | 0.0175 |
cyankiwi | 163 | 2188 | 0.0110 |
QuantTrio | 162 | 2194 | 0.0167 |
btbtyler09 | 167 | 2219 | 0.0102 |
TheHouseOfTheDude | 152 | 2232 | 0.0369 |
Humo-Coder | 202 | 2206 | — |
Цена: токенов на задачу, в среднем по всем задачам / по решённым
Агентский цикл | BFCL | |
|---|---|---|
инкумбент | 26 389 / 13 409 | 954 / 687 |
palmfuture | 35 254 / 13 503 | 1598 / 1181 |
cyankiwi | 36 584 / 24 311 | 1647 / 1203 |
QuantTrio | 36 338 / 22 502 | 1629 / 1170 |
btbtyler09 | 36 289 / 20 426 | 1621 / 1227 |
TheHouseOfTheDude | 44 361 / 30 122 | 1668 / 1280 |
Humo-Coder | 16 784 / 8313 | 1109 / 641 |
В агентском цикле это все токены, выданные моделью за все раунды работы над задачей, в BFCL — за все ходы диалога.
Агентский цикл: сколько решено и во что обошлось
Эталон в агентском цикле и BFCL не прогонялся, а KL у него по определению нулевой: он сам и есть точка отсчёта.
Что из этого установлено, а что нет:
Единого победителя нет. Лидер одной таблицы в другой оказывается в хвосте, и это не шум: даже статистически установленные различия смотрят в разные стороны (профили — в разделе «Выводы»).
Старая модель сдаёт позиции не везде. Инкумбент впереди на всех трёх русских пробах и по сумме BFCL, хотя перевес там не установлен, а в агентском цикле он значимо уступает только Humo-Coder и сам значимо обыгрывает palmfuture. Проигрывает он им на школьной арифметике — всем пятерым — и в дисциплине: в каждой четвёртой задаче объявляет решение готовым, ни разу его не собрав (подробности — в разделах 2 и 4).
Пять квантов Qwen3.6 друг от друга почти неотличимы. На арифметике и BFCL между ними нет ни одной установленной пары, в агентском цикле — одна из десяти, на MMLU-Pro — две (разделы 2, 4 и 5).
Обещанный сюрприз: из двух «округлителей» один худший, другой — среди лучших. TheHouseOfTheDude, у которого в четыре бита ушло больше всего, хуже всех на Go и дальше всех от оригинала. А между QuantTrio, который, судя по всему, тоже просто округляет, но только экспертов, и откалиброванным cyankiwi различие по правильности не установлено ни на одном тесте (разделы 3 и 6).
Humo-Coder — самый контрастный участник. В программировании он обыгрывает всех шестерых, лучший и на задачах с памятью. А на русских городах, параллельных и многоходовых вызовах и на MMLU-Pro — в хвосте (разделы 1, 4 и 5).
Латиницу лечит одна строка в системном промпте. Похоже, модели не разучились писать кириллицу, а просто не догадываются, что от них этого ждут (раздел 1).
Несколько тестов измеряли не то, что обещали: MultiPL-E Go — в основном компилируемость, а Java и JavaScript в BFCL — расхождение в записи типов (разделы 3 и 5).
Токены переворачивают таблицы. Humo-Coder на Go и арифметике на порядок дешевле квантов Qwen3.6. И это не потому, что он быстро сдаётся: на задачах, которые решили все восемь моделей вместе с эталоном (438 на арифметике и 19 на Go), его медиана — 179 токенов против 2–3.4 тысяч у квантов на арифметике и 567 против 10–15 тысяч на Go. Инкумбент дешевле квантов на коде и вызовах инструментов, но дороже на арифметике и MMLU-Pro. Если счёт за токены для вас важнее последних процентов точности, начинайте с таблиц цены. Только помните: считаются здесь выданные токены, а полный счёт зависит ещё от чтения входа, батча и нагрузки — его мы не измеряли.
Итак, может ли новое быть хуже старого? Как выяснилось, может — смотря в чём. Прав ли я был со своим «да, но нет», решайте сами.
Самые нетерпеливые могут на этом закончить. Дальше — подробности: чего мы ждали от каждого теста, что подтвердилось и что нет.
Подробности
Дальше — те же шесть групп тестов, но уже медленно и с объяснениями. Для каждой я сначала расскажу, чего мы от неё ждали, потом — что получилось на самом деле, и в конце — совпало ли одно с другим.
1. Русские пробы
Чего ждали. Русские пробы мы гоняли ещё в первой, маленькой серии, и там инкумбент не ошибся ни разу. Такой безупречный счёт на небольшой выборке часто оказывается случайностью: задания слишком лёгкие, и все упираются в потолок. Поэтому перед большим прогоном я записал в журнал предсказание: когда городов станет шестьдесят, инкумбент перестанет выглядеть безупречным. Была у меня и гипотеза о том, почему модели вообще ломаются на русских названиях. Редкое слово вроде «Канибадам» токенизатор разбивает на редкие токены, а веса, отвечающие за редкие токены, по идее, сильнее всего страдают при сжатии модели.
Что вышло. Предсказание не сбылось: инкумбент остался почти безупречным. Вот результат пробы с городами. Каждый из шестидесяти городов модель получала дважды: один раз без подсказки, второй — с той самой строкой «значения аргументов — строго кириллицей» в системном промпте. Обе половины сняты в одном прогоне, так что их можно сравнивать напрямую.
без подсказки | с подсказкой | |
|---|---|---|
инкумбент | 59/60 | 60/60 |
palmfuture | 59/60 | 60/60 |
btbtyler09 | 57/60 | 60/60 |
QuantTrio | 57/60 | 58/60 |
cyankiwi | 56/60 | 60/60 |
TheHouseOfTheDude | 51/60 | 60/60 |
Humo-Coder | 31/60 | 57/60 |
Внимательный читатель заметит, что эти цифры немного расходятся со сводной таблицей из раздела «Результаты коротко». Там был отдельный прогон, в котором каждый город спрашивался один раз и только без подсказки. В нём инкумбент набрал 60 из 60, а Humo-Coder — 27. Отдельные числа от прогона к прогону немного гуляют, но общая картина в обоих прогонах одна и та же.
Из этой таблицы я делаю три вывода.
Первый: новое поколение действительно чаще переходит на латиницу, но не всё. palmfuture идёт с инкумбентом вровень: в парной пробе у обоих по 59 из 60, а в однократной — 57 против 60, и такое различие вполне может быть случайным (p = 0.25). Значит, утверждать, что любой квант Qwen3.6 хуже инкумбента на русском, было бы сильнее, чем позволяют данные.
Второй, и практически самый важный: подсказка лечит почти всех. Одна строка в системном промпте поднимает пятерых из шести исходных участников до безупречных 60 из 60. У QuantTrio с подсказкой остаются два промаха, но они не про язык: оба раза модель вообще забыла передать название города. Humo-Coder с подсказкой вырастает с 31 до 57 — огромный скачок, хотя и не до конца. Со строками в коде то же самое: без подсказки модели пишут единицы кириллицей в 26–43 заданиях из 45, а с подсказкой — в 42–44. Именно ради этого мы и задавали каждое задание дважды. Без второй половины пары мы измерили бы, насколько модель догадлива, и назвали бы это её способностью. А на практике разница между «надо менять модель» и «надо дописать одну строчку в конфиг» очень велика.
Третий: гипотеза про редкие токены не подтвердилась там, где её удалось проверить. Замер KL, о котором речь пойдёт в шестом разделе, отдельно смотрел на срез с редкими кириллическими словами. Кванты разошлись на нём с оригиналом не сильнее, чем на обычной прозе. А вот связь редкости слова именно с переходом на латиницу мы отдельно не проверяли, так что здесь вопрос остаётся открытым.
Отдельно стоит сверить результат с тем, что подсказывают карточки моделей. Если разложить их рядом, прогноз напрашивается сам. cyankiwi, у которого калибровка заявлена как агентская, а в карточке перечислен и русский, должен выиграть на русских пробах. QuantTrio, не калиброванный вовсе, должен проиграть. А btbtyler09 с калибровочным набором в восемь раз больше должен оказаться точнее palmfuture, своего соседа по методу. Заранее такой прогноз мы в журнал не записывали, поэтому это не проверка предсказания, а просто сверка со здравым смыслом.
И здравый смысл здесь не помог. cyankiwi и QuantTrio набрали на городах ровно одинаково — по 55 из 60. Напомню, что у QuantTrio мы не нашли даже защиты каналов, то есть, похоже, простое округление сравнялось с калибровкой, сделанной как будто специально «под наш случай». А из двух GPTQ-квантов palmfuture, у которого калибровочный набор в восемь раз меньше, набрал даже чуть больше: 57 против 54, хотя такое различие вполне может быть случайным.
Совпало ли с ожиданием. Записанное заранее предсказание — нет: инкумбент остался почти безупречным. Но главный урок раздела в другом. Ни размер калибровочного набора, ни его состав, ни аккуратность мастерской не позволили предсказать, как модель поведёт себя на наших задачах. Узнать это можно только одним способом — прогнать модель на своих задачах. Что, в общем, и оправдывает всю эту работу.
2. Знания и рассуждение
Чего ждали. От GSM8K — потолка: школьную арифметику современные модели решают почти целиком, и различать там особенно нечего. От MMLU-Pro, самого большого набора в серии, мы ждали, что уж он-то хоть что-нибудь различит. А от GPQA — что на трудных вопросах уровня аспиранта разница между моделями наконец станет видна.
Что вышло. Почти всё вышло наоборот: глаз, глядя на проценты, подсказывал одно, а счёт расхождений говорил другое.
Начнём с GSM8K. Разброс там от 92.6 до 97.4%, и между пятью квантами Qwen3.6 не установлено ни одного различия. Зато отставание инкумбента установлено против каждого из них. Возьмём для примера cyankiwi. Из 500 задач большинство обе модели решили одинаково: обе верно или обе неверно. Разошлись они на 36 задачах, и в 30 из них верно ответил cyankiwi, а в 6 — инкумбент. Если бы модели были равны по силе, такой или более сильный перекос выпадал бы примерно семь раз на сто тысяч. С остальными квантами картина та же:
квант | задач, где решил только квант | задач, где решил только инкумбент | p |
|---|---|---|---|
cyankiwi | 30 | 6 | 0.00007 |
QuantTrio | 30 | 7 | 0.00019 |
palmfuture | 30 | 7 | 0.00019 |
TheHouseOfTheDude | 29 | 7 | 0.00031 |
btbtyler09 | 29 | 9 | 0.00166 |
Все пять значений p ниже порога 0.0024, так что это уже не монетка. Этот счёт — по сырому баллу, но и по правилу стенда он тот же. У инкумбента на этом наборе 29 обрывов по бюджету, и честных среди них нет: почти всегда он ходил по кругу. Причём в 11 случаях модель уже нашла верный ответ, но вместо того чтобы выдать его, снова и снова его перепроверяла, пока не кончился бюджет.
Причём на ту же арифметику инкумбент тратит больше всех: в среднем 7364 токена на задачу против 2672–4891 у квантов, а на решённую задачу — 5750 против 2573–4618. То есть на школьных задачах старая модель решает хуже и при этом дороже.
С MMLU-Pro вышла самая поучительная история. Разброс там всего два с половиной процентных пункта, от 82.9 до 85.4%, и по таблице кажется, что модели неотличимы. Но по сырому баллу из двадцати восьми пар (здесь участвует и эталон, поэтому моделей восемь) различие установлено в восьми: Humo-Coder уступает пятерым соперникам, а TheHouseOfTheDude — троим: эталону, cyankiwi и QuantTrio.
С Humo-Coder на этом наборе стоит разобраться отдельно. У него 76 обрывов по бюджету. Датчик счёл 70 из них честными, но разбор судьёй показал другое: в 52 случаях модель ходила по кругу, перебирая одни и те же варианты и не решаясь выбрать, в 9 уже нашла ответ, но не выдала его (в 7 из них — верный), и лишь в 9 действительно продолжала работу. Если исключить эти девять, все пять поражений Humo-Coder остаются установленными.
Восемь установленных пар при разнице в два с половиной пункта — это немало. Как такое возможно? Дело в том, что процент ничего не говорит о том, насколько односторонне модели расходятся. Возьмём cyankiwi и TheHouseOfTheDude. Их ответы разошлись на 230 вопросах из 3500, и в 143 случаях из этих 230 прав был cyankiwi. Если бы модели были равны, такой или более сильный перекос выпадал бы примерно три раза на десять тысяч попыток (p ≈ 2.7·10⁻⁴). Большой набор даёт много расхождений, и даже небольшой, но устойчивый перекос в них становится хорошо виден.
На GPQA (80.3–84.8%) не установлено ничего: на 198 вопросах расхождений между моделями набирается лишь несколько десятков, а на них виден только очень крупный перекос. Больше всех обрывов по бюджету здесь у Humo-Coder — 31, и в 12 из них он честно не успел; отсюда его заметная разница между сырым баллом и баллом по правилу стенда.
Совпало ли с ожиданием. С GSM8K — да, там действительно потолок, по крайней мере для квантов. С GPQA — нет: разницы между моделями он не показал. С MMLU-Pro — да, он различил. И это полезный урок: правило «если проценты рядом, значит, прибор ничего не видит» оказалось не правилом, а догадкой. Проверять надо счётом расхождений, а не на глаз.
3. Код одним ответом
MBPP+ и цена насыщенного теста
Чего ждали. Потолка. Его старший брат HumanEval+ в нашем предварительном замере, ещё до серии, дал 95.1%, и мы заранее считали MBPP+ просто проверкой того, что при сжатии ничего не сломалось.
Что вышло. Потолок действительно получился: от 93.5 до 98.0%. Но история на этом не закончилась.
Ещё до того, как пришли данные MBPP+, мы разбирали результаты другого набора по классам сложности, и мой ИИ-помощник предложил выбросить класс самых лёгких задач: все модели решают его на 100%, различать там нечего. Я возразил. На насыщенном тесте действительно бессмысленно сравнивать правильность, зато можно сравнить стоимость — сколько токенов модель тратит на один и тот же результат. В повседневной работе модель — это помощник программиста, и основной поток запросов состоит как раз из простых задач. Разница в цене на простых задачах умножается на их количество.
Через час пришли данные MBPP+ и подтвердили это. Возьмём cyankiwi и QuantTrio. По качеству они почти одинаковы: 93.5% против 94.5%, различие не установлено. А по расходу токенов разница есть. Чтобы сравнение было честным, мы взяли только 182 задачи, которые решили обе модели, и сравнили медианы: 1988 токенов у cyankiwi против 1730 у QuantTrio. QuantTrio дешевле в 1.15 раза, и это различие установлено (p = 0.0001).
Более того, оказалось, что для измерения стоимости насыщенный набор даже лучше трудного. Сравнивать цену честно можно только на тех задачах, которые решили все модели. Иначе не поймёшь, экономна ли модель или она просто сдалась, не доработав. На MBPP+ таких задач, решённых всеми шестью исходными участниками, 175, а на трудном наборе Go — всего 31. Чем ближе набор к потолку, тем больше в нём материала для сравнения цены. Поэтому HumanEval+, который мы после того предварительного замера в серию не включали, считая бесполезным, теперь стоит в очереди как тест на стоимость.
MultiPL-E Go: тест, который измерял не то
Чего ждали. Что этот набор покажет, насколько хорошо модели знают Go.
Что вышло. Этот набор дал самый большой разброс во всей серии: от 53.9% у TheHouseOfTheDude до 82.5% у QuantTrio, двадцать восемь процентных пунктов. Такому разрыву очень хочется поверить. Но стоило посмотреть, из чего он сложился, как вера пошатнулась. Провалы бывают двух видов: код не скомпилировался или скомпилировался, но выдал неверный ответ. Вот как они распределились у лучшего и худшего кванта:
провалов «не собралось» | провалов «неверный ответ» | |
|---|---|---|
лучший квант | 22 | 5 |
худший квант | 71 | 0 |
Почти все провалы у всех моделей — это код, который просто не собрался. Причина оказалась в самом наборе. Модели дают начало файла, в котором уже подключены пакеты testing и fmt, и просят дописать функцию. Самой функции эти пакеты не нужны, а Go отказывается компилировать программу, в которой подключённый пакет не используется. Модель оказывается в вилке: если она удалит лишний импорт, то нарушит инструкцию «дополни код выше», а если оставит — программа не скомпилируется. TheHouseOfTheDude на простой задаче smallest_change так и метался между «уберу fmt» и «оставлю fmt», пока не израсходовал все 32 768 токенов бюджета.
А у Humo-Coder шестнадцать провалов из сорока давала одна-единственная строка:
var _ = fmt.Sprintf // так можно
var _ = testing.T // так нельзя: testing.T — тип, а не значение
Это известный приём: чтобы компилятор не ругался на неиспользуемый пакет, в коде упоминают что-нибудь из него. Модель выучила этот приём, но применила его к типу, а не к значению, и компилятор такого не принимает. Мы удалили из этих шестнадцати решений только эту строку, ничего больше не трогая, и, по записи в журнале серии, все шестнадцать прошли тесты. Сама логика решения была верной везде.
Совпало ли с ожиданием. Нет. Балл MultiPL-E Go оказался смесью двух разных умений: знания Go и умения выкрутиться из противоречивого задания. Сравнивать модели по нему можно — задание у всех одно и то же, — но читать его как оценку знания Go нельзя. Показательно, что несжатый эталон занял на этом наборе седьмое место из восьми.
На этом же наборе нашлись ещё две вещи, о которых стоит рассказать.
Правило, которое могло работать в пользу слабейшего. Помните правило про обрывы из раздела «Как читать результаты»? Вот почему в нём важно отделять честный обрыв от зацикливания. TheHouseOfTheDude решил на Go 83 задачи из 154, а 33 его ответа оборвались по бюджету. Если исключить из подсчёта все 33, его результат вырастет с 53.9 до 68.6% — почти пятнадцать пунктов в подарок. Заслуженный ли? Из этих 33 задач 32 решил хотя бы один из остальных исходных участников, а 16 решили все пятеро: четыре кванта и инкумбент. В среднем на этих задачах соседи тратили 13 677 токенов при потолке 32 768, то есть задачи были вполне посильными. Разгадка в том, что 27 из 33 обрывов — зацикливания. Модель, которая ходит по кругу, задачу не решила, и провал ей засчитывается. Честных обрывов, где модель продолжала работу, у TheHouseOfTheDude по разбору судьёй нет ни одного: в остальных шести случаях он либо тоже ходил по кругу, либо уже нашёл ответ и не выдал его. Так что по правилу стенда его результат остаётся 53.9%, и никакого подарка нет. Вдобавок наш инструмент подсчёта проверяет, решают ли ту же задачу другие модели, и предупреждает, если решают.
Цена. На этом наборе разница в расходе токенов оказалась самой большой в серии. Инкумбент тратит в среднем 1516 токенов на задачу, а кванты Qwen3.6 — от 13 603 до 17 054, примерно в десять раз больше. На решённых задачах картина та же: 1437 против 12 416–15 381. Humo-Coder ещё экономнее: 1225 в среднем и 1008 на решённую. Но это свойство набора, а не поколения моделей: на GSM8K, как мы видели, дороже как раз инкумбент.
4. Код в агентском цикле
Чего ждали. Мы ожидали, что работа с инструментами обойдётся дороже, чем простой текстовый диалог: каждый вызов инструмента — это лишнее сообщение, лишний разбор и лишний круг. Должен честно оговориться: это ожидание не было записано в журнал до прогона, поэтому засчитывать его как настоящее предсказание нельзя.
Что вышло. Этот тест занял три карты примерно на три с половиной дня: 318 задач на каждую из семи моделей, всего 2226 прогонов. Прежде чем показывать таблицу, объясню её столбцы.
Результат модели здесь описывают две разные метрики, и складывать их в одну нельзя: они про разное.
Умение — сколько задач модель решила верно. Верным считается решение, которое проходит скрытые тесты, даже если модель так и не сдала его по правилам. Сюда входит и код, который модель предъявила в последнем ответе, но ни разу не собрала: такой код мы собрали и проверили сами. Код, оставшийся только в рассуждениях, не считается: модель его не предъявила.
Дисциплина — сколько задач модель сдала по правилам: хотя бы раз собрала код и нажала «сдать». Верность решения здесь не важна: модель, которая собрала, проверила и честно сдала неверное решение, вела себя как надо.
За каждую задачу модель получает до двух очков: одно за верное решение и одно за правильную сдачу. Сумма — ещё одна, общая мера, максимум 636 очков на 318 задачах.
Остальные столбцы таблицы:
Из верных не сдано — сколько верных решений модель так и не сдала по правилам. Код написан и работает, но модель не довела дело до конца.
Три столбца про обрывы — что происходило, когда ответ модели упирался в потолок 65 536 токенов, по вердикту судьи: петля — модель ходила по кругу; ответ найден — остановилась на решении, но так и не выдала его; честно не успела — продолжала новую работу.
Часов — сумма времени по всем задачам. Задачи шли параллельно на трёх картах, так что календарно всё заняло меньше.
умение, верных | дисциплина, сдано | сумма очков из 636 | из верных не сдано | петля | ответ найден | честно не успела | часов | |
|---|---|---|---|---|---|---|---|---|
Humo-Coder | 202 | 115 | 317 | 102 | 14 | 2 | 14 | 15.8 |
btbtyler09 | 167 | 120 | 287 | 58 | 77 | 4 | 8 | 33.7 |
инкумбент | 164 | 93 | 257 | 88 | 60 | 1 | 3 | 24.3 |
cyankiwi | 163 | 107 | 270 | 64 | 64 | 11 | 8 | 34.0 |
QuantTrio | 162 | 120 | 282 | 57 | 60 | 15 | 12 | 33.4 |
TheHouseOfTheDude | 152 | 102 | 254 | 63 | 104 | 17 | 3 | 37.8 |
palmfuture | 132 | 95 | 227 | 51 | 108 | 15 | 3 | 32.6 |
Честных обрывов в агентском цикле так мало, что балл по правилу стенда почти не отличается от сырого: Humo-Coder 66.4% (сырой 63.5%), btbtyler09 53.9% (52.5%), QuantTrio 52.9% (50.9%), cyankiwi 52.6% (51.3%), инкумбент 52.1% (51.6%), TheHouseOfTheDude 48.3% (47.8%), palmfuture 41.9% (41.5%).
На этом стенде часы — почти то же самое, что токены: скорость генерации у шести моделей из семи уложилась в полосу 94–96 токенов в секунду. Исключение — TheHouseOfTheDude с 103.7 токена в секунду: по токенам он обходится примерно на 9% дороже, чем выглядит по часам.
Главный результат виден сразу: Humo-Coder обыгрывает всех шестерых соперников по умению. Каждое из шести сравнений с ним проходит порог значимости, даже самое близкое — с btbtyler09 (p = 0.0017). И обходится он дешевле всех: в среднем 16 784 токена на задачу против 35–44 тысяч у квантов Qwen3.6, а на решённую задачу — 8313 против 13.5–30 тысяч. Поэтому и времени на весь набор у него ушло в полтора раза меньше, чем у инкумбента, и больше чем вдвое меньше, чем у квантов. А вот между самими квантами установлено всего одно различие из десяти возможных пар: btbtyler09 обыгрывает palmfuture со счётом 63 к 28. Остальные девять пар различить не удалось. Инкумбент по умению от квантов почти не отличается: он значимо обыгрывает palmfuture (68 к 36), а с остальными различие не установлено.
Инкумбент, кстати, — главный выгодоприобретатель от проверки несобранного кода. Сорок два его верных решения лежали в последнем ответе, но так и не были собраны: без нашей проверки у него было бы 122 верных и последнее место, а с ней — 164 и место в середине таблицы.
Но интереснее самого балла оказалось то, что мы увидели, заглянув внутрь.
Две трети решений были готовы сразу. Мы посмотрели на самую первую сборку в каждой решённой задаче, где модель собирала код сама. Таких решений у семи моделей вместе 1079; ещё 63 верных решения нашлись при нашей проверке несобранного кода и в этот разбор не входят. В 743 случаях первая же сборка удалась, и код в ней совпал с итоговым. То есть в двух третях случаев работающая программа была написана с первой попытки. В 205 случаях первая сборка не удалась, модель прочитала ошибку компилятора и исправила код. В оставшихся 131 случае код собрался с первого раза, но модель всё равно продолжала его править, и не всегда по делу. В одной задаче, например, вся правка свелась к замене var stack []byte на stack := make([]byte, 0, len(s)) — это небольшая оптимизация, а не исправление ошибки.
Умение и дисциплина действительно расходятся. У Humo-Coder 102 задачи, в которых работающий код написан, но так и не сдан, — это половина всего, что он решил. Инкумбент страдает другим недостатком: в 80 задачах из 318 он объявил решение окончательным, ни разу его не скомпилировав. Для сравнения: у cyankiwi таких случаев 40, у QuantTrio 36, а у Humo-Coder ни одного. Получается, один проверяет и не сдаёт, а другой сдаёт непроверенное — и в половине таких случаев, как мы видели, решение всё-таки оказывалось верным. По дисциплине впереди btbtyler09 и QuantTrio, по умению — Humo-Coder, по сумме очков — снова Humo-Coder.
Как модели жгут бюджет. Когда ответ упирается в потолок, модель почти всегда ходит по кругу. Иногда дословно — как TheHouseOfTheDude в задаче abc310_f: рассуждение начинается вполне по делу, но примерно через 130 тысяч символов, это около 44 тысяч токенов, превращается вот в это:
Wait, `go` load balancer code.
Used.
Correct.
Wait, `go` scheduler code.
Used.
Correct.
Так модель и крутится, пока ответ не упрётся в потолок 65 536 токенов: весь ответ занял почти 190 тысяч символов. Такие петли ловит и датчик. Но чаще модель кружит, перефразируя: снова и снова пересматривает одни и те же идеи, каждый раз немного другими словами, и не решается ни на одну. Такое видит только судья.
По его вердикту больше всего петель у palmfuture (108) и TheHouseOfTheDude (104), у остальных квантов — от 60 до 77, у инкумбента — 60, а меньше всех у Humo-Coder — 14. Честных обрывов, где модель продолжала новую работу, мало у всех: от 3 до 14 на 318 задач, и больше всего их как раз у Humo-Coder. У него доля обрывов, где модель продолжала работу, выше, чем у всех остальных: 14 из 30, столько же, сколько петель. palmfuture же не решил ни одной из своих долгих задач: на них он почти всегда ходил по кругу.
Больше половины времени карты работают почти впустую. Задачи дольше десяти минут — от 12 до 42% набора у разных моделей — съедают 54–76% всего времени, а решений в них на всех семерых нашлось девятнадцать. Что с этим делать, — в разделе «Что дальше».
Инструменты против простого текста. Часть задач мы прогнали и без инструментов: модель присылает код текстом, скрипт сам его компилирует и возвращает ошибку. На 79 задачах у cyankiwi и 84 у QuantTrio работа через инструменты вышла немного дешевле, но насколько — зависит от способа счёта: по медианам расхода на 12–17%, по медиане отношений на каждой задаче — всего на 2–9%. Решено при этом текстом даже чуть больше: 41 против 34 и 42 против 40. Что именно дало разницу, неполный опыт не показывает: способы различаются сразу в трёх вещах — кто решает, когда вызвать компилятор, можно ли запустить программу на примерах и когда модель останавливается.
Совпало ли с ожиданием. Нет: работа через инструменты оказалась не дороже, а немного дешевле текста, хотя разница и невелика. И ещё одна важная оговорка. Весь этот набор — программирование на Go, а Humo-Coder изначально заточен под код. Он выиграл на своём поле, и вывод «он лучше для любой агентской работы» отсюда не следует. На русских пробах, как мы видели, он последний.
5. Вызов функций: BFCL
Чего ждали. Во всех наших тестах не хватало одной проверки: умеет ли модель не вызывать инструмент, когда вызывать его не нужно. Мы ждали, что BFCL закроет эту дыру.
Что вышло. Дыру он не закрыл: на этой проверке все семь моделей показали от 87 до 90%, и различий между ними нет. Общий балл тоже не различил никого. Разброс от 2188 до 2250 решённых задач из 3071 — это два процентных пункта между первым и последним, и ни одна из двадцати одной пары моделей не прошла порог значимости. Полтора суток работы трёх карт, двадцать одна тысяча прогонов, полмиллиарда входных токенов — и ни одного установленного различия.
Но стоило разложить общий балл по категориям, как внутри нашлись два крупных эффекта, которые смотрят в противоположные стороны.
Работа с памятью. В этих задачах модель должна запомнить сведения из диалога и позже правильно ими воспользоваться. Humo-Coder справился с 71.4% таких задач, а худший из остальных — лишь с 48.4%. Разрыв в двадцать три пункта, и все шесть сравнений с Humo-Coder значимы. Здесь, правда, нужна оговорка. 465 задач на память — это на самом деле 155 вопросов, каждый из которых задан в трёх разных режимах, и все они опираются на пять общих историй. То есть задачи не вполне независимы друг от друга. Если считать вопрос решённым, когда модель справилась с ним хотя бы в двух режимах из трёх, преимущество Humo-Coder всё равно сохраняется, а вот более мелкие различия между остальными моделями пропадают.
Многоходовые вызовы. Здесь модели нужно провести с пользователем несколько ходов, вызывая инструменты по ходу диалога. И тот же Humo-Coder здесь последний: 385 задач из 800 против 445 у лучшего. Насколько надёжно это отставание, зависит от того, насколько строго считать. При самом строгом счёте, когда поправка делается на все двадцать категорий сразу, оно установлено против двух соперников, а при обычном пороге 0.0024 — против четырёх. И ещё одна оговорка: обе эти группы категорий, память и многоходовые вызовы, мы выделили уже после того, как увидели ровный общий балл. Поэтому для следующей серии это гипотеза, которую надо проверить заново, а не заранее поставленный опыт.
Общий балл сложил выигрыш Humo-Coder в памяти с его проигрышем в многоходовых вызовах и выдал ровную линию, на которой Humo-Coder стоит пятым из семи. Усреднение не заглушило шум, а спрятало в себе два настоящих эффекта с разными знаками — и они погасили друг друга.
Java и JavaScript. Ещё одна странность BFCL: в категориях на Python все модели набирают 92–94%, на Java — 37–39%, на JavaScript — 32–38%. Разрыв в два с половиной — три раза, и он одинаков у всех семи моделей. Объяснение «модели плохо знают неродные языки» напрашивается само, но стоит открыть вердикт проверяющего кода, как картина меняется:
ответ модели: "useShortName": true
вердикт: Expected type String, got bool.
Схема функции объявляет этот параметр логическим, и модель честно возвращает логическое значение true. А проверяющий код ожидает строку "true", потому что в этих категориях все значения по соглашению записываются строками. На ошибки из-за расхождения типов приходится около 80% всех провалов на Java и JavaScript. Назвать «исправленный» балл по этим данным нельзя, потому что в тех же ответах встречаются и настоящие ошибки. Но и читать баллы этих категорий как оценку знания языков тоже нельзя, пока мы не разберёмся с тем, как набор записывает типы.
Совпало ли с ожиданием. Нет. Проверку лишних вызовов BFCL не различил, зато наглядно показал, как общий балл может спрятать два крупных и противоположных эффекта.
6. Близость к оригиналу: KL-дивергенция
Чего ждали. Что это будет прибор чувствительнее поведенческих тестов. Поведенческий тест на каждое задание даёт только «да» или «нет», и шестьдесят заданий — это шестьдесят таких ответов. А здесь каждая из трёхсот с лишним тысяч позиций текста даёт целое распределение вероятностей, и никакой случайности при выборе ответа в замере нет.
Что вышло. Корпус для замера был разбит на девять частей — срезов: проза, код, агентские диалоги, наши пробы и так далее. Вот результаты на срезе с нашими пробами. Кроме медианного KL, в таблице есть совпадение лучшего токена: как часто самый вероятный следующий токен у кванта тот же, что у эталона.
модель группа KL≈, медиана совпадение лучшего токена
btbtyler09 32 0.0102 90.6%
cyankiwi 32 0.0110 90.7%
QuantTrio 128 0.0167 88.6%
palmfuture 128 0.0175 86.3%
TheHouseOfTheDude 128 0.0369 82.7%
Видны две вещи. Во-первых, кванты с группой 32 ближе к оригиналу, чем кванты с группой 128. Так получилось на восьми срезах из девяти. На этом срезе чуть ближе всех btbtyler09, но на большинстве остальных первенство у cyankiwi — разница между ними мала. Это ровно то, чего ждёшь от меньшей группы: чем меньше весов делят один масштабный коэффициент, тем точнее сжатие.
Во-вторых, TheHouseOfTheDude отошёл от оригинала вдвое дальше, чем любой другой квант, и так на всех девяти срезах. Это тот самый участник, который сжат агрессивнее всех, хуже всех выступил на Go и вместе с palmfuture чаще всех ходил по кругу. Цепочка «сжали больше — модель ушла дальше от оригинала — начались срывы» напрашивается сама. Но доказать её мы не можем: такой участник у нас один, и отделить влияние охвата сжатия от прочих его отличий — другого автора, другого рецепта — просто не на чем.
Зато здесь есть любопытное сравнение. QuantTrio, судя по всему, тоже округляет без защиты каналов, но сжимает только экспертов — и от оригинала он заметно ближе, чем TheHouseOfTheDude. Это согласуется с гипотезой, что охват сжатия важнее метода, но отдельного опыта, который изолировал бы этот фактор, у нас нет: модели различаются ещё и авторами, и списками исключений.
И отдельный сюрприз: по медиане приближённого KL QuantTrio ближе к оригиналу, чем palmfuture с полноценным GPTQ и такой же группой 128, причём на всех девяти срезах. По другим мерам преимущество не столь однозначно, так что превосходства одного метода над другим это само по себе не доказывает.
К этим результатам есть два предостережения. Первое: близость к оригиналу ещё не означает пользу. Сам несжатый эталон на наборе Go занял седьмое место из восьми, и квант, который точно его повторяет, повторит и его ошибки. Второе: различие по KL не обязательно проявляется в поведении. Разница между группами 32 и 128 хорошо видна по KL, а в агентском цикле из шести пар «группа 32 против группы 128» значимой оказалась одна.
Совпало ли с ожиданием. Да: этот прибор действительно оказался чувствительнее поведенческих тестов. И гораздо дешевле: замер всех пятерых квантов вместе с эталоном занял около получаса, тогда как полная поведенческая серия идёт сутки и больше. Поэтому в следующей серии мы начнём с KL. Не для того, чтобы отсеивать кандидатов по нему — порог отсева мы не устанавливали, — а чтобы сразу понять, к кому стоит присмотреться внимательнее.
Как нас обманывали собственные приборы
Отдельная глава — в духе «скандалов, интриг и расследований». Она о том, что инструменты измерения тоже умеют врать, причём убедительно. Расскажу о пяти случаях: каждый пригодится любому, кто сравнивает модели сам.
Колонка победителей. После первой серии у нас была таблица, где в одиннадцати строках из четырнадцати значилось имя лучшей модели. Выглядело солидно. Потом мы нашли в коде строчку, которая выбирала победителя: names[vals.index(win)], где win — лучшее значение в строке. При ничьей она возвращает того, кто стоит в списке первым. Если пять моделей набирали по 100%, «побеждала» та, что была записана выше в списке моделей. После исправления в таблице не осталось ни одного победителя по качеству.
Слепая зона. Первая серия была маленькой — от 30 до 50 заданий на тест. Мы посчитали, какую разницу тест вообще способен заметить на такой выборке. Оказалось, что на тридцати заданиях можно отличить безупречную модель только от той, что опустилась ниже 80%. Всё, что мельче, тест просто не видит. А все различия, которые мы видели в первой серии, были мельче. Так что вывод «модели не различаются» был неверным. Верный звучал бы так: «этот градусник измеряет только от сорока». Именно поэтому русские пробы мы и растянули с 36 заданий до 150.
Не тот статистический тест. Поначалу мы сравнивали итоги моделей так, будто каждая решала свой собственный набор задач. Для этого есть свой метод — точный тест Фишера. Но набор-то у всех был общий, а для общего набора правильный инструмент — тот самый счёт расхождений, критерий Макнемара. Когда мы пересчитали те же самые данные правильным методом, в девяти парах из десяти p стали меньше. Мы теряли чувствительность на ровном месте.
Правило исключения обрывов — о нём шла речь в разделе про Go. Если не отличать честный обрыв от зацикливания, разумное правило начинает дарить баллы тем, кто ходит по кругу.
Ноль, которого не было. По записям агентского цикла у инкумбента не было ни одного зацикливания на 318 задачах — единственного из семи. Красивое свойство, но ложное. Проверку обрыва на повтор добавили в нашу обвязку посреди серии, а инкумбент шёл в агентском цикле первым, и его обрывы записались без всякой проверки. Когда мы применили датчик к сохранённым ответам, он нашёл 54 петли из 64, судья — 60. В одной задаче модель до самого конца бюджета повторяет одну и ту же пару строк: «Wait, I need to make sure I don’t use min_sub of a child that is nil. Yes.» Урок простой: вывод прибора нельзя хранить готовым, его надо вычислять из сырых данных при каждом разборе — тогда исправление прибора доходит до всех прогонов сразу.
Ни одну из этих поломок не было видно снаружи. Все они давали правдоподобные числа, аккуратные таблицы и уверенные выводы. И именно поэтому их стоило искать.
Выводы
Вместо одного победителя у каждого участника получился профиль. Если свести его к одной мысли — что вы получаете и чем за это платите:
Инкумбент — надёжный собеседник для русскоязычного агента: на русском и в вызовах функций у него лучшие результаты среди участников, а на коде он ещё и экономен. Платите вы школьной арифметикой и небрежностью: в агентском цикле он то и дело сдаёт код, даже не попытавшись его собрать.
Humo-Coder — сильный и экономный программист, которому нельзя доверять русский язык без присмотра. Без подсказки о кириллице он искажает около половины названий городов, а половину своих верных решений так и не доводит до сдачи.
TheHouseOfTheDude — самый неудачный из вариантов: дальше всех от оригинала и хуже всех на Go, хотя по сумме BFCL неожиданно второй. Виноват ли в этом широкий охват сжатия, опыт не выделяет.
palmfuture — хорош на русском и почти не отличается от инкумбента на городах, но в агентском цикле слабее всех квантов и чаще всех ходит по кругу.
btbtyler09 — самый ровный из квантов: без ярких провалов, ближе всех к оригиналу на срезе с пробами и единственный, кто значимо обыграл соседа в агентском цикле.
cyankiwi и QuantTrio — близнецы по результатам при противоположных подходах к сжатию: между тщательной калибровкой «под агентов» и, по всей видимости, простым округлением различие по правильности не установлено нигде.
Что из этого следует на практике:
По карточке модели её поведение не предсказать. Карточка говорит, что мастерская делала и почему, и ничего — о том, что из этого выйдет у вас.
Проверять надо на своих задачах. И сперва убедиться, что тест измеряет то, что написано на его обложке.
Часть проблем лечится промптом, а не сменой модели. Одна строка про кириллицу стоит дешевле любой миграции.
Смотреть надо не на проценты, а на счёт расхождений. Разница в пять пунктов может ничего не значить, а разница в два с половиной — оказаться установленной.
Чего мы не проверяли
Чтобы не было иллюзии полноты, — чего в этой работе нет.
Длинный контекст в реальной работе. Была только «иголка в стоге сена», и её все прошли. Как модели ведут себя на длинных живых диалогах и больших документах, мы не измеряли.
Скорость под нагрузкой. Объём KV-кэша взят из оценки движка, нагрузочных тестов с десятками одновременных пользователей не было.
Качество длинных связных текстов на русском — писем, резюме, ответов клиентам. Русский мы проверяли только там, где его можно проверить механически: в аргументах вызовов и строках кода.
Мультимодальность. Картинки мы моделям не показывали вовсе, хотя зрительная часть у моделей этого семейства есть.
Безопасность и отказы — как модели реагируют на провокационные и запрещённые запросы.
Наш рабочий системный промпт. Все прогоны шли со штатным шаблоном чата каждой модели и с промптами самих тестовых наборов, а не с тем системным промптом, с которым модели работают у нас в бою. А статья сама показывает, что одна строка в промпте может заметно поменять результат.
Разброс между повторами. Каждая задача решалась один раз; устойчивость результата мы оцениваем статистически, а не повторными прогонами.
Что дальше
Список на следующую серию вышел не из планов, а из того, что в этой сломалось.
Разобрать запись типов в BFCL и переоценить уже сохранённые ответы на Java и JavaScript. Это дешевле всего: не нужно ни одного нового прогона модели.
Урезать потолок ответа, а не поднимать — и проверить парно, сколько решений это будет стоить.
Начинать с KL, чтобы за полчаса увидеть, кто ушёл от оригинала дальше всех.
Прогнать агентский цикл на русских условиях задач. Все 318 условий уже переведены; 200 из них сверены вручную, а 15 не прошли автоматическую проверку чисел и литералов и ждут правки.
Расширить многоходовые русские пробы. Десять сценариев проверили механизм, но различать модели на них нельзя.
Финал
Я начинал с вопроса «может ли новое быть хуже старого?» и с ответа «да, но нет». Неделя работы и почти миллиард токенов ответа «да» или «нет» не дали — и, как выяснилось, дать не могли, потому что вопрос был поставлен неверно. Новое оказалось лучше старого в одном, хуже в другом и неотличимым в третьем. А кандидат, взятый со стороны почти из любопытства, обыграл всех в программировании, ради которого его и взяли, почти везде оказался самым экономным — и провалился на русских пробах с вызовами инструментов.
Выбор между моделями — это выбор, какими провалами вы согласны платить. Решение принимает тот, кто платит за токены и отвечает за простой. А работа измерения — показать, где различие установлено, где не установлено и где прибор просто ничего не видит.
И, как выяснилось за эту неделю, последнее встречается чаще первых двух.
-
26.06.26 15:05
Riley Stephens
If withdrawals keep getting denied, stay calm. I went through the same, and this firm helped me recover everything. Their assistance was outstanding. Contact: [ResQProFirm @Gmail|•|com], Telegram: ResQprofirm, WhatsApp: <+198> <5296> <9146>.
-
26.06.26 15:09
Antonio Riley
Withdrawal troubles shouldn’t stress you out. I faced a similar problem, and this firm stepped in and recovered my funds. Their support truly mattered. Contact them: [[email protected], ResQprofirm @aol.com], Telegram: ResQprofirm, WhatsApp: +19852969146.
-
28.06.26 00:37
kimberlyhebertt673
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
28.06.26 00:37
kimberlyhebertt673
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
29.06.26 11:57
Lisadonato0726
For 43 years, I struggled with bad credit due to my own poor decisions, and my credit score was around 490. When my girlfriend and I decided to buy a house, a mortgage broker informed us that it would be impossible to secure a mortgage with my credit score. As a result, she referred me to a company called HACK MAVENS CREDIT SPECIALIST, assuring me of their professionalism and ability to assist with credit improvement. Upon contacting them, I was impressed by their professionalism and they assured me that they could help. In less than 6 days, my credit score skyrocketed to 785, and they also successfully resolved issues in my credit report, including the bankruptcy. I am incredibly satisfied with their service and would highly recommend HACK MAVENS CREDIT SPECIALIST for reliable credit repairs. You can reach them at H A C K M A V E N S 5 [AT] G M A I L [DOT] COM or at [+] [1] [2 0 9] [4 1 7] – [1 9 5 7]. Thanks to their help, my girlfriend and I are now proud homeowners.
-
29.06.26 22:37
riley777
Back in 2025, I watched my life savings vanish. A thief took every cent. I felt desperate and went looking for a way to get it back. I found a guy here who said he was an expert haha. He talked about special software that could find my missing cash. I trusted him. That was a big mistake. He was just another scammer. I paid him a software fee and then he just stopped answering my texts and ran off with my money too. I felt so ashamed that I kept quiet about it for months. It is hard to admit you got fooled twice. Later on, I found a real pro. she did not use a fancy sales pitch. she just looked at the trans screenshots and followed the path the money took. she worked fast and got my funds back into my account. Having that money back changed everything. I can sleep again. her info; [email protected]. Call/chatroom on Whtasapp/ +44 7476618364.
-
30.06.26 15:08
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
30.06.26 15:08
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
02.07.26 01:22
Lieneke Bonnema
I highly recommend ResQprofirm for their professional asset recovery services of my $120,000 scammed funds. Their expertise, professionalism, and commitment to achieving results make them a reliable choice for anyone seeking dependable recovery assistance. [email protected], WhatsApp +19852969146, telegram @resqprofirm
-
02.07.26 01:26
Clara Morin
I want to extend my deepest appreciation for showing that circumstances do not define one’s potential for greatness. Your support has been a major source of inspiration during my trading journey, and I am sincerely grateful for your insight and mentorship. Thank you so much. [email protected], WhatsApp +19852969146, telegram ResQprofirm
-
02.07.26 01:31
Robin Hale
I sincerely want to thank you for demonstrating that anyone can rise above their circumstances and achieve success. Your constant support has been incredibly inspiring during my trading journey, and your wisdom and advice mean so much to me. I appreciate you deeply. [email protected], WhatsApp +19852969146, telegram Resqprofirm
-
04.07.26 15:32
Fraddy Pual
There are few companies I trust as much as FUNDSRETRIEVER. When I lost $653,000 in Ethereum to a ruthless scam, I thought my life would never be the same. The betrayal cut deep, but I refused to give up. I searched tirelessly for a legitimate way to recover what was stolen, and finally found FUNDSRETRIEVER—the most competent and compassionate recovery team I could have imagined. They handled my case with precision and care, and in the end, my entire ETH wallet was restored. More than the money, they gave me back my hope and happiness. I'm sharing my story because I want others to know that recovery is possible. If a scam has taken from you, don't hesitate—contact FUNDSRETRIEVER today. Email: FUNDSRETRIEVER1@ Gmail.com | WhatsApp: +1 603-512-1448 | Telegram: @FUNDSRETRIEVER
-
05.07.26 14:44
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
05.07.26 14:44
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
06.07.26 16:20
Olga Ognjanović
Having trouble withdrawing funds from an investment platform? ResQprofirm provides fund recovery assistance for individuals seeking help with investment-related disputes. I reached out to them after experiencing problems with an investment platform, and I appreciated their professionalism and support throughout the process. If you're facing a similar situation, act promptly, keep records of your transactions and communications, and seek assistance from a qualified recovery service or the appropriate authorities. Contact: Email: [email protected] Telegram: @ResQprofirm WhatsApp: +1 985 296 9146
-
06.07.26 16:31
Joseph Weigl
Invest wisely and stay cautious. Don't be influenced by promises of unusually high returns or convincing sales pitches from brokers. I learned this the hard way after falling victim to an investment scam that promised huge profits. Fortunately, I acted quickly and reported the incident to a recovery firm for assistance. Contact: Email: [email protected] Telegram: @Resqprofirm WhatsApp: +1 985 296 9146
-
06.07.26 16:33
Jaran Løvlien
A heartfelt thank you to RESQPRO FIRM for their commitment and professionalism throughout the investigation of my case. Their team worked diligently and helped recover assets valued at $88,000, which were returned to my wallet. I truly appreciate their support, clear communication, and dedication, and I'm grateful for the assistance I received. Contact: Email: [email protected] Telegram: @Resqprofirm WhatsApp: +1 985 296 9146
-
07.07.26 18:00
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
07.07.26 18:01
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.07.26 19:06
Toivo Walli
I lost 8.56btc to a fake Bitcoin mining site, I tried withdrawing but couldn't approved my process, I reported to !R£SQPROFIRM! via °R£SQproFirm°àt°gmail•com° °tEL£°gram=R£SQprofirm °whaT°Zap+198°52°96°91°46
-
09.07.26 19:10
Misty Alexander
Ongoing messages demanding more money before approving withdrawals are a major red flag. Stop engaging and report the incident to a trusted recovery team. For professional support, you can contact R£sQprofirm using °ResQproFirm°àt°g,*ma'il(•)¢m°, TEL£gram ResQprofirm, or |whaTZap| +1-985-296-9146.
-
09.07.26 19:13
Clara Soto
Anyone receiving continued requests for additional deposits from a scam platform should immediately cut off communication and submit the case to a reputable recovery service for investigation. R£sQprofirm is a dependable firm you can reach at °ResQproFirm°àt°g,*ma'il(•)¢om°, TEL£gram ResQprofirm, or |whaTZap| +1-985-296-9146.
-
12.07.26 03:30
Kora Baltacha
Time is critical. Act now by reaching out to a reputable, seasoned recovery specialist who will guide you every step of the way. You'll need to submit transaction proof, scammer details, and any other useful information. Armed with this, the experts can trace and attempt to pull your money back from the scammers' hidden accounts or wallets. Best of all, R£sQprofirm provides recovery help without charging any upfront fees. Contact them immediately via Telegram @ResQprofirm, WhatsApp +19852969146, or email [email protected].
-
12.07.26 03:33
Pahal Mathew
It's important to move proactively by engaging an experienced recovery specialist. They will assist you throughout the process. To help them, provide: · Transaction evidence · Scammer information · Any additional relevant details The experts will then track and try to retrieve your funds from the scammers' hidden accounts or wallets. R£sQprofirm offers recovery assistance with no upfront fees. Contact: Telegram: @ResQprofirm WhatsApp: +19852969146 Email: [email protected]
-
13.07.26 23:49
[email protected]
One of the biggest concerns I have about cryptocurrency is the lack of regulation. It creates opportunities for scammers to invent convincing stories and fraudulent investment schemes. Unfortunately, some social media platforms continue to display these ads because they profit from them, even after users report them.I personally clicked on a Facebook advertisement for a company called Chickenfastmining and ended up losing more than $120,000 in a scam. I reported the ad, but nothing was done. Later, through a Reddit community, I found a recovery service called CYBERBERSPY that, in my personal experience, they helped me recover $110,000 of my lost funds. If you've been a victim of a cryptocurrency scam, don't lose hope. Explore your options carefully, and always verify the legitimacy of any recovery service before trusting them or paying any fees. Based on my own experience, CYBERBERSPY was helpful to me and i was able to recover my funds back, but I encourage everyone to do their own research before using any recovery service.i highly recommend: ([email protected])
-
15.07.26 11:53
Sarah Green
Thank you for showing that success is possible regardless of where someone starts. Your encouragement, valuable advice, and continuous support have inspired me throughout my $160,457k crypto investment recovery journey. I truly appreciate your kindness and dedication. Resqprofirm @gmail.com Telegram: Resqprofirm
-
15.07.26 11:58
Lily Gagné
I sincerely appreciate you for proving that anyone can overcome challenges and achieve success. Your unwavering support throughout my trading investment scam of $88,890 recovery journey has been truly inspiring, and your guidance and wisdom have meant a great deal to me. Thank you for everything ResQprofirm@ gmail.com, ResQprofirm on the telegram.
-
16.07.26 21:38
patricialovick86
How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
16.07.26 21:38
patricialovick86
How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
17.07.26 19:24
laimqq90
I recommend Marie when it comes to recovering lost/stolen ust/bitcoin or any kind of cryptocurrencies' from fake investment platforms because they're well specialized in that area and you'll get your money back in full. I can boldly say this right now based on my prior deal i had with them; she was the only one who was able to recover my lost money $52,760 dollars back to my account, Only * ([email protected] and WhatsApp +1 7127594675 successful in recovering my money. They are the only one who can fully restore your lost funds to your account without any deductions, I really value their work and am recommending her to you today. THANK ME LATER
-
17.07.26 20:12
martinsjude080
Needs Online Fraud Help Contact Mighty Hacker Recovery https://mightyhackarrecovery.com I lost $292,900 in Bitcoin after investing with an online mining company. After realizing I had been scammed, I spent a long time searching for ways to recover my funds and contacted several services without success. During my research, I came across Mighty Hacker Recovery through Google and YouTube. What caught my attention was that they said they would not require any upfront payment before providing their recovery service. I decided to contact them to discuss my case and understand their process. Throughout the process, they kept me informed about the progress. After several days, I was asked to provide my Bitcoin wallet address, and my case was concluded. Their fee was handled after the service rather than being requested in advance. If you've been the victim of a cryptocurrency scam, it's important to do your own research, ask questions, and carefully evaluate any recovery service before proceeding. Every case is different, so take the time to verify information and understand the process before making any decisions. For Bitcoin scam recovery, cryptocurrency scam, crypto recovery service, recover stolen Bitcoin, Bitcoin fraud help, blockchain investigation, crypto wallet recovery, online investment scam, digital asset recovery, and crypto scam support. Contact Them on WhatsApp +1 (343) 947-3496 or [email protected] or [email protected] or https://mightyhackarrecovery.com Scam recovery Online fraud help Scam alert Report fraud Fraud investigation Fake website checker Scam checker Identity theft protection Consumer protection Chargeback for scam Wire transfer scam Tech support scam Employment scam Rental scam Shopping scam Email scam WhatsApp scam Telegram scam Facebook scam Instagram scam
-
18.07.26 17:12
Malthe Larsen
My experience with OKX has been deeply frustrating. For months, my account withdrawals were restricted with no explanation or resolution. Multiple emails to their support team were ignored, leaving me without answers or reassurance. This complete lack of communication shattered my trust. I ultimately regained access to my funds only through the help of a third-party recovery service, ResQProfirm. What should have been a reliable platform instead made me feel helpless and cut off from my own assets. [email protected], WhatsApp +19852969146, telegram @Resqprofirm
-
18.07.26 17:42
پریا رضایی
OKX has been a major disappointment. My withdrawals were restricted for months, and repeated attempts to contact support went unanswered. This silence destroyed my confidence in the platform. I was only able to recover my funds through a third-party service, ResQProfirm. I trusted OKX for its reliability, but the experience left me feeling trapped and helpless. Timely communication and access to one’s own money should be a basic standard. [email protected], WhatsApp +19852969146, telegram: ResQprofirm
-
18.07.26 17:46
Adem Akışık
I truly didn’t expect such an outstanding outcome. Recovering my $49,360 felt impossible at first, but ResQprofirm’s dedication and persistence made it happen. I hold their team in the highest regard. [email protected], WhatsApp +19852969146
-
18.07.26 23:51
bernalzenaida
WhatsApp https://wa.link/fhle97 Telegram https://msng.link/o?@techcyberforc=tg As cryptocurrency continues to reshape global finance, cybercriminals are finding new ways to exploit investors through scams, hacks, phishing attacks, fake investment platforms, and other forms of digital asset fraud. For many victims, knowing where to turn after a loss can be one of the biggest challenges. Techy Force Cyber Retrieval was founded with one clear mission: to give victims of crypto fraud a fighting chance through professional blockchain investigations and cybersecurity expertise. Our team brings together experienced blockchain analysts, digital forensic specialists, cybersecurity professionals, and legal partners who work collaboratively to investigate cryptocurrency-related crimes. Using advanced blockchain forensic tools and global investigative techniques, we analyze transaction histories, trace digital asset movements where possible, identify valuable investigative leads, and prepare evidence that may assist clients and the appropriate authorities. We believe blockchain should represent transparency, accountability, and trust—not fear. That’s why we’re committed to helping victims understand their options, navigate the investigative process, and take informed action after cryptocurrency fraud. Every case is different, and while no legitimate recovery service can promise a successful recovery, acting quickly and working with experienced professionals can improve the quality of an investigation. At Techy Force Cyber Retrieval, we do more than investigate digital crimes—we advocate for victims, pursue the facts, and help people regain confidence after cryptocurrency fraud. WhatsApp https://wa.link/fhle97 Telegram https://msng.link/o?@techcyberforc=tg Crypto fraud doesn’t have to be the end of the road. It’s where our investigation begins.
-
19.07.26 04:10
Fraddy Pual
I can't thank Fundsretriever enough for everything they did for me. My name is Vanessa Conway, and I'm here to tell you my story of how I recovered money I never thought I'd see again. A few months ago, I put a significant amount of money into what looked like a genuine online investment company. At first, it felt real—they showed me fake profits and convinced me to invest even more. But when I tried to cash out, they went quiet and started asking for extra fees. That's when it hit me—I had been scammed. I was heartbroken, frustrated, and didn't know where to turn. That money was my savings—months of hard work gone. Then I found Fundsretriever online. I reached out, hoping for a miracle. Right away, their team made me feel heard. They were responsive, knowledgeable, and walked me through everything. They didn't just take my case—they took it seriously and kept me in the loop every step of the way. I finally felt like I had real experts fighting for me. And guess what? They actually got my money back. It wasn't instant, and it took teamwork, but it happened. When I saw those funds returned, I cried with joy. I'm sharing this so that anyone else out there who's been scammed knows—don't lose hope. Do your research before investing, and stay far away from platforms that promise too much too fast. And if you've already been stung, don't wait—get professional help immediately. Thank you, Fundsretriever, from the bottom of my heart. You didn't just recover my money—you restored my faith. — Vanessa Conway 📧 [email protected] 📱 WhatsApp: +16035121448 💬 Telegram: @Fundsretriever
-
19.07.26 19:53
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
19.07.26 19:53
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
19.07.26 19:54
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
30.07.26 00:04
Ahmed
A really cool analysis, thank you. I was especially struck by how strictly the order is defined: data processing and formatting come first, with color only at the very end. This really saves you from the typical mistake of "first a pretty palette, then we figure out what the chart is for." And the palette validator with OKLCH + colorblindness check is absolutely fantastic; you almost never see that in regular tools. By the way, while reading about rank-trajectory and the logarithmic scale, I immediately remembered how convenient it is to analyze dynamics on charts in ExpertOption—I've been trading there for quite some time now. When the data is well visualized, decisions are noticeably easier and more relaxed. I also liked the point about "no more than eight colors" and the dual-axis ban. Strict restrictions sometimes actually produce better results than complete freedom. I'll try this approach myself.
-
30.07.26 17:27
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
30.07.26 17:27
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
31.07.26 16:21
rssllhrnsb
I learned an important lesson after investing in what appeared to be a genuine opportunity. Unfortunately, I was unable to access my funds, which reinforced the importance of carrying out thorough due diligence, checking whether an investment is appropriately regulated, and seeking qualified professional advice rather than relying solely on online reviews or testimonials. During the process of addressing my case, I worked with Mrs. Doris Ashley, who communicated clearly, provided regular updates, and handled the matter in a professional manner. According to my experience, I have recovered $50,000 so far, while efforts to resolve the remaining balance are still in progress. If you wish to contact her, the details I used are: Mrs. Tatiana Sorina TEXT : (tatianasorina06 at G.Ma IL ..c 0 m ) Before committing money to any investment, take time to verify the legitimacy of the platform, confirm any relevant regulatory authorisations, and avoid investing more than you can comfortably afford to lose.
-
01.08.26 15:05
keithwilson9899
ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
01.08.26 15:05
keithwilson9899
ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
03.08.26 20:05
Philip
I was a victim of a crypto theft involving a Pink Drainer, which resulted in the theft of my Wrapped Bitcoin (WBTC) from my Polygon network. The experience was incredibly frustrating and distressing, as I had no idea how to recover my funds. Unfortunately, by the time I noticed the theft, the funds had already been drained to an address that I had no control over, making it seem like an irreversible situation.The attack happened when I clicked on what appeared to be a legitimate link. I didn’t realize at the time that it was a phishing attempt designed to siphon off my private keys and access my wallet. The Pink Drainer, a type of malicious script used by attackers, is specifically designed to exploit such vulnerabilities in crypto wallets. The moment I realized that my WBTC had been drained from my Polygon network. I felt completely helpless, as I didn’t have direct access to the thief's address, and there was no way to reverse the transaction on my own at that point, I started searching for ways to recover my funds, but most resources only offered generic advice that wasn’t practical in this particular case. I quickly realized that if I wanted to have any hope of getting my assets back, I would need professional assistance. After some research, I came across a reliable and trusted recovery team called Aspen Recovery Experts. Their expertise in cryptocurrency recovery, especially in cases like mine, seemed promising.I decided to reach out to Aspen Recovery Experts, and I’m incredibly grateful that I did. Their team of crypto recovery experts was able to help me trace the stolen funds and identify the path the funds took after they left my wallet. Using advanced tools and techniques, they were able to track the transactions on the blockchain, helping me understand where my WBTC had been sent. More importantly, they worked tirelessly to assist me in contacting the necessary parties and even interfaced with blockchain analysts to help facilitate the recovery process.Thanks to their efforts, I was able to successfully recover my stolen funds. The entire process took some time, but the Aspen Recovery Experts dedicated team provided regular updates and kept me informed throughout the process, which gave me a sense of hope and relief during an otherwise stressful time. If you’re ever in a similar situation, I highly recommend reaching out to a trusted recovery team like Aspen Recovery Expertshhh . Their professionalism, knowledge, and expertise were critical in helping me recover my funds and regain control of my crypto assets. Whatsapp : +1 747 231 9036 Telegram : @ prohackerspy Email : [email protected]
-
03.08.26 20:06
Philip
I was a victim of a crypto theft involving a Pink Drainer, which resulted in the theft of my Wrapped Bitcoin (WBTC) from my Polygon network. The experience was incredibly frustrating and distressing, as I had no idea how to recover my funds. Unfortunately, by the time I noticed the theft, the funds had already been drained to an address that I had no control over, making it seem like an irreversible situation.The attack happened when I clicked on what appeared to be a legitimate link. I didn’t realize at the time that it was a phishing attempt designed to siphon off my private keys and access my wallet. The Pink Drainer, a type of malicious script used by attackers, is specifically designed to exploit such vulnerabilities in crypto wallets. The moment I realized that my WBTC had been drained from my Polygon network. I felt completely helpless, as I didn’t have direct access to the thief's address, and there was no way to reverse the transaction on my own at that point, I started searching for ways to recover my funds, but most resources only offered generic advice that wasn’t practical in this particular case. I quickly realized that if I wanted to have any hope of getting my assets back, I would need professional assistance. After some research, I came across a reliable and trusted recovery team called Aspen Recovery Experts. Their expertise in cryptocurrency recovery, especially in cases like mine, seemed promising.I decided to reach out to Aspen Recovery Experts, and I’m incredibly grateful that I did. Their team of crypto recovery experts was able to help me trace the stolen funds and identify the path the funds took after they left my wallet. Using advanced tools and techniques, they were able to track the transactions on the blockchain, helping me understand where my WBTC had been sent. More importantly, they worked tirelessly to assist me in contacting the necessary parties and even interfaced with blockchain analysts to help facilitate the recovery process.Thanks to their efforts, I was able to successfully recover my stolen funds. The entire process took some time, but the Aspen Recovery Experts dedicated team provided regular updates and kept me informed throughout the process, which gave me a sense of hope and relief during an otherwise stressful time. If you’re ever in a similar situation, I highly recommend reaching out to a trusted recovery team like Aspen Recovery Expertshhh . Their professionalism, knowledge, and expertise were critical in helping me recover my funds and regain control of my crypto assets. Whatsapp : +1 747 231 9036 Telegram : @ prohackerspy Email : [email protected]
-
04.08.26 11:05
Kisnoles
Excellent analysis, thank you. I was particularly struck by how rigidly the skill sets the order: data processing and form come first, with color coming last. This really cures the habit of "first a pretty palette, then we'll figure it out." A palette validator using OKLCH + color blindness + WCAG is something most chart generators lack. And regarding the boundaries of competence, it's very clear. Where there's a self-checking loop (color), you delegate freely. Where there's a heuristic (form, data interpretation), you remain the final filter. This is a universal principle, not just for /dataviz. By the way, when you look at trading dashboards (including those of decent platforms like ExpertOption), it's immediately clear who thought about readability and who just threw in rainbow lines. Tools like this skill could greatly improve the quality of analytics. Thanks again for the detailed analysis – saved.
-
04.08.26 12:37
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
04.08.26 12:37
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
-
06.08.26 08:11
ROMMYHENDERSON344
All you need is to hire an expert to help you accomplish that. If there's any need to spy on your partner's phone. From my experience I lacked evidence to confront my husband on my suspicion on his infidelity, until I came across REALCYBERHACKERS which many commend him of assisting them in their spying mission. So I contacted him and he provided me with access into his phone to view all text messages, call logs, WhatsApp messages and even her location. This evidence helped me move him off my life . I recommend you consult REALCYBERHACKERS AT gmail com or whatsapp +14106350697 if you need access to your partner's phone or any kind of hacking, they carry out all kinds of hacking job
-
06.08.26 13:56
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
06.08.26 13:56
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
11.08.26 03:43
raymont0714
I recommend a trusted cybersecurity PRO with experience in authorized device access, security testing, and data recovery. SHE work only with the owner's consent and follow all legal and privacy rules on meta data. With permission, this specialist can recover lost files, check device security offline & online, and review texts, call records, or hidden data (spy or lurk around a cheating partner or colleuge). Strict confidentiality agreements protect the information, and client details remain private. The work is careful, efficient, and suited to complex cases. For help securing or recovering information from a phone or another electronic device, use the details below 2 consult [email protected] +44 7476618364 I trust her secrecy a living witness. Her discretion is unmatched, ensuring your privacy is always maintained
-
12.08.26 16:37
rssllhrnsb
I learned an important lesson after investing in what appeared to be a genuine opportunity. Unfortunately, I was unable to access my funds, which reinforced the importance of carrying out thorough due diligence, checking whether an investment is appropriately regulated, and seeking qualified professional advice rather than relying solely on online reviews or testimonials. During the process of addressing my case, I worked with Mrs. Tatiana Sorina , who communicated clearly, provided regular updates, and handled the matter in a professional manner. According to my experience, I have recovered $50,000 so far, while efforts to resolve the remaining balance are still in progress. If you wish to contact her, the details I used are: Mrs. Tatiana Sorina TEXT : (tatianasorina06 at G_Ma IL dot ..c 0 m)…. Before committing money to any investment, take time to verify the legitimacy of the platform, confirm any relevant regulatory authorisations, and avoid investing more than you can comfortably afford to lose.
-
16.08.26 01:44
Matt Kegan
CapitalNode Analytics. They help to investigate and recover stolen digital assets from fake trading platforms. Great firm i must say.
-
18.08.26 04:59
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone WhatsApp/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
18.08.26 04:59
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone WhatsApp/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
19.08.26 14:50
BAYER7043
My account was locked, and I couldn’t access my own information until [email protected] +447476618364 whats?up? helped me recover it. This lady hacker was kind and professional, but this experience showed me how risky account lockouts can be. If you’re facing the same problem, do not panic consult her A. S. A. P. Be careful with recovery agents outchea, and research their name, business, and reviews before sharing any details. Never send passwords, security codes, banking information, or copies of your ID unless you’ve confirmed who you’re dealing with. Be wary of promises that sound too good to be true, especially claims that require little information or guarantee instant access with outrageous fees.
-
20.08.26 11:32
michaeldavenport218
I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR WhatsApp Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
20.08.26 11:32
michaeldavenport218
I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR WhatsApp Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
23.08.26 20:02
leslieyee
Excellent analysis by /dataviz! I was particularly struck by how strictly the order is defined: "data meaning first, color last" and how the validator actually adjusts the palette according to OKLCH, color blindness, and WCAG standards. These rules greatly improve the quality of charts. By the way, a similar approach to clean and legible charts is highly valued in trading—for example, on the ExpertOption platform, the interface and price visualization are designed to ensure information is read instantly and without unnecessary noise.
-
25.08.26 13:44
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
25.08.26 13:44
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
30.08.26 15:37
[email protected]
Discovering I had been defrauded, I searched online for services claiming to recover stolen ETH. I contacted several companies, but none succeeded. Although some claimed they could trace assets or recover funds, I could not verify their success or recover my money. I later found SYLVESTER BRYANT Recovery through Google. After contacting him, he recovered 450,000,00. He can be reached at [email protected] or WhatsApp at +1 512 577 7957.
-
30.08.26 15:37
[email protected]
Discovering I had been defrauded, I searched online for services claiming to recover stolen ETH. I contacted several companies, but none succeeded. Although some claimed they could trace assets or recover funds, I could not verify their success or recover my money. I later found SYLVESTER BRYANT Recovery through Google. After contacting him, he recovered 450,000,00. He can be reached at [email protected] or WhatsApp at +1 512 577 7957.
-
01.09.26 11:16
lisawerth897
My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
-
01.09.26 11:16
lisawerth897
My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
-
01.09.26 17:34
Garry42
Really crazy world. These fraudsters go at any length to steal your hard earned funds. I have been a victim of a bitcoin scam about 7 months back. A Con artist gained access to my cashapp account through a phishing scam. They stole $409,000. I was really devastated. I did everything to get back my funds by contacting the FBI but they claimed there was nothing they could do. A friend told me about a recovery expert. He helps fight against various phishing and investment scams and they were able to help trace and recover my funds even though it took over 2 days. you can reach out to him through recoverydarek@gmail. com . I can guarantee his services are still active.
-
01.09.26 17:34
Garry42
Really crazy world. These fraudsters go at any length to steal your hard earned funds. I have been a victim of a bitcoin scam about 7 months back. A Con artist gained access to my cashapp account through a phishing scam. They stole $409,000. I was really devastated. I did everything to get back my funds by contacting the FBI but they claimed there was nothing they could do. A friend told me about a recovery expert. He helps fight against various phishing and investment scams and they were able to help trace and recover my funds even though it took over 2 days. you can reach out to him through recoverydarek@gmail. com . I can guarantee his services are still active.
-
02.09.26 03:43
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
-
02.09.26 03:43
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
-
04.09.26 21:51
Kovengray
Recovering your lost investment funds as the case might be, is not what you can do alone, you’d require the service of a trained recovery specialist. A recovery specialist is a person or a group of people who are well equipped to work around the brokerage network. They have vast knowledge about the whole network and have the right software and private keys to follow any transaction. I was ripped off trading online to an investment broker, good thing I got every penny back through the help of Gavin ray he’s a genius Contact : Gavinray78 at gmail com or WhatsApp +1 352 322 2096 It is also important to be patient and really calm during the process.
-
05.09.26 21:38
[email protected]
I invested 45,000 Euro, and later aggreviated to 198,000 Euro. I requested to place Withdrawal of my funds to be paid to my Bank account. But nothing happened I was subjected to pay more fee until I can get my funds on my account, i got in touch with Theodore ryan here on this platform who had helped a lot of people, I followed all instructions and he legally got back my withheld funds, I got threatened by the company that if I don’t pay they will get my account frozen, all thanks to Theodore ryan and I highly recommend him to anyone dealing with an unregulated broker company… contact him on his Gmail - theodoreryan318@ gmail . com
-
09.09.26 21:31
lisawerth897
My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
-
09.09.26 21:31
lisawerth897
My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
-
09.09.26 23:22
Fraddy Pual
Hearing that these individuals are focusing on other people makes me very sad. I had a similar situation with them and lost a lot of money, but after learning about (Cruxcipherteam @ proton DoT me), whataqq:+168160-15021, telegram: @Cruxcipherteam I was able to get my money back. It's critical that we all be watchful and keep reporting these occurrences.
-
11.09.26 03:23
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
-
11.09.26 03:23
kimberlyhebertt6877
I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
-
15.09.26 03:35
elioduncan
I fell victim to a freelance web development contract scam that ultimately cost me CAD 4,000. It all started when I came across a job posting on Indeed Canada, a popular online job portal. The position seemed perfect: a freelance web developer role for an established company looking for someone to design and build a fully functional e-commerce website. The job promised a high payment of CAD 20,000 upon successful completion, which sounded like a great opportunity for me to gain experience and earn decent pay.The employer, who introduced himself as a project manager from a "well-known" tech company, was very persuasive and professional in our initial communication. He explained that the project involved developing a user-friendly, responsive online store for their client and that they had a strict timeline to meet. He assured me that the payment would be made promptly after completing the tasks. However, before starting the work, he told me that I would need to pay an upfront fee of CAD 4,000 to cover certain software tools and licensing fees required for the project. This was supposedly a part of their company policy for freelance contractors, ensuring access to their premium resources. The idea of working on a professional project, coupled with the promise of a substantial payout, convinced me to pay the upfront fee.As soon as I made the payment, the project manager became increasingly difficult to reach. He initially responded to my emails and provided some vague instructions on what the project would entail, but as time went on, communication slowed to a complete halt. I never received the required tools or any proper project details. My emails went unanswered, and any attempts to contact the company were met with silence. After waiting for weeks, I realized that I had been scammed.Desperate to recover my money, I turned to TechY Force Cyber Retrieval, a service that specializes in helping victims of online scams. They helped me track the payment and took legal steps to pursue the fraudsters. Through their guidance, I was able to recover the full CAD 4,000. TechY Force Cyber Retrieval worked with my bank to reverse the transaction and liaised with the authorities to trace the scammer's details.This was a hard lesson, and I now know to be highly cautious about online job offers that require upfront payments. It is crucial to research companies thoroughly and avoid any job that seems too good to be true, especially when it involves paying money upfront. WhatsApp https://wa.link/2x6ktp Mail. [email protected]
-
15.09.26 15:45
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
15.09.26 15:45
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
05.10.26 21:26
[email protected]
I Invested 45,000 Euro, and later aggreviated to 198,000 Euro. I requested to place Withdrawal of my funds to be paid to my Bank account. But nothing happened I was subjected to pay more fee until I can get my funds on my account, i got in touch with Theodore ryan here on this platform who had helped a lot of people, I followed all instructions and he legally got back my withheld funds, I got threatened by the company that if I don’t pay they will get my account frozen, all thanks to Theodore ryan and I highly recommend him to anyone dealing with an unregulated broker company… contact him on his Gmail - theodoreryan318@ gmail . com
-
06.10.26 06:13
melissathomason573
Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
06.10.26 06:13
melissathomason573
Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
06.10.26 17:44
Darrell1717
I fell victim of a scam I invested to total of 5thousand into. I know it could be risky but after I trusted this man I was dating online he lured me into investing with him. I know hard I worked of my money so I wanted every way possible to get it back. I really appreciate Blockrecoveryexpert for successfully recovered my funds form this scammer. This is all I can say. You can reachout if you ever need help contact blockrecoveryexpert (at) gmail (dot)com
-
11.10.26 03:04
Patricia014
Most recovery companies will take your money again. I personally think they’re the same set of people running all of them. It’s a sad, unending cycle, and so many people fall for cloned websites. The only recovery agent I know is Agent Rottgen Raphael. I’ve visited their physical company address, and they’ll tell you if they can handle your case instead of taking upfront payment when they know they can’t help. I highly appreciate their support in recovering my money from the scammers’ wallet within 24 hours. RottgenRaphael@Gmail. com
-
12.10.26 19:34
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
12.10.26 19:34
lydiassmith567
HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
13.10.26 14:14
lisalisa22
Legitimate Cryptocurrency Recovery Services: Consult ZEUS CRYPTO RECOVERY SERVICES Zeus Crypto Recovery Services supports individuals exploring options after cryptocurrency losses from fraud, unauthorised transfers, or wallet access issues. Services may include blockchain analysis, wallet tracing, and evidence gathering for investigations. Each case is reviewed. Zeus Crypto Recovery Services is a trusted company with the highest success rate among cryptocurrency recovery services in 2025/2026 and is highly recommended if you have been scammed. ZEUS CRYPTO RECOVERY SERVICES handles case such as Scammed USDT Lost BTC, Coinbase Wallet Forgotten password, ETH and coins, etc. Anything that has to do with cryptocurrency or lost digital assets, ZEUS can help you Do you Need Help? Website https://zeusrecoveryservices.com Mailbox [email protected] WhatsApp number +447798816938 Telegram https://t.me/Zeuscryptorecoveryservices
-
13.10.26 14:14
lisalisa22
Legitimate Cryptocurrency Recovery Services: Consult ZEUS CRYPTO RECOVERY SERVICES Zeus Crypto Recovery Services supports individuals exploring options after cryptocurrency losses from fraud, unauthorised transfers, or wallet access issues. Services may include blockchain analysis, wallet tracing, and evidence gathering for investigations. Each case is reviewed. Zeus Crypto Recovery Services is a trusted company with the highest success rate among cryptocurrency recovery services in 2025/2026 and is highly recommended if you have been scammed. ZEUS CRYPTO RECOVERY SERVICES handles case such as Scammed USDT Lost BTC, Coinbase Wallet Forgotten password, ETH and coins, etc. Anything that has to do with cryptocurrency or lost digital assets, ZEUS can help you Do you Need Help? Website https://zeusrecoveryservices.com Mailbox [email protected] WhatsApp number +447798816938 Telegram https://t.me/Zeuscryptorecoveryservices
-
17.10.26 12:58
melissathomason573
Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
17.10.26 12:58
melissathomason573
Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
03:16
lxbfYeaa
e
-
03:16
lxbfYeaa
e
-
03:16
lxbfYeaa
e
-
03:16
lxbfYeaa
e
-
03:23
lxbfYeaa
e
-
03:23
lxbfYeaa
e
-
03:24
lxbfYeaa
e
Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com
Войти
Регистрация
Похожие новости
Подпишись на telegram канал и узнавай первым обо всех новостях