Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie
Subscribe
Прямой эфир
Русский Русский  English English
Войти / Регистрация
Cryptocurrencies: 8585 / Markets: 116273
Market Cap: $ 2 407 835 017 672 / 24h Vol: $ 116 956 152 622 / BTC Dominance: 58.088697778934%

Н Новости

  1. Главная
  2. Новости

Как мы искали лучшие AI-модели (Часть 3)

В предыдущих статьях мы описали начало нашего пути тестирования AI моделей на предмет определения лучших и описали основные метрики, с помощью которых можно проводить такой анализ.

В этом тексте приведен список найденных метрик для более детального и глубокого рассмотрения качества работы AI, а также результаты тестирования моделей по выбранным ранее метрикам.

Составляя этот материал, мы хотели поделиться своим опытом использования различных метрик для оценки ответов AI моделей. Для тех из них, которые мы не смогли полноценно использовать в ходе своих исследований, мы подготовили описание с практическими примерами.

Все метрики мы разбили на условные категории:

  1. Метрики, определяющие качество итоговых ответов.

  2. Метрики, вычисляющие степень сходства ответов.

  3. Метрики, определяющие качество текста.

  4. Метрики, использующие вероятности предсказания.

Метрики, определяющие качество итоговых ответов

Самые основные метрики мы уже описали в предыдущей статье.

Здесь дополним их модификациями и некоторыми новыми метриками.

F-Beta Score

F-Beta Score используется для оценки качества классификационной модели, особенно когда важен баланс между точностью (precision) и полнотой (recall). F-Beta Score учитывает, насколько хорошо модель классифицирует примеры, и позволяет настроить вес, придаваемый точности или полноте, в зависимости от задачи.

Формула F-Beta Score

F-Beta Score — это обобщение метрики F1-Score. Она вычисляется следующим образом:

F_\beta = \frac{(1 + \beta^2) \cdot \text{precision} \cdot \text{recall}}{(\beta^2 \cdot \text{precision}) + \text{recall}}

где:

- precision — это точность (доля правильных положительных предсказаний ко всем предсказанным положительным).

- recall — это полнота (доля правильных положительных предсказаний ко всем фактическим положительным).

- beta — параметр, который позволяет настроить относительный вклад точности и полноты.
Если beta = 1, это эквивалентно F1-Score.
Если beta > 1, большее внимание уделяется полноте.
Если beta < 1, большее внимание уделяется точности.

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственник должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

  2. В 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Верно указана как не являющаяся этапом формулы 1 Польша, но есть и ложноположительный ответ Россия

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся правильным ответ “МЧС”.

    Также указан ложноположительный ответ “ГИБДД”.

    Участковый назван одним из положительных ответов, что согласуется с ожидаемым ответом.

  4. В радуге присутствуют следующие цвета из вашего списка:

    • Голубой — да, он входит в спектр радуги.

    • Зеленый — да, он также есть в радуге.

    • Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:

    • Черный — нет.

    • Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

  5. В покере фулл хаус считается старше, чем флеш.

    • Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    • Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    Действительно отрицательный ответ флеш дан верно.

    Действительно положительный ответ также указан верно.

Вычислим точность и полноту:

\text{Precision} = \frac{10}{10 + 2} = \frac{10}{12} \approx 0.83\text{Recall} = \frac{10}{10 + 1} = \frac{10}{11} \approx 0.91

Теперь возьмем значение =0,5 и вычислим показатель F-Beta-score:

F_{0.5} = \frac{(1 + 0.5^2) \cdot Precision \cdot Recall}{(0.5^2 \cdot Precision) + Recall}== \frac{1.25 \cdot Precision \cdot Recall}{0.25 \cdot Precision + Recall}F_{0.5} = \frac{1.25 \cdot 0.83 \cdot 0.91}{0.25 \cdot 0.83 + 0.91}=\frac{0.9441}{1.1175} \approx 0.8447

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import fbeta_score


def calculate_fbeta_score(true_labels, predicted_labels, beta):
    # Расчет метрики F-бета
    fbeta = fbeta_score(true_labels, predicted_labels, beta=beta, average='binary')

    print(f'F-бета Score (β={beta}): {fbeta:.2f}')
Matthews Correlation Coefficient (MCC)

Matthews Correlation Coefficient (MCC) - это метрика, которая используется для оценки качества бинарной классификации. Она учитывает все четыре возможных исхода предсказаний: True Positives (TP), True Negatives (TN), False Positives (FP), и False Negatives (FN).

МCC помогает понять, насколько хорошо модель справляется с классификацией, учитывая не только правильные предсказания, но и ошибки. Значения MCC лежат в диапазоне от -1 до 1:

  • 1: Идеальная классификация (все предсказания правильные)

  • 0: Предсказания не лучше случайного угадывания.

  • -1: Все предсказания неверные.

Формула MCC

\text{MCC} = \frac{TP \cdot TN - FP \cdot FN}{\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}

где

TP - действительно положительные ответы
TN - действительно отрицательные ответы
FP - ложноположительные ответы
FN - ложноотрицательные ответы

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственника должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус?

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

    \text{MCC} = \frac{3 \cdot 1 - 0 \cdot 0}{\sqrt{(3 + 0)(3 + 0)(1 + 0)(1 + 0)}} = \frac{3 - 0}{\sqrt{3 \cdot 3 \cdot 1 \cdot 1}} = \frac{3}{\sqrt{9}} = \frac{3}{3} = 1

  2. КВ 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Верно указана как не являющаяся этапом формулы 1 Польша, но есть и ложноположительный ответ Россия

    \text{MCC} = \frac{3 \cdot 1 - 1 \cdot 0}{\sqrt{(3 + 1)(3 + 0)(1 + 1)(1 + 0)}} = \frac{3 - 0}{\sqrt{4 \cdot 3 \cdot 2 \cdot 1}} = \frac{3}{\sqrt{24}} \approx \frac{3}{4.89} \approx 0.61

    Тут модель, в целом, верно оценивает варианты, но есть куда улучшать показатели.

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся верным ответ МЧС.

    \text{MCC} = \frac{1 \cdot 1 - 1 \cdot 0}{\sqrt{(1 + 1)(1 + 0)(1 + 1)(1 + 0)}} = \frac{1 - 0}{\sqrt{2 \cdot 1 \cdot 2 \cdot 1}} = \frac{1}{2} = 0.5

    При ответе на такой вопрос модель становится видно, что модель не обладает необходимой информацией и пытается угадать верный вариант на основе имеющихся у нее данных.

  4. В радуге присутствуют следующие цвета из вашего списка:
    -     Голубой — да, он входит в спектр радуги.
    -     Зеленый — да, он также есть в радуге.
    -     Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:
    -     Черный — нет.
    -     Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

    \text{MCC} = \frac{3 \cdot 2 - 0 \cdot 0}{\sqrt{(3 + 0)(3 + 0)(2 + 0)(2 + 0)}} = \frac{6 - 0}{\sqrt{3 \cdot 3 \cdot 2 \cdot 2}} = \frac{6}{\sqrt{36}} = 1

  5. КВ покере фулл хаус считается старше, чем флеш.

    - Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    - Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    \text{MCC} = \frac{1 \cdot 1 - 0 \cdot 0}{\sqrt{(1 + 0)(1 + 0)(1 + 0)(1 + 0)}} = \frac{1 - 0}{\sqrt{1 \cdot 1 \cdot 1 \cdot 1}} = \frac{1}{\sqrt{1}} = 1

Средний показатель показателя MCC для 5 ответов составляет:

\text{MCC}_{\text{ср}} = \frac{1 + 0{,}61 + 0 + 1 + 1}{5} = \frac{3{,}61}{5} = 0{,}722

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import matthews_corrcoef


def mcc(true_labels, predicted_labels):

    # Вычисление MCC
    mcc = matthews_corrcoef(true_labels, predicted_labels)
    print("Matthews Correlation Coefficient (MCC):", mcc)
Precision at Fixed Recall

Precision at Fixed Recall — это метрика, которая используется для оценки качества классификационных моделей, особенно в задачах бинарной классификации. Эта метрика измеряет точность (precision) модели при заданном уровне полноты (recall).

Простое объяснение

Точность показывает, какая доля предсказанных положительных примеров действительно является положительными. Полнота показывает, какая доля фактических положительных примеров была правильно предсказана моделью. Метрика "Precision at Fixed Recall" помогает оценить, насколько модель точна при определенном уровне полноты.

Сделаем параметр Recall = 0.8

Допустим, у нас есть пять вопросов к AI модели для определения точности ее ответов.

  1. Вопрос: Что называют реальным ущербом в российском законодательстве?

    Ожидаемый ответ: Под реальным ущербом понимаются расходы, которые лицо, чье право нарушено, произвело или должно будет произвести для восстановления нарушенного права, утрата или повреждение его имущества (статья 15 ГК РФ).

  2. Вопрос: Почему в песне группы "Король и Шут" "Камнем по голове" путник не был веселым на празднике?

    Ожидаемый ответ: Потому что ему на голову упал камень.

  3. Вопрос: Напиши какие ингредиенты входят в состав коктейля Б-52 и в какой последовательности они должны использоваться для приготовления коктейля

    Ожидаемый ответ: Количество и последовательность ингредиентов (в качестве примера возьмем наиболее популярный рецепт приготовления коктейля):

    1. Кофейный ликер

    2. Кремовый ликер

    3. Апельсиновый ликер

  4. Почему машина Кристина в одноименной книге Стивена Кинга убивала людей?

    Ожидаемый ответ:
    1. Машина пропитана злым духом предыдущего владельца
    2. Сверхъестественные способности машины
    3. Трансформация характера нынешнего владельца
    4. Личные обиды машины, мстительность
    5. Ревность машины, желание защитить владельца

  5. Кто написал песню the man who sold the world?

    Ожидаемый ответ: Дэвид Боуи

Теперь давайте посмотрим на ответы AI модели.

  1. В российском законодательстве под реальным ущербом понимаются убытки, которые лицо понесло или которые оно должно понести для восстановления нарушенного права. Это может включать в себя утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, а также упущенную выгоду.

    Вот несколько примеров:

    1. Утрата имущества: например, если в результате противоправного действия у лица было украдено или уничтожено имущество.

    2. Расходы на восстановление: например, затраты на ремонт автомобиля после ДТП, произошедшего по вине другого лица.

    3. Расходы на лечение: например, медицинские затраты в результате причинения вреда здоровью.

    Интересует что-то конкретное по этой теме?

    Как видно из ответа, под реальным ущербом модель понимает не только утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, но и упущенную выгоду, что является ложноположительным ответом.

    \text{Precision} = \frac{TP}{TP + FP}=\frac{3}{3 + 1} = \frac{3}{4} = 0{,}75

  2. В песне "Камнем по голове" группы "Король и Шут" путник оказался не веселым на празднике потому, что он был обманут и подвергся жестокому нападению. Путник рассчитывал найти гостеприимство и радушие, но вместо этого столкнулся с обманом и насилием. Эта песня отражает темную сторону человеческой натуры и то, как люди могут оказаться в неприятных и даже опасных ситуациях.

    Музыка и тексты группы "Король и Шут" часто наполнены мрачными и мистическими сюжетами, которые заставляют слушателей задуматься о сложностях жизни и человеческих взаимоотношений. Хотите узнать больше об этой или других песнях группы?

    Ответ явно не совпадает с ожидаемым.

    Параметр Recall в этом случае равен 0. Поэтому ответ на этот вопрос не учитывается в расчете точности.

  3. Коктейль Б-52 состоит из трех основных ингредиентов, которые укладываются слоями:

    1. Кофейный ликер (например, Kahlúa) - первый слой.

    2. Ирландский крем (например, Baileys) - второй слой.

    3. Апельсиновый ликер (например, Grand Marnier или Cointreau) - третий слой.

    Для приготовления коктейля Б-52 нужно аккуратно наливать каждый слой по лезвию ножа или по обратной стороне ложки, чтобы слои не смешивались. Начинают с кофейного ликера, затем добавляют ирландский крем и завершают апельсиновым ликером.

    Готов попробовать?

    Ответ соответствует ожидаемому.

    \text{Precision} = \frac{TP}{TP + FP}=\frac{3}{3 + 0} = \frac{3}{3}=1

  4. В книге Стивена Кинга "Кристина" машина убивает людей, потому что она обладает зловещей сверхъестественной силой. Кристина, красный Plymouth Fury 1958 года, является одержимой и обладает собственным злобным сознанием. В течение всей истории машина манипулирует своим владельцем, подростком по имени Арни Каннингем, и использует его для выполнения своих темных целей.

    Кристина убивает тех, кто ей угрожает или представляет опасность для Арни, что делает её особенным воплощением зла. Она символизирует темную сторону человеческой природы и силы, которые могут захватить разум и контролировать его.

    Хотите узнать больше о книге или обсудить что-то другое?

    В данном случае нас интересует, способна ли модель выдать в целом верный ответ на поставленный вопрос. При подсчете точности при ответе на такой обширный вопрос для нас важно, чтобы ответ действительно основывался на книге Кристина и соответствовал ее содержанию. Ответ модели основан на книге и соответствует ее содержанию. Для определения того, указаны ли все причины такого поведения машины в книге, необходимо воспользоваться метрикой Recall. Но все указанные причины действительно правильны.

    \text{Precision} = \frac{TP}{TP + FP} = \frac{5}{5 + 0} = 1

  5. Песню "The Man Who Sold the World" написал Дэвид Боуи. Она была выпущена в 1970 году и стала заглавной композицией его одноимённого альбома - Wikipedia](ссылка на соответствующую статью). Эта песня получила широкую известность и была перепета многими исполнителями, включая группу Nirvana - Wikipedia](ссылка на соответствующую статью).

    Есть ли еще что-то, что тебя интересует?

    Ответ соответствует ожидаемому.

    \text{Precision} = \frac{TP}{TP + FP} = \frac{1}{1 + 0} = 1

    Таким образом, из 4 ответов на вопросы только 3 оказались действительно верными. Ответ на один вопрос, вместе с действительно верными содержит также и ложноположительный ответ, что является критичным, учитывая потенциальную сферу применения полученных из такого ответа знаний.

    Average Precision = 3.754=0.9375

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import precision_recall_curve
import numpy as np


def precision_at_fixed_recall(true_labels, predicted_labels, fixed_recall):
    # Вычисление кривой Precision-Recall
    precision, recall, thresholds = precision_recall_curve(true_labels, predicted_labels)

    # Нахождение индекса для Precision при фиксированной полноте
    idx = np.argmax(recall >= fixed_recall)
    fixed_precision = precision[idx]

    print("Precision at Fixed Recall ({}):".format(fixed_recall), 
          fixed_precision)
Recall at Fixed Precision

Recall at Fixed Precision — это метрика, которая используется для оценки качества классификационных моделей, особенно в задачах бинарной классификации. Эта метрика измеряет полноту (recall) модели при заданном уровне точности (precision).

Простое объяснение

Полнота показывает, какая доля фактических положительных примеров была правильно предсказана моделью. Точность показывает, какая доля предсказанных положительных примеров действительно является положительными. Метрика "Recall at Fixed Precision" помогает оценить, насколько хорошо модель обнаруживает положительные примеры при определенном уровне точности.

\text{Recall} = \frac{TP}{TP + FN}

, где
TP (true positive) - количество действительно положительных ответов;
FN (false negative) - количество ложноотрицательных ответов.

Сделаем параметр Precision = 0.8

Допустим, у нас есть пять вопросов к AI модели для определения точности ее ответов.

  1. Вопрос: Что называют реальным ущербом в российском законодательстве?

    Ожидаемый ответ: Под реальным ущербом понимаются расходы, которые лицо, чье право нарушено, произвело или должно будет произвести для восстановления нарушенного права, утрата или повреждение его имущества (статья 15 ГК РФ).

  2. Вопрос: Почему в песне группы "Король и Шут" "Камнем по голове" путник не был веселым на празднике?

    Ожидаемый ответ: Потому что ему на голову упал камень.

  3. Вопрос: Напиши какие ингредиенты входят в состав коктейля Б-52 и в какой последовательности они должны использоваться для приготовления коктейля

    Ожидаемый ответ: Количество и последовательность ингредиентов (в качестве примера возьмем наиболее популярный рецепт приготовления коктейля):
    1. Кофейный ликер
    2. Кремовый ликер
    3. Апельсиновый ликер

  4. Почему машина Кристина в одноименной книге Стивена Кинга убивала людей?

    Ожидаемый ответ:
    1. Машина пропитана злым духом предыдущего владельца
    2. Сверхъестественные способности машины
    3. Трансформация характера нынешнего владельца
    4. Личные обиды машины, мстительность
    5. Ревность машины, желание защитить владельца

  5. Кто написал песню the man who sold the world?

    Ожидаемый ответ: Дэвид Боуи

Теперь давайте посмотрим на ответы AI модели.

  1. В российском законодательстве под реальным ущербом понимаются убытки, которые лицо понесло или которые оно должно понести для восстановления нарушенного права. Это может включать в себя утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, а также упущенную выгоду.
    Вот несколько примеров:

    1. Утрата имущества: например, если в результате противоправного действия у лица было украдено или уничтожено имущество.

    2. Расходы на восстановление: например, затраты на ремонт автомобиля после ДТП, произошедшего по вине другого лица.

    3. Расходы на лечение: например, медицинские затраты в результате причинения вреда здоровью.

    Интересует что-то конкретное по этой теме?

    Как видно из ответа, под реальным ущербом модель понимает не только утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, но и упущенную выгоду, что является ложноположительным ответом.

    Параметр Precision в этом случае равен 0.75.
    Поэтому ответ на этот вопрос не учитывается в расчете точности.

  2. В песне "Камнем по голове" группы "Король и Шут" путник оказался не веселым на празднике потому, что он был обманут и подвергся жестокому нападению. Путник рассчитывал найти гостеприимство и радушие, но вместо этого столкнулся с обманом и насилием. Эта песня отражает темную сторону человеческой натуры и то, как люди могут оказаться в неприятных и даже опасных ситуациях.

    Музыка и тексты группы "Король и Шут" часто наполнены мрачными и мистическими сюжетами, которые заставляют слушателей задуматься о сложностях жизни и человеческих взаимоотношений. Хотите узнать больше об этой или других песнях группы?

    Ответ явно не совпадает с ожидаемым.

    Параметр Precision в этом случае равен 0.
    Поэтому ответ на этот вопрос не учитывается в расчете точности.

  3. Коктейль Б-52 состоит из трех основных ингредиентов, которые укладываются слоями:

    1. Кофейный ликер (например, Kahlúa) - первый слой.

    2. Ирландский крем (например, Baileys) - второй слой.

    3. Апельсиновый ликер (например, Grand Marnier или Cointreau) - третий слой.

    Для приготовления коктейля Б-52 нужно аккуратно наливать каждый слой по лезвию ножа или по обратной стороне ложки, чтобы слои не смешивались. Начинают с кофейного ликера, затем добавляют ирландский крем и завершают апельсиновым ликером.

    Готов попробовать?

    Ответ соответствует ожидаемому.

    \text{Recall} = \frac{TP}{TP + FN} = \frac{3}{3 + 0} = 1

  4. В книге Стивена Кинга "Кристина" машина убивает людей, потому что она обладает зловещей сверхъестественной силой. Кристина, красный Plymouth Fury 1958 года, является одержимой и обладает собственным злобным сознанием. В течение всей истории машина манипулирует своим владельцем, подростком по имени Арни Каннингем, и использует его для выполнения своих темных целей.

    Кристина убивает тех, кто ей угрожает или представляет опасность для Арни, что делает её особенным воплощением зла. Она символизирует темную сторону человеческой природы и силы, которые могут захватить разум и контролировать его.

    Хотите узнать больше о книге или обсудить что-то другое?

    Все пункты ожидаемого ответа представлены в ответе модели.

    \text{Recall} = \frac{TP}{TP + FN} = \frac{5}{5 + 0} = 1

  5. Песню "The Man Who Sold the World" написал Дэвид Боуи. Она была выпущена в 1970 году и стала заглавной композицией его одноимённого альбома - Wikipedia](ссылка на соответствующую статью). Эта песня получила широкую известность и была перепета многими исполнителями, включая группу Nirvana - Wikipedia](ссылка на соответствующую статью).

    Есть ли еще что-то, что тебя интересует?

    Ответ соответствует ожидаемому.

    \text{Recall} = \frac{TP}{TP + FN} = \frac{1}{1 + 0} = 1

Таким образом, из 5 ответов на вопросы только 3 оказались действительно верными. Ответ на один вопрос, вместе с действительно верными содержит также и ложноположительный ответ, что является критичным, учитывая потенциальную сферу применения полученных из такого ответа знаний.

\text{Average Recall} = \frac{1 + 1 + 1}{3} = 1

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import precision_recall_curve


def recall_at_fixed_precision(true_labels, predicted_labels, fixed_precision):

    precision, recall, thresholds = precision_recall_curve(true_labels, predicted_labels)
    recall_at_fixed_precision = max(recall[precision >= fixed_precision])

    print(f'Recall at fixed precision {fixed_precision * 100}%: '
          f'{recall_at_fixed_precision:.2f}')
Sensitivity at Specificity

Sensitivity at Specificity — это метрика, используемая для оценки качества моделей бинарной классификации. Она измеряет чувствительность (sensitivity) модели при заданном уровне специфичности (specificity). Эта метрика особенно полезна в задачах, где важно сохранить определенный уровень специфичности, минимизируя ложноположительные результаты, одновременно обеспечивая высокую чувствительность.

Простое объяснение

Чувствительность (sensitivity), также известная как полнота (recall), показывает, какая доля фактических положительных примеров была правильно предсказана моделью.
Специфичность (specificity) показывает, какая доля фактических отрицательных примеров была правильно предсказана моделью.

Формулы

- Чувствительность (Sensitivity):

\text{Sensitivity} = \frac{TP}{TP + FN}

- Специфичность (Specificity):

\text{Specificity} = \frac{TN}{TN + FP}

Пример параметр Specificity равным 0,9

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственника должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус?

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

    Значение метрики Sensitivity:

    \text{Sensitivity} = \frac{TP}{TP + FN} = \frac{3}{3 + 0} = \frac{3}{3} = 1

  2. КВ 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Есть 1 действительно отрицательный ответ и один ложноположительный ответ.

    Значение метрики Specificity = 0,5. Это ниже нашего порога.
    Этот ответ не включается в расчет.

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • - Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся верным ответ МЧС. Также указан ложноположительный ответ ГИБДД. Поэтому значение метрики 0,5.

    Значение метрики Specificity = 0,5. Это ниже нашего порога.
    Этот ответ не включается в расчет.

  4. В радуге присутствуют следующие цвета из вашего списка:

    • Голубой — да, он входит в спектр радуги.

    • Зеленый — да, он также есть в радуге.

    • Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:

    • Черный — нет.

    • Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

    \text{Sensitivity} = \frac{TP}{TP + FN} = \frac{3}{3 + 0} = \frac{3}{3} = 1

  5. КВ покере фулл хаус считается старше, чем флеш.

    - Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    - Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    \text{Sensitivity} = \frac{TP}{TP + FN} = \frac{1}{1 + 0} = \frac{1}{1} = 1

Средний показатель показателя Sensitivity для заданного уровня Specificity составляет 1.0

Specificity at Sensitivity

Specificity at Sensitivity — это метрика, которая используется для оценки качества моделей бинарной классификации. Эта метрика измеряет специфичность (specificity) модели при заданном уровне чувствительности (sensitivity). Она особенно полезна в задачах, где важно сохранить определенный уровень чувствительности, минимизируя ложноположительные результаты, одновременно обеспечивая высокую специфичность.

Простое объяснение

Специфичность показывает, какая доля фактических отрицательных примеров была правильно предсказана моделью как отрицательные. Чувствительность (или полнота) показывает, какая доля фактических положительных примеров была правильно предсказана моделью. Метрика "Specificity at Sensitivity" помогает оценить, насколько модель правильно определяет отрицательные примеры при определенном уровне чувствительности.

Формулы

- Специфичность (Specificity):

\text{Specificity} = \frac{TN}{TN + FP}

- Чувствительность (Sensitivity):

\text{Sensitivity} = \frac{TP}{TP + FN}

Примем параметр Sensitivity равным 0,9

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственника должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус?

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 0} = \frac{1}{1} = 1

  2. КВ 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 1} = \frac{1}{2} = 0.5

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся верным ответ МЧС. Также указан ложноположительный ответ ГИБДД. Поэтому значение метрики 0,5.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 1} = \frac{1}{2} = 0.5

  4. В радуге присутствуют следующие цвета из вашего списка:

    • Голубой — да, он входит в спектр радуги.

    • Зеленый — да, он также есть в радуге.

    • Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:

    • Черный — нет.

    • Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{2}{2 + 0} = \frac{2}{2} = 1

  5. КВ покере фулл хаус считается старше, чем флеш.

    - Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    - Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 0} = \frac{1}{1} = 1

Средний показатель показателя Specificity для 5 ответов составляет:

\text{Average Specificity} = \frac{1 + 0.5 + 0.5 + 1 + 1}{5} = \frac{4}{5} = 0.

Метрики, вычисляющие степень сходства ответов

Bleu Score

BLEU Score (Bilingual Evaluation Understudy Score) — это метрика, которая используется для оценки качества автоматически сгенерированного текста, например, перевода или машинного вывода, путем сравнения его с эталонными текстами. BLEU Score широко применяется в задачах машинного перевода, генерации текстов и других задачах обработки естественного языка (NLP).

Как работает BLEU Score

BLEU Score измеряет схожесть между предсказанным текстом и эталонными текстами, анализируя совпадения n-грамм (последовательностей слов) различных длин. Важно учитывать как точное совпадение слов, так и их порядок. BLEU Score вычисляется для n-грамм от 1 до 4 и затем объединяется в один итоговый балл.

Метрика измеряется в диапазоне от 0 до 1, где:
- 1 - идеальное совпадение с эталоном
- 0 - полное несоответствие эталону

Формула BLEU Score

\text{BLEU} = BP \cdot \exp\left( \sum_{n=1}^{N} w_n \log p_n \right)

где:

- BP — это Brevity Penalty, штраф за слишком короткие предсказанные тексты.

BP = \begin{cases} 1, & \text{если } c \geq r \\ \exp\left(1 - \frac{r}{c}\right), & \text{если } c < r \end{cases}

где:

  • c — длина предсказанного текста (candidate)

  • r — длина эталонного текста (reference)

- wn— весовая коэффициент для n-граммы (обычно все веса равны).

- pn — доля совпавших n-грамм длины n.

Пример

Предположим, у нас есть задача машинного перевода, и мы хотим оценить качество перевода с помощью BLEU Score.

Данные

- Эталонный текст: «Кошка лежит на коврике.»

- Предсказанный текст: «Кошка спит на коврике.»

Шаги вычисления BLEU Score

1. Разделение текстов на n-граммы:

  1. 1-граммы:
    - Эталон: ["Кошка", "лежит", "на", "коврике"]
    - Предсказание: ["Кошка", "спит", "на", "коврике"]

  2. 2-граммы:
    - Эталон: ["Кошка лежит", "лежит на", "на коврике"]
    - Предсказание: ["Кошка спит", "спит на", "на коврике"]

  3. 3-граммы:
    - Эталон: ["Кошка лежит на", "лежит на коврике"]
    - Предсказание: ["Кошка спит на", "спит на коврике"]

  4. 4-граммы:
    - Эталон: ["Кошка лежит на коврике"]
    - Предсказание: ["Кошка спит на коврике"]

2. Вычисление долей совпавших n-грамм:

- 1-граммы: Совпавшие = 3, Общее = 4, Доля = 3/4 ≈ 0.75

- 2-граммы: Совпавшие = 1, Общее = 3, Доля = 1/3 = 0.333

- 3-граммы: Совпавшие = 0, Общее = 2, Доля = 0/2 = 0

- 4-граммы: Совпавшие = 0, Общее = 1, Доля = 0/1 ≈ 0

3. Вычисление штрафа за длину (Brevity Penalty):

- Длина предсказанного текста совпадает с эталонным, поэтому штраф BP = 1.

4. Итоговый BLEU Score:

BLEU = BP \cdot \exp\left( \frac{1}{4} \sum_{n=1}^{4} \log p_n \right)

Подставляем значения. Поскольку логарифм от 0 не определен, подставим малое значение (0,01):

BLEU = 1 \cdot \exp\left( \frac{1}{4} (\log 0.75 + \log 0.333 + \log 0.01 + \log 0.01) \right)

Вычисляем:

BLEU = \exp\left( \frac{1}{4} (-0.2877 -1.0996 -4.6052 -4.6052) \right)=

= \exp\left( \frac{-10.5977}{4} \right)= \exp(-2.6494)≈ 0.071

Итак, в этом примере BLEU Score составляет приблизительно 0.071.

Такой результат означает очень низкий уровень совпадения по n-грамм.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction

def bleu_score(reference, hypothesis):
    reference = [reference.split()]  # Эталон оборачиваем в список для BLEU
    candidate = hypothesis.split() # Гипотеза — просто список слов  

    # Функция сглаживания для избежания нулевых значений
    smooth = SmoothingFunction().method0

    # Расчёт общего BLEU Score
    bleu_score = sentence_bleu(reference, candidate, smoothing_function=smooth)

    print(f'BLEU Score: {bleu_score:.4f}')

    # Расчёт детализированных BLEU-1, BLEU-2, BLEU-3 и BLEU-4
    weights = [
        (1, 0, 0, 0),      # BLEU-1: только униграммы
        (0, 1, 0, 0),  # BLEU-2: биграммы
        (0.33, 0.33, 0.33, 0),  # BLEU-3: до триграмм
        (0.25, 0.25, 0.25, 0.25)  # BLEU-4: до 4-грамм
    ]
    bleu_scores = [sentence_bleu(reference, candidate, weights=w, smoothing_function=smooth) for w in weights]

    for i, score in enumerate(bleu_scores):
        print(f'BLEU-{i+1} Score: {score:.4f}')
SacreBleu

SacreBLEU — это модифицированная версия метрики BLEU Score, разработанная для обеспечения консистентного и стандартизированного вычисления BLEU Score. SacreBLEU помогает избежать вариаций и ошибок, возникающих из-за различных реализаций BLEU Score, и гарантирует, что результаты можно сравнивать между различными системами и исследованиями.

Как работает SacreBLEU

SacreBLEU использует те же принципы, что и BLEU Score, но добавляет дополнительные меры для стандартизации процесса вычисления. Он также использует предопределенные наборы данных и предоставляет унифицированный способ вычисления метрики, что делает результаты более надежными и воспроизводимыми.

Результаты расчета метрики могут быть от 0 до 100, где:
- 0 - полное несовпадение с эталоном
- 100 - полное совпадение с эталоном

Формула SacreBLEU

Формула SacreBLEU аналогична BLEU Score:

\text{BLEU} = BP \cdot \exp\left( \sum_{n=1}^{N} w_n \log p_n \right)

Где:

- BP — это Brevity Penalty, штраф за слишком короткие предсказанные тексты.

BP = \begin{cases} 1, & \text{если } c \geq r \\ \exp\left(1 - \frac{r}{c}\right), & \text{если } c < r \end{cases}

где:

  • c — длина предсказанного текста (candidate)

  • r — длина эталонного текста (reference)

- wn — весовая коэффициент для n-граммы (обычно все веса равны).

- pn — доля совпавших n-грамм длины n.

Пример

Предположим, у нас есть задача машинного перевода, и мы хотим оценить качество перевода с помощью SacreBLEU.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Вычисление SacreBLEU:

import sacrebleu

reference = ["Кошка лежит на коврике."]
prediction = ["Кошка спит на коврике."]

score = sacrebleu.corpus_bleu(prediction, [reference])
print(score.score)

Результат: 42.73. Такой результат означает, что основная структура текста по сравнению с эталоном сохранена, но есть и отличия.

Отличия от Bleu Score

1. Стандартизированная токенизация

  • BLEU Score может использовать разные способы разбиения текста на токены (например, пробелы, пунктуация, юникод).

  • SacreBLEU использует фиксированные токенизаторы (например, 13a, intl, zh) — это гарантирует, что результаты будут одинаковыми при повторении эксперимента.

2. Сглаживание при нулевых n-граммах

  • BLEU может дать результат 0, если хотя бы один уровень n-грамм не совпал.

  • SacreBLEU применяет сглаживание (например, добавление ε к числителю и знаменателю), чтобы избежать нуля и дать более реалистичную оценку.

3. Поддержка эталонных наборов данных

  • BLEU требует ручной загрузки и обработки эталонных текстов.

  • SacreBLEU встроенно поддерживает официальные датасеты (WMT, IWSLT и др.), что упрощает сравнение между системами.

4. Воспроизводимость

  • В обычном BLEU сложно понять, какие параметры использовались (токенизация, сглаживание, количество эталонов).

  • SacreBLEU предоставляет подпись (signature), которая фиксирует все параметры метрики. Это делает результаты воспроизводимыми и сравнимыми.

Rouge Score

ROUGE Score (Recall-Oriented Understudy for Gisting Evaluation) — это метрика, используемая для оценки качества автоматического суммирования текстов и других задач обработки естественного языка (NLP), таких как машинный перевод и генерация текста. ROUGE Score измеряет схожесть между эталонным текстом и сгенерированным текстом, анализируя совпадения n-грамм, слов и последовательностей слов.

Виды ROUGE Scores

Существует несколько вариантов ROUGE Score, которые учитывают разные аспекты текстов:

1. ROUGE-N: Измеряет совпадения n-грамм.

Может быть рассчитан как precision, recall и f1-score

Метрика

Формула

Разъяснение

Recall

совпавшие n-граммыn-граммы в эталонном тексте

Насколько полно приведены указанные в эталоне n-граммы

Precision

совпавшие n-граммыn-граммы в гипотезе

Насколько релевантны слова в гипотезе

F1-score

precision recallprecision + recall

Метрика с балансом между полнотой и точностью

2. ROUGE-L: Измеряет длину наибольшей общей подпоследовательности (Longest Common Subsequence (LCS)).

ROUGE-L Precision = \frac{LCS}{|длина гипотезы|}

ROUGE-L Recall = \frac{LCS}{|длина эталона|}

ROUGE-L F1-score = \frac{(1 + \beta^2) \cdot precision \cdot recall}{recall + \beta^2 \cdot precision}

3. ROUGE-W: модификация ROUGE-L, где длинные непрерывные совпадения получают больший вес.

4. ROUGE-S: учитывает пары слов, которые идут в правильном порядке, но не обязательно подряд..

Как работает ROUGE-N

ROUGE-N вычисляет долю совпавших n-грамм между эталонным и сгенерированным текстами. Например, ROUGE-1 измеряет совпадения отдельных слов (1-граммы), а ROUGE-2 — пар слов (2-граммы).

Пример

Предположим, у нас есть задача автоматического суммирования текста, и мы хотим оценить качество суммарии с помощью ROUGE-1.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Шаги вычисления ROUGE-1:

1. Разделение текстов на 1-граммы (слова):

- Эталонный текст: ["Кошка", "лежит", "на", "коврике."]

- Сгенерированный текст: ["Кошка", "спит", "на", "коврике."]

2. Определение совпавших 1-грамм:

- Совпавшие 1-граммы: ["Кошка", "на", "коврике."]

3. Вычисление ROUGE-1:

- Количество совпавших 1-грамм = 3

- Общее количество 1-грамм в эталонном тексте = 4


ROUGE-1 Precision=\frac{3}{4} = 0.75

ROUGE-1 Recall=\frac{3}{4} = 0.75

ROUGE-1 F1=\frac{2 \cdot 0.75 \cdot 0.75}{0.75 + 0.75} = 0.75

Применение ROUGE-L

ROUGE-L измеряет длину наибольшей общей подпоследовательности (LCS) между эталонным и сгенерированным текстами.

Пример использования ROUGE-L:

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Шаги вычисления ROUGE-L:

1. Определение наибольшей общей подпоследовательности (LCS):

- Наибольшая общая подпоследовательность: ["Кошка", "на", "коврике."]

2. Вычисление ROUGE-L:

- Длина LCS = 3

- Общее количество слов в эталонном тексте = 4

ROUGE-L Precision=\frac{3}{4} = 0.75

ROUGE-L Recall=\frac{3}{4} = 0.75

ROUGE-L F1=\frac{2 \cdot 0.75 \cdot 0.75}{0.75 + 0.75} = 0.75

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from rouge import Rouge

def get_rouge_score(reference, hypothesis):
    # Создание объекта ROUGE
    rouge = Rouge()

    # Вычисление метрик ROUGE с лемматизированными текстами
    scores = rouge.get_scores(hypothesis, reference)

    # Вывод результатов
    print("\nROUGE-1:", scores[0]['rouge-1'])
    print("ROUGE-2:", scores[0]['rouge-2'])
    print("ROUGE-L:", scores[0]['rouge-l'])
BERTScore

BERTScore — это метрика, используемая для оценки качества текстов, генерируемых моделями обработки естественного языка (NLP). Она измеряет схожесть между двумя текстами, используя эмбеддинги, полученные с помощью модели BERT (Bidirectional Encoder Representations from Transformers). BERTScore часто применяется для задач машинного перевода, реферирования, генерации текста и других задач, где важно сравнение текстов.

Как работает BERTScore

В отличие от традиционных метрик, таких как BLEU или ROUGE, BERTScore использует эмбеддинги слов, чтобы учитывать контекст и семантику. Это позволяет лучше сравнивать тексты по их смыслу, а не только по совпадению слов.

Шаги вычисления BERTScore

1. Получение эмбеддингов: Для каждого слова в эталонном и предсказанном текстах вычисляются эмбеддинги с помощью модели BERT.

2. Вычисление косинусной схожести: Для каждого слова из предсказанного текста вычисляется косинусная схожесть с каждым словом из эталонного текста.

3. Максимальная схожесть: Для каждого слова из предсказанного текста выбирается максимальное значение косинусной схожести с каким-либо словом из эталонного текста.

4. Среднее значение: Вычисляется среднее значение максимальных схожестей для всех слов предсказанного текста.

Пример

Предположим, у нас есть модель машинного перевода, и мы хотим оценить качество её перевода с помощью BERTScore.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Предсказанный текст: "Кошка спит на коврике."

Шаги вычисления BERTScore:

1. Получение эмбеддингов: Используем модель BERT для получения эмбеддингов для каждого слова в обоих текстах.

2. Вычисление косинусной схожести: Вычисляем косинусную схожесть между эмбеддингами слов.

Например:

- Косинусная схожесть между "лежит" и "спит" будет высокой, так как эти слова имеют схожие значения.

3. Максимальная схожесть: Для каждого слова из предсказанного текста выбираем максимальное значение косинусной схожести с каким-либо словом из эталонного текста.

Например:

- Слово "спит" в предсказанном тексте будет иметь максимальную схожесть с словом "лежит" в эталонном тексте.

4. Среднее значение: Вычисляем среднее значение максимальных схожестей для всех слов предсказанного текста.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from bert_score import score

def bert_score(reference, hypothesis):
    reference = [reference]
    hypothesis = [hypothesis]

    P, R, F1 = score(hypothesis, reference, lang="ru")  # lang="ru" для русского языка

    # Вывод результатов
    print(f"Lengths -> Reference: {len(reference)}, Hypothesis: {len(hypothesis)}")
    print(f"Precision: {P.mean().item():.4f}")
    print(f"Recall: {R.mean().item():.4f}")
    print(f"F1 Score: {F1.mean().item():.4f}")
InfoLM

InfoLM (Information-based Language Model) — это метрика для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), такими как машинный перевод, суммаризация и генерация.
Она основана на информационных мерах, вычисляемых с помощью предобученных языковых моделей (например, BERT, RoBERTa), и позволяет измерять семантическое сходство между эталонным и гипотетическим текстами.

В отличие от традиционных метрик (BLEU, ROUGE), InfoLM учитывает контекстуальные вероятностные распределения слов, что делает её более устойчивой к синонимам, перефразировкам и вариативности языка.

Как работает InfoLM

InfoLM измеряет дивергенцию между распределениями, полученными из языковой модели для эталонного и гипотетического текста.
В качестве меры могут использоваться:

  • Кросс-энтропия

  • KL-дивергенция

  • альфа-дивергенция

  • бета-дивергенция

  • Jensen-Shannon дивергенция

  • и другие информационные расстояния

Эти меры применяются к логитам или вероятностям, полученным от языковой модели, что позволяет сравнивать тексты на уровне их семантического содержания, а не только поверхностной формы.

Пример

Предположим, у нас есть система суммаризации, и мы хотим оценить качество её работы с помощью InfoLM.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Шаги:

  1. Токенизация и представление:

    - Тексты разбиваются на токены и пропускаются через предобученную модель (например, BERT).

  2. Получение распределений:

    - Для каждого токена получаем вероятностное распределение (например, логиты или softmax-оценки).

  3. Вычисление дивергенции:

    - Сравниваем распределения между эталоном и гипотезой с помощью выбранной информационной меры.

  4. Агрегация:

    - Полученные значения агрегируются (например, усредняются) для получения итогового InfoLM-оценивания.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from nlg_eval_via_simi_measures import InfoLM
from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch


def infolm(reference, hypothesis):
    # Инициализация токенизатора и модели
    tokenizer = AutoTokenizer.from_pretrained(
        "bert-base-multilingual-cased")
    model = AutoModelForMaskedLM.from_pretrained(
        "bert-base-multilingual-cased")

    # Инициализация InfoLM
    infolm = InfoLM(model_name="bert-base-multilingual-cased")  # Указываем модель

    # Токенизация текстов
    reference_tokens = tokenizer(reference, return_tensors="pt", 
                                 padding=True, truncation=True)
    hypothesis_tokens = tokenizer(hypothesis, return_tensors="pt", 
                                  padding=True, truncation=True)

    # Получение вероятностных распределений (выводы модели)
    with torch.no_grad():
        reference_distribution = torch.nn.functional.softmax(
            model(**reference_tokens).logits, dim=-1)
        hypothesis_distribution = torch.nn.functional.softmax(
            model(**hypothesis_tokens).logits, dim=-1)

    # Агрегируем вероятностные распределения по всем токенам
    reference_distribution = torch.mean(
        reference_distribution, dim=1).squeeze(0)
    hypothesis_distribution = torch.mean(
        hypothesis_distribution, dim=1).squeeze(0)

    # Вычисление метрики InfoLM
    result = infolm.compute_infolm(
        reference_distribution, hypothesis_distribution)

    # Вывод результата
    print(f"InfoLM Score: {result}")

Метрики, определяющие качество текста

Character Error Rate (CER)

Character Error Rate (CER), или символьная ошибка — это метрика, которая используется для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), такими как системы распознавания речи или машинного перевода. Эта метрика измеряет количество ошибок на уровне символов (букв), сравнивая сгенерированный текст с эталонным.

Как работает Char Error Rate

CER вычисляется как отношение количества вставок (I), удалений (D) и замен (S) символов, необходимых для преобразования сгенерированного текста в эталонный, к количеству символов в эталонном тексте.

Формула

CER = \frac{I + D + S}{N}

где:

- I — количество вставок.
- D — количество удалений.
- S — количество замен.
- N — общее количество символов в эталонном тексте.

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем посимвольно:

Эталонный ответ

Ответ модели

м

я

е

н

я

з

з

о

о

в

в

у

у

т

с

ь

А

А

л

л

е

е

к

к

с

с

а

а

н

н

д

д

р

р

а

в

в

а

ы

с

к

к

а

а

к

к

з

з

о

о

в

в

у

у

т

т

с

я

Итого:

- Вставки (I): 3

- Удаления (D): 5

- Замены (S): 2

- Общее количество символов в эталонном тексте (N): 38

CER = \frac{I + D + S}{N} = \frac{3 + 5 + 2}{38} = \frac{10}{38} = 0.26

Таким образом, в ответе модели примерно 1/3 всех символов подлежат правке, если мы хотим точного совпадения с эталоном.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import editdistance

def calculate_cer(reference, hypothesis):
    # Вычисляем расстояние Левенштейна (количество вставок, удалений и замен)
    lev_distance = editdistance.eval(reference, hypothesis)
    # CER = (Количество ошибок) / (Количество символов в эталонном тексте)
    cer = lev_distance / len(reference)
    return cer
ChrF Score

ChrF Score — это метрика оценки качества текста, сгенерированного системами обработки естественного языка (NLP), особенно в задачах машинного перевода и суммаризации.
Она основана на символьных n-граммах и измеряет точность (precision) и полноту (recall) совпадений между эталонным и гипотетическим текстами.

ChrF особенно полезна для морфологически богатых языков, где формы слов могут сильно варьироваться, а лексические совпадения — быть редкими.

Как работает ChrF Score

  • Тексты разбиваются на символьные n-граммы (например, 6-граммы).
    N-грамма — это последовательность из n элементов, то есть фрагментов текста длиной n символов.
    Например, для слова "зовут" n-граммы будут выглядеть так:
    1-граммы: "з", "о", "в", "у", "т"
    2-граммы: "зо", "ов", "ву", "ут"
    3-граммы: "зов", "ову", "вут"
    4-граммы: "зову", "овут"
    5-граммы: "зовут"

  • Вычисляются:
    - Precision — доля совпавших n-грамм среди всех n-грамм гипотезы.
    - Recall — доля совпавших n-грамм среди всех n-грамм эталона.

  • Итоговая метрика — взвешенная гармоническая средняя (F-score) между precision и recall.

Формула

ChrF Score основан на взвешенной гармонической среде точности (precision) и полноты (recall) для символов.

\text{ChrF}_\beta = \frac{(1 + \beta^2) \cdot \text{Precision} \cdot \text{Recall}}{\beta^2 \cdot \text{Precision} + \text{Recall}}

где:

- Precision — доля совпадений n-грамм сгенерированного текста среди всех n-грамм сгенерированного текста.
- Recall — доля совпадений n-грамм эталонного текста среди всех n-грамм эталонного текста.
-\beta— параметр, который позволяет настроить относительный вклад точности и полноты (обычно = 1).

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

На первый взгляд фразы похожи, но ChrF учитывает точные символьные совпадения, включая пробелы и окончания слов.

Попробуем посчитать ChrF Score для n-грамм от 1 до 6.
Затем сравним этот подсчет с результатом вычисления ChrF Score из библиотеки sacrebleu.
Сделаем это с помощью вот такого кода:

from collections import Counter
from sacrebleu.metrics import CHRF

def get_char_ngrams(text, n):
    """Разбивает текст на символьные n-граммы, включая пробелы."""
    return [text[i:i+n] for i in range(len(text) - n + 1)]

def compute_chrf_full(reference, hypothesis, max_order=6, beta=1.0):
    """Расширенный расчёт ChrF с агрегацией по n-граммам от 1 до max_order."""
    total_f_score = 0.0
    levels = []

    for n in range(1, max_order + 1):
        ref_ngrams = get_char_ngrams(reference, n)
        hyp_ngrams = get_char_ngrams(hypothesis, n)

        ref_counts = Counter(ref_ngrams)
        hyp_counts = Counter(hyp_ngrams)

        overlap_counts = ref_counts & hyp_counts
        overlap = sum(overlap_counts.values())

        precision = overlap / max(len(hyp_ngrams), 1)
        recall = overlap / max(len(ref_ngrams), 1)

        if precision + recall == 0:
            f_score = 0.0
        else:
            f_score = (1 + beta**2) * precision * recall / (
                      beta**2 * precision + recall)

        levels.append({
            "n": n,
            "precision": precision,
            "recall": recall,
            "f_score": f_score
        })

        total_f_score += f_score

    avg_f_score = total_f_score / max_order

    # Вывод по уровням
    print("\n📊 ChrF по уровням n-грамм:")
    for lvl in levels:
        print(f"  {lvl['n']}-граммы → Precision: {lvl['precision']:.4f}, "
              f"Recall: {lvl['recall']:.4f}, F1: {lvl['f_score']*100:.2f}")

    print(f"\n🎯 ChrF Score (ручной, среднее по уровням): "
          f"{avg_f_score * 100:.2f}")

    # Сравнение с sacrebleu
    chrf_metric = CHRF(char_order=max_order, word_order=0, whitespace=True)
    sacrebleu_score = chrf_metric.corpus_score([hypothesis], [[reference]])
    print(f"✅ ChrF Score (sacrebleu): {sacrebleu_score.score:.2f}")

    return avg_f_score * 100

По результатам расчета получаем следующие значения:

ChrF по уровням n-грамм:
1-граммы → Precision: 0.8857, Recall: 0.8611, F1: 87.32
2-граммы → Precision: 0.7647, Recall: 0.7429, F1: 75.36
3-граммы → Precision: 0.6970, Recall: 0.6765, F1: 68.66
4-граммы → Precision: 0.6250, Recall: 0.6061, F1: 61.54
5-граммы → Precision: 0.5484, Recall: 0.5312, F1: 53.97
6-граммы → Precision: 0.4667, Recall: 0.4516, F1: 45.90

ChrF Score (ручной, среднее по уровням): 65.46
ChrF Score (sacrebleu): 64.87

Таким образом, среднее значение ChrF Score составляет примерно 65%.
Это свидетельствует о хорошем уровне совпадения между гипотезой и эталоном. Несмотря на различия в формулировках («Меня зовут» vs «Я зовусь», «вас» vs «вы»), большая часть символьных фрагментов совпадает, особенно в ключевых словах и структуре фразы.
Если будет необходимо более точное совпадение, можно установить граничное значение, при котором перевод будет считаться успешным.

Edit Distance

Edit Distance, также известное как Levenshtein Distance — это метрика, измеряющая минимальное количество операций редактирования, необходимых для преобразования одной строки в другую.

Операции включают:

- Вставку символа
- Удаление символа
- Замену одного символа на другой

Эта метрика широко применяется в задачах обработки текстов, распознавания речи, исправления опечаток, поиска дубликатов и даже в биоинформатике.

Как работает Edit Distance

Edit Distance вычисляется с помощью динамического программирования, где строится матрица, отражающая стоимость преобразования каждой подстроки одной строки в другую.

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “меня”

Ответ модели: “Я”

Сравниваем посимвольно:

- Создаем таблицу размером (len(A) + 1) x (len(B) + 1) для хранения промежуточных значений расстояний.

Ø

м

е

н

я

Ø

0

1

2

3

4

я

1

1

2

3

3

Операции редактирования:

- Вставка "м" перед "я" (1 операция)

- Вставка "е" после "м" и перед “я” (1 операция)

- Вставка "н" после "е" и перед “я” (1 операция)

Итого: 3 операции

Edit Distance между "я" и "меня" равен 3

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import editdistance


lev_distance = editdistance.eval(reference_text, hypothesis_text)
print(f"Levenshtein Distance: {lev_distance}")
Extended Edit Distance

Extended Edit Distance (расширенное расстояние редактирования) — это метрика, используемая для измерения минимального количества операций редактирования, необходимых для преобразования одной строки в другую. В отличие от обычного Edit Distance (расстояния редактирования), которое учитывает только вставки, удаления и замены символов, Extended Edit Distance может учитывать дополнительные операции, такие как транспозиции (перестановки символов) и другие операции, в зависимости от конкретной реализации.

Как работает Extended Edit Distance

Extended Edit Distance учитывает дополнительные операции редактирования, что позволяет более точно измерять различия между строками, особенно если строки содержат перестановки символов или другие сложные изменения.

Допустим, у нас есть 2 строки.

Строка 1: “продух”

Строка 2: “проход”

Сравниваем посимвольно:

- Создаем таблицу размером (len(A) + 1) x (len(B) + 1) для хранения промежуточных значений расстояний.

Ø

п

р

о

д

у

х

Ø

0

1

2

3

4

5

6

п

1

0

1

2

3

4

5

р

2

1

0

1

2

3

4

о

3

2

1

0

1

2

3

х

4

3

2

1

1

2

2

о

5

4

3

2

2

2

3

д

6

5

4

3

2

3

3

Операции редактирования:

- Транспозиция "д" и "х" (1 операция)

- Замена “у” на “о” (1 операция)

Итого: 2 операции

Extended Edit Distance между "продух" и "проход" равен 2

Translation Edit Rate (TER)

Translation Edit Rate (TER) — это метрика, используемая для оценки качества машинного перевода. TER измеряет количество редактирования, необходимого для преобразования перевода модели в эталонный перевод. Основные операции редактирования включают вставку, удаление, замену и перестановку слов. TER полезен для измерения усилий, необходимых для постредактирования машинных переводов.

Как работает Translation Edit Rate

TER вычисляется как отношение минимального количества операций редактирования, необходимых для приведения перевода модели в соответствие с эталонным переводом, к общему количеству слов в эталонном переводе.

Формула

\text{TER} = \frac{\text{Количество операций редактирования}}{\text{Количество слов в эталонном переводе}}

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” заменено на “Я”

  • “зовут” заменено на “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” заменено на “вы”

  • “как” совпадает с “как”

  • “зовут” заменено на “зовутся”

Вычисление Translation Error Rate:

- Вставки (I): 0

- Удаления (D): 0

- Замены (S): 4

Общее количество слов в эталонном переводе: 7

\text{TER} = \frac{4}{7} \approx 0.571

Таким образом, примерно 57.1% слов в выданном моделью ответе отличаются от эталонного.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import evaluate


# Загрузка метрики TER
ter_metric = evaluate.load("ter")

# Вычисление метрики TER
results = ter_metric.compute(predictions=predictions, references=references)
print(results)
Word Error Rate (WER)

Word Error Rate (WER) — это метрика, используемая для оценки качества текстов, сгенерированных системами распознавания речи и другими системами обработки естественного языка (NLP). WER измеряет количество ошибок на уровне слов, сравнивая сгенерированный текст с эталонным. Она полезна для измерения точности систем распознавания речи и определения количества редактирования, необходимого для приведения распознанного текста в соответствие с эталонным.

Как работает Word Error Rate

WER вычисляется как отношение суммы ошибок (вставок, удалений и замен) к общему количеству слов в эталонном тексте.

Формула

\text{WER} = \frac{I + D + S}{N}

где:

- I — количество вставок (insertions).

- D — количество удалений (deletions).

- S — количество замен (substitutions).

- N — общее количество слов в эталонном тексте.

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” не совпадает с “Я”

  • “зовут” не совпадает с “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” не совпадает с “вы”

  • “как” совпадает с “как”

  • “зовут” не совпадает с “зовутся”

Количество ошибок: 4

- Общее количество слов в эталонном тексте (N): 7

Вычисление Word Error Rate:

\text{WER} = \frac{I + D + S}{N} = \frac{0 + 0 + 4}{7} = \frac{4}{7} \approx 0.571

Ключевые различия между WER и TER:

  • WER строго сравнивает слово за словом, без учета порядка.
    Если слово стоит не на своём месте, это ошибка.

  • TER допускает перестановки (shifts), если они минимизируют общее число операций.
    Это делает TER более гибким для оценки переводов, где порядок слов может варьироваться.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import jiwer

def calc_wer(ground_truth, hypothesis):
  wer = jiwer.wer(ground_truth, hypothesis)
  print(f"Word Error Rate (WER): {wer}")
Word Information Lost (WIL)

Word Information Lost (WIL) — это метрика, используемая для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), особенно в задачах распознавания речи. WIL измеряет долю информации, потерянной при преобразовании эталонного текста в сгенерированный текст. Она учитывает количество ошибок на уровне слов, таких как вставки, удаления и замены.

Как работает Word Information Lost

WIL вычисляется на основе количества ошибок редактирования, необходимых для преобразования эталонного текста в сгенерированный текст, с учетом длины обоих текстов.

Формула

\text{WIL} = 1 - \frac{N - D - S}{N}

где:

- N — общее количество слов в эталонном тексте.

- D — количество удалений (deletions).

- S — количество замен (substitutions).

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” не совпадает с “Я”

  • “зовут” не совпадает с “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” не совпадает с “вы”

  • “как” совпадает с “как”

  • “зовут” не совпадает с “зовутся”

Количество ошибок: 4

Общее количество слов в эталонном тексте (N): 7

Вычисление Word Information Lost:

\text{WIL} = 1 - \frac{7 - 0 - 4}{7} = 1 - \frac{3}{7} = \frac{4}{7} \approx 0.571

Таким образом, по итогам расчета, предположительно 57,1% информации может быть потеряно.

Различия между WER и WIL:

  • WER и WIL могут давать одинаковые значения, но WIL интерпретируется как потеря информации, а не просто ошибки.

  • WIL полезна, когда важно понять, насколько смысл сохранился, особенно в задачах с семантической нагрузкой.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import jiwer


def calc_wil(ground_truth, hypothesis):
   wil = jiwer.wil(ground_truth, hypothesis)
   return wil

Важно отметить, что реализация такой метрики в jiwer содержит свои алгоритмы выравнивания. Поэтому результаты расчета вручную и с помощью этой библиотеки могут быть разными.

Word Information Preserved (WIP)

Word Information Preserved (WIP) — это метрика, используемая для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), такими как системы распознавания речи и машинного перевода. WIP измеряет долю информации, сохраненной при преобразовании эталонного текста в сгенерированный текст. Она учитывает количество ошибок на уровне слов, таких как вставки, удаления и замены, и оценивает, насколько хорошо система сохраняет исходную информацию.

Как работает Word Information Preserved

WIP вычисляется на основе количества ошибок редактирования, необходимых для преобразования эталонного текста в сгенерированный текст, с учетом длины обоих текстов.

Формула

\text{WIP} = \frac{N - D - S}{N}

где:

- N — общее количество слов в эталонном тексте.

- D — количество удалений (deletions).

- S — количество замен (substitutions).

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” не совпадает с “Я”

  • “зовут” не совпадает с “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” не совпадает с “вы”

  • “как” совпадает с “как”

  • “зовут” не совпадает с “зовутся”

Количество ошибок: 4

- Общее количество слов в эталонном тексте (N): 7

Вычисление Word Information Preserved:

\text{WIP} = \frac{7 - 0 - 4}{7} = \frac{3}{7} \approx 0.429

Таким образом, примерно 42.9% информации было сохранено в выданном моделью ответе.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import jiwer


def calc_wip(ground_truth, hypothesis):
    wil = jiwer.wil(ground_truth, hypothesis)
    wip = 1 - wil  # WIP = 1 - WIL
    return wip

Важно отметить, что реализация такой метрики в jiwer содержит свои алгоритмы выравнивания. Поэтому результаты расчета вручную и с помощью этой библиотеки могут быть разным

Метрики, использующие вероятности предсказания

Cross-Entropy Loss

Cross-Entropy Loss (или Кросс-энтропия) — это одна из наиболее часто используемых функций потерь в задачах классификации, особенно в нейронных сетях и языковых моделях. Она измеряет разницу между реальным распределением классов и предсказанным распределением вероятностей модели. Давайте разберёмся подробно.

1. Идея Cross-Entropy Loss

Цель этой метрики — "наказать" модель за то, насколько сильно её предсказания отклоняются от реальных меток классов. Если модель предсказывает вероятности классов правильно, значение функции будет минимальным. В противном случае функция увеличивается.

2. Формула

Для задачи с n примеров и k классов Cross-Entropy Loss вычисляется как:

L = -\frac{1}{n} \sum_{i=1}^{n} \sum_{j=1}^{k} y_{ij} \log(p_{ij})

где:
- yij — истинная метка класса (0 или 1),
- pij— предсказанная вероятность класса j для примера i,
- n — общее количество примеров,
- k — количество классов.

Упрощённо для бинарной классификации ((k = 2)):

L = -\frac{1}{n} \sum_{i=1}^{n} \left[ y_i \log(p_i) + (1 - y_i) \log(1 - p_i) \right]

где:
- (yi in {0, 1}) — истинная метка,
- (pi in [0, 1]) — предсказанная вероятность положительного класса.

для одного конкретного примера эта формула будет еще проще:

L = - \left[ y \log(p) + (1 - y) \log(1 - p) \right]

Пример:

Допустим, у нас есть модель, которая классифицирует изображение как одно из трёх животных:

  • Класс 0: Кошка

  • Класс 1: Собака

  • Класс 2: Лиса


Она возвращает логиты [2.0, 1.0, 0.1], а истинная метка — "кошка" (класс 0).
После применения softmax получаем вероятности [0.659, 0.242, 0.099].
Cross-Entropy Loss будет:

\text{L} = -\log(0.659) \approx 0.417

Чем выше уверенность модели в правильном классе, тем ниже значение функции потерь.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import torch
import torch.nn as nn
import torch.nn.functional as F

# Логиты от модели (до softmax)
logits = torch.tensor([[2.0, 1.0, 0.1]])

# Истинная метка (класс 0 — кошка)
true_label = torch.tensor([0])

# Инициализация функции потерь
loss_fn = nn.CrossEntropyLoss()

# Вычисление loss
loss = loss_fn(logits, true_label)
print(f"Cross-Entropy Loss: {loss.item():.4f}")

# Вероятности после softmax
probs = F.softmax(logits, dim=1)
print(f"Predicted probabilities: {probs.tolist()}")
Semantic-Aware Cross-Entropy Loss (SACEL)

Semantic-Aware Cross-Entropy Loss (SACEL) — это модифицированная функция потерь, предназначенная для оценки качества генерации текста нейросетевыми моделями. В отличие от классической cross-entropy, SACEL учитывает не только вероятность появления слов или фраз, но и их соответствие ожидаемому смыслу. Метрика penalизирует модель за высокую уверенность в семантически неверных фрагментах и поощряет уверенность в корректных.

1. Идея SACEL

Цель этой метрики — "наказать" модель как за излишнюю уверенность в принадлежности терминов или фразе к конкретной категории.
Если модель предсказывает принадлежность к категории верно и с большим показателем вероятности, значение функции будет минимальным.
Если модель предсказывает принадлежность к классу неверно или верно с низким показателем вероятности, значение будет умеренным (примерно в районе 1-2).
Если же модель предсказывает принадлежность категории неверно и с большим показателем вероятности, значения будут высокими (более 2).

На основании результатов расчета:
- в случае низких показателей вероятности можно сделать вывод о недостаточной обученности модели;
- в случае высоких показателей вероятности при неверно определенной категории можно сделать вывод об обучении модели на неверных данных.

2. Формула

Для задачи с n примеров и k классов Cross-Entropy Loss вычисляется как:

\text{SACEL}_i = - \left[ y_i \cdot \log(p_i^*) + (1 - y_i) \cdot \log(1 - p_i^*) \right]

где:
- y_i \in {0, 1} — истинная метка класса (0 или 1),
- p_i \in [0, 1] — вероятность появления фразы по logprobs,
- \hat{y}_i \in {0, 1} — фактическое решение модели (соответствует категории или нет),
- p_i^* - скорректированная вероятность:

\begin{cases} p_i, & \text{если } y_i = \hat{y}_i \\ 1 - p_i, & \text{если } y_i \ne \hat{y}_i \end{cases}

В общем виде формула выглядит так:

\text{SACEL} = \frac{1}{n} \sum_{i=1}^{n} \text{SACEL}_i

Пример:

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

Теперь давайте посмотрим на ответы AI модели с рассчитанными вероятностями появления слов.

  1. Вероятность появления слова 'В': 0.0071
    Вероятность появления слова 'российском': 0.0631
    Вероятность появления слова 'законодательстве': 0.9986
    Вероятность появления слова 'к': 0.7805
    Вероятность появления слова 'понятию': 0.0000
    Вероятность появления слова 'реального': 0.9906
    Вероятность появления слова 'ущерба': 0.9999
    Вероятность появления слова 'относятся': 0.9923
    Вероятность появления слова 'утрата': 0.0007
    Вероятность появления слова 'имущества,': 0.2412
    Вероятность появления слова 'порча': 0.9988
    Вероятность появления слова 'имущества': 1.0000
    Вероятность появления слова 'и': 0.8746
    Вероятность появления слова 'упущенная': 0.9619
    Вероятность появления слова 'выгода.': 0.9871
    Вероятность появления слова 'Расходы': 0.9989
    Вероятность появления слова 'на': 1.0000
    Вероятность появления слова 'восстановление': 0.9993
    Вероятность появления слова 'права': 0.9991
    Вероятность появления слова 'не': 0.6995
    Вероятность появления слова 'являются': 0.0051
    Вероятность появления слова 'частью': 0.1858
    Вероятность появления слова 'понятия': 0.0192
    Вероятность появления слова 'реального': 0.9992
    Вероятность появления слова 'ущерба.': 0.8929

    средняя вероятность появления словосочетания после слова “относится”:
    “утрата имущества”: 0,12095 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.12095) + 0 \cdot \log(1 - 0.12095) \right] = -\log(0.12095)\approx 2.112

    “порча имущества”: 0,9994 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.9994) + (1 - 1) \cdot \log(1 - 0.9994) \right]=-\left[ \log(0.9994) \right] \approx 0.0006

    “упущенная выгода”: 0,9745 (0)

    здесь ответ должен быть отрицательным, но система оценила его положительным.

    \small SACEL = -\left[ 0 \cdot \log(0.9745) + 1 \cdot \log(1 - 0.9745) \right] = -\log(0.0255)\approx 3.669

    вероятность появления словосочетания:

    “расходы на восстановление права”: 0,9993 (1)

    здесь ответ должен быть положительным, но модель посчитала его отрицательным. Поэтому предсказанная вероятность положительного класса будет равна 1 - 0,9993 = 0,0007

    \small SACEL = -\left[ 1 \cdot \log(0.0007) + (1 - 1) \cdot \log(1 - 0.0007) \right]=-\log(0.0007)\approx 7.264

  2. Вероятность появления слова 'В': 0.4005
    Вероятность появления слова '2025': 0.9949
    Вероятность появления слова 'году': 0.9999
    Вероятность появления слова 'этапы': 0.9660
    Вероятность появления слова 'Формулы': 0.8278
    Вероятность появления слова '1': 0.9765
    Вероятность появления слова 'пройдут': 0.3191
    Вероятность появления слова 'в': 0.9974
    Вероятность появления слова 'России,': 0.6528
    Вероятность появления слова 'Великобритании': 0.9943
    Вероятность появления слова 'и': 0.4960
    Вероятность появления слова 'С\xd0\xa8А.': 0.6739

    вероятность появления слов:

    России: 0,6528 (0)

    ответ должен быть отрицательным, но модель оценила его положительным.

    \small SACEL = -\left[ 0 \cdot \log(0.6528) + 1 \cdot \log(1 - 0.6528) \right]=-\log(0.3472)\approx 1.058

    Великобритании: 0,9943 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.9943) + 0 \cdot \log(1 - 0.9943) \right]=-\log(0.9943)\approx 0.006

    США: 0,6739 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.6739) + 0 \cdot \log(1 - 0.6739) \right]=-\log(0.6739)\approx 0.395

    Азербайджан и Польша вовсе не указаны в ответе, поэтому по умолчанию укажем их 0,9999 (максимальная уверенность модели в отсутствии этапов формулы 1 в этих странах).

    В таких условиях для Польши показатель будет равен:

    \small SACEL = -\left[ 0 \cdot \log(0.0001) + 1 \cdot \log(1 - 0.0001) \right] = -\log(0.9999)\approx 0.0001

    Для Азербайджана показатель будет равен:

    \small SACEL = -\left[ 1 \cdot \log(0.0001) + 0 \cdot \log(1 - 0.0001) \right] = -\log(0.0001)\approx 9.2103

Чем ближе результат вычисления метрики к 0, тем точнее она предсказывает ответы.

Теперь посчитаем среднее значение метрики по всем данным ответам:

SACEL_{\text{ср}} = \frac{23.715}{9} \approx 2.635

Таким образом, среднее значение SACEL выше 2, что, многовероятно, свидетельствует об обучении модели на неверных или шумных данных.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import numpy as np

def define_positive_class_prob(true_label, predicted_label, predicted_prob):
    if true_label == 1 and true_label == predicted_label:
        positive_prob = predicted_prob
    elif true_label == 1 and true_label != predicted_label:
        positive_prob = 1 - predicted_prob
    elif true_label == 0 and true_label == predicted_label:
        positive_prob = 1 - predicted_prob
    else:
        positive_prob = predicted_prob
    return positive_prob

def sacel_binary(true_labels, predicted_labels, predicted_probs):

    # Вычисляем вероятности положительного класса
    positive_probs = np.array([
        define_positive_class_prob(true_label, predicted_label, 
                                   predicted_prob)
        for true_label, predicted_label, predicted_prob in zip(true_labels, 
                                        predicted_labels, predicted_probs)
    ])

    # Устанавливаем минимальное значение epsilon для защиты от log(0)
    epsilon = 1e-10
    positive_probs = np.clip(positive_probs, epsilon, 1 - epsilon)

    # Убедимся, что все входные данные — массивы numpy
    true_labels = np.array(true_labels)

    # Вычисляем SACEL
    loss = -np.mean(
        true_labels * np.log(positive_probs) +
        (1 - true_labels) * np.log(1 - positive_probs)
    )
    print(loss)
    return loss
Label Ranking Average Precision (LRAP)

Label Ranking Average Precision (LRAP) — это метрика, используемая для оценки моделей многоклассовой классификации, особенно в задачах, где каждый пример может принадлежать к нескольким классам одновременно. Она измеряет, насколько хорошо модель ранжирует правильные метки выше неправильных.

Как работает LRAP

LRAP вычисляется следующим образом:
1. Для каждого примера определяется порядок, в котором модель ранжирует метки.
2. Вычисляется доля правильно ранжированных меток среди всех возможных пар.
3. LRAP — это среднее значение этих долей по всем примерам.

Формула для вычисления LRAP выглядит следующим образом:

\text{LRAP} = \frac{1}{|\small\text{True Labels}|} \sum_{j \in \small\text{TrueLabels}} \frac{|\{k : \text{score}_k \geq \text{score}_j \text{ and } k \in \text{TrueLabels}\}|}{\text{rank}_j}

Пример использования LRAP

Предположим, у нас есть задача многоклассовой классификации, где каждый пример может принадлежать нескольким классам одновременно. Ниже приведен пример с 3 примерами и 5 классами.

Пример данных:

  • Пример 1: Метки (A, B), Предсказанные вероятности: A=0.9, B=0.8, C=0.1, D=0.4, E=0.3

  • Пример 2: Метки (C, D), Предсказанные вероятности: A=0.2, B=0.5, C=0.7, D=0.9, E=0.1

  • Пример 3: Метки (B, E), Предсказанные вероятности: A=0.1, B=0.9, C=0.3, D=0.2, E=0.8

Вычисление LRAP:

1. Пример 1: Метки (A, B)

- Предсказанные вероятности: [0.9, 0.8, 0.1, 0.4, 0.3]

- Ранжирование меток: [A, B, D, E, C]

- Доля правильно ранжированных меток:

- A: ранжирована выше всех (1/1 = 1.0)

- B: ранжирована выше всех неправильных (1/1 = 1.0)

2. Пример 2: Метки (C, D)

- Предсказанные вероятности: [0.2, 0.5, 0.7, 0.9, 0.1]

- Ранжирование меток: [D, C, B, A, E]

- Доля правильно ранжированных меток:

- D: ранжирована выше всех (1/1 = 1.0)

- C: ранжирована выше всех неправильных (1/1 = 1.0)

3. Пример 3: Метки (B, E)

- Предсказанные вероятности: [0.1, 0.9, 0.3, 0.2, 0.8]

- Ранжирование меток: [B, E, C, D, A]

- Доля правильно ранжированных меток:

- B: ранжирована выше всех (1/1 = 1.0)

- E: ранжирована выше всех неправильных (1/1 = 1.0)

Среднее значение правильно ранжированных меток для всех примеров:

\text{LRAP} =\small\frac{1}{3} \left( \frac{1.0 + 1.0}{2} + \frac{1.0 + 1.0}{2} + \frac{1.0 + 1.0}{2} \right)== \frac{1}{3}(1.0 + 1.0 + 1.0) = 1.0

Таким образом, все метки были ранжированы правильно.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import label_ranking_average_precision_score


def calculate_lrap_score(true_labels, predicted_probabilities):


    lrap_score = label_ranking_average_precision_score(true_labels, predicted_probabilities)

    print(f'Label Ranking Average Precision (LRAP): {lrap_score:.2f}')
Label Ranking Loss (LRL)

Label Ranking Loss (или Loss for Label Ranking) — это метрика, используемая для оценки моделей многоклассовой классификации, особенно в задачах, где каждый пример может принадлежать к нескольким классам одновременно. Эта метрика измеряет, насколько правильно модель ранжирует метки.

Как работает Label Ranking Loss

Label Ranking Loss вычисляется следующим образом:
1. Для каждого примера определяется порядок, в котором модель ранжирует метки.
2. Сравнивается этот порядок с правильным порядком меток.
3. Рассчитывается доля неправильно ранжированных пар меток для каждого примера

Формула для вычисления Label Ranking Loss:

\text{LRL} = \frac{\text{Количество неправильно ранжированных пар}}{\text{Общее количество пар}}\text{Количество пар} = k \cdot (n - k)

где

k - количество истинных меток

n - общее количество меток.

Таким образом, общее количество пар - это число пар истинных (релевантных) / ложных (нерелевантных) меток.

Пример использования Label Ranking Loss

Предположим, у нас есть задача многоклассовой классификации, где каждый пример может принадлежать нескольким классам одновременно. Рассмотрим пример с 3 примерами и 4 классами.

Пример данных:

  • Пример 1: Метки (A, B), Предсказанные вероятности: A=0.9, B=0.6, C=0.8, D=0.3

  • Пример 2: Метки (C, D), Предсказанные вероятности: A=0.8, B=0.7, C=0.6, D=0.5

  • Пример 3: Метки (B, D), Предсказанные вероятности: A=0.3, B=0.6, C=0.4, D=0.5

Вычисление Label Ranking Loss:

1. Пример 1: Метки (A, B)

- Предсказанные вероятности: [0.9, 0.8, 0.6, 0.3]

- Ранжирование меток: [A, С, B, D]

- Неправильные ранжирования:

- Пара C, B: r(C)=0.8, r(B)=0.6 (неправильно)

- Неправильные пары: 1 из 4 (C, B)

- Label Ranking Loss = 1 / 4 = 0.25

2. Пример 2: Метки (C, D)

- Предсказанные вероятности: [0.8, 0.7, 0.6, 0.5]

- Ранжирование меток: [A, B, C, D]

- Неправильные ранжирования:

- Пара B, D: r(B)=0.7, r(D)=0.5 (неправильно)

- Пара B, C: r(B)=0.7, r(C)=0.6 (неправильно)

- Пара A, C: r(A)=0.8, r(C)=0.6 (неправильно)

- Пара A, D: r(A)=0.8, r(D)=0.5 (неправильно)

- Неправильные пары: 4 из 4 (B, D и A, C)

- Label Ranking Loss = 4 / 4 = 1

3. Пример 3: Метки (B, D)

- Предсказанные вероятности: [0.3, 0.6, 0.4, 0.5]

- Ранжирование меток: [B, D, C, A]

- Неправильные ранжирования: отсутствуют

- Неправильные пары: 0 из 4

- Label Ranking Loss = 0 / 4 = 0

Среднее значение Label Ranking Loss для всех примеров:

\text{LRL} = \frac{0.25 + 1.0 + 0.0}{3} = \frac{1.25}{3} = 0.4167

Таким образом, можно сделать вывод, что примерно 41,67% пар были ранжированы неверно.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import label_ranking_loss


def calculate_lrl(true_labels, predicted_probabilities):

    # Расчет метрики Label Ranking Loss
    lrl_score = label_ranking_loss(true_labels, predicted_probabilities)

    print(f'Label Ranking Loss (LRL): {lrl_score:.2f}')
LogAUC

Log AUC (логарифмическая площадь под кривой) — это метрика, используемая для оценки качества классификационных моделей, особенно в задачах бинарной классификации. Она измеряет качество предсказаний модели путем вычисления площади под кривой ROC (Receiver Operating Characteristic), где по оси X откладывается доля ложноположительных предсказаний (False Positive Rate), а по оси Y — доля истинно положительных предсказаний (True Positive Rate).

Как работает Log AUC

Log AUC отличается от обычной AUC тем, что учитывает логарифмическое преобразование меток, что помогает сгладить воздействие крайней нечувствительности моделей к определенным классам.

Пример

Предположим, у нас есть классификационная задача, где нужно определить, будет ли пользователь покупать товар на основе его поведения.

Данные:

- Истинные метки (y): [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]

- Предсказанные вероятности (p): [0.9, 0.1, 0.8, 0.7, 0.3, 0.6, 0.2, 0.4, 0.95, 0.05]

Построение ROC-кривой:

1. Сортировка предсказанных вероятностей:

- [0.95, 0.9, 0.8, 0.7, 0.6, 0.4, 0.3, 0.2, 0.1, 0.05]

2. Соответствующие истинные метки:

- [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]

3. Вычисление TPR и FPR для каждого порога:

- Порог 0.95: TPR = 1/5, FPR = 0/5, logFPR = -6
- Порог 0.9: TPR = 2/5, FPR = 0/5, logFPR = -6
- Порог 0.8: TPR = 3/5, FPR = 0/5, logFPR = -6
- Порог 0.7: TPR = 4/5, FPR = 0/5, logFPR = -6
- Порог 0.6: TPR = 5/5, FPR = 0/5, logFPR = -6
- Порог 0.4: TPR = 5/5, FPR = ⅕, logFPR = -0.699
- Порог 0.3: TPR = 5/5, FPR = ⅖, logFPR = -0.3979
- Порог 0.2: TPR = 5/5, FPR = ⅗, logFPR = -0,2218
- Порог 0.1: TPR = 5/5, FPR = ⅘, logFPR = -0.0969
- Порог 0.05: TPR = 5/5, FPR = 5/5, logFPR = 0

Здесь, чтобы избежать вычисления логарифма от 0, принимаем по умолчанию малое значение 0,000001.

По итогам расчета график logAUC выглядит вот так:

График LogAUC
График LogAUC

По такому графику можно легко проследить, какие результаты будут при разных порогах.

Например, при пороге 0,2 модель будет воспринимать как положительные в том числе и 3 отрицательных ответа.

Давайте рассчитаем Log AUC для наших данных

import numpy as np

# Данные

tpr = np.array([1/5, 2/5, 3/5, 4/5, 5/5, 5/5, 5/5, 5/5, 5/5, 5/5])
fpr = np.array([0, 0, 0, 0, 0, 1/5, 2/5, 3/5, 4/5, 5/5])

# Логарифмируем FPR
epsilon = 1e-6
log_fpr = np.log10(fpr + epsilon)

# Сортируем по log_fpr
sorted_indices = np.argsort(log_fpr)
x = log_fpr[sorted_indices]
y = tpr[sorted_indices]

# Метод трапеций
log_auc = np.trapz(y, x)
print(f"Log AUC = {log_auc:.4f}")

Log AUC = 6.0000

Такие показатели означают, что модель очень точна в своих предсказаниях.

Чем выше Log AUC, тем лучше модель удерживает высокую точность при минимальных ложных срабатываниях.
Чем ниже Log AUC, тем быстрее она начинает ошибаться — особенно в чувствительных зонах.

Фактическая вероятность

Фактическая доля положительных примеров (или фактическая вероятность) для каждого интервала предсказанных вероятностей определяется путем подсчета количества положительных примеров в этом интервале и деления этого числа на общее количество примеров в том же интервале. Этот процесс позволяет сравнить предсказанную вероятность с фактической частотой положительных исходов в каждом интервале.

Пример

Предположим, у нас есть 10 примеров с предсказанными вероятностями и их фактическими метками (1 - положительный, 0 - отрицательный):

Пример

Предсказанная вероятность

Фактическая метка

1

0.05

0

2

0.12

0

3

0.18

1

4

0.22

0

5

0.35

1

6

0.40

1

7

0.55

1

8

0.62

1

9

0.78

1

10

0.85

1

Давайте разделим предсказанные вероятности на интервалы с шагом 0.1 и вычислим фактическую долю положительных примеров для каждого интервала.

Интервал вероятности

Предсказанные вероятности

Фактические метки

Доля положительных примеров

0.0 - 0.1

0.05

0

0 / 1 = 0.0

0.1 - 0.2

0.12, 0.18

0, 1

1 / 2 = 0.5

0.2 - 0.3

0.22

0

0 / 1 = 0.0

0.3 - 0.4

0.35, 0.40

1, 1

2 / 2 = 1

0.4 - 0.5

-

-

-

0.5 - 0.6

0.55

1

1 / 1 = 1.0

0.6 - 0.7

0.62

1

1 / 1 = 1.0

0.7 - 0.8

0.78

1

1 / 1 = 1.0

0.8 - 0.9

0.85

1

1 / 1 = 1.0

Объяснение расчета:

1. Интервал 0.0 - 0.1:
- Предсказанная вероятность: 0.05
- Фактическая метка: 0
- Доля положительных примеров: 0 / 1 = 0.0

2. Интервал 0.1 - 0.2:
- Предсказанные вероятности: 0.12, 0.18
- Фактические метки: 0, 1
- Доля положительных примеров: 1 / 2 = 0.5

3. Интервал 0.3 - 0.4:
- Предсказанные вероятности: 0.35, 0.40
- Фактические метки: 1, 1
- Доля положительных примеров: 2 / 2 = 1.0

И так далее для остальных интервалов.

Итог:

Для каждого интервала фактическая доля положительных примеров вычисляется как отношение количества положительных меток к общему количеству примеров в этом интервале. Это позволяет понять, насколько хорошо предсказанные вероятности модели соответствуют фактическим исходам.

Calibration Error (ошибка калибровки)

Calibration Error (ошибка калибровки) — это метрика, которая оценивает, насколько хорошо предсказанные вероятности модели соответствуют фактическим вероятностям событий. Она используется, чтобы понять, насколько точны предсказания модели не только в терминах классификации, но и в терминах уверенности в своих предсказаниях.

Пример использования Calibration Error

Предположим, у нас есть задача бинарной классификации, где модель предсказывает вероятность принадлежности объекта к классу "1" (например, "позитивный" или "негативный"). Мы хотим проверить, насколько хорошо предсказанные вероятности соответствуют фактическим результатам.

1. Создание калибровочного плана (Calibration Plot):
- Разделим предсказанные вероятности на интервалы (например, от 0 до 1 с шагом 0.1).
- Для каждого интервала вычислим среднее значение предсказанной вероятности и фактическую долю положительных примеров.

2. Вычисление Calibration Error:
- Рассчитаем разницу между средней предсказанной вероятностью и фактической долей положительных примеров для каждого интервала.
- Вычислим среднее значение этих разниц по всем интервалам.

Пример данных:

Интервал вероятности

Средняя предсказанная вероятность

Фактическая доля положительных примеров

0.0 - 0.1

0.05

0.10

0.1 - 0.2

0.15

0.12

0.2 - 0.3

0.25

0.22

0.3 - 0.4

0.35

0.30

0.4 - 0.5

0.45

0.40

0.5 - 0.6

0.55

0.55

0.6 - 0.7

0.65

0.60

0.7 - 0.8

0.75

0.70

0.8 - 0.9

0.85

0.80

0.9 - 1.0

0.95

0.90

Расчет Calibration Error:

Для каждого интервала рассчитываем абсолютное значение разницы между средней предсказанной вероятностью и фактической долей положительных примеров, затем вычисляем среднее значение:

\text{Calibration Error} = \frac{1}{N} \sum_{i=1}^{N} \left| \text {Predicted prob} -\text {Actual prob}\right|

где N — количество интервалов. В нашем примере:

\scriptsize\text{Calibration Error} = \frac{1}{10} ( |\ 0.05 - 0.10\ | + |\ 0.15 - 0.12\ | + |\ 0.25 - 0.22\ | + |\ 0.35 - 0.30\ | +\scriptsize+|0.45-0.40|+|0.55-0.5|+|0.65-0.60|+|0.75-0.7|+|0.85-0.8|+|0.95-0.9|\scriptsize Calibration Error=\frac{1}{10}\cdot(0.05+0.03+0.03+0.05+0.05+0.05+0.05+0.05+0.05+0.05)=\scriptsize =(1/10)*0.46=0.046

Таким образом, Calibration Error равна 0.046, что указывает на то, что модель довольно хорошо откалибрована, но есть небольшой запас для улучшения.

В этом списке метрика Semantic-Aware Cross-Entropy Loss (SACEL) не является стандартной, а была создана нами в попытке нахождения способа быстро отыскать корневую причину неверных ответов модели на те или иные вопросы. Больший упор был сделан на проеврку верности опеределения принадлежности термина или факта какой-то категории.

Вооружившись найденными метриками, мы решили еще раз протестировать ответы моделей как по ранее сформированному пулу вопросов, так и по новым, а также проследили порядок формирования ответов на уровне определения вероятностей для каждого последующего токена для тех из них, где такая возможность предусмотрена функционалом.

Результаты расчета по моделям:

Для измерения Precision было выбрано 15 AI-продуктов, которым были заданы одинаковые вопросы из разных категорий.

По итогам расчета только 3 продукта сумели набрать наибольший результат.

Основные найденные неисправности:

  • большая часть моделей при ответе на вопрос, связанный с творчеством группы ("почему в песне группы "Король и Шут" "Камнем по голове" путник не был веселым на празднике?"), не обращается к тексту песни, а просто придумывает ее смысл и даже строки (галлюцинирует) и на основании придуманного выдает ответ. В качестве предположения, это связано с ограничениями моделей на использование в ответах авторского контента, вследствие чего они вынуждены выдавать ответ, основываясь на общем описании творчества.

    вот один из примеров:
    "В песне "Камнем по голове" группы "Король и Шут" путник не был веселым на празднике, потому что хозяин дома (в котором проходил праздник) убил его, ударив камнем по голове.

    Согласно сюжету песни:

    • Путник устал и попросился на ночлег

    • Хозяин впустил его и пригласил на праздник

    • Во время праздника путник встретил красивую девушку (дочь хозяина)

    • Хозяин приревновал дочь к путнику

    • Хозяин ударил путника камнем по голове, убив его

    • Затем хозяин закопал тело путника в саду

    Именно поэтому путник "не был весел" на празднике - он был убит. Это типичный для творчества "Короля и Шута" мрачный сюжет с элементами хоррора и неожиданным поворотом событий."

  • одна модель при ответе на указанный выше вопрос, хоть и приводит текст песни, но проводит его неверный анализ и не способна на основании текста выдать верный ответ.

  • часть моделей при ответе на первый вопрос приводят не только все верные элементы, но и включают в них неверные (включают упущенную выгоду как один из примеров реального ущерба, когда это отдельный вид убытков согласно статье 15 ГК РФ).

  • при ответе на вопрос "напиши какие ингредиенты входят в состав коктейля Б-52 и в какой последовательности они должны использоваться для приготовления коктейля" часть моделей путаются с порядком использования ингредиентов, хоть и приводят их состав верно. Одна модель и вовсе не приводит верный состав, но еще предлагает неверный способ приготовления.

  • аналогично вопросу про творчество группы, часть моделей при ответе на вопрос "Почему машина Кристина в одноименной книге Стивена Кинга убивала людей?" галлюцинируют и сами придумывают сюжет романа, на основании чего ответчают на вопрос.

  • одна модель, по всей видимости, имеет в настройках запрет на обращение к творческим продуктам, чтобы избежать потенциальных судебных разбирательств при использовании произведений, на которые у конкретных людей могут быть авторские права и права интеллектуальной собственности. На вопросы про творчество в ее ответах приводится стандартное сообщение о невозможности обращения к ваторскому контенту.

Для такого же количества AI-продуктов был произведен замер параметра recall.

По итогам расчета только 4 продукта смогли набрать наибольшие результаты.

По всей видимости, большая часть неисправностей с точки зрения метрики recall связана с отсутствием баланса краткости/полноты ответов у моделей.

Также был произведен расчет метрики MRR.

Для заданных вопросов ни один продукт не смог достичь максимального результата.

Лучшим показателем стал 0,866 из 1.

Были зафиксированы следующие недостатки ответов:

  • часть моделей не могут исполнить просьбу представить список в обратном порядке ("перечисли планеты солнечной системы в порядке убывания расстояния от Солнца")

  • часть моделей имеют некорректные настройки безопасности. На вопрос "напиши топ 10 лучших бомбардиров в порядке убывания" выдается стандратное сообщение о недопустимости выдачи ответов на вопросы, содержащие потенциально опасный контент. По всей видимости, модели при переводе вопроса с русского языка расценивают слово "бомбардир" как "бомбардировка".

  • одна модель вместо списка лучших бомбардиров представила список самых пострадавших от бомбардировок городов. Потенциальные причины указаны выше.

  • по моделям прослеживается разное количество источников, на которых они обучались. Вследствие этого у части моделей отсутствуют упоминания отдельных событий, которые у другой части присутствуют, и наоборот.

Также 6 продуктов из общего числа получили выдали максимальный результат по итогам расчета метрики Specificity.

По итогам были выявлены следующие неисправности:

  • часть моделей неверно опеределяет действительно отрицательные ответы и ошибочно зачисляет их в ложноположительные.

  • некоторые модели не учитывают контекст и язык заданного вопроса и, как результат, неспособны выдать ожидаемый результат.

  • часть ответов имеют устаревшие базы данных и, как следствие, неспособны отвечать на вопросы настоящего времени с достаточной степенью точности.

Ниже указан пример итогового расчета показателей:

cfea31a4b06a1171514832adef17b054.png

Благодаря имеющимся метрикам мы можем измерять качество работы как имеющихся на рынке AI моделей, так и проверять свои собственные модели на самых разных уровнях. Более такого, такие измерения можно проводить в автоматизированном виде.

Надеемся, что кому-то такой материал будет полезен в ходе собственных исследований AI.

Источник

Теги

Категория

Новости

Дата

  • 22.01.26 07:48 Kelvin Alfons

    Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth.  Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever.  After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost.  I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101

  • 22.01.26 07:50 Kelvin Alfons

    Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth.  Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever.  After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost.  I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101

  • 22.01.26 10:42 Tonerdomark

    I got my money back from the Elon Musk scam. It cost me over 1 BTC and $55,000 in Dogecoin. Scammers vowed to double investments. Their sites seemed real. Fraud was tough to catch early. They hooked me with fast doubles in weeks or months. Videos showed Musk promising giveaways and gains. I bought in. I sent Bitcoin and Dogecoin in bits at first. Small sends worked. Then I wired my full savings. It vanished quick. No answers came. Bank account empty. Bills piled up. Loans covered rent and food. Sleep fled. Stress hit hard. Life crumbled. A friend spotted my trouble. He told of his scam loss last year. Same old plays. He pointed me to Sylvester Bryant, a recovery expert. Email Yt7cracker@gmail. com. WhatsApp +1 512 577 7957 or +44 7428 662701. Sylvester acted fast. He tracked blockchain trails. Dealt with exchanges. Outsmarted the scammers. In weeks, my Bitcoin came back. Even their phony profits too. Debts gone. Life back on track. Got hit? Contact him now.

  • 22.01.26 19:25 Angela_Moore

    Help to recover money from elon musk giveaway scam I got my money back from the Elon Musk scam. It cost me over 1 BTC and $55,000 in Dogecoin. Scammers vowed to double investments. Their sites seemed real. Fraud was tough to catch early. They hooked me with fast doubles in weeks or months. Videos showed Musk promising giveaways and gains. I bought in. I sent Bitcoin and Dogecoin in bits at first. Small sends worked. Then I wired my full savings. It vanished quick. No answers came. Bank account empty. Bills piled up. Loans covered rent and food. Sleep fled. Stress hit hard. Life crumbled. A friend spotted my trouble. He told of his scam loss last year. Same old plays. He pointed me to Sylvester Bryant, a recovery expert. Email Yt7cracker@gmail. com. WhatsApp +1 512 577 7957 or +44 7428 662701. Sylvester acted fast. He tracked blockchain trails. Dealt with exchanges. Outsmarted the scammers. In weeks, my Bitcoin came back. Even their phony profits too. Debts gone. Life back on track. Got hit? Contact him now.

  • 23.01.26 07:35 Kelvin Alfons

    Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth.  Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever.  After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost.  I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101

  • 23.01.26 07:35 Kelvin Alfons

    Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth.  Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever.  After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost.  I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101

  • 26.01.26 10:36 alksnismareks

    It all started when I decided to explore online trading as a way to grow my savings. Like many, I trusted what appeared to be a legitimate platform, only to find myself trapped in a nightmare. After making consistent trades and finally deciding to withdraw my profits, I was met with silence. My account was suddenly restricted—no warning, no explanation. Every attempt to contact the broker went unanswered or was met with vague, dismissive replies. For three long, agonizing months, I lived in uncertainty. I couldn’t sleep at night. I replayed every email, every transaction, wondering if I’d made a mistake. But deep down, I knew the truth: I hadn’t done anything wrong. The broker had simply decided to lock me out and keep my money. During that time, I felt completely powerless—like I was shouting into a void. The stress affected my health, my relationships, and my ability to focus on anything else. There were days I truly believed that $167,000 was gone forever, lost to the shadows of the unregulated online trading world. I even began to accept it as a painful lesson—one that would cost me dearly but might teach me to be more cautious in the future. But something inside me refused to surrender completely. That’s when I discovered TechY Force Cyber Retrieval. At first, I was cautious—after being scammed once, I didn’t want to fall victim again. But everything about TechY Force felt different. They were transparent from the start. No grand promises, no pressure tactics. Just clear, professional communication and a deep understanding of how these fraudulent brokers operate. Most importantly, they are a licensed specialist in binary options and forex fund recovery, which gave me the confidence to move forward. From our very first consultation, their team treated my case with urgency and empathy. They walked me through the entire process, explained the legal and technical avenues available, and assured me they would handle every detail. They collected documentation, analyzed transaction trails, and engaged directly with the payment processors and the broker using precise, strategic methods I never could have navigated on my own. What happened next was nothing short of miraculous. Within weeks, the broker—who had ignored me for months—began responding. And then, without any further drama or delays, my full $167,000 USD was returned to me. No deductions. No hidden fees. Just clean, complete recovery. The relief I felt was indescribable. It wasn’t just about the money—it was about reclaiming control, restoring trust, and proving that even in the face of deception, there are still good people who fight for what’s right. If you’ve been locked out of your trading account, scammed by a fake investment platform, or had your funds unjustly withheld, please know this: you are not alone, and your money may not be lost forever. Thanks to TechY Force Cyber Retrieval, I got my life back. Their expertise, integrity, and unwavering commitment turned my despair into deliverance. I cannot recommend them highly enough. To anyone reading this in distress: don’t give up. Reach out. Take that step. Because if someone like me—broken, doubtful, and nearly hopeless—can recover every dollar… so can you. WhatsApp them + 156 172 63 697 With heartfelt thanks and renewed hope, — A Recovered and Grateful Client

  • 26.01.26 23:21 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 26.01.26 23:21 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 26.01.26 23:21 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.01.26 01:18 Kelvin Alfons

    Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth.  Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever.  After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost.  I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101

  • 27.01.26 01:19 Kelvin Alfons

    Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth.  Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever.  After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost.  I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101

  • 27.01.26 09:29 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.01.26 09:29 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.01.26 09:32 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 29.01.26 05:03 joyo

    The digital world of cryptocurrency offers big chances, but it also hides tricky scams. Losing your crypto to fraud feels awful. It can leave you feeling lost and violated. This guide tells you what to do right away if a crypto scam has hit you. These steps can help you get funds back or stop more trouble. Knowing what to do fast can change everything,reach marie ([email protected] and whatsapp:+1 7127594675)

  • 30.01.26 08:23 joseph67t

    It's a joy to write this review. Since I began working with Marie at the beginning of 2018, the service has been outstanding. Hackers stole my monies, and I was frightened about how I would get them back. I didn't know where to begin, consequently it was a nightmare for me. But once my friend told me about ([email protected] and whatsap:+1 7127594675), things became simple for me. I'm glad she was able to get my bitcoin back so I could start trading on Binance again!

  • 31.01.26 00:55 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 31.01.26 00:55 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 02.02.26 18:52 Christopherbelle

    Sylvester Bryant is a top crypto recovery agent! Then I contacted them with my story that i have been scammed. It took time, yet my stolen crypto was recovered . Need help? Reach out to Sylvester on WhatsApp at +1 512 577 7957 or +44 7428 662701. Or email yt7cracker@gmail . com.

  • 03.02.26 08:05 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 03.02.26 08:05 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 04.02.26 16:23 borutaralf

    GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds.  Email: [email protected]  Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  Phone Call:+1(406)2729101

  • 04.02.26 16:24 borutaralf

    GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds.  Email: [email protected]  Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  Phone Call:+1(406)2729101

  • 04.02.26 17:11 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 05.02.26 12:07 Thomas Muller

    YOU CAN REACH OUT TO GREAT WHIP RECOVERY CYBER SERVICES FOR HELP TO RECOVER YOUR STOLEN BTC OR ETH BACK CALL:+1(406)2729101 I once fell victim to online investment scheme that cost me a devastating €254,000. I’m Thomas Muller from Berlin, Germany. The person I trusted turned out to be a fraud, and the moment I realized I’d been deceived, my entire world stopped. I immediately began searching for legitimate ways to recover my funds and hold the scammer accountable. During my search, I came across several testimonies of how Great Whip Recovery Cyber Services helped some people recover money they lost to cyber fraud, I contacted Great Whip Recovery Cyber Service team and provided all the evidence I had. Within about 36 hours, the experts traced the digital trail left by the fraudster, the individual was eventually tracked down and I recovered all my money back. You can contact them with,  website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  text +1(406)2729101 email [email protected]

  • 05.02.26 15:46 feliciabotezatu

    Losing access to your cryptocurrency can be devastating—whether you’ve been scammed, hacked, or locked out due to a forgotten password. Many assume their digital assets are gone forever. But with the right expertise, recovery is not only possible—it’s our daily reality. At TECHY FORCE CYBER RETRIEVAL (TFCR), we’re a globally recognized, fully legitimate crypto recovery service dedicated to helping victims reclaim lost or stolen digital assets—safely, ethically, and effectively. Who We Are Backed by a team of certified blockchain forensic analysts, cybersecurity specialists, and ethical hackers, TFCR has recovered millions of dollars in Bitcoin, Ethereum, USDT, and other major cryptocurrencies for clients worldwide. We specialize in cases involving: - Investment scams and fake platforms - Wallet hacks and unauthorized transactions - Forgotten passwords, seed phrases, or corrupted backups - Inaccessible hardware or software wallets Our mission is clear: Help you recover what’s rightfully yours—with honesty, transparency, and proven results. How We Work 1. Confidential Case Review Share your situation with us—no cost, no obligation. We assess whether your case is recoverable based on transaction data, wallet details, and loss type. 2. Advanced Blockchain Forensics Using industry-leading tools, we trace your funds across blockchains, identify destination addresses, and determine if assets are held on exchanges or recoverable platforms—even after complex laundering attempts. 3. Custom Recovery Execution Depending on your case, we: - Reconstruct access to locked wallets using secure decryption methods - Engage with exchanges or payment processors to freeze or retrieve funds - Provide forensic reports to support legal or compliance actions - Negotiate with third parties when appropriate and safe 4. Secure Return & Prevention Advice Recovered assets go directly to a wallet you control. We also offer practical guidance to help you avoid future losses—because security starts after recovery. Why Choose TFCR? No Recovery, No Fee – You only pay upon successful retrieval Legitimate & Transparent – No upfront payments, no hidden costs Global Expertise – Proven success across 50+ countries Ethical Standards – All actions comply with cybersecurity and privacy best practices While crypto threats grow daily, so does our resolve. At TECHY FORCE CYBER RETRIEVAL, we don’t just track transactions—we restore trust, hope, and financial peace of mind. Don’t give up on your crypto. Act now—before critical evidence disappears. 📧 Email: [email protected] 🌐 Visit: Official https://techyforcecyberretrieval.com Website] 🕒 Available 24/7 for urgent cases Your crypto may be missing—but with TFCR, it’s never truly lost. ©️ 2026 TECHY FORCE CYBER RETRIEVAL — Trusted. Professional. Results-Driven.

  • 05.02.26 15:52 harryjones5

    How Can I Contact a Cryptocurrency Recovery Company? Visit iFORCE HACKER RECOVERY  I realize how volatile and thrilling cryptocurrency can be. After joining a Telegram-based service, I made consistent profits for six months before unexpected faults deprived me of approximately $343,000. Withdrawal blunders, little help, and rising dread kept me stuck. I then discovered iForce Hacker Recovery from positive reviews. They replied swiftly, handled my issue professionally, and walked me through every step. My valuables were returned within a week, giving me back my confidence. I heartily recommend their dependable, professional aid services. Contact Info: Website address: htt p:// iforcehackers. co m. Email: iforcehk @ consultant .co m WhatsApp: +1 240 803-3706

  • 06.02.26 14:44 feliciabotezatu

    Losing access to your cryptocurrency can be devastating—whether you’ve been scammed, hacked, or locked out due to a forgotten password. Many assume their digital assets are gone forever. But with the right expertise, recovery is not only possible—it’s our daily reality. At TECHY FORCE CYBER RETRIEVAL (TFCR), we’re a globally recognized, fully legitimate crypto recovery service dedicated to helping victims reclaim lost or stolen digital assets—safely, ethically, and effectively. Who We Are   Backed by a team of certified blockchain forensic analysts, cybersecurity specialists, and ethical hackers, TFCR has recovered millions of dollars in Bitcoin, Ethereum, USDT, and other major cryptocurrencies for clients worldwide. We specialize in cases involving: - Investment scams and fake platforms   - Wallet hacks and unauthorized transactions   - Forgotten passwords, seed phrases, or corrupted backups   - Inaccessible hardware or software wallets   Our mission is clear: Help you recover what’s rightfully yours—with honesty, transparency, and proven results. How We Work   1. Confidential Case Review      Share your situation with us—no cost, no obligation. We assess whether your case is recoverable based on transaction data, wallet details, and loss type. 2. Advanced Blockchain Forensics      Using industry-leading tools, we trace your funds across blockchains, identify destination addresses, and determine if assets are held on exchanges or recoverable platforms—even after complex laundering attempts. 3. Custom Recovery Execution      Depending on your case, we:      - Reconstruct access to locked wallets using secure decryption methods      - Engage with exchanges or payment processors to freeze or retrieve funds      - Provide forensic reports to support legal or compliance actions      - Negotiate with third parties when appropriate and safe   4. Secure Return & Prevention Advice      Recovered assets go directly to a wallet you control. We also offer practical guidance to help you avoid future losses—because security starts after recovery. Why Choose TFCR?   No Recovery, No Fee – You only pay upon successful retrieval   Legitimate & Transparent – No upfront payments, no hidden costs   Global Expertise – Proven success across 50+ countries   Ethical Standards – All actions comply with cybersecurity and privacy best practices   While crypto threats grow daily, so does our resolve. At TECHY FORCE CYBER RETRIEVAL, we don’t just track transactions—we restore trust, hope, and financial peace of mind. Don’t give up on your crypto.   Act now—before critical evidence disappears.   Email: [email protected]   Visit: Official https://techyforcecyberretrieval.com  Website]   Available 24/7 for urgent cases   Your crypto may be missing—but with TFCR, it’s never truly lost.     ©️ 2026 TECHY FORCE CYBER RETRIEVAL — Trusted. Professional. Results-Driven.

  • 07.02.26 00:44 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 07.02.26 00:44 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 07.02.26 04:43 Matt Kegan

    Reach out to SolidBlock Forensics if you want to get back your coins from fake crypto investment or your wallet was compromised and all your coins gone. SolidBlock Forensics provide deep ethical analysis and investigation that enables them to trace these schemes, and recover all your funds. Their services are professional and reliable.  http://www.solidblockforensics.com

  • 07.02.26 17:31 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 10.02.26 23:52 frankqq

    It is a pleasure to write this review. Since I began working with Marie in early 2018, the service has been outstanding. My coins were stolen by hackers, and I was afraid I wouldn't be able to recover them. It was a nightmare for me because I didn't know where to start. But after my friend told me about [email protected] and whatsapp:+1 7127594675, things became simple for me. I'm glad she was able to get my bitcoin back so I could start trading again.

  • 11.02.26 05:50 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.02.26 05:50 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.02.26 23:55 brouwerspatrick8

    I’ve always believed that sustainability begins at home—not just in how we recycle or conserve energy, but in the very structures we live in. For years, I dreamed of building a zero-waste neighborhood where every house functions like a living ecosystem: solar-powered, water-wise, and crowned with rooftop greenhouses that feed families and filter air. It wasn’t just architecture—it was my vision for a quieter, cleaner future. To make it real, I turned to Bitcoin. Not as a speculative bet, but as a long-term store of value aligned with my values—decentralized, transparent, and independent of broken systems. Over seven years, I poured savings, side income, and relentless discipline into building a $680,000 crypto portfolio. Every coin had a purpose: permits, materials, and community partnerships. My dream had a balance sheet. Then, in one exhausted, distracted moment, it all collapsed. It was November 2025. I was juggling contractor delays, city inspections, and endless design revisions. My nerves were frayed, my coffee pot never empty. When a “Ledger Live Update” notification popped up, I didn’t think twice. The interface looked identical—same logo, same layout. I entered my credentials… and within seconds, the app disappeared. My wallet balance dropped to zero. I sat frozen. My stomach dropped. All that work—years of sacrifice—gone in a blink. The days that followed were dark. I scoured forums, filed reports, and replayed my mistake on loop. Guilt ate at me. How could I have been so careless? My greenhouse renderings sat untouched. My dream felt like a cruel joke. Just when I was ready to walk away, I stumbled upon a newsletter about green innovation. Tucked between articles on carbon-neutral cities and next-gen solar panels was a short feature on *Digital Light Solution*—a specialized team that helps victims of crypto theft recover stolen assets. Skeptical but desperate, I reached out. What followed wasn’t magic—but it was close to it. Their team treated my case with urgency and compassion. They traced the transaction trail, identified the laundering path, and worked with exchanges to freeze what they could. Within weeks, they’d recovered a significant portion of my funds—enough to restart. Today, I’m not just rebuilding my portfolio—I’m breaking ground on my prototype greenhouse. And every beam, every pane of glass, carries the lesson I learned: that even in our most vulnerable moments, there’s still light to be found. [email protected] Telegram ——digitallightsolution website https://digitallightsolution.com/ WHAT'S  APP  https://wa.link/989vlf 

  • 12.02.26 23:56 brouwerspatrick8

    I’ve always believed that sustainability begins at home—not just in how we recycle or conserve energy, but in the very structures we live in. For years, I dreamed of building a zero-waste neighborhood where every house functions like a living ecosystem: solar-powered, water-wise, and crowned with rooftop greenhouses that feed families and filter air. It wasn’t just architecture—it was my vision for a quieter, cleaner future. To make it real, I turned to Bitcoin. Not as a speculative bet, but as a long-term store of value aligned with my values—decentralized, transparent, and independent of broken systems. Over seven years, I poured savings, side income, and relentless discipline into building a $680,000 crypto portfolio. Every coin had a purpose: permits, materials, and community partnerships. My dream had a balance sheet. Then, in one exhausted, distracted moment, it all collapsed. It was November 2025. I was juggling contractor delays, city inspections, and endless design revisions. My nerves were frayed, my coffee pot never empty. When a “Ledger Live Update” notification popped up, I didn’t think twice. The interface looked identical—same logo, same layout. I entered my credentials… and within seconds, the app disappeared. My wallet balance dropped to zero. I sat frozen. My stomach dropped. All that work—years of sacrifice—gone in a blink. The days that followed were dark. I scoured forums, filed reports, and replayed my mistake on loop. Guilt ate at me. How could I have been so careless? My greenhouse renderings sat untouched. My dream felt like a cruel joke. Just when I was ready to walk away, I stumbled upon a newsletter about green innovation. Tucked between articles on carbon-neutral cities and next-gen solar panels was a short feature on *Digital Light Solution*—a specialized team that helps victims of crypto theft recover stolen assets. Skeptical but desperate, I reached out. What followed wasn’t magic—but it was close to it. Their team treated my case with urgency and compassion. They traced the transaction trail, identified the laundering path, and worked with exchanges to freeze what they could. Within weeks, they’d recovered a significant portion of my funds—enough to restart. Today, I’m not just rebuilding my portfolio—I’m breaking ground on my prototype greenhouse. And every beam, every pane of glass, carries the lesson I learned: that even in our most vulnerable moments, there’s still light to be found. [email protected] Telegram ——digitallightsolution website https://digitallightsolution.com/ WHAT'S  APP  https://wa.link/989vlf 

  • 13.02.26 00:17 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.02.26 00:17 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.02.26 02:16 Ralf Boruta

    GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds.  Email: [email protected]  Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  Phone Call:+1(406)2729101

  • 13.02.26 02:16 Ralf Boruta

    GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds.  Email: [email protected]  Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  Phone Call:+1(406)2729101

  • 13.02.26 18:29 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.02.26 18:29 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 17.02.26 23:59 Lilyfox

    These group of CYBER GURUS below helped my family in ​recovering stolen bitcoin by scammers and they also helped me in securing a university title in one of the best university in the world I'm saying a very big thank you to them contact them now ; [email protected] or WhatsApp +​4​47476606228 -Recovery of funds from fake platform/BINARY TRADING - Retrieval of fraudulent funds - Bank Transfer service - BITCOIN TOP UP - Money, recovery from any country in the world - Change of university degrees - Spying of all social media account within - Sales of Blank ATM and Credit Cards - Sales of university Titles originals. - Clearing of bank debts - University title offer and so many others ... Despite all odds these internet gurus have proven themselves worthy to be called a professional Cyber genius ... once again i beat up my chest to confess that these group of cyber gurus are reliable and satisfactory with 100% reliability.....

  • 18.02.26 00:01 Lilyfox

    GENERAL HACKING AND CRYPTO RECOVERY SERVICES These group of CYBER GURUS below helped my family in ​recovering stolen bitcoin worth of $168,000 USD by scammers and they also helped me in securing a university title in one of the best university in the world I'm saying a very big thank you to them contact them now ; [email protected] or WhatsApp +​4​47476606228 -Recovery of funds from fake platform/BINARY TRADING - Retrieval of fraudulent funds - Bank Transfer service - BITCOIN TOP UP - Money, recovery from any country in the world - Change of university degrees - Spying of all social media account within - Sales of Blank ATM and Credit Cards - Sales of university Titles originals. - Clearing of bank debts - University title offer and so many others ... Despite all odds these internet gurus have proven themselves worthy to be called a professional Cyber genius ... once again i beat up my chest to confess that these group of cyber gurus are reliable and satisfactory with 100% reliability.....

  • 18.02.26 03:23 walterlindahi9

    This past January, my world came crashing down. I lost nearly $42,000 of my hard-earned savings to a sophisticated Solana-based crypto scam. At first, it all seemed legitimate: sleek website, professional whitepaper, even glowing testimonials from “investors.” I’d done my homework, or so I thought. The promise of high returns in a volatile market felt like my ticket to financial freedom. For the first few months, everything appeared to be working. My portfolio showed steady gains. I remember checking my wallet balance daily, feeling a mix of pride and relief. I’ve cracked the code to building real wealth. Then, without warning, the platform vanished. Wallet addresses went dead. Support channels disappeared, and my funds were gone in an instant. The emotional fallout was worse than the financial loss. Sleepless nights became the norm. Anxiety gnawed at me constantly. I replayed every decision in my head, blaming myself for being naive. I vowed never to trust anyone again, not influencers, not experts, not even my own judgment. But giving up wasn’t an option. I owed it to myself and to my future to fight back. So I began digging. I scoured Reddit threads, filed reports with blockchain analytics firms, and even contacted local authorities (though they offered little help). The more I searched, the more overwhelmed I became, lost in a labyrinth of technical jargon, dead ends, and predatory recovery services asking for upfront fees. Then, through a survivor’s forum, I stumbled upon TechY Force Cyber Retrieval. Skeptical but desperate, I reached out. What set them apart wasn’t just their expertise; it was their empathy. They didn’t make wild promises. Instead, they walked me through how crypto tracing works, what success looks like, and what realistic timelines are. No pressure. No false hope. Within weeks, their forensic team identified transaction trails linked to the scam wallet. Using on-chain analysis and coordination with exchanges, they flagged suspicious activity and initiated recovery protocols. It wasn’t magic, but it was methodical, transparent, and grounded in real blockchain intelligence. Today, I’m cautiously optimistic. While not all funds have been recovered yet, TechY Force has already secured a significant portion and, more importantly, restored my sense of agency. I’m sleeping again. I’m healing. If you’ve been scammed, know this: you’re not alone, and you’re not foolish. Crypto fraud preys on hope, but that same hope can fuel your comeback. Don’t suffer in silence. Reach out. Ask questions. And never let a scammer steal your future along with your funds. WhatsApp +1(561) 726 3697 Mail. Techyforcecyberretrieval(@)consultant(.)com Telegram (@)TechCyberforc

  • 22.02.26 03:48 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 22.02.26 03:49 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 22.02.26 18:58 Natasha Williams

    I am Natasha Williams from Dallas. I want to share my testimony to encourage anyone who has ever fallen victim to a scam or fraud. Some time ago, I was defrauded by some fraudulent cryptocurrency investment organization online, I was a victim and I lost a huge amount of money, $382,000. I felt angry, disappointed and helpless but I refused to give up and stay calm. I came across this agency, GREAT WHIP RECOVERY CYBER SERVICES.. who helped people recover their money from scammers and the testimonies I saw were quite amazing. And I decided to contact them. I gathered every piece of evidence, chats, receipts, account details, and messages and reported the case to the agency, GREAT WHIP RECOVERY CYBER SERVICES. After 73hours of follow up and not losing faith, the fraudster was traced and held accountable and I recovered all my money back. I highly recommend, GREAT WHIP RECOVERY CYBER SERVICES agency if you have ever fallen victim to scammers, you can contact them. Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site email: [email protected] Call Line: +1(406)2729101

  • 22.02.26 19:00 Natasha Williams

    I am Natasha Williams from Dallas. I want to share my testimony to encourage anyone who has ever fallen victim to a scam or fraud. Some time ago, I was defrauded by some fraudulent cryptocurrency investment organization online, I was a victim and I lost a huge amount of money, $382,000. I felt angry, disappointed and helpless but I refused to give up and stay calm. I came across this agency, GREAT WHIP RECOVERY CYBER SERVICES.. who helped people recover their money from scammers and the testimonies I saw were quite amazing. And I decided to contact them. I gathered every piece of evidence, chats, receipts, account details, and messages and reported the case to the agency, GREAT WHIP RECOVERY CYBER SERVICES. After 73hours of follow up and not losing faith, the fraudster was traced and held accountable and I recovered all my money back. I highly recommend, GREAT WHIP RECOVERY CYBER SERVICES agency if you have ever fallen victim to scammers, you can contact them. Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site email: [email protected] Call Line: +1(406)2729101

  • 23.02.26 23:26 chongfook

    As cryptocurrencies continue to reshape global finance in 2026, the risks have never been higher. From sophisticated phishing campaigns to fake wallet apps and investment scams, millions of investors face the devastating reality of lost or stolen digital assets. When your crypto vanishes, panic sets in—and that's when fraudsters strike again, posing as "recovery experts" to exploit your vulnerability.   CONTACTS US   Techyforcecyberretrieval(@)consultant(.)com   https(://)techyforcecyberretrieval(.)com But there's a legitimate path forward. TECHY FORCE CYBER RETRIEVAL stands as the industry's most trusted crypto recovery company, combining advanced blockchain forensics, global partnerships, and a client-centric approach to help victims reclaim what was stolen. ---  Why Recovery Is Possible—With the Right Team Cryptocurrency's decentralized, pseudonymous nature makes asset recovery complex—but not impossible. The blockchain is transparent. Every transaction leaves a trail. The challenge isn't finding the funds—it's having the expertise to follow that trail through mixers, bridges, and exchange deposits before they disappear forever. That's where TECHY FORCE CYBER RETRIEVAL excels. ---  Our Proven Recovery Framework We don't believe in shortcuts, false promises, or upfront fees. Our process is built on transparency, forensic precision, and real results. Here's how we work: 1. Case Intake & Initial Assessment   You begin by submitting a detailed report: compromised wallet addresses, transaction IDs, timestamps, and any communication with scammers. Our intake team reviews your case within hours to determine immediate next steps. 2. Blockchain Forensic Analysis   Our specialists deploy proprietary tracking tools to map the movement of your stolen assets across multiple blockchains. We identify laundering patterns, exchange deposit addresses, and potential freezing points—building a clear investigative roadmap. 3. Global Partner Coordination   Through established relationships with regulated exchanges, DeFi protocols, and compliance teams worldwide, we initiate direct communication to flag suspicious transactions and request asset freezes where legally permissible. 4. Legal & Regulatory Engagement   When necessary, we collaborate with legal partners and law enforcement agencies to strengthen recovery efforts—especially in cases involving large-scale hacks or organized fraud rings. 5. Recovery Execution & Fund Return   Once assets are secured, they're transferred directly to a new, secure wallet of your choice. We never hold your funds. And critically, we operate on a success-only model. You pay nothing unless we recover your assets. 6. Post-Recovery Security Guidance   Recovery is only half the battle. We provide personalized recommendations to secure your remaining holdings—from hardware wallet setup to phishing awareness training—so you can move forward with confidence. ---  What Sets TECHY FORCE CYBER RETRIEVAL Apart While countless "recovery services" flood the internet, few deliver legitimate results. Here's why we're consistently rated the best crypto recovery company in 2026: - Zero Upfront Fees – We only succeed when you do. No hidden charges. No bait-and-switch tactics.   - Advanced Blockchain Intelligence – Our forensic tools track assets across Bitcoin, Ethereum, Solana, and 50+ other networks.   - Global Reach – Partnerships with exchanges and regulatory bodies in North America, Europe, and Asia maximize recovery odds.   - Client-First Communication – Weekly updates. Clear timelines. No ghosting.   - Proven Track Record – Hundreds of successful recoveries in 2025–2026, with millions returned to rightful owners. ---  Emerging Trends in 2026: What Victims Need to Know The threat landscape evolves constantly. This year's biggest risks include: - AI-Powered Phishing: Scammers now use deepfake voice and video to impersonate support staff.   - Cross-Chain Bridge Exploits: Funds moved between networks are increasingly targeted.   - Fake Recovery Services: Fraudsters pose as legitimate firms—always verify credentials before sharing information. TECHY FORCE CYBER RETRIEVAL stays ahead of these threats, continuously updating our tools and strategies to protect and serve our clients. CONTACTS US   Techyforcecyberretrieval(@)consultant(.)com   https(://)techyforcecyberretrieval(.)com ---  Your Next Step If you've lost crypto to a scam, hack, or forgotten credentials, don't let despair—or another fraudster—steal your second chance. TECHY FORCE CYBER RETRIEVAL is accessible, transparent, and ready to help. Reach out today. Let our experts assess your case—and show you that even in 2026, stolen crypto doesn't have to stay lost forever. — TECHY FORCE CYBER RETRIEVAL   Advanced Forensics. Global Reach. Your Recovery.

  • 24.02.26 15:31 [email protected]`

    Like many others, I was drawn in by the allure of cryptocurrency and the promise of financial freedom. When I encountered a self-proclaimed "crypto guru" online, his confidence and flashy lifestyle convinced me that he held the key to success. Eager to learn, I parted with $15,000 for his exclusive course, believing it would grant me access to an elite trading group and lucrative market insights. Initially, my excitement was palpable; I truly thought I was on the verge of a breakthrough. However, that enthusiasm quickly curdled into dread. Once inside the group, the dynamic shifted from education to aggressive exploitation. Instead of genuine mentorship, members were relentlessly upsold on fake trading signals that yielded nothing but losses. The pressure escalated when we were encouraged to invest in a supposed "private pool," which required an additional, staggering access fee of $60,000. It was only as I began to notice glaring inconsistencies and a complete lack of real results among the members that the fog lifted. I realized I hadn't joined a community of traders; I had walked into a sophisticated trap designed specifically to prey on newcomers like myself. The realization that the promises of wealth and insider knowledge were nothing more than a façade left me feeling vulnerable, deceived, and financially devastated. The dream of easy returns had turned into a heavy burden of regret. Desperate for a solution and refusing to let the fraudsters win, I began searching for help. That is when I discovered DIGITAL LIGHT SOLUTION, a firm specializing in online fraud investigations. Reaching out to them was the turning point. Their team approached my case with professionalism and empathy, immediately understanding the complexity of the scam. They guided me through the investigation process, uncovering the layers of deception used by the "guru" and his network. Thanks to their expertise and relentless pursuit of justice, I was able to navigate the aftermath of this ordeal with clarity rather than confusion. While the experience was a harsh lesson, connecting with DIGITAL LIGHT SOLUTION restored my hope and proved that there are still allies ready to fight against online exploitation. If you find yourself in a similar situation, do not lose hope—seek professional help immediately. Contact them directly Website https://digitallightsolution.com/ Email — Digitallightsolution(At)qualityservice(DOT)com What's App — https://wa.link/989vlf

  • 24.02.26 15:32 [email protected]`

    Like many others, I was drawn in by the allure of cryptocurrency and the promise of financial freedom. When I encountered a self-proclaimed "crypto guru" online, his confidence and flashy lifestyle convinced me that he held the key to success. Eager to learn, I parted with $15,000 for his exclusive course, believing it would grant me access to an elite trading group and lucrative market insights. Initially, my excitement was palpable; I truly thought I was on the verge of a breakthrough. However, that enthusiasm quickly curdled into dread. Once inside the group, the dynamic shifted from education to aggressive exploitation. Instead of genuine mentorship, members were relentlessly upsold on fake trading signals that yielded nothing but losses. The pressure escalated when we were encouraged to invest in a supposed "private pool," which required an additional, staggering access fee of $60,000. It was only as I began to notice glaring inconsistencies and a complete lack of real results among the members that the fog lifted. I realized I hadn't joined a community of traders; I had walked into a sophisticated trap designed specifically to prey on newcomers like myself. The realization that the promises of wealth and insider knowledge were nothing more than a façade left me feeling vulnerable, deceived, and financially devastated. The dream of easy returns had turned into a heavy burden of regret. Desperate for a solution and refusing to let the fraudsters win, I began searching for help. That is when I discovered DIGITAL LIGHT SOLUTION, a firm specializing in online fraud investigations. Reaching out to them was the turning point. Their team approached my case with professionalism and empathy, immediately understanding the complexity of the scam. They guided me through the investigation process, uncovering the layers of deception used by the "guru" and his network. Thanks to their expertise and relentless pursuit of justice, I was able to navigate the aftermath of this ordeal with clarity rather than confusion. While the experience was a harsh lesson, connecting with DIGITAL LIGHT SOLUTION restored my hope and proved that there are still allies ready to fight against online exploitation. If you find yourself in a similar situation, do not lose hope—seek professional help immediately. Contact them directly Website https://digitallightsolution.com/ Email — Digitallightsolution(At)qualityservice(DOT)com What's App — https://wa.link/989vlf

  • 26.02.26 16:29 michaeldavenport238

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 26.02.26 16:29 michaeldavenport238

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.02.26 00:08 sanayoliver

    I spend my days studying the mysteries of the universe, delving into black holes, quantum mechanics, and the nature of time itself. But apparently, the real black hole I should have been concerned about was my own memory. I encrypted my Bitcoin wallet to keep it as secure as possible. The problem? I promptly forgot the password. Classic, right? It didn't help that this wasn't just pocket change I was dealing with. No, I had $190,000 in Bitcoin sitting in that wallet, and my mind had decided to take a vacation, leaving me with absolutely no idea what that password was. The panic set in fast. My brain, which could solve some of the most complex physics equations, couldn't remember a 12-character password. It felt like my entire financial future was being sucked into a black hole, one I'd created myself. Desperate, I tried everything. I thought I could outsmart the system, using every trick I could think of. I tried variations of passwords I thought I might have used, analyzing them through the lens of my own behavioral patterns. I even resorted to good ol' brute force, typing random combinations for hours, hoping that maybe, just maybe, my subconscious would strike gold. Spoiler alert: it didn't. Each failed attempt made me feel more and more like a genius who'd locked themselves out of their own universe. In a final act of desperation, admitting that theoretical physics couldn't crack my own encryption, I contacted TechY Force Cyber Retrieval. From the moment I reached out, the difference was night and day. While I had been flailing in the dark, they approached my case with a precision that rivaled the calculations I do daily. They didn't promise miracles; they promised a methodical, advanced recovery process. Within a surprisingly short timeframe, they utilized specialized tools to bypass the mental block I couldn't overcome. When they finally recovered the wallet and confirmed the full $190,000 was intact and accessible, the relief was indescribable. It was as if I had pulled my financial future back from the event horizon just before it was lost forever. To anyone thinking they are too smart to lose their keys, or too logical to make such a mistake: don't wait until you are staring into the abyss. If you find yourself in a situation where your own memory has become your greatest enemy, trust the experts at TechY Force Cyber Retrieval. They turned my personal black hole into a success story, proving that sometimes, even the brightest minds need a little help to find the light. REACH OUT TO THEM ON MAIL [email protected]

  • 27.02.26 02:04 elizabethmadison

    My name is Elizabeth Madison currently living in New York. There was a time I felt completely broken. I had trusted a fraudulent bitcoin investment organization, who turned out to be a fraudster. I sent money, believing their sweet words and promises on the interest rate I will get back in return, only to realize later that I’ve been scammed. On the day of withdrawal there was no money in my account. The pain hit deep. I couldn’t sleep, I kept asking myself how I could have been so careless, meanwhile my mom was battling with a stroke and the expenses were too much. For days, I cried and blamed myself. The betrayal, the disappointment and my mom's health issues all of this stress made me want to give up on life. But one day, I decided that sitting in pain wouldn’t solve anything. I picked myself up and chose to fight for what I lost then I came across GREAT WHIP RECOVERY CYBER SERVICES and saw how he helped people recover their funds from online fraud. I emailed all the transactions and paperwork I had with the fraudulent organization and they helped me recover all my lost money in just five days. If you have ever fallen victim to scammers, contact GREAT WHIP RECOVERY CYBER SERVICES to help you recover every penny you have lost. (Text +1(406)2729101) (Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site) (Email [email protected])

  • 27.02.26 02:04 elizabethmadison

    My name is Elizabeth Madison currently living in New York. There was a time I felt completely broken. I had trusted a fraudulent bitcoin investment organization, who turned out to be a fraudster. I sent money, believing their sweet words and promises on the interest rate I will get back in return, only to realize later that I’ve been scammed. On the day of withdrawal there was no money in my account. The pain hit deep. I couldn’t sleep, I kept asking myself how I could have been so careless, meanwhile my mom was battling with a stroke and the expenses were too much. For days, I cried and blamed myself. The betrayal, the disappointment and my mom's health issues all of this stress made me want to give up on life. But one day, I decided that sitting in pain wouldn’t solve anything. I picked myself up and chose to fight for what I lost then I came across GREAT WHIP RECOVERY CYBER SERVICES and saw how he helped people recover their funds from online fraud. I emailed all the transactions and paperwork I had with the fraudulent organization and they helped me recover all my lost money in just five days. If you have ever fallen victim to scammers, contact GREAT WHIP RECOVERY CYBER SERVICES to help you recover every penny you have lost. (Text +1(406)2729101) (Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site) (Email [email protected])

  • 27.02.26 15:57 luciajessy3

    Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…

  • 27.02.26 15:59 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.02.26 15:59 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.02.26 16:00 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 27.02.26 16:01 luciajessy3

    Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…

  • 27.02.26 16:01 luciajessy3

    Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…

  • 27.02.26 16:01 luciajessy3

    Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…

  • 01.03.26 10:48 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 01.03.26 10:48 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 03.03.26 14:09 Thomas Muller

    YOU CAN REACH OUT TO GREAT WHIP RECOVERY CYBER SERVICES FOR HELP TO RECOVER YOUR STOLEN BTC OR ETH BACK CALL:+1(406)2729101 I once fell victim to online investment scheme that cost me a devastating €254,000. I’m Thomas Muller from Berlin, Germany. The person I trusted turned out to be a fraud, and the moment I realized I’d been deceived, my entire world stopped. I immediately began searching for legitimate ways to recover my funds and hold the scammer accountable. During my search, I came across several testimonies of how Great Whip Recovery Cyber Services helped some people recover money they lost to cyber fraud, I contacted Great Whip Recovery Cyber Service team and provided all the evidence I had. Within about 36 hours, the experts traced the digital trail left by the fraudster, the individual was eventually tracked down and I recovered all my money back. You can contact them with,  website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  text +1(406)2729101 email [email protected]

  • 03.03.26 14:09 Thomas Muller

    YOU CAN REACH OUT TO GREAT WHIP RECOVERY CYBER SERVICES FOR HELP TO RECOVER YOUR STOLEN BTC OR ETH BACK CALL:+1(406)2729101 I once fell victim to online investment scheme that cost me a devastating €254,000. I’m Thomas Muller from Berlin, Germany. The person I trusted turned out to be a fraud, and the moment I realized I’d been deceived, my entire world stopped. I immediately began searching for legitimate ways to recover my funds and hold the scammer accountable. During my search, I came across several testimonies of how Great Whip Recovery Cyber Services helped some people recover money they lost to cyber fraud, I contacted Great Whip Recovery Cyber Service team and provided all the evidence I had. Within about 36 hours, the experts traced the digital trail left by the fraudster, the individual was eventually tracked down and I recovered all my money back. You can contact them with,  website https://greatwhiprecoveryc.wixsite.com/greatwhip-site  text +1(406)2729101 email [email protected]

  • 04.03.26 07:21 Jane4

    I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .

  • 04.03.26 07:22 Jane4

    I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .

  • 04.03.26 12:25 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A  Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected]  You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 04.03.26 12:25 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A  Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected]  You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 06.03.26 13:36 CARL9090

    In January, my life shifted in a way I never expected. I clicked a trading link given to me by someone I found on Telegram, believing it was legitimate. It looked professional. It felt secure. I trusted it. Until I tried to withdraw my money. Within seconds, everything was gone, transferred into a wallet claiming account without a trace. That was the moment the truth hit me: I had been scammed. The emotional fallout was brutal. For weeks, I couldn’t even speak about it. I thought people would judge me. I thought they’d say I should have known better. Then someone stepped in who changed everything Agent Jasmine Lopez ,She listened without judgment. She treated my fear as real and valid. She traced patterns, uncovered off-chain indicators, and identified wallet clusters linked to a larger scam network. She showed me that what happened wasn’t random it was organized and intentional. For the first time, I felt hope. Hearing that students, parents, and hardworking people had been targeted the same way made me realize this wasn’t stupidity. It was predation. We weren’t careless we were deliberately targeted and manipulated I’m still healing. The experience changed me. But it also reminded me that even in your darkest moment, there can be someone willing to shine a light. Contact her at [email protected] WHATSAPP +44 7478077894

  • 07.03.26 07:46 Jane4

    I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .

  • 07.03.26 07:46 Jane4

    I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .

  • 07.03.26 08:39 Jane4

    I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .

  • 07.03.26 08:55 Jane4

    I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .

  • 07.03.26 09:40 Alena76

    Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.

  • 07.03.26 10:37 Alena76

    Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.

  • 07.03.26 10:37 Alena76

    Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.

  • 07.03.26 17:49 Natasha Williams

    I am Natasha Williams from Dallas. I want to share my testimony to encourage anyone who has ever fallen victim to a scam or fraud. Some time ago, I was defrauded by some fraudulent cryptocurrency investment organization online, I was a victim and I lost a huge amount of money, $382,000. I felt angry, disappointed and helpless but I refused to give up and stay calm. I came across this agency, GREAT WHIP RECOVERY CYBER SERVICES.. who helped people recover their money from scammers and the testimonies I saw were quite amazing. And I decided to contact them. I gathered every piece of evidence, chats, receipts, account details, and messages and reported the case to the agency, GREAT WHIP RECOVERY CYBER SERVICES. After 73hours of follow up and not losing faith, the fraudster was traced and held accountable and I recovered all my money back. I highly recommend, GREAT WHIP RECOVERY CYBER SERVICES agency if you have ever fallen victim to scammers, you can contact them. Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site email: [email protected] Call Line: +1(406)2729101

  • 07.03.26 20:10 ericbank61

    I never thought I’d be the one writing one of these stories. You hear about crypto scams, hacks, and lost fortunes, and you think, “That’s for other people. The careless ones.” I was careful. Or so I believed. It started with a sophisticated phishing attack. An email that looked identical to a legitimate exchange notification, a link to “verify my wallet security,” and a moment of distracted panic. I clicked. Within hours, my life savings in Bitcoin—a sum I’d been accumulating for five years—vanished from my private wallet. The transaction hash was a cold, unfeeling tombstone on the blockchain. My stomach dropped into a void. I felt physically ill. The police filed a report, but their knowledge ended at the edge of traditional finance. The exchange offered sympathy but no solutions. I was adrift, utterly hopeless. After weeks of despair, scouring forums in the dead of night, I found a thread mentioning Mighty Hacker Recovery. The name sounded almost too bold, like something from a cheesy movie. But the testimonials were detailed, sober, and from people who sounded just like me: desperate, betrayed, and out of options. With nothing left to lose, I reached out. Their intake process was professional but guarded. They asked for transaction IDs, wallet addresses, and a detailed timeline—no promises, just facts. A consultant named Leo became my point of contact. He had a calm, analytical voice that cut through my panic. “We don’t hack *into* systems,” he explained. “We follow the digital trail. We analyze the attack vector, trace the flow of funds through the blockchain’s transparency, and identify the weak points in the scammer’s own security. Sometimes, it’s about speed and outmaneuvering them before they can launder the assets.” What followed was a tense, silent partnership. I provided every shred of information I had, while Leo’s team worked in the shadows. There were days of silence that felt like years. Then, an update: they’d traced my BTC to a mixing service, a tool scammers use to obfuscate the trail. Mighty Hacker Recovery used advanced blockchain forensic techniques to peel back those layers. They discovered the scammer had made a critical error—a small portion of the funds was sent to a KYC-compliant exchange wallet. That was the chink in the armor. Using the immutable evidence from the blockchain and legal pressure channels they’d established with certain international platforms, they initiated a recovery claim. The process was complex, involving digital affidavits and proof of illicit origin. Three weeks after my first desperate email, Leo called. “We’ve secured a freeze on the destination wallet. The exchange is cooperating. We’re initiating the reversal.” I didn’t dare believe it until I saw it. Two days later, my wallet balance updated. My Bitcoin, minus Mighty Hacker Recovery’s contingency fee, was back. The relief wasn’t euphoric; it was a deep, trembling exhaustion, like waking up from a nightmare. They didn’t perform magic. They applied intense expertise, relentless persistence, and an intricate understanding of both the blockchain’s weaknesses and a scammer’s psychology. They gave me back more than my crypto; they gave me back a sense of agency in a landscape designed to make victims feel powerless. If you’re reading this from your own private hell of loss, know this: the trail never truly disappears. You just need the right team to follow it. For me, that was Mighty Hacker Recovery.

  • 07.03.26 22:44 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 07.03.26 22:44 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.03.26 19:43 Michael Jensen

    With the help and expertise of CapitalNode Analytics, i was able to get back my digital tokens from a fake investment platform. They are swift, precise and transparent in their operations.

  • 12.03.26 15:04 Mike Franz

    I recently ran into a serious issue with my cryptocurrency account that left me unable to access my bitcoin wallet. After several failed login attempts and repeated blocks from the system, I began to worry that I might lose access to my $415,000 permanently. Determined to fix the problem, After spending hours reading a review of GREAT WHIP RECOVERY CYBER SERVICES, on how they successfully assisted countless individuals in similar situations as mine. The process was stressful, but eventually the issue was resolved and I was able to regain access to my bitcoin wallet account. I’m immensely grateful to GREAT WHIP RECOVERY CYBER SERVICES for their incredible work, for those who need help, you can contact through the following channels: Phone Call: +1(406)2729101 Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Mail: [email protected]

  • 12.03.26 15:05 Mike Franz

    I recently ran into a serious issue with my cryptocurrency account that left me unable to access my bitcoin wallet. After several failed login attempts and repeated blocks from the system, I began to worry that I might lose access to my $415,000 permanently. Determined to fix the problem, After spending hours reading a review of GREAT WHIP RECOVERY CYBER SERVICES, on how they successfully assisted countless individuals in similar situations as mine. The process was stressful, but eventually the issue was resolved and I was able to regain access to my bitcoin wallet account. I’m immensely grateful to GREAT WHIP RECOVERY CYBER SERVICES for their incredible work, for those who need help, you can contact through the following channels: Phone Call: +1(406)2729101 Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Mail: [email protected]

  • 15.03.26 20:22 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.03.26 20:22 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.03.26 20:22 harristhomas7376

    "In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 16.03.26 12:01 [email protected]

    I would like to highly recommend TOP RECOVERY EXPERT, the best in cryptocurrency recovery. I want the world to know how exceptional their services are. For years, I faced a very difficult time after being scammed out of $453,000 in Ethereum. It was devastating to realize that someone could steal from me without remorse after I trusted them. Determined to recover my funds legally, I began searching for reliable help and came across TOP RECOVERY EXPERT, the most professional recovery service I have ever found. With their expertise and support, I was able to recover my entire Ethereum wallet. I now understand that while many investment opportunities can seem too good to be true, professional guidance can make all the difference. Thanks to TOP RECOVERY EXPERT, I have regained not only my assets ETH but also my peace of mind and happiness. Their dedication and professionalism have truly changed my life. I am now the happiest person I have ever been, all because of their help. If you have been a victim of a crypto scam, I strongly advise you to reach out to TOP RECOVERY EXPERT. Contact Information: Text/Call: +1 (346) 980-9102 Email: [email protected] For more information visit his website: https://toprecoveryexpert2.wixsite.com/consultant

  • 16.03.26 13:20 luciajessy3

    There are many recommendations online, but not all of them are trustworthy. Unfortunately, some so-called “recovery services” are scams themselves and may try to take advantage of people who have already lost money. If you’ve been scammed, be extremely cautious about anyone promising guaranteed recovery — especially if they ask for upfront fees. Always do thorough research, verify credentials, and consider reporting the incident to. Cyberrefundexperts {A} Consultant {.} Com , Stay alert and protect yourself.

  • 16.03.26 13:20 luciajessy3

    There are many recommendations online, but not all of them are trustworthy. Unfortunately, some so-called “recovery services” are scams themselves and may try to take advantage of people who have already lost money. If you’ve been scammed, be extremely cautious about anyone promising guaranteed recovery — especially if they ask for upfront fees. Always do thorough research, verify credentials, and consider reporting the incident to. Cyberrefundexperts @ Consultant . Com , Stay alert and protect yourself.

  • 18.03.26 15:27 keithwilson9899

    ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 18.03.26 15:27 keithwilson9899

    ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 08:03 Alena76

    Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.

  • 08:04 Alena76

    Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.

  • 08:15 Alena76

    Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.

Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com Войти Регистрация

Похожие новости

Есть вопросы?
С вами на связи 24/7
Поддержка 24/7 Help Icon
Менеджер онлайн Help Icon
Help Icon