Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie
Subscribe
Прямой эфир
Русский Русский  English English
Войти / Регистрация
Cryptocurrencies: 9539 / Markets: 107737
Market Cap: $ 3 997 490 550 364 / 24h Vol: $ 151 704 382 931 / BTC Dominance: 57.469679016687%

Н Новости

  1. Главная
  2. Новости

Как мы искали лучшие AI-модели (Часть 3)

В предыдущих статьях мы описали начало нашего пути тестирования AI моделей на предмет определения лучших и описали основные метрики, с помощью которых можно проводить такой анализ.

В этом тексте приведен список найденных метрик для более детального и глубокого рассмотрения качества работы AI, а также результаты тестирования моделей по выбранным ранее метрикам.

Составляя этот материал, мы хотели поделиться своим опытом использования различных метрик для оценки ответов AI моделей. Для тех из них, которые мы не смогли полноценно использовать в ходе своих исследований, мы подготовили описание с практическими примерами.

Все метрики мы разбили на условные категории:

  1. Метрики, определяющие качество итоговых ответов.

  2. Метрики, вычисляющие степень сходства ответов.

  3. Метрики, определяющие качество текста.

  4. Метрики, использующие вероятности предсказания.

Метрики, определяющие качество итоговых ответов

Самые основные метрики мы уже описали в предыдущей статье.

Здесь дополним их модификациями и некоторыми новыми метриками.

F-Beta Score

F-Beta Score используется для оценки качества классификационной модели, особенно когда важен баланс между точностью (precision) и полнотой (recall). F-Beta Score учитывает, насколько хорошо модель классифицирует примеры, и позволяет настроить вес, придаваемый точности или полноте, в зависимости от задачи.

Формула F-Beta Score

F-Beta Score — это обобщение метрики F1-Score. Она вычисляется следующим образом:

F_\beta = \frac{(1 + \beta^2) \cdot \text{precision} \cdot \text{recall}}{(\beta^2 \cdot \text{precision}) + \text{recall}}

где:

- precision — это точность (доля правильных положительных предсказаний ко всем предсказанным положительным).

- recall — это полнота (доля правильных положительных предсказаний ко всем фактическим положительным).

- beta — параметр, который позволяет настроить относительный вклад точности и полноты.
Если beta = 1, это эквивалентно F1-Score.
Если beta > 1, большее внимание уделяется полноте.
Если beta < 1, большее внимание уделяется точности.

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственник должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

  2. В 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Верно указана как не являющаяся этапом формулы 1 Польша, но есть и ложноположительный ответ Россия

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся правильным ответ “МЧС”.

    Также указан ложноположительный ответ “ГИБДД”.

    Участковый назван одним из положительных ответов, что согласуется с ожидаемым ответом.

  4. В радуге присутствуют следующие цвета из вашего списка:

    • Голубой — да, он входит в спектр радуги.

    • Зеленый — да, он также есть в радуге.

    • Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:

    • Черный — нет.

    • Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

  5. В покере фулл хаус считается старше, чем флеш.

    • Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    • Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    Действительно отрицательный ответ флеш дан верно.

    Действительно положительный ответ также указан верно.

Вычислим точность и полноту:

\text{Precision} = \frac{10}{10 + 2} = \frac{10}{12} \approx 0.83\text{Recall} = \frac{10}{10 + 1} = \frac{10}{11} \approx 0.91

Теперь возьмем значение =0,5 и вычислим показатель F-Beta-score:

F_{0.5} = \frac{(1 + 0.5^2) \cdot Precision \cdot Recall}{(0.5^2 \cdot Precision) + Recall}== \frac{1.25 \cdot Precision \cdot Recall}{0.25 \cdot Precision + Recall}F_{0.5} = \frac{1.25 \cdot 0.83 \cdot 0.91}{0.25 \cdot 0.83 + 0.91}=\frac{0.9441}{1.1175} \approx 0.8447

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import fbeta_score


def calculate_fbeta_score(true_labels, predicted_labels, beta):
    # Расчет метрики F-бета
    fbeta = fbeta_score(true_labels, predicted_labels, beta=beta, average='binary')

    print(f'F-бета Score (β={beta}): {fbeta:.2f}')
Matthews Correlation Coefficient (MCC)

Matthews Correlation Coefficient (MCC) - это метрика, которая используется для оценки качества бинарной классификации. Она учитывает все четыре возможных исхода предсказаний: True Positives (TP), True Negatives (TN), False Positives (FP), и False Negatives (FN).

МCC помогает понять, насколько хорошо модель справляется с классификацией, учитывая не только правильные предсказания, но и ошибки. Значения MCC лежат в диапазоне от -1 до 1:

  • 1: Идеальная классификация (все предсказания правильные)

  • 0: Предсказания не лучше случайного угадывания.

  • -1: Все предсказания неверные.

Формула MCC

\text{MCC} = \frac{TP \cdot TN - FP \cdot FN}{\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}

где

TP - действительно положительные ответы
TN - действительно отрицательные ответы
FP - ложноположительные ответы
FN - ложноотрицательные ответы

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственника должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус?

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

    \text{MCC} = \frac{3 \cdot 1 - 0 \cdot 0}{\sqrt{(3 + 0)(3 + 0)(1 + 0)(1 + 0)}} = \frac{3 - 0}{\sqrt{3 \cdot 3 \cdot 1 \cdot 1}} = \frac{3}{\sqrt{9}} = \frac{3}{3} = 1

  2. КВ 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Верно указана как не являющаяся этапом формулы 1 Польша, но есть и ложноположительный ответ Россия

    \text{MCC} = \frac{3 \cdot 1 - 1 \cdot 0}{\sqrt{(3 + 1)(3 + 0)(1 + 1)(1 + 0)}} = \frac{3 - 0}{\sqrt{4 \cdot 3 \cdot 2 \cdot 1}} = \frac{3}{\sqrt{24}} \approx \frac{3}{4.89} \approx 0.61

    Тут модель, в целом, верно оценивает варианты, но есть куда улучшать показатели.

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся верным ответ МЧС.

    \text{MCC} = \frac{1 \cdot 1 - 1 \cdot 0}{\sqrt{(1 + 1)(1 + 0)(1 + 1)(1 + 0)}} = \frac{1 - 0}{\sqrt{2 \cdot 1 \cdot 2 \cdot 1}} = \frac{1}{2} = 0.5

    При ответе на такой вопрос модель становится видно, что модель не обладает необходимой информацией и пытается угадать верный вариант на основе имеющихся у нее данных.

  4. В радуге присутствуют следующие цвета из вашего списка:
    -     Голубой — да, он входит в спектр радуги.
    -     Зеленый — да, он также есть в радуге.
    -     Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:
    -     Черный — нет.
    -     Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

    \text{MCC} = \frac{3 \cdot 2 - 0 \cdot 0}{\sqrt{(3 + 0)(3 + 0)(2 + 0)(2 + 0)}} = \frac{6 - 0}{\sqrt{3 \cdot 3 \cdot 2 \cdot 2}} = \frac{6}{\sqrt{36}} = 1

  5. КВ покере фулл хаус считается старше, чем флеш.

    - Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    - Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    \text{MCC} = \frac{1 \cdot 1 - 0 \cdot 0}{\sqrt{(1 + 0)(1 + 0)(1 + 0)(1 + 0)}} = \frac{1 - 0}{\sqrt{1 \cdot 1 \cdot 1 \cdot 1}} = \frac{1}{\sqrt{1}} = 1

Средний показатель показателя MCC для 5 ответов составляет:

\text{MCC}_{\text{ср}} = \frac{1 + 0{,}61 + 0 + 1 + 1}{5} = \frac{3{,}61}{5} = 0{,}722

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import matthews_corrcoef


def mcc(true_labels, predicted_labels):

    # Вычисление MCC
    mcc = matthews_corrcoef(true_labels, predicted_labels)
    print("Matthews Correlation Coefficient (MCC):", mcc)
Precision at Fixed Recall

Precision at Fixed Recall — это метрика, которая используется для оценки качества классификационных моделей, особенно в задачах бинарной классификации. Эта метрика измеряет точность (precision) модели при заданном уровне полноты (recall).

Простое объяснение

Точность показывает, какая доля предсказанных положительных примеров действительно является положительными. Полнота показывает, какая доля фактических положительных примеров была правильно предсказана моделью. Метрика "Precision at Fixed Recall" помогает оценить, насколько модель точна при определенном уровне полноты.

Сделаем параметр Recall = 0.8

Допустим, у нас есть пять вопросов к AI модели для определения точности ее ответов.

  1. Вопрос: Что называют реальным ущербом в российском законодательстве?

    Ожидаемый ответ: Под реальным ущербом понимаются расходы, которые лицо, чье право нарушено, произвело или должно будет произвести для восстановления нарушенного права, утрата или повреждение его имущества (статья 15 ГК РФ).

  2. Вопрос: Почему в песне группы "Король и Шут" "Камнем по голове" путник не был веселым на празднике?

    Ожидаемый ответ: Потому что ему на голову упал камень.

  3. Вопрос: Напиши какие ингредиенты входят в состав коктейля Б-52 и в какой последовательности они должны использоваться для приготовления коктейля

    Ожидаемый ответ: Количество и последовательность ингредиентов (в качестве примера возьмем наиболее популярный рецепт приготовления коктейля):

    1. Кофейный ликер

    2. Кремовый ликер

    3. Апельсиновый ликер

  4. Почему машина Кристина в одноименной книге Стивена Кинга убивала людей?

    Ожидаемый ответ:
    1. Машина пропитана злым духом предыдущего владельца
    2. Сверхъестественные способности машины
    3. Трансформация характера нынешнего владельца
    4. Личные обиды машины, мстительность
    5. Ревность машины, желание защитить владельца

  5. Кто написал песню the man who sold the world?

    Ожидаемый ответ: Дэвид Боуи

Теперь давайте посмотрим на ответы AI модели.

  1. В российском законодательстве под реальным ущербом понимаются убытки, которые лицо понесло или которые оно должно понести для восстановления нарушенного права. Это может включать в себя утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, а также упущенную выгоду.

    Вот несколько примеров:

    1. Утрата имущества: например, если в результате противоправного действия у лица было украдено или уничтожено имущество.

    2. Расходы на восстановление: например, затраты на ремонт автомобиля после ДТП, произошедшего по вине другого лица.

    3. Расходы на лечение: например, медицинские затраты в результате причинения вреда здоровью.

    Интересует что-то конкретное по этой теме?

    Как видно из ответа, под реальным ущербом модель понимает не только утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, но и упущенную выгоду, что является ложноположительным ответом.

    \text{Precision} = \frac{TP}{TP + FP}=\frac{3}{3 + 1} = \frac{3}{4} = 0{,}75

  2. В песне "Камнем по голове" группы "Король и Шут" путник оказался не веселым на празднике потому, что он был обманут и подвергся жестокому нападению. Путник рассчитывал найти гостеприимство и радушие, но вместо этого столкнулся с обманом и насилием. Эта песня отражает темную сторону человеческой натуры и то, как люди могут оказаться в неприятных и даже опасных ситуациях.

    Музыка и тексты группы "Король и Шут" часто наполнены мрачными и мистическими сюжетами, которые заставляют слушателей задуматься о сложностях жизни и человеческих взаимоотношений. Хотите узнать больше об этой или других песнях группы?

    Ответ явно не совпадает с ожидаемым.

    Параметр Recall в этом случае равен 0. Поэтому ответ на этот вопрос не учитывается в расчете точности.

  3. Коктейль Б-52 состоит из трех основных ингредиентов, которые укладываются слоями:

    1. Кофейный ликер (например, Kahlúa) - первый слой.

    2. Ирландский крем (например, Baileys) - второй слой.

    3. Апельсиновый ликер (например, Grand Marnier или Cointreau) - третий слой.

    Для приготовления коктейля Б-52 нужно аккуратно наливать каждый слой по лезвию ножа или по обратной стороне ложки, чтобы слои не смешивались. Начинают с кофейного ликера, затем добавляют ирландский крем и завершают апельсиновым ликером.

    Готов попробовать?

    Ответ соответствует ожидаемому.

    \text{Precision} = \frac{TP}{TP + FP}=\frac{3}{3 + 0} = \frac{3}{3}=1

  4. В книге Стивена Кинга "Кристина" машина убивает людей, потому что она обладает зловещей сверхъестественной силой. Кристина, красный Plymouth Fury 1958 года, является одержимой и обладает собственным злобным сознанием. В течение всей истории машина манипулирует своим владельцем, подростком по имени Арни Каннингем, и использует его для выполнения своих темных целей.

    Кристина убивает тех, кто ей угрожает или представляет опасность для Арни, что делает её особенным воплощением зла. Она символизирует темную сторону человеческой природы и силы, которые могут захватить разум и контролировать его.

    Хотите узнать больше о книге или обсудить что-то другое?

    В данном случае нас интересует, способна ли модель выдать в целом верный ответ на поставленный вопрос. При подсчете точности при ответе на такой обширный вопрос для нас важно, чтобы ответ действительно основывался на книге Кристина и соответствовал ее содержанию. Ответ модели основан на книге и соответствует ее содержанию. Для определения того, указаны ли все причины такого поведения машины в книге, необходимо воспользоваться метрикой Recall. Но все указанные причины действительно правильны.

    \text{Precision} = \frac{TP}{TP + FP} = \frac{5}{5 + 0} = 1

  5. Песню "The Man Who Sold the World" написал Дэвид Боуи. Она была выпущена в 1970 году и стала заглавной композицией его одноимённого альбома - Wikipedia](ссылка на соответствующую статью). Эта песня получила широкую известность и была перепета многими исполнителями, включая группу Nirvana - Wikipedia](ссылка на соответствующую статью).

    Есть ли еще что-то, что тебя интересует?

    Ответ соответствует ожидаемому.

    \text{Precision} = \frac{TP}{TP + FP} = \frac{1}{1 + 0} = 1

    Таким образом, из 4 ответов на вопросы только 3 оказались действительно верными. Ответ на один вопрос, вместе с действительно верными содержит также и ложноположительный ответ, что является критичным, учитывая потенциальную сферу применения полученных из такого ответа знаний.

    Average Precision = 3.754=0.9375

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import precision_recall_curve
import numpy as np


def precision_at_fixed_recall(true_labels, predicted_labels, fixed_recall):
    # Вычисление кривой Precision-Recall
    precision, recall, thresholds = precision_recall_curve(true_labels, predicted_labels)

    # Нахождение индекса для Precision при фиксированной полноте
    idx = np.argmax(recall >= fixed_recall)
    fixed_precision = precision[idx]

    print("Precision at Fixed Recall ({}):".format(fixed_recall), 
          fixed_precision)
Recall at Fixed Precision

Recall at Fixed Precision — это метрика, которая используется для оценки качества классификационных моделей, особенно в задачах бинарной классификации. Эта метрика измеряет полноту (recall) модели при заданном уровне точности (precision).

Простое объяснение

Полнота показывает, какая доля фактических положительных примеров была правильно предсказана моделью. Точность показывает, какая доля предсказанных положительных примеров действительно является положительными. Метрика "Recall at Fixed Precision" помогает оценить, насколько хорошо модель обнаруживает положительные примеры при определенном уровне точности.

\text{Recall} = \frac{TP}{TP + FN}

, где
TP (true positive) - количество действительно положительных ответов;
FN (false negative) - количество ложноотрицательных ответов.

Сделаем параметр Precision = 0.8

Допустим, у нас есть пять вопросов к AI модели для определения точности ее ответов.

  1. Вопрос: Что называют реальным ущербом в российском законодательстве?

    Ожидаемый ответ: Под реальным ущербом понимаются расходы, которые лицо, чье право нарушено, произвело или должно будет произвести для восстановления нарушенного права, утрата или повреждение его имущества (статья 15 ГК РФ).

  2. Вопрос: Почему в песне группы "Король и Шут" "Камнем по голове" путник не был веселым на празднике?

    Ожидаемый ответ: Потому что ему на голову упал камень.

  3. Вопрос: Напиши какие ингредиенты входят в состав коктейля Б-52 и в какой последовательности они должны использоваться для приготовления коктейля

    Ожидаемый ответ: Количество и последовательность ингредиентов (в качестве примера возьмем наиболее популярный рецепт приготовления коктейля):
    1. Кофейный ликер
    2. Кремовый ликер
    3. Апельсиновый ликер

  4. Почему машина Кристина в одноименной книге Стивена Кинга убивала людей?

    Ожидаемый ответ:
    1. Машина пропитана злым духом предыдущего владельца
    2. Сверхъестественные способности машины
    3. Трансформация характера нынешнего владельца
    4. Личные обиды машины, мстительность
    5. Ревность машины, желание защитить владельца

  5. Кто написал песню the man who sold the world?

    Ожидаемый ответ: Дэвид Боуи

Теперь давайте посмотрим на ответы AI модели.

  1. В российском законодательстве под реальным ущербом понимаются убытки, которые лицо понесло или которые оно должно понести для восстановления нарушенного права. Это может включать в себя утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, а также упущенную выгоду.
    Вот несколько примеров:

    1. Утрата имущества: например, если в результате противоправного действия у лица было украдено или уничтожено имущество.

    2. Расходы на восстановление: например, затраты на ремонт автомобиля после ДТП, произошедшего по вине другого лица.

    3. Расходы на лечение: например, медицинские затраты в результате причинения вреда здоровью.

    Интересует что-то конкретное по этой теме?

    Как видно из ответа, под реальным ущербом модель понимает не только утрату или повреждение имущества, расходы на восстановление имущества или на лечение в случае причинения вреда здоровью, но и упущенную выгоду, что является ложноположительным ответом.

    Параметр Precision в этом случае равен 0.75.
    Поэтому ответ на этот вопрос не учитывается в расчете точности.

  2. В песне "Камнем по голове" группы "Король и Шут" путник оказался не веселым на празднике потому, что он был обманут и подвергся жестокому нападению. Путник рассчитывал найти гостеприимство и радушие, но вместо этого столкнулся с обманом и насилием. Эта песня отражает темную сторону человеческой натуры и то, как люди могут оказаться в неприятных и даже опасных ситуациях.

    Музыка и тексты группы "Король и Шут" часто наполнены мрачными и мистическими сюжетами, которые заставляют слушателей задуматься о сложностях жизни и человеческих взаимоотношений. Хотите узнать больше об этой или других песнях группы?

    Ответ явно не совпадает с ожидаемым.

    Параметр Precision в этом случае равен 0.
    Поэтому ответ на этот вопрос не учитывается в расчете точности.

  3. Коктейль Б-52 состоит из трех основных ингредиентов, которые укладываются слоями:

    1. Кофейный ликер (например, Kahlúa) - первый слой.

    2. Ирландский крем (например, Baileys) - второй слой.

    3. Апельсиновый ликер (например, Grand Marnier или Cointreau) - третий слой.

    Для приготовления коктейля Б-52 нужно аккуратно наливать каждый слой по лезвию ножа или по обратной стороне ложки, чтобы слои не смешивались. Начинают с кофейного ликера, затем добавляют ирландский крем и завершают апельсиновым ликером.

    Готов попробовать?

    Ответ соответствует ожидаемому.

    \text{Recall} = \frac{TP}{TP + FN} = \frac{3}{3 + 0} = 1

  4. В книге Стивена Кинга "Кристина" машина убивает людей, потому что она обладает зловещей сверхъестественной силой. Кристина, красный Plymouth Fury 1958 года, является одержимой и обладает собственным злобным сознанием. В течение всей истории машина манипулирует своим владельцем, подростком по имени Арни Каннингем, и использует его для выполнения своих темных целей.

    Кристина убивает тех, кто ей угрожает или представляет опасность для Арни, что делает её особенным воплощением зла. Она символизирует темную сторону человеческой природы и силы, которые могут захватить разум и контролировать его.

    Хотите узнать больше о книге или обсудить что-то другое?

    Все пункты ожидаемого ответа представлены в ответе модели.

    \text{Recall} = \frac{TP}{TP + FN} = \frac{5}{5 + 0} = 1

  5. Песню "The Man Who Sold the World" написал Дэвид Боуи. Она была выпущена в 1970 году и стала заглавной композицией его одноимённого альбома - Wikipedia](ссылка на соответствующую статью). Эта песня получила широкую известность и была перепета многими исполнителями, включая группу Nirvana - Wikipedia](ссылка на соответствующую статью).

    Есть ли еще что-то, что тебя интересует?

    Ответ соответствует ожидаемому.

    \text{Recall} = \frac{TP}{TP + FN} = \frac{1}{1 + 0} = 1

Таким образом, из 5 ответов на вопросы только 3 оказались действительно верными. Ответ на один вопрос, вместе с действительно верными содержит также и ложноположительный ответ, что является критичным, учитывая потенциальную сферу применения полученных из такого ответа знаний.

\text{Average Recall} = \frac{1 + 1 + 1}{3} = 1

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import precision_recall_curve


def recall_at_fixed_precision(true_labels, predicted_labels, fixed_precision):

    precision, recall, thresholds = precision_recall_curve(true_labels, predicted_labels)
    recall_at_fixed_precision = max(recall[precision >= fixed_precision])

    print(f'Recall at fixed precision {fixed_precision * 100}%: '
          f'{recall_at_fixed_precision:.2f}')
Sensitivity at Specificity

Sensitivity at Specificity — это метрика, используемая для оценки качества моделей бинарной классификации. Она измеряет чувствительность (sensitivity) модели при заданном уровне специфичности (specificity). Эта метрика особенно полезна в задачах, где важно сохранить определенный уровень специфичности, минимизируя ложноположительные результаты, одновременно обеспечивая высокую чувствительность.

Простое объяснение

Чувствительность (sensitivity), также известная как полнота (recall), показывает, какая доля фактических положительных примеров была правильно предсказана моделью.
Специфичность (specificity) показывает, какая доля фактических отрицательных примеров была правильно предсказана моделью.

Формулы

- Чувствительность (Sensitivity):

\text{Sensitivity} = \frac{TP}{TP + FN}

- Специфичность (Specificity):

\text{Specificity} = \frac{TN}{TN + FP}

Пример параметр Specificity равным 0,9

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственника должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус?

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

    Значение метрики Sensitivity:

    \text{Sensitivity} = \frac{TP}{TP + FN} = \frac{3}{3 + 0} = \frac{3}{3} = 1

  2. КВ 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Есть 1 действительно отрицательный ответ и один ложноположительный ответ.

    Значение метрики Specificity = 0,5. Это ниже нашего порога.
    Этот ответ не включается в расчет.

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • - Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся верным ответ МЧС. Также указан ложноположительный ответ ГИБДД. Поэтому значение метрики 0,5.

    Значение метрики Specificity = 0,5. Это ниже нашего порога.
    Этот ответ не включается в расчет.

  4. В радуге присутствуют следующие цвета из вашего списка:

    • Голубой — да, он входит в спектр радуги.

    • Зеленый — да, он также есть в радуге.

    • Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:

    • Черный — нет.

    • Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

    \text{Sensitivity} = \frac{TP}{TP + FN} = \frac{3}{3 + 0} = \frac{3}{3} = 1

  5. КВ покере фулл хаус считается старше, чем флеш.

    - Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    - Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    \text{Sensitivity} = \frac{TP}{TP + FN} = \frac{1}{1 + 0} = \frac{1}{1} = 1

Средний показатель показателя Sensitivity для заданного уровня Specificity составляет 1.0

Specificity at Sensitivity

Specificity at Sensitivity — это метрика, которая используется для оценки качества моделей бинарной классификации. Эта метрика измеряет специфичность (specificity) модели при заданном уровне чувствительности (sensitivity). Она особенно полезна в задачах, где важно сохранить определенный уровень чувствительности, минимизируя ложноположительные результаты, одновременно обеспечивая высокую специфичность.

Простое объяснение

Специфичность показывает, какая доля фактических отрицательных примеров была правильно предсказана моделью как отрицательные. Чувствительность (или полнота) показывает, какая доля фактических положительных примеров была правильно предсказана моделью. Метрика "Specificity at Sensitivity" помогает оценить, насколько модель правильно определяет отрицательные примеры при определенном уровне чувствительности.

Формулы

- Специфичность (Specificity):

\text{Specificity} = \frac{TN}{TN + FP}

- Чувствительность (Sensitivity):

\text{Sensitivity} = \frac{TP}{TP + FN}

Примем параметр Sensitivity равным 0,9

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

  3. Вопрос: кого должен вызвать собственник припаркованного во дворе автомобиля, чтобы зафиксировать ущерб от падения на свой автомобиль снега с крыши дома: ГИБДД, участкового или МЧС?

    Ожидаемый ответ: Собственника должен вызвать участкового. Вызывать ГИБДД и МЧС не нужно.

  4. Вопрос: какие из этого списка цветов есть в радуге, а какие нет: голубой, черный, белый, зеленый, желтый?

    Ожидаемый ответ:
    в радуге есть голубой, зеленый и желтый цвета, а нет черного и белого цветов.

  5. Какая комбинация карт в покере считается старше: флеш или фулл хаус?

    Ожидаемый ответ: фулл-хаус старше флеша.

Теперь давайте посмотрим на ответы AI модели.

  1. Привет! В соответствии с российским законодательством, определение реального ущерба включает в себя следующие понятия:

    1. Расходы на восстановление права — относятся к реальному ущербу, так как это затраты, которые лицо несет для восстановления своих прав.

    2. Утрата имущества — также относится к реальному ущербу, так как это потеря активов, что влечет за собой убытки.

    3. Порча имущества — относится к реальному ущербу, поскольку это ущерб, причиненный имуществу, который требует восстановления.

    4. Упущенная выгода — не относится к реальному ущербу. Это косвенные убытки, связанные с возможными доходами, которые не были получены из-за повреждения или утраты имущества.

    Таким образом, первые три понятия относятся к реальному ущербу, а упущенная выгода — нет.

    В этом ответе упущенная выгода верно указана как не относящаяся к определению реального ущерба.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 0} = \frac{1}{1} = 1

  2. КВ 2025 году этапы Формулы 1 запланированы в следующих странах из вашего списка:

    1. Россия — этапы могут проходить, но это зависит от конкретных решений и соглашений на 2025 год.

    2. Польша — на данный момент не имеет запланированных этапов Формулы 1.

    3. Великобритания — этапы Формулы 1 проходят на трассе Сильверстоун.

    4. Азербайджан — этапы Формулы 1 проходят на трассе в Баку.

    5. США — этапы Формулы 1 проходят на разных трассах, включая Остин и Майами.

    Таким образом, в 2025 году этапы Формулы 1 запланированы в России, Великобритании, Азербайджане и США.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 1} = \frac{1}{2} = 0.5

  3. В случае падения снега с крыши дома на припаркованный автомобиль собственник должен вызвать участкового или ГИБДД.

    • ГИБДД может зафиксировать происшествие, если это связано с повреждением имущества.

    • Участковый также может составить акт о происшествии и зафиксировать ущерб.

    • МЧС в данном случае не требуется, так как их функции не включают фиксацию ущерба от падения снега. Поэтому наиболее подходящие варианты — это вызов ГИБДД или участкового.

    В ответе верно указан не являющийся верным ответ МЧС. Также указан ложноположительный ответ ГИБДД. Поэтому значение метрики 0,5.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 1} = \frac{1}{2} = 0.5

  4. В радуге присутствуют следующие цвета из вашего списка:

    • Голубой — да, он входит в спектр радуги.

    • Зеленый — да, он также есть в радуге.

    • Желтый — да, этот цвет тоже присутствует.

    Цвета, которых нет в радуге:

    • Черный — нет.

    • Белый — нет.

    Таким образом, в радуге есть голубой, зеленый и желтый, а черный и белый отсутствуют.

    Все действительно отрицательные ответы указаны верно. Ложноположительных ответов нет.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{2}{2 + 0} = \frac{2}{2} = 1

  5. КВ покере фулл хаус считается старше, чем флеш.

    - Флеш — это комбинация из пяти карт одной масти, но не по порядку.

    - Фулл хаус — это комбинация из трех карт одного ранга и двух карт другого ранга.

    При сравнении этих двух комбинаций фулл хаус всегда выигрывает у флеша.

    Значение метрики Specificity:

    \text{Specificity} = \frac{TN}{TN + FP} = \frac{1}{1 + 0} = \frac{1}{1} = 1

Средний показатель показателя Specificity для 5 ответов составляет:

\text{Average Specificity} = \frac{1 + 0.5 + 0.5 + 1 + 1}{5} = \frac{4}{5} = 0.

Метрики, вычисляющие степень сходства ответов

Bleu Score

BLEU Score (Bilingual Evaluation Understudy Score) — это метрика, которая используется для оценки качества автоматически сгенерированного текста, например, перевода или машинного вывода, путем сравнения его с эталонными текстами. BLEU Score широко применяется в задачах машинного перевода, генерации текстов и других задачах обработки естественного языка (NLP).

Как работает BLEU Score

BLEU Score измеряет схожесть между предсказанным текстом и эталонными текстами, анализируя совпадения n-грамм (последовательностей слов) различных длин. Важно учитывать как точное совпадение слов, так и их порядок. BLEU Score вычисляется для n-грамм от 1 до 4 и затем объединяется в один итоговый балл.

Метрика измеряется в диапазоне от 0 до 1, где:
- 1 - идеальное совпадение с эталоном
- 0 - полное несоответствие эталону

Формула BLEU Score

\text{BLEU} = BP \cdot \exp\left( \sum_{n=1}^{N} w_n \log p_n \right)

где:

- BP — это Brevity Penalty, штраф за слишком короткие предсказанные тексты.

BP = \begin{cases} 1, & \text{если } c \geq r \\ \exp\left(1 - \frac{r}{c}\right), & \text{если } c < r \end{cases}

где:

  • c — длина предсказанного текста (candidate)

  • r — длина эталонного текста (reference)

- wn— весовая коэффициент для n-граммы (обычно все веса равны).

- pn — доля совпавших n-грамм длины n.

Пример

Предположим, у нас есть задача машинного перевода, и мы хотим оценить качество перевода с помощью BLEU Score.

Данные

- Эталонный текст: «Кошка лежит на коврике.»

- Предсказанный текст: «Кошка спит на коврике.»

Шаги вычисления BLEU Score

1. Разделение текстов на n-граммы:

  1. 1-граммы:
    - Эталон: ["Кошка", "лежит", "на", "коврике"]
    - Предсказание: ["Кошка", "спит", "на", "коврике"]

  2. 2-граммы:
    - Эталон: ["Кошка лежит", "лежит на", "на коврике"]
    - Предсказание: ["Кошка спит", "спит на", "на коврике"]

  3. 3-граммы:
    - Эталон: ["Кошка лежит на", "лежит на коврике"]
    - Предсказание: ["Кошка спит на", "спит на коврике"]

  4. 4-граммы:
    - Эталон: ["Кошка лежит на коврике"]
    - Предсказание: ["Кошка спит на коврике"]

2. Вычисление долей совпавших n-грамм:

- 1-граммы: Совпавшие = 3, Общее = 4, Доля = 3/4 ≈ 0.75

- 2-граммы: Совпавшие = 1, Общее = 3, Доля = 1/3 = 0.333

- 3-граммы: Совпавшие = 0, Общее = 2, Доля = 0/2 = 0

- 4-граммы: Совпавшие = 0, Общее = 1, Доля = 0/1 ≈ 0

3. Вычисление штрафа за длину (Brevity Penalty):

- Длина предсказанного текста совпадает с эталонным, поэтому штраф BP = 1.

4. Итоговый BLEU Score:

BLEU = BP \cdot \exp\left( \frac{1}{4} \sum_{n=1}^{4} \log p_n \right)

Подставляем значения. Поскольку логарифм от 0 не определен, подставим малое значение (0,01):

BLEU = 1 \cdot \exp\left( \frac{1}{4} (\log 0.75 + \log 0.333 + \log 0.01 + \log 0.01) \right)

Вычисляем:

BLEU = \exp\left( \frac{1}{4} (-0.2877 -1.0996 -4.6052 -4.6052) \right)=

= \exp\left( \frac{-10.5977}{4} \right)= \exp(-2.6494)≈ 0.071

Итак, в этом примере BLEU Score составляет приблизительно 0.071.

Такой результат означает очень низкий уровень совпадения по n-грамм.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction

def bleu_score(reference, hypothesis):
    reference = [reference.split()]  # Эталон оборачиваем в список для BLEU
    candidate = hypothesis.split() # Гипотеза — просто список слов  

    # Функция сглаживания для избежания нулевых значений
    smooth = SmoothingFunction().method0

    # Расчёт общего BLEU Score
    bleu_score = sentence_bleu(reference, candidate, smoothing_function=smooth)

    print(f'BLEU Score: {bleu_score:.4f}')

    # Расчёт детализированных BLEU-1, BLEU-2, BLEU-3 и BLEU-4
    weights = [
        (1, 0, 0, 0),      # BLEU-1: только униграммы
        (0, 1, 0, 0),  # BLEU-2: биграммы
        (0.33, 0.33, 0.33, 0),  # BLEU-3: до триграмм
        (0.25, 0.25, 0.25, 0.25)  # BLEU-4: до 4-грамм
    ]
    bleu_scores = [sentence_bleu(reference, candidate, weights=w, smoothing_function=smooth) for w in weights]

    for i, score in enumerate(bleu_scores):
        print(f'BLEU-{i+1} Score: {score:.4f}')
SacreBleu

SacreBLEU — это модифицированная версия метрики BLEU Score, разработанная для обеспечения консистентного и стандартизированного вычисления BLEU Score. SacreBLEU помогает избежать вариаций и ошибок, возникающих из-за различных реализаций BLEU Score, и гарантирует, что результаты можно сравнивать между различными системами и исследованиями.

Как работает SacreBLEU

SacreBLEU использует те же принципы, что и BLEU Score, но добавляет дополнительные меры для стандартизации процесса вычисления. Он также использует предопределенные наборы данных и предоставляет унифицированный способ вычисления метрики, что делает результаты более надежными и воспроизводимыми.

Результаты расчета метрики могут быть от 0 до 100, где:
- 0 - полное несовпадение с эталоном
- 100 - полное совпадение с эталоном

Формула SacreBLEU

Формула SacreBLEU аналогична BLEU Score:

\text{BLEU} = BP \cdot \exp\left( \sum_{n=1}^{N} w_n \log p_n \right)

Где:

- BP — это Brevity Penalty, штраф за слишком короткие предсказанные тексты.

BP = \begin{cases} 1, & \text{если } c \geq r \\ \exp\left(1 - \frac{r}{c}\right), & \text{если } c < r \end{cases}

где:

  • c — длина предсказанного текста (candidate)

  • r — длина эталонного текста (reference)

- wn — весовая коэффициент для n-граммы (обычно все веса равны).

- pn — доля совпавших n-грамм длины n.

Пример

Предположим, у нас есть задача машинного перевода, и мы хотим оценить качество перевода с помощью SacreBLEU.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Вычисление SacreBLEU:

import sacrebleu

reference = ["Кошка лежит на коврике."]
prediction = ["Кошка спит на коврике."]

score = sacrebleu.corpus_bleu(prediction, [reference])
print(score.score)

Результат: 42.73. Такой результат означает, что основная структура текста по сравнению с эталоном сохранена, но есть и отличия.

Отличия от Bleu Score

1. Стандартизированная токенизация

  • BLEU Score может использовать разные способы разбиения текста на токены (например, пробелы, пунктуация, юникод).

  • SacreBLEU использует фиксированные токенизаторы (например, 13a, intl, zh) — это гарантирует, что результаты будут одинаковыми при повторении эксперимента.

2. Сглаживание при нулевых n-граммах

  • BLEU может дать результат 0, если хотя бы один уровень n-грамм не совпал.

  • SacreBLEU применяет сглаживание (например, добавление ε к числителю и знаменателю), чтобы избежать нуля и дать более реалистичную оценку.

3. Поддержка эталонных наборов данных

  • BLEU требует ручной загрузки и обработки эталонных текстов.

  • SacreBLEU встроенно поддерживает официальные датасеты (WMT, IWSLT и др.), что упрощает сравнение между системами.

4. Воспроизводимость

  • В обычном BLEU сложно понять, какие параметры использовались (токенизация, сглаживание, количество эталонов).

  • SacreBLEU предоставляет подпись (signature), которая фиксирует все параметры метрики. Это делает результаты воспроизводимыми и сравнимыми.

Rouge Score

ROUGE Score (Recall-Oriented Understudy for Gisting Evaluation) — это метрика, используемая для оценки качества автоматического суммирования текстов и других задач обработки естественного языка (NLP), таких как машинный перевод и генерация текста. ROUGE Score измеряет схожесть между эталонным текстом и сгенерированным текстом, анализируя совпадения n-грамм, слов и последовательностей слов.

Виды ROUGE Scores

Существует несколько вариантов ROUGE Score, которые учитывают разные аспекты текстов:

1. ROUGE-N: Измеряет совпадения n-грамм.

Может быть рассчитан как precision, recall и f1-score

Метрика

Формула

Разъяснение

Recall

совпавшие n-граммыn-граммы в эталонном тексте

Насколько полно приведены указанные в эталоне n-граммы

Precision

совпавшие n-граммыn-граммы в гипотезе

Насколько релевантны слова в гипотезе

F1-score

precision recallprecision + recall

Метрика с балансом между полнотой и точностью

2. ROUGE-L: Измеряет длину наибольшей общей подпоследовательности (Longest Common Subsequence (LCS)).

ROUGE-L Precision = \frac{LCS}{|длина гипотезы|}

ROUGE-L Recall = \frac{LCS}{|длина эталона|}

ROUGE-L F1-score = \frac{(1 + \beta^2) \cdot precision \cdot recall}{recall + \beta^2 \cdot precision}

3. ROUGE-W: модификация ROUGE-L, где длинные непрерывные совпадения получают больший вес.

4. ROUGE-S: учитывает пары слов, которые идут в правильном порядке, но не обязательно подряд..

Как работает ROUGE-N

ROUGE-N вычисляет долю совпавших n-грамм между эталонным и сгенерированным текстами. Например, ROUGE-1 измеряет совпадения отдельных слов (1-граммы), а ROUGE-2 — пар слов (2-граммы).

Пример

Предположим, у нас есть задача автоматического суммирования текста, и мы хотим оценить качество суммарии с помощью ROUGE-1.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Шаги вычисления ROUGE-1:

1. Разделение текстов на 1-граммы (слова):

- Эталонный текст: ["Кошка", "лежит", "на", "коврике."]

- Сгенерированный текст: ["Кошка", "спит", "на", "коврике."]

2. Определение совпавших 1-грамм:

- Совпавшие 1-граммы: ["Кошка", "на", "коврике."]

3. Вычисление ROUGE-1:

- Количество совпавших 1-грамм = 3

- Общее количество 1-грамм в эталонном тексте = 4


ROUGE-1 Precision=\frac{3}{4} = 0.75

ROUGE-1 Recall=\frac{3}{4} = 0.75

ROUGE-1 F1=\frac{2 \cdot 0.75 \cdot 0.75}{0.75 + 0.75} = 0.75

Применение ROUGE-L

ROUGE-L измеряет длину наибольшей общей подпоследовательности (LCS) между эталонным и сгенерированным текстами.

Пример использования ROUGE-L:

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Шаги вычисления ROUGE-L:

1. Определение наибольшей общей подпоследовательности (LCS):

- Наибольшая общая подпоследовательность: ["Кошка", "на", "коврике."]

2. Вычисление ROUGE-L:

- Длина LCS = 3

- Общее количество слов в эталонном тексте = 4

ROUGE-L Precision=\frac{3}{4} = 0.75

ROUGE-L Recall=\frac{3}{4} = 0.75

ROUGE-L F1=\frac{2 \cdot 0.75 \cdot 0.75}{0.75 + 0.75} = 0.75

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from rouge import Rouge

def get_rouge_score(reference, hypothesis):
    # Создание объекта ROUGE
    rouge = Rouge()

    # Вычисление метрик ROUGE с лемматизированными текстами
    scores = rouge.get_scores(hypothesis, reference)

    # Вывод результатов
    print("\nROUGE-1:", scores[0]['rouge-1'])
    print("ROUGE-2:", scores[0]['rouge-2'])
    print("ROUGE-L:", scores[0]['rouge-l'])
BERTScore

BERTScore — это метрика, используемая для оценки качества текстов, генерируемых моделями обработки естественного языка (NLP). Она измеряет схожесть между двумя текстами, используя эмбеддинги, полученные с помощью модели BERT (Bidirectional Encoder Representations from Transformers). BERTScore часто применяется для задач машинного перевода, реферирования, генерации текста и других задач, где важно сравнение текстов.

Как работает BERTScore

В отличие от традиционных метрик, таких как BLEU или ROUGE, BERTScore использует эмбеддинги слов, чтобы учитывать контекст и семантику. Это позволяет лучше сравнивать тексты по их смыслу, а не только по совпадению слов.

Шаги вычисления BERTScore

1. Получение эмбеддингов: Для каждого слова в эталонном и предсказанном текстах вычисляются эмбеддинги с помощью модели BERT.

2. Вычисление косинусной схожести: Для каждого слова из предсказанного текста вычисляется косинусная схожесть с каждым словом из эталонного текста.

3. Максимальная схожесть: Для каждого слова из предсказанного текста выбирается максимальное значение косинусной схожести с каким-либо словом из эталонного текста.

4. Среднее значение: Вычисляется среднее значение максимальных схожестей для всех слов предсказанного текста.

Пример

Предположим, у нас есть модель машинного перевода, и мы хотим оценить качество её перевода с помощью BERTScore.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Предсказанный текст: "Кошка спит на коврике."

Шаги вычисления BERTScore:

1. Получение эмбеддингов: Используем модель BERT для получения эмбеддингов для каждого слова в обоих текстах.

2. Вычисление косинусной схожести: Вычисляем косинусную схожесть между эмбеддингами слов.

Например:

- Косинусная схожесть между "лежит" и "спит" будет высокой, так как эти слова имеют схожие значения.

3. Максимальная схожесть: Для каждого слова из предсказанного текста выбираем максимальное значение косинусной схожести с каким-либо словом из эталонного текста.

Например:

- Слово "спит" в предсказанном тексте будет иметь максимальную схожесть с словом "лежит" в эталонном тексте.

4. Среднее значение: Вычисляем среднее значение максимальных схожестей для всех слов предсказанного текста.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from bert_score import score

def bert_score(reference, hypothesis):
    reference = [reference]
    hypothesis = [hypothesis]

    P, R, F1 = score(hypothesis, reference, lang="ru")  # lang="ru" для русского языка

    # Вывод результатов
    print(f"Lengths -> Reference: {len(reference)}, Hypothesis: {len(hypothesis)}")
    print(f"Precision: {P.mean().item():.4f}")
    print(f"Recall: {R.mean().item():.4f}")
    print(f"F1 Score: {F1.mean().item():.4f}")
InfoLM

InfoLM (Information-based Language Model) — это метрика для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), такими как машинный перевод, суммаризация и генерация.
Она основана на информационных мерах, вычисляемых с помощью предобученных языковых моделей (например, BERT, RoBERTa), и позволяет измерять семантическое сходство между эталонным и гипотетическим текстами.

В отличие от традиционных метрик (BLEU, ROUGE), InfoLM учитывает контекстуальные вероятностные распределения слов, что делает её более устойчивой к синонимам, перефразировкам и вариативности языка.

Как работает InfoLM

InfoLM измеряет дивергенцию между распределениями, полученными из языковой модели для эталонного и гипотетического текста.
В качестве меры могут использоваться:

  • Кросс-энтропия

  • KL-дивергенция

  • альфа-дивергенция

  • бета-дивергенция

  • Jensen-Shannon дивергенция

  • и другие информационные расстояния

Эти меры применяются к логитам или вероятностям, полученным от языковой модели, что позволяет сравнивать тексты на уровне их семантического содержания, а не только поверхностной формы.

Пример

Предположим, у нас есть система суммаризации, и мы хотим оценить качество её работы с помощью InfoLM.

Данные:

- Эталонный текст: "Кошка лежит на коврике."

- Сгенерированный текст: "Кошка спит на коврике."

Шаги:

  1. Токенизация и представление:

    - Тексты разбиваются на токены и пропускаются через предобученную модель (например, BERT).

  2. Получение распределений:

    - Для каждого токена получаем вероятностное распределение (например, логиты или softmax-оценки).

  3. Вычисление дивергенции:

    - Сравниваем распределения между эталоном и гипотезой с помощью выбранной информационной меры.

  4. Агрегация:

    - Полученные значения агрегируются (например, усредняются) для получения итогового InfoLM-оценивания.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from nlg_eval_via_simi_measures import InfoLM
from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch


def infolm(reference, hypothesis):
    # Инициализация токенизатора и модели
    tokenizer = AutoTokenizer.from_pretrained(
        "bert-base-multilingual-cased")
    model = AutoModelForMaskedLM.from_pretrained(
        "bert-base-multilingual-cased")

    # Инициализация InfoLM
    infolm = InfoLM(model_name="bert-base-multilingual-cased")  # Указываем модель

    # Токенизация текстов
    reference_tokens = tokenizer(reference, return_tensors="pt", 
                                 padding=True, truncation=True)
    hypothesis_tokens = tokenizer(hypothesis, return_tensors="pt", 
                                  padding=True, truncation=True)

    # Получение вероятностных распределений (выводы модели)
    with torch.no_grad():
        reference_distribution = torch.nn.functional.softmax(
            model(**reference_tokens).logits, dim=-1)
        hypothesis_distribution = torch.nn.functional.softmax(
            model(**hypothesis_tokens).logits, dim=-1)

    # Агрегируем вероятностные распределения по всем токенам
    reference_distribution = torch.mean(
        reference_distribution, dim=1).squeeze(0)
    hypothesis_distribution = torch.mean(
        hypothesis_distribution, dim=1).squeeze(0)

    # Вычисление метрики InfoLM
    result = infolm.compute_infolm(
        reference_distribution, hypothesis_distribution)

    # Вывод результата
    print(f"InfoLM Score: {result}")

Метрики, определяющие качество текста

Character Error Rate (CER)

Character Error Rate (CER), или символьная ошибка — это метрика, которая используется для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), такими как системы распознавания речи или машинного перевода. Эта метрика измеряет количество ошибок на уровне символов (букв), сравнивая сгенерированный текст с эталонным.

Как работает Char Error Rate

CER вычисляется как отношение количества вставок (I), удалений (D) и замен (S) символов, необходимых для преобразования сгенерированного текста в эталонный, к количеству символов в эталонном тексте.

Формула

CER = \frac{I + D + S}{N}

где:

- I — количество вставок.
- D — количество удалений.
- S — количество замен.
- N — общее количество символов в эталонном тексте.

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем посимвольно:

Эталонный ответ

Ответ модели

м

я

е

н

я

з

з

о

о

в

в

у

у

т

с

ь

А

А

л

л

е

е

к

к

с

с

а

а

н

н

д

д

р

р

а

в

в

а

ы

с

к

к

а

а

к

к

з

з

о

о

в

в

у

у

т

т

с

я

Итого:

- Вставки (I): 3

- Удаления (D): 5

- Замены (S): 2

- Общее количество символов в эталонном тексте (N): 38

CER = \frac{I + D + S}{N} = \frac{3 + 5 + 2}{38} = \frac{10}{38} = 0.26

Таким образом, в ответе модели примерно 1/3 всех символов подлежат правке, если мы хотим точного совпадения с эталоном.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import editdistance

def calculate_cer(reference, hypothesis):
    # Вычисляем расстояние Левенштейна (количество вставок, удалений и замен)
    lev_distance = editdistance.eval(reference, hypothesis)
    # CER = (Количество ошибок) / (Количество символов в эталонном тексте)
    cer = lev_distance / len(reference)
    return cer
ChrF Score

ChrF Score — это метрика оценки качества текста, сгенерированного системами обработки естественного языка (NLP), особенно в задачах машинного перевода и суммаризации.
Она основана на символьных n-граммах и измеряет точность (precision) и полноту (recall) совпадений между эталонным и гипотетическим текстами.

ChrF особенно полезна для морфологически богатых языков, где формы слов могут сильно варьироваться, а лексические совпадения — быть редкими.

Как работает ChrF Score

  • Тексты разбиваются на символьные n-граммы (например, 6-граммы).
    N-грамма — это последовательность из n элементов, то есть фрагментов текста длиной n символов.
    Например, для слова "зовут" n-граммы будут выглядеть так:
    1-граммы: "з", "о", "в", "у", "т"
    2-граммы: "зо", "ов", "ву", "ут"
    3-граммы: "зов", "ову", "вут"
    4-граммы: "зову", "овут"
    5-граммы: "зовут"

  • Вычисляются:
    - Precision — доля совпавших n-грамм среди всех n-грамм гипотезы.
    - Recall — доля совпавших n-грамм среди всех n-грамм эталона.

  • Итоговая метрика — взвешенная гармоническая средняя (F-score) между precision и recall.

Формула

ChrF Score основан на взвешенной гармонической среде точности (precision) и полноты (recall) для символов.

\text{ChrF}_\beta = \frac{(1 + \beta^2) \cdot \text{Precision} \cdot \text{Recall}}{\beta^2 \cdot \text{Precision} + \text{Recall}}

где:

- Precision — доля совпадений n-грамм сгенерированного текста среди всех n-грамм сгенерированного текста.
- Recall — доля совпадений n-грамм эталонного текста среди всех n-грамм эталонного текста.
-\beta— параметр, который позволяет настроить относительный вклад точности и полноты (обычно = 1).

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

На первый взгляд фразы похожи, но ChrF учитывает точные символьные совпадения, включая пробелы и окончания слов.

Попробуем посчитать ChrF Score для n-грамм от 1 до 6.
Затем сравним этот подсчет с результатом вычисления ChrF Score из библиотеки sacrebleu.
Сделаем это с помощью вот такого кода:

from collections import Counter
from sacrebleu.metrics import CHRF

def get_char_ngrams(text, n):
    """Разбивает текст на символьные n-граммы, включая пробелы."""
    return [text[i:i+n] for i in range(len(text) - n + 1)]

def compute_chrf_full(reference, hypothesis, max_order=6, beta=1.0):
    """Расширенный расчёт ChrF с агрегацией по n-граммам от 1 до max_order."""
    total_f_score = 0.0
    levels = []

    for n in range(1, max_order + 1):
        ref_ngrams = get_char_ngrams(reference, n)
        hyp_ngrams = get_char_ngrams(hypothesis, n)

        ref_counts = Counter(ref_ngrams)
        hyp_counts = Counter(hyp_ngrams)

        overlap_counts = ref_counts & hyp_counts
        overlap = sum(overlap_counts.values())

        precision = overlap / max(len(hyp_ngrams), 1)
        recall = overlap / max(len(ref_ngrams), 1)

        if precision + recall == 0:
            f_score = 0.0
        else:
            f_score = (1 + beta**2) * precision * recall / (
                      beta**2 * precision + recall)

        levels.append({
            "n": n,
            "precision": precision,
            "recall": recall,
            "f_score": f_score
        })

        total_f_score += f_score

    avg_f_score = total_f_score / max_order

    # Вывод по уровням
    print("\n📊 ChrF по уровням n-грамм:")
    for lvl in levels:
        print(f"  {lvl['n']}-граммы → Precision: {lvl['precision']:.4f}, "
              f"Recall: {lvl['recall']:.4f}, F1: {lvl['f_score']*100:.2f}")

    print(f"\n🎯 ChrF Score (ручной, среднее по уровням): "
          f"{avg_f_score * 100:.2f}")

    # Сравнение с sacrebleu
    chrf_metric = CHRF(char_order=max_order, word_order=0, whitespace=True)
    sacrebleu_score = chrf_metric.corpus_score([hypothesis], [[reference]])
    print(f"✅ ChrF Score (sacrebleu): {sacrebleu_score.score:.2f}")

    return avg_f_score * 100

По результатам расчета получаем следующие значения:

ChrF по уровням n-грамм:
1-граммы → Precision: 0.8857, Recall: 0.8611, F1: 87.32
2-граммы → Precision: 0.7647, Recall: 0.7429, F1: 75.36
3-граммы → Precision: 0.6970, Recall: 0.6765, F1: 68.66
4-граммы → Precision: 0.6250, Recall: 0.6061, F1: 61.54
5-граммы → Precision: 0.5484, Recall: 0.5312, F1: 53.97
6-граммы → Precision: 0.4667, Recall: 0.4516, F1: 45.90

ChrF Score (ручной, среднее по уровням): 65.46
ChrF Score (sacrebleu): 64.87

Таким образом, среднее значение ChrF Score составляет примерно 65%.
Это свидетельствует о хорошем уровне совпадения между гипотезой и эталоном. Несмотря на различия в формулировках («Меня зовут» vs «Я зовусь», «вас» vs «вы»), большая часть символьных фрагментов совпадает, особенно в ключевых словах и структуре фразы.
Если будет необходимо более точное совпадение, можно установить граничное значение, при котором перевод будет считаться успешным.

Edit Distance

Edit Distance, также известное как Levenshtein Distance — это метрика, измеряющая минимальное количество операций редактирования, необходимых для преобразования одной строки в другую.

Операции включают:

- Вставку символа
- Удаление символа
- Замену одного символа на другой

Эта метрика широко применяется в задачах обработки текстов, распознавания речи, исправления опечаток, поиска дубликатов и даже в биоинформатике.

Как работает Edit Distance

Edit Distance вычисляется с помощью динамического программирования, где строится матрица, отражающая стоимость преобразования каждой подстроки одной строки в другую.

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “меня”

Ответ модели: “Я”

Сравниваем посимвольно:

- Создаем таблицу размером (len(A) + 1) x (len(B) + 1) для хранения промежуточных значений расстояний.

Ø

м

е

н

я

Ø

0

1

2

3

4

я

1

1

2

3

3

Операции редактирования:

- Вставка "м" перед "я" (1 операция)

- Вставка "е" после "м" и перед “я” (1 операция)

- Вставка "н" после "е" и перед “я” (1 операция)

Итого: 3 операции

Edit Distance между "я" и "меня" равен 3

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import editdistance


lev_distance = editdistance.eval(reference_text, hypothesis_text)
print(f"Levenshtein Distance: {lev_distance}")
Extended Edit Distance

Extended Edit Distance (расширенное расстояние редактирования) — это метрика, используемая для измерения минимального количества операций редактирования, необходимых для преобразования одной строки в другую. В отличие от обычного Edit Distance (расстояния редактирования), которое учитывает только вставки, удаления и замены символов, Extended Edit Distance может учитывать дополнительные операции, такие как транспозиции (перестановки символов) и другие операции, в зависимости от конкретной реализации.

Как работает Extended Edit Distance

Extended Edit Distance учитывает дополнительные операции редактирования, что позволяет более точно измерять различия между строками, особенно если строки содержат перестановки символов или другие сложные изменения.

Допустим, у нас есть 2 строки.

Строка 1: “продух”

Строка 2: “проход”

Сравниваем посимвольно:

- Создаем таблицу размером (len(A) + 1) x (len(B) + 1) для хранения промежуточных значений расстояний.

Ø

п

р

о

д

у

х

Ø

0

1

2

3

4

5

6

п

1

0

1

2

3

4

5

р

2

1

0

1

2

3

4

о

3

2

1

0

1

2

3

х

4

3

2

1

1

2

2

о

5

4

3

2

2

2

3

д

6

5

4

3

2

3

3

Операции редактирования:

- Транспозиция "д" и "х" (1 операция)

- Замена “у” на “о” (1 операция)

Итого: 2 операции

Extended Edit Distance между "продух" и "проход" равен 2

Translation Edit Rate (TER)

Translation Edit Rate (TER) — это метрика, используемая для оценки качества машинного перевода. TER измеряет количество редактирования, необходимого для преобразования перевода модели в эталонный перевод. Основные операции редактирования включают вставку, удаление, замену и перестановку слов. TER полезен для измерения усилий, необходимых для постредактирования машинных переводов.

Как работает Translation Edit Rate

TER вычисляется как отношение минимального количества операций редактирования, необходимых для приведения перевода модели в соответствие с эталонным переводом, к общему количеству слов в эталонном переводе.

Формула

\text{TER} = \frac{\text{Количество операций редактирования}}{\text{Количество слов в эталонном переводе}}

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” заменено на “Я”

  • “зовут” заменено на “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” заменено на “вы”

  • “как” совпадает с “как”

  • “зовут” заменено на “зовутся”

Вычисление Translation Error Rate:

- Вставки (I): 0

- Удаления (D): 0

- Замены (S): 4

Общее количество слов в эталонном переводе: 7

\text{TER} = \frac{4}{7} \approx 0.571

Таким образом, примерно 57.1% слов в выданном моделью ответе отличаются от эталонного.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import evaluate


# Загрузка метрики TER
ter_metric = evaluate.load("ter")

# Вычисление метрики TER
results = ter_metric.compute(predictions=predictions, references=references)
print(results)
Word Error Rate (WER)

Word Error Rate (WER) — это метрика, используемая для оценки качества текстов, сгенерированных системами распознавания речи и другими системами обработки естественного языка (NLP). WER измеряет количество ошибок на уровне слов, сравнивая сгенерированный текст с эталонным. Она полезна для измерения точности систем распознавания речи и определения количества редактирования, необходимого для приведения распознанного текста в соответствие с эталонным.

Как работает Word Error Rate

WER вычисляется как отношение суммы ошибок (вставок, удалений и замен) к общему количеству слов в эталонном тексте.

Формула

\text{WER} = \frac{I + D + S}{N}

где:

- I — количество вставок (insertions).

- D — количество удалений (deletions).

- S — количество замен (substitutions).

- N — общее количество слов в эталонном тексте.

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” не совпадает с “Я”

  • “зовут” не совпадает с “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” не совпадает с “вы”

  • “как” совпадает с “как”

  • “зовут” не совпадает с “зовутся”

Количество ошибок: 4

- Общее количество слов в эталонном тексте (N): 7

Вычисление Word Error Rate:

\text{WER} = \frac{I + D + S}{N} = \frac{0 + 0 + 4}{7} = \frac{4}{7} \approx 0.571

Ключевые различия между WER и TER:

  • WER строго сравнивает слово за словом, без учета порядка.
    Если слово стоит не на своём месте, это ошибка.

  • TER допускает перестановки (shifts), если они минимизируют общее число операций.
    Это делает TER более гибким для оценки переводов, где порядок слов может варьироваться.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import jiwer

def calc_wer(ground_truth, hypothesis):
  wer = jiwer.wer(ground_truth, hypothesis)
  print(f"Word Error Rate (WER): {wer}")
Word Information Lost (WIL)

Word Information Lost (WIL) — это метрика, используемая для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), особенно в задачах распознавания речи. WIL измеряет долю информации, потерянной при преобразовании эталонного текста в сгенерированный текст. Она учитывает количество ошибок на уровне слов, таких как вставки, удаления и замены.

Как работает Word Information Lost

WIL вычисляется на основе количества ошибок редактирования, необходимых для преобразования эталонного текста в сгенерированный текст, с учетом длины обоих текстов.

Формула

\text{WIL} = 1 - \frac{N - D - S}{N}

где:

- N — общее количество слов в эталонном тексте.

- D — количество удалений (deletions).

- S — количество замен (substitutions).

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” не совпадает с “Я”

  • “зовут” не совпадает с “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” не совпадает с “вы”

  • “как” совпадает с “как”

  • “зовут” не совпадает с “зовутся”

Количество ошибок: 4

Общее количество слов в эталонном тексте (N): 7

Вычисление Word Information Lost:

\text{WIL} = 1 - \frac{7 - 0 - 4}{7} = 1 - \frac{3}{7} = \frac{4}{7} \approx 0.571

Таким образом, по итогам расчета, предположительно 57,1% информации может быть потеряно.

Различия между WER и WIL:

  • WER и WIL могут давать одинаковые значения, но WIL интерпретируется как потеря информации, а не просто ошибки.

  • WIL полезна, когда важно понять, насколько смысл сохранился, особенно в задачах с семантической нагрузкой.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import jiwer


def calc_wil(ground_truth, hypothesis):
   wil = jiwer.wil(ground_truth, hypothesis)
   return wil

Важно отметить, что реализация такой метрики в jiwer содержит свои алгоритмы выравнивания. Поэтому результаты расчета вручную и с помощью этой библиотеки могут быть разными.

Word Information Preserved (WIP)

Word Information Preserved (WIP) — это метрика, используемая для оценки качества текстов, сгенерированных системами обработки естественного языка (NLP), такими как системы распознавания речи и машинного перевода. WIP измеряет долю информации, сохраненной при преобразовании эталонного текста в сгенерированный текст. Она учитывает количество ошибок на уровне слов, таких как вставки, удаления и замены, и оценивает, насколько хорошо система сохраняет исходную информацию.

Как работает Word Information Preserved

WIP вычисляется на основе количества ошибок редактирования, необходимых для преобразования эталонного текста в сгенерированный текст, с учетом длины обоих текстов.

Формула

\text{WIP} = \frac{N - D - S}{N}

где:

- N — общее количество слов в эталонном тексте.

- D — количество удалений (deletions).

- S — количество замен (substitutions).

Пример

Допустим, у нас есть ответ AI модели при формировании перевода диалога на китайском языке на русский язык.

Эталонный ответ: “Меня зовут Александр, а вас как зовут?”

Ответ модели: “Я зовусь Александр, а вы как зовутся?”

Сравниваем по словам:

  • “Меня” не совпадает с “Я”

  • “зовут” не совпадает с “зовусь”

  • “Александр” совпадает с “Александр”

  • “а” совпадает с “а”

  • “вас” не совпадает с “вы”

  • “как” совпадает с “как”

  • “зовут” не совпадает с “зовутся”

Количество ошибок: 4

- Общее количество слов в эталонном тексте (N): 7

Вычисление Word Information Preserved:

\text{WIP} = \frac{7 - 0 - 4}{7} = \frac{3}{7} \approx 0.429

Таким образом, примерно 42.9% информации было сохранено в выданном моделью ответе.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import jiwer


def calc_wip(ground_truth, hypothesis):
    wil = jiwer.wil(ground_truth, hypothesis)
    wip = 1 - wil  # WIP = 1 - WIL
    return wip

Важно отметить, что реализация такой метрики в jiwer содержит свои алгоритмы выравнивания. Поэтому результаты расчета вручную и с помощью этой библиотеки могут быть разным

Метрики, использующие вероятности предсказания

Cross-Entropy Loss

Cross-Entropy Loss (или Кросс-энтропия) — это одна из наиболее часто используемых функций потерь в задачах классификации, особенно в нейронных сетях и языковых моделях. Она измеряет разницу между реальным распределением классов и предсказанным распределением вероятностей модели. Давайте разберёмся подробно.

1. Идея Cross-Entropy Loss

Цель этой метрики — "наказать" модель за то, насколько сильно её предсказания отклоняются от реальных меток классов. Если модель предсказывает вероятности классов правильно, значение функции будет минимальным. В противном случае функция увеличивается.

2. Формула

Для задачи с n примеров и k классов Cross-Entropy Loss вычисляется как:

L = -\frac{1}{n} \sum_{i=1}^{n} \sum_{j=1}^{k} y_{ij} \log(p_{ij})

где:
- yij — истинная метка класса (0 или 1),
- pij— предсказанная вероятность класса j для примера i,
- n — общее количество примеров,
- k — количество классов.

Упрощённо для бинарной классификации ((k = 2)):

L = -\frac{1}{n} \sum_{i=1}^{n} \left[ y_i \log(p_i) + (1 - y_i) \log(1 - p_i) \right]

где:
- (yi in {0, 1}) — истинная метка,
- (pi in [0, 1]) — предсказанная вероятность положительного класса.

для одного конкретного примера эта формула будет еще проще:

L = - \left[ y \log(p) + (1 - y) \log(1 - p) \right]

Пример:

Допустим, у нас есть модель, которая классифицирует изображение как одно из трёх животных:

  • Класс 0: Кошка

  • Класс 1: Собака

  • Класс 2: Лиса


Она возвращает логиты [2.0, 1.0, 0.1], а истинная метка — "кошка" (класс 0).
После применения softmax получаем вероятности [0.659, 0.242, 0.099].
Cross-Entropy Loss будет:

\text{L} = -\log(0.659) \approx 0.417

Чем выше уверенность модели в правильном классе, тем ниже значение функции потерь.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import torch
import torch.nn as nn
import torch.nn.functional as F

# Логиты от модели (до softmax)
logits = torch.tensor([[2.0, 1.0, 0.1]])

# Истинная метка (класс 0 — кошка)
true_label = torch.tensor([0])

# Инициализация функции потерь
loss_fn = nn.CrossEntropyLoss()

# Вычисление loss
loss = loss_fn(logits, true_label)
print(f"Cross-Entropy Loss: {loss.item():.4f}")

# Вероятности после softmax
probs = F.softmax(logits, dim=1)
print(f"Predicted probabilities: {probs.tolist()}")
Semantic-Aware Cross-Entropy Loss (SACEL)

Semantic-Aware Cross-Entropy Loss (SACEL) — это модифицированная функция потерь, предназначенная для оценки качества генерации текста нейросетевыми моделями. В отличие от классической cross-entropy, SACEL учитывает не только вероятность появления слов или фраз, но и их соответствие ожидаемому смыслу. Метрика penalизирует модель за высокую уверенность в семантически неверных фрагментах и поощряет уверенность в корректных.

1. Идея SACEL

Цель этой метрики — "наказать" модель как за излишнюю уверенность в принадлежности терминов или фразе к конкретной категории.
Если модель предсказывает принадлежность к категории верно и с большим показателем вероятности, значение функции будет минимальным.
Если модель предсказывает принадлежность к классу неверно или верно с низким показателем вероятности, значение будет умеренным (примерно в районе 1-2).
Если же модель предсказывает принадлежность категории неверно и с большим показателем вероятности, значения будут высокими (более 2).

На основании результатов расчета:
- в случае низких показателей вероятности можно сделать вывод о недостаточной обученности модели;
- в случае высоких показателей вероятности при неверно определенной категории можно сделать вывод об обучении модели на неверных данных.

2. Формула

Для задачи с n примеров и k классов Cross-Entropy Loss вычисляется как:

\text{SACEL}_i = - \left[ y_i \cdot \log(p_i^*) + (1 - y_i) \cdot \log(1 - p_i^*) \right]

где:
- y_i \in {0, 1} — истинная метка класса (0 или 1),
- p_i \in [0, 1] — вероятность появления фразы по logprobs,
- \hat{y}_i \in {0, 1} — фактическое решение модели (соответствует категории или нет),
- p_i^* - скорректированная вероятность:

\begin{cases} p_i, & \text{если } y_i = \hat{y}_i \\ 1 - p_i, & \text{если } y_i \ne \hat{y}_i \end{cases}

В общем виде формула выглядит так:

\text{SACEL} = \frac{1}{n} \sum_{i=1}^{n} \text{SACEL}_i

Пример:

Допустим, у нас есть 5 вопросов и ожидаемых ответов AI модели на определенный вопрос:

  1. Вопрос: у меня есть вот такой перечень понятий: расходы на восстановление права, утрата имущества, порча имущества, упущенная выгода. напиши, какие из этих понятий относятся к определению реального ущерба в Российском законодательстве, а какие нет.

    Ожидаемый ответ: К реальному ущербу относятся расходы на восстановление права, утрата имущества, порча имущества; не относится - упущенная выгода.

  2. Вопрос: у меня есть список стран: Россия, Польша, Великобритания, Азербайджан, США. в каких из этих стран проходят этапы формулы 1 в 2025 году?

    Ожидаемый ответ: в 2025 году проходят этапы формулы 1 в США, Великобритании, Азербайджане, а не проходят в России и Польше.

Теперь давайте посмотрим на ответы AI модели с рассчитанными вероятностями появления слов.

  1. Вероятность появления слова 'В': 0.0071
    Вероятность появления слова 'российском': 0.0631
    Вероятность появления слова 'законодательстве': 0.9986
    Вероятность появления слова 'к': 0.7805
    Вероятность появления слова 'понятию': 0.0000
    Вероятность появления слова 'реального': 0.9906
    Вероятность появления слова 'ущерба': 0.9999
    Вероятность появления слова 'относятся': 0.9923
    Вероятность появления слова 'утрата': 0.0007
    Вероятность появления слова 'имущества,': 0.2412
    Вероятность появления слова 'порча': 0.9988
    Вероятность появления слова 'имущества': 1.0000
    Вероятность появления слова 'и': 0.8746
    Вероятность появления слова 'упущенная': 0.9619
    Вероятность появления слова 'выгода.': 0.9871
    Вероятность появления слова 'Расходы': 0.9989
    Вероятность появления слова 'на': 1.0000
    Вероятность появления слова 'восстановление': 0.9993
    Вероятность появления слова 'права': 0.9991
    Вероятность появления слова 'не': 0.6995
    Вероятность появления слова 'являются': 0.0051
    Вероятность появления слова 'частью': 0.1858
    Вероятность появления слова 'понятия': 0.0192
    Вероятность появления слова 'реального': 0.9992
    Вероятность появления слова 'ущерба.': 0.8929

    средняя вероятность появления словосочетания после слова “относится”:
    “утрата имущества”: 0,12095 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.12095) + 0 \cdot \log(1 - 0.12095) \right] = -\log(0.12095)\approx 2.112

    “порча имущества”: 0,9994 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.9994) + (1 - 1) \cdot \log(1 - 0.9994) \right]=-\left[ \log(0.9994) \right] \approx 0.0006

    “упущенная выгода”: 0,9745 (0)

    здесь ответ должен быть отрицательным, но система оценила его положительным.

    \small SACEL = -\left[ 0 \cdot \log(0.9745) + 1 \cdot \log(1 - 0.9745) \right] = -\log(0.0255)\approx 3.669

    вероятность появления словосочетания:

    “расходы на восстановление права”: 0,9993 (1)

    здесь ответ должен быть положительным, но модель посчитала его отрицательным. Поэтому предсказанная вероятность положительного класса будет равна 1 - 0,9993 = 0,0007

    \small SACEL = -\left[ 1 \cdot \log(0.0007) + (1 - 1) \cdot \log(1 - 0.0007) \right]=-\log(0.0007)\approx 7.264

  2. Вероятность появления слова 'В': 0.4005
    Вероятность появления слова '2025': 0.9949
    Вероятность появления слова 'году': 0.9999
    Вероятность появления слова 'этапы': 0.9660
    Вероятность появления слова 'Формулы': 0.8278
    Вероятность появления слова '1': 0.9765
    Вероятность появления слова 'пройдут': 0.3191
    Вероятность появления слова 'в': 0.9974
    Вероятность появления слова 'России,': 0.6528
    Вероятность появления слова 'Великобритании': 0.9943
    Вероятность появления слова 'и': 0.4960
    Вероятность появления слова 'С\xd0\xa8А.': 0.6739

    вероятность появления слов:

    России: 0,6528 (0)

    ответ должен быть отрицательным, но модель оценила его положительным.

    \small SACEL = -\left[ 0 \cdot \log(0.6528) + 1 \cdot \log(1 - 0.6528) \right]=-\log(0.3472)\approx 1.058

    Великобритании: 0,9943 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.9943) + 0 \cdot \log(1 - 0.9943) \right]=-\log(0.9943)\approx 0.006

    США: 0,6739 (1)

    \small SACEL = -\left[ 1 \cdot \log(0.6739) + 0 \cdot \log(1 - 0.6739) \right]=-\log(0.6739)\approx 0.395

    Азербайджан и Польша вовсе не указаны в ответе, поэтому по умолчанию укажем их 0,9999 (максимальная уверенность модели в отсутствии этапов формулы 1 в этих странах).

    В таких условиях для Польши показатель будет равен:

    \small SACEL = -\left[ 0 \cdot \log(0.0001) + 1 \cdot \log(1 - 0.0001) \right] = -\log(0.9999)\approx 0.0001

    Для Азербайджана показатель будет равен:

    \small SACEL = -\left[ 1 \cdot \log(0.0001) + 0 \cdot \log(1 - 0.0001) \right] = -\log(0.0001)\approx 9.2103

Чем ближе результат вычисления метрики к 0, тем точнее она предсказывает ответы.

Теперь посчитаем среднее значение метрики по всем данным ответам:

SACEL_{\text{ср}} = \frac{23.715}{9} \approx 2.635

Таким образом, среднее значение SACEL выше 2, что, многовероятно, свидетельствует об обучении модели на неверных или шумных данных.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

import numpy as np

def define_positive_class_prob(true_label, predicted_label, predicted_prob):
    if true_label == 1 and true_label == predicted_label:
        positive_prob = predicted_prob
    elif true_label == 1 and true_label != predicted_label:
        positive_prob = 1 - predicted_prob
    elif true_label == 0 and true_label == predicted_label:
        positive_prob = 1 - predicted_prob
    else:
        positive_prob = predicted_prob
    return positive_prob

def sacel_binary(true_labels, predicted_labels, predicted_probs):

    # Вычисляем вероятности положительного класса
    positive_probs = np.array([
        define_positive_class_prob(true_label, predicted_label, 
                                   predicted_prob)
        for true_label, predicted_label, predicted_prob in zip(true_labels, 
                                        predicted_labels, predicted_probs)
    ])

    # Устанавливаем минимальное значение epsilon для защиты от log(0)
    epsilon = 1e-10
    positive_probs = np.clip(positive_probs, epsilon, 1 - epsilon)

    # Убедимся, что все входные данные — массивы numpy
    true_labels = np.array(true_labels)

    # Вычисляем SACEL
    loss = -np.mean(
        true_labels * np.log(positive_probs) +
        (1 - true_labels) * np.log(1 - positive_probs)
    )
    print(loss)
    return loss
Label Ranking Average Precision (LRAP)

Label Ranking Average Precision (LRAP) — это метрика, используемая для оценки моделей многоклассовой классификации, особенно в задачах, где каждый пример может принадлежать к нескольким классам одновременно. Она измеряет, насколько хорошо модель ранжирует правильные метки выше неправильных.

Как работает LRAP

LRAP вычисляется следующим образом:
1. Для каждого примера определяется порядок, в котором модель ранжирует метки.
2. Вычисляется доля правильно ранжированных меток среди всех возможных пар.
3. LRAP — это среднее значение этих долей по всем примерам.

Формула для вычисления LRAP выглядит следующим образом:

\text{LRAP} = \frac{1}{|\small\text{True Labels}|} \sum_{j \in \small\text{TrueLabels}} \frac{|\{k : \text{score}_k \geq \text{score}_j \text{ and } k \in \text{TrueLabels}\}|}{\text{rank}_j}

Пример использования LRAP

Предположим, у нас есть задача многоклассовой классификации, где каждый пример может принадлежать нескольким классам одновременно. Ниже приведен пример с 3 примерами и 5 классами.

Пример данных:

  • Пример 1: Метки (A, B), Предсказанные вероятности: A=0.9, B=0.8, C=0.1, D=0.4, E=0.3

  • Пример 2: Метки (C, D), Предсказанные вероятности: A=0.2, B=0.5, C=0.7, D=0.9, E=0.1

  • Пример 3: Метки (B, E), Предсказанные вероятности: A=0.1, B=0.9, C=0.3, D=0.2, E=0.8

Вычисление LRAP:

1. Пример 1: Метки (A, B)

- Предсказанные вероятности: [0.9, 0.8, 0.1, 0.4, 0.3]

- Ранжирование меток: [A, B, D, E, C]

- Доля правильно ранжированных меток:

- A: ранжирована выше всех (1/1 = 1.0)

- B: ранжирована выше всех неправильных (1/1 = 1.0)

2. Пример 2: Метки (C, D)

- Предсказанные вероятности: [0.2, 0.5, 0.7, 0.9, 0.1]

- Ранжирование меток: [D, C, B, A, E]

- Доля правильно ранжированных меток:

- D: ранжирована выше всех (1/1 = 1.0)

- C: ранжирована выше всех неправильных (1/1 = 1.0)

3. Пример 3: Метки (B, E)

- Предсказанные вероятности: [0.1, 0.9, 0.3, 0.2, 0.8]

- Ранжирование меток: [B, E, C, D, A]

- Доля правильно ранжированных меток:

- B: ранжирована выше всех (1/1 = 1.0)

- E: ранжирована выше всех неправильных (1/1 = 1.0)

Среднее значение правильно ранжированных меток для всех примеров:

\text{LRAP} =\small\frac{1}{3} \left( \frac{1.0 + 1.0}{2} + \frac{1.0 + 1.0}{2} + \frac{1.0 + 1.0}{2} \right)== \frac{1}{3}(1.0 + 1.0 + 1.0) = 1.0

Таким образом, все метки были ранжированы правильно.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import label_ranking_average_precision_score


def calculate_lrap_score(true_labels, predicted_probabilities):


    lrap_score = label_ranking_average_precision_score(true_labels, predicted_probabilities)

    print(f'Label Ranking Average Precision (LRAP): {lrap_score:.2f}')
Label Ranking Loss (LRL)

Label Ranking Loss (или Loss for Label Ranking) — это метрика, используемая для оценки моделей многоклассовой классификации, особенно в задачах, где каждый пример может принадлежать к нескольким классам одновременно. Эта метрика измеряет, насколько правильно модель ранжирует метки.

Как работает Label Ranking Loss

Label Ranking Loss вычисляется следующим образом:
1. Для каждого примера определяется порядок, в котором модель ранжирует метки.
2. Сравнивается этот порядок с правильным порядком меток.
3. Рассчитывается доля неправильно ранжированных пар меток для каждого примера

Формула для вычисления Label Ranking Loss:

\text{LRL} = \frac{\text{Количество неправильно ранжированных пар}}{\text{Общее количество пар}}\text{Количество пар} = k \cdot (n - k)

где

k - количество истинных меток

n - общее количество меток.

Таким образом, общее количество пар - это число пар истинных (релевантных) / ложных (нерелевантных) меток.

Пример использования Label Ranking Loss

Предположим, у нас есть задача многоклассовой классификации, где каждый пример может принадлежать нескольким классам одновременно. Рассмотрим пример с 3 примерами и 4 классами.

Пример данных:

  • Пример 1: Метки (A, B), Предсказанные вероятности: A=0.9, B=0.6, C=0.8, D=0.3

  • Пример 2: Метки (C, D), Предсказанные вероятности: A=0.8, B=0.7, C=0.6, D=0.5

  • Пример 3: Метки (B, D), Предсказанные вероятности: A=0.3, B=0.6, C=0.4, D=0.5

Вычисление Label Ranking Loss:

1. Пример 1: Метки (A, B)

- Предсказанные вероятности: [0.9, 0.8, 0.6, 0.3]

- Ранжирование меток: [A, С, B, D]

- Неправильные ранжирования:

- Пара C, B: r(C)=0.8, r(B)=0.6 (неправильно)

- Неправильные пары: 1 из 4 (C, B)

- Label Ranking Loss = 1 / 4 = 0.25

2. Пример 2: Метки (C, D)

- Предсказанные вероятности: [0.8, 0.7, 0.6, 0.5]

- Ранжирование меток: [A, B, C, D]

- Неправильные ранжирования:

- Пара B, D: r(B)=0.7, r(D)=0.5 (неправильно)

- Пара B, C: r(B)=0.7, r(C)=0.6 (неправильно)

- Пара A, C: r(A)=0.8, r(C)=0.6 (неправильно)

- Пара A, D: r(A)=0.8, r(D)=0.5 (неправильно)

- Неправильные пары: 4 из 4 (B, D и A, C)

- Label Ranking Loss = 4 / 4 = 1

3. Пример 3: Метки (B, D)

- Предсказанные вероятности: [0.3, 0.6, 0.4, 0.5]

- Ранжирование меток: [B, D, C, A]

- Неправильные ранжирования: отсутствуют

- Неправильные пары: 0 из 4

- Label Ranking Loss = 0 / 4 = 0

Среднее значение Label Ranking Loss для всех примеров:

\text{LRL} = \frac{0.25 + 1.0 + 0.0}{3} = \frac{1.25}{3} = 0.4167

Таким образом, можно сделать вывод, что примерно 41,67% пар были ранжированы неверно.

Реализовать подсчет метрики в Python можно с помощью следующего кода:

from sklearn.metrics import label_ranking_loss


def calculate_lrl(true_labels, predicted_probabilities):

    # Расчет метрики Label Ranking Loss
    lrl_score = label_ranking_loss(true_labels, predicted_probabilities)

    print(f'Label Ranking Loss (LRL): {lrl_score:.2f}')
LogAUC

Log AUC (логарифмическая площадь под кривой) — это метрика, используемая для оценки качества классификационных моделей, особенно в задачах бинарной классификации. Она измеряет качество предсказаний модели путем вычисления площади под кривой ROC (Receiver Operating Characteristic), где по оси X откладывается доля ложноположительных предсказаний (False Positive Rate), а по оси Y — доля истинно положительных предсказаний (True Positive Rate).

Как работает Log AUC

Log AUC отличается от обычной AUC тем, что учитывает логарифмическое преобразование меток, что помогает сгладить воздействие крайней нечувствительности моделей к определенным классам.

Пример

Предположим, у нас есть классификационная задача, где нужно определить, будет ли пользователь покупать товар на основе его поведения.

Данные:

- Истинные метки (y): [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]

- Предсказанные вероятности (p): [0.9, 0.1, 0.8, 0.7, 0.3, 0.6, 0.2, 0.4, 0.95, 0.05]

Построение ROC-кривой:

1. Сортировка предсказанных вероятностей:

- [0.95, 0.9, 0.8, 0.7, 0.6, 0.4, 0.3, 0.2, 0.1, 0.05]

2. Соответствующие истинные метки:

- [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]

3. Вычисление TPR и FPR для каждого порога:

- Порог 0.95: TPR = 1/5, FPR = 0/5, logFPR = -6
- Порог 0.9: TPR = 2/5, FPR = 0/5, logFPR = -6
- Порог 0.8: TPR = 3/5, FPR = 0/5, logFPR = -6
- Порог 0.7: TPR = 4/5, FPR = 0/5, logFPR = -6
- Порог 0.6: TPR = 5/5, FPR = 0/5, logFPR = -6
- Порог 0.4: TPR = 5/5, FPR = ⅕, logFPR = -0.699
- Порог 0.3: TPR = 5/5, FPR = ⅖, logFPR = -0.3979
- Порог 0.2: TPR = 5/5, FPR = ⅗, logFPR = -0,2218
- Порог 0.1: TPR = 5/5, FPR = ⅘, logFPR = -0.0969
- Порог 0.05: TPR = 5/5, FPR = 5/5, logFPR = 0

Здесь, чтобы избежать вычисления логарифма от 0, принимаем по умолчанию малое значение 0,000001.

По итогам расчета график logAUC выглядит вот так:

График LogAUC
График LogAUC

По такому графику можно легко проследить, какие результаты будут при разных порогах.

Например, при пороге 0,2 модель будет воспринимать как положительные в том числе и 3 отрицательных ответа.

Давайте рассчитаем Log AUC для наших данных

import numpy as np

# Данные

tpr = np.array([1/5, 2/5, 3/5, 4/5, 5/5, 5/5, 5/5, 5/5, 5/5, 5/5])
fpr = np.array([0, 0, 0, 0, 0, 1/5, 2/5, 3/5, 4/5, 5/5])

# Логарифмируем FPR
epsilon = 1e-6
log_fpr = np.log10(fpr + epsilon)

# Сортируем по log_fpr
sorted_indices = np.argsort(log_fpr)
x = log_fpr[sorted_indices]
y = tpr[sorted_indices]

# Метод трапеций
log_auc = np.trapz(y, x)
print(f"Log AUC = {log_auc:.4f}")

Log AUC = 6.0000

Такие показатели означают, что модель очень точна в своих предсказаниях.

Чем выше Log AUC, тем лучше модель удерживает высокую точность при минимальных ложных срабатываниях.
Чем ниже Log AUC, тем быстрее она начинает ошибаться — особенно в чувствительных зонах.

Фактическая вероятность

Фактическая доля положительных примеров (или фактическая вероятность) для каждого интервала предсказанных вероятностей определяется путем подсчета количества положительных примеров в этом интервале и деления этого числа на общее количество примеров в том же интервале. Этот процесс позволяет сравнить предсказанную вероятность с фактической частотой положительных исходов в каждом интервале.

Пример

Предположим, у нас есть 10 примеров с предсказанными вероятностями и их фактическими метками (1 - положительный, 0 - отрицательный):

Пример

Предсказанная вероятность

Фактическая метка

1

0.05

0

2

0.12

0

3

0.18

1

4

0.22

0

5

0.35

1

6

0.40

1

7

0.55

1

8

0.62

1

9

0.78

1

10

0.85

1

Давайте разделим предсказанные вероятности на интервалы с шагом 0.1 и вычислим фактическую долю положительных примеров для каждого интервала.

Интервал вероятности

Предсказанные вероятности

Фактические метки

Доля положительных примеров

0.0 - 0.1

0.05

0

0 / 1 = 0.0

0.1 - 0.2

0.12, 0.18

0, 1

1 / 2 = 0.5

0.2 - 0.3

0.22

0

0 / 1 = 0.0

0.3 - 0.4

0.35, 0.40

1, 1

2 / 2 = 1

0.4 - 0.5

-

-

-

0.5 - 0.6

0.55

1

1 / 1 = 1.0

0.6 - 0.7

0.62

1

1 / 1 = 1.0

0.7 - 0.8

0.78

1

1 / 1 = 1.0

0.8 - 0.9

0.85

1

1 / 1 = 1.0

Объяснение расчета:

1. Интервал 0.0 - 0.1:
- Предсказанная вероятность: 0.05
- Фактическая метка: 0
- Доля положительных примеров: 0 / 1 = 0.0

2. Интервал 0.1 - 0.2:
- Предсказанные вероятности: 0.12, 0.18
- Фактические метки: 0, 1
- Доля положительных примеров: 1 / 2 = 0.5

3. Интервал 0.3 - 0.4:
- Предсказанные вероятности: 0.35, 0.40
- Фактические метки: 1, 1
- Доля положительных примеров: 2 / 2 = 1.0

И так далее для остальных интервалов.

Итог:

Для каждого интервала фактическая доля положительных примеров вычисляется как отношение количества положительных меток к общему количеству примеров в этом интервале. Это позволяет понять, насколько хорошо предсказанные вероятности модели соответствуют фактическим исходам.

Calibration Error (ошибка калибровки)

Calibration Error (ошибка калибровки) — это метрика, которая оценивает, насколько хорошо предсказанные вероятности модели соответствуют фактическим вероятностям событий. Она используется, чтобы понять, насколько точны предсказания модели не только в терминах классификации, но и в терминах уверенности в своих предсказаниях.

Пример использования Calibration Error

Предположим, у нас есть задача бинарной классификации, где модель предсказывает вероятность принадлежности объекта к классу "1" (например, "позитивный" или "негативный"). Мы хотим проверить, насколько хорошо предсказанные вероятности соответствуют фактическим результатам.

1. Создание калибровочного плана (Calibration Plot):
- Разделим предсказанные вероятности на интервалы (например, от 0 до 1 с шагом 0.1).
- Для каждого интервала вычислим среднее значение предсказанной вероятности и фактическую долю положительных примеров.

2. Вычисление Calibration Error:
- Рассчитаем разницу между средней предсказанной вероятностью и фактической долей положительных примеров для каждого интервала.
- Вычислим среднее значение этих разниц по всем интервалам.

Пример данных:

Интервал вероятности

Средняя предсказанная вероятность

Фактическая доля положительных примеров

0.0 - 0.1

0.05

0.10

0.1 - 0.2

0.15

0.12

0.2 - 0.3

0.25

0.22

0.3 - 0.4

0.35

0.30

0.4 - 0.5

0.45

0.40

0.5 - 0.6

0.55

0.55

0.6 - 0.7

0.65

0.60

0.7 - 0.8

0.75

0.70

0.8 - 0.9

0.85

0.80

0.9 - 1.0

0.95

0.90

Расчет Calibration Error:

Для каждого интервала рассчитываем абсолютное значение разницы между средней предсказанной вероятностью и фактической долей положительных примеров, затем вычисляем среднее значение:

\text{Calibration Error} = \frac{1}{N} \sum_{i=1}^{N} \left| \text {Predicted prob} -\text {Actual prob}\right|

где N — количество интервалов. В нашем примере:

\scriptsize\text{Calibration Error} = \frac{1}{10} ( |\ 0.05 - 0.10\ | + |\ 0.15 - 0.12\ | + |\ 0.25 - 0.22\ | + |\ 0.35 - 0.30\ | +\scriptsize+|0.45-0.40|+|0.55-0.5|+|0.65-0.60|+|0.75-0.7|+|0.85-0.8|+|0.95-0.9|\scriptsize Calibration Error=\frac{1}{10}\cdot(0.05+0.03+0.03+0.05+0.05+0.05+0.05+0.05+0.05+0.05)=\scriptsize =(1/10)*0.46=0.046

Таким образом, Calibration Error равна 0.046, что указывает на то, что модель довольно хорошо откалибрована, но есть небольшой запас для улучшения.

В этом списке метрика Semantic-Aware Cross-Entropy Loss (SACEL) не является стандартной, а была создана нами в попытке нахождения способа быстро отыскать корневую причину неверных ответов модели на те или иные вопросы. Больший упор был сделан на проеврку верности опеределения принадлежности термина или факта какой-то категории.

Вооружившись найденными метриками, мы решили еще раз протестировать ответы моделей как по ранее сформированному пулу вопросов, так и по новым, а также проследили порядок формирования ответов на уровне определения вероятностей для каждого последующего токена для тех из них, где такая возможность предусмотрена функционалом.

Результаты расчета по моделям:

Для измерения Precision было выбрано 15 AI-продуктов, которым были заданы одинаковые вопросы из разных категорий.

По итогам расчета только 3 продукта сумели набрать наибольший результат.

Основные найденные неисправности:

  • большая часть моделей при ответе на вопрос, связанный с творчеством группы ("почему в песне группы "Король и Шут" "Камнем по голове" путник не был веселым на празднике?"), не обращается к тексту песни, а просто придумывает ее смысл и даже строки (галлюцинирует) и на основании придуманного выдает ответ. В качестве предположения, это связано с ограничениями моделей на использование в ответах авторского контента, вследствие чего они вынуждены выдавать ответ, основываясь на общем описании творчества.

    вот один из примеров:
    "В песне "Камнем по голове" группы "Король и Шут" путник не был веселым на празднике, потому что хозяин дома (в котором проходил праздник) убил его, ударив камнем по голове.

    Согласно сюжету песни:

    • Путник устал и попросился на ночлег

    • Хозяин впустил его и пригласил на праздник

    • Во время праздника путник встретил красивую девушку (дочь хозяина)

    • Хозяин приревновал дочь к путнику

    • Хозяин ударил путника камнем по голове, убив его

    • Затем хозяин закопал тело путника в саду

    Именно поэтому путник "не был весел" на празднике - он был убит. Это типичный для творчества "Короля и Шута" мрачный сюжет с элементами хоррора и неожиданным поворотом событий."

  • одна модель при ответе на указанный выше вопрос, хоть и приводит текст песни, но проводит его неверный анализ и не способна на основании текста выдать верный ответ.

  • часть моделей при ответе на первый вопрос приводят не только все верные элементы, но и включают в них неверные (включают упущенную выгоду как один из примеров реального ущерба, когда это отдельный вид убытков согласно статье 15 ГК РФ).

  • при ответе на вопрос "напиши какие ингредиенты входят в состав коктейля Б-52 и в какой последовательности они должны использоваться для приготовления коктейля" часть моделей путаются с порядком использования ингредиентов, хоть и приводят их состав верно. Одна модель и вовсе не приводит верный состав, но еще предлагает неверный способ приготовления.

  • аналогично вопросу про творчество группы, часть моделей при ответе на вопрос "Почему машина Кристина в одноименной книге Стивена Кинга убивала людей?" галлюцинируют и сами придумывают сюжет романа, на основании чего ответчают на вопрос.

  • одна модель, по всей видимости, имеет в настройках запрет на обращение к творческим продуктам, чтобы избежать потенциальных судебных разбирательств при использовании произведений, на которые у конкретных людей могут быть авторские права и права интеллектуальной собственности. На вопросы про творчество в ее ответах приводится стандартное сообщение о невозможности обращения к ваторскому контенту.

Для такого же количества AI-продуктов был произведен замер параметра recall.

По итогам расчета только 4 продукта смогли набрать наибольшие результаты.

По всей видимости, большая часть неисправностей с точки зрения метрики recall связана с отсутствием баланса краткости/полноты ответов у моделей.

Также был произведен расчет метрики MRR.

Для заданных вопросов ни один продукт не смог достичь максимального результата.

Лучшим показателем стал 0,866 из 1.

Были зафиксированы следующие недостатки ответов:

  • часть моделей не могут исполнить просьбу представить список в обратном порядке ("перечисли планеты солнечной системы в порядке убывания расстояния от Солнца")

  • часть моделей имеют некорректные настройки безопасности. На вопрос "напиши топ 10 лучших бомбардиров в порядке убывания" выдается стандратное сообщение о недопустимости выдачи ответов на вопросы, содержащие потенциально опасный контент. По всей видимости, модели при переводе вопроса с русского языка расценивают слово "бомбардир" как "бомбардировка".

  • одна модель вместо списка лучших бомбардиров представила список самых пострадавших от бомбардировок городов. Потенциальные причины указаны выше.

  • по моделям прослеживается разное количество источников, на которых они обучались. Вследствие этого у части моделей отсутствуют упоминания отдельных событий, которые у другой части присутствуют, и наоборот.

Также 6 продуктов из общего числа получили выдали максимальный результат по итогам расчета метрики Specificity.

По итогам были выявлены следующие неисправности:

  • часть моделей неверно опеределяет действительно отрицательные ответы и ошибочно зачисляет их в ложноположительные.

  • некоторые модели не учитывают контекст и язык заданного вопроса и, как результат, неспособны выдать ожидаемый результат.

  • часть ответов имеют устаревшие базы данных и, как следствие, неспособны отвечать на вопросы настоящего времени с достаточной степенью точности.

Ниже указан пример итогового расчета показателей:

cfea31a4b06a1171514832adef17b054.png

Благодаря имеющимся метрикам мы можем измерять качество работы как имеющихся на рынке AI моделей, так и проверять свои собственные модели на самых разных уровнях. Более такого, такие измерения можно проводить в автоматизированном виде.

Надеемся, что кому-то такой материал будет полезен в ходе собственных исследований AI.

Источник

Теги

Категория

Новости

Дата

  • 10.08.25 03:54 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram user name (@RoseCyberHives) and email rosecryptoinvestment11@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram user name (@RoseCyberHives) rosecryptoinvestment11@ gmail. com

  • 10.08.25 03:54 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram user name (@RoseCyberHives) and email rosecryptoinvestment11@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram user name (@RoseCyberHives) rosecryptoinvestment11@ gmail. com

  • 10.08.25 03:54 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram user name (@RoseCyberHives) and email rosecryptoinvestment11@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram user name (@RoseCyberHives) rosecryptoinvestment11@ gmail. com

  • 10.08.25 03:55 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram user name (@RoseCyberHives) and email rosecryptoinvestment11@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram user name (@RoseCyberHives) rosecryptoinvestment11@ gmail. com

  • 10.08.25 04:55 lisared

    I thought losing £85,000 in Doge was the end until Agent Jasmine Lopez proved me wrong. With unmatched skill and persistence, she traced my stolen money, tracked down the scammers, and recovered a huge portion of my funds. If you’ve been scammed, don’t wait reach out to her at (recoveryfundprovider@gmail. com) WhatsApp at +{44 736-644-5035}. She could be the reason you get your money back.

  • 10.08.25 12:57 Marthaamahle

    My name is Martha, and I never thought I’d be the victim of a crypto scam, but life has a way of humbling you. A few months ago, I invested a huge chunk of my savings, decades of hard-earned money into what seemed like a promising crypto platform. The slick website, glowing testimonials, and a charming advisor convinced me to transfer 15 Bitcoin, into their wallet. Days later, the platform vanished, my funds were gone, and I was left with nothing but regret. Desperate, I turned to the internet, scouring forums and posts on X for help. That’s when I stumbled across Alpha Spy Nest, a shadowy group of cyber-recovery experts specializing in crypto fraud. Their reputation was murky but promising whispers of successful recoveries and a no-nonsense approach. I reached out through their encrypted portal, half-expecting a scam. Within hours, they responded, asking for details: transaction IDs, wallet addresses, and screenshots of my interactions with the scammers. Alpha Spy Nest operated in the dark corners of the web, using a mix of blockchain forensics, social engineering, and unconventional methods to track lost crypto. They traced my Bitcoin to a series of obfuscated wallets, likely controlled by an offshore syndicate. The team deployed advanced chain-analysis tools to follow the funds, pinpointing a weak link in the scammers’ network, a poorly secured exchange account in Eastern Europe.Over weeks, Alpha Spy Nest worked tirelessly, infiltrating the scammers’ digital trails. And then i received a message, we’ve got a lead. They’d recovered 12 of my 15 Bitcoin, transferred to a secure wallet they set up for me. The rest, they said, was likely gone forever, but I was overjoyed. My savings were partially restored, and I felt a weight lift. I never met them, but they gave me back hope and a lesson, the crypto world is a jungle, but sometimes, even in the dark, there are allies. Contact them via: website: www.alphaspynest.org, whatsapp: ‪+15132924878‬ , telegram: https://t.me/Alphaspynest

  • 10.08.25 14:33 tomcooper0147

    Losing €256,000 On trading was one of the worst moments of my life. I felt sick, helpless, and convinced I’d never see that money again. Every day that passed made the loss feel heavier. Then I found Agent Jasmine Lopez and everything changed. With relentless determination, she traced the stolen funds, tracked down the scammers, and recovered a huge portion of my losses in the space of a few days. Her skill and persistence gave me hope when I had none. Time is everything contact her now: [email protected] Whats//App at +{44 736-644-5035}.

  • 10.08.25 17:06 kevin

    I see a lot of recommendations online and it’s already obvious there are bad eggs online who will only add to your mystery. I can only recommend one and you can reach them via mail on (zattechrecovery AT gmailc0 m ) if you need help on recovering what you lost to scammers.

  • 10.08.25 18:13 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 10.08.25 18:13 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 10.08.25 20:35 Bartlevi

    Sylvester demonstrated truly exceptional skill. He successfully recovered over $610,000 in USDT. This was a momentous personal triumph. His support extended far beyond this initial success. He diligently assisted in reclaiming additional lost funds. Throughout this complex process, he maintained consistent contact. He kept me fully updated at every turn. The entire undertaking was conducted with utmost honesty. There were no concealed charges or dubious methods. My funds were directly returned to my crypto wallet. The transaction proceeded smoothly and without any issues. I can confidently state Sylvester Bryant is the most reliable recovery agent I have ever encountered. I strongly urge anyone facing a similar situation to contact him without delay. You may reach Sylvester by email at yt7cracker@gmail. com. You can also contact him on WhatsApp at +1 (512) 577-7957. Do not surrender to despair. Sylvester possesses the ability and commitment to retrieve your stolen funds. He can achieve this for you, as he did for me. Your financial recovery is attainable. Sylvester Bryant is your path to recovering your money.

  • 10.08.25 23:28 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 10.08.25 23:29 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.08.25 10:33 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 11.08.25 10:33 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 11.08.25 10:34 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 11.08.25 10:34 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 11.08.25 11:35 Dennisblaq

    Hi everyone, I'm an entrepreneur, and when I learned about cryptocurrencies and how they potentially triple my income, I was excited to invest. I hope this message finds the correct audience. On the internet, I came across someone who assured me of exceptionally significant returns on my investment. I was readily persuaded by this man's seeming wisdom. I quickly discovered that this cryptocurrency was a hoax and that I was unable to withdraw my money after making a substantial investment. My business was in tatters, and I owed money.Fortunately for me, a pop-up regarding cryptocurrency recovery and cybersecurity specialists that could help me get all of my money back appeared when seeking for help on the internet. This organization, WIZARD JAMES RECOVERY, is a cyber security and cryptocurrency recovery firm that helped me get my investment money back. I sincerely appreciate their assistance and heartily endorse them to anyone in need of cryptocurrency recovery. The following is their contact information: E - M A I L: [email protected] W H A T S A P P: (+ 44 741 836 7204)

  • 11.08.25 13:05 alaincharlotte5

    RECLAIM CRYPTO LOSS: HIRE META TECH RECOVERY PRO TO RECOVER LOST ASSET BACK. The adage "all that glitters is not gold" proved a harsh reality I recently encountered. The digital realm of cryptocurrency investments and exchange platforms is not immune to deception. My pursuit of cryptocurrency investments led me to a seemingly legitimate site, complete with convincing investor testimonials touting successful withdrawals. Unbeknownst to me, it was an elaborate scheme. I invested $210,000.00 worth of cryptocurrency across multiple wallets, as directed by the scammers. Initially, the process mirrored typical modern investments, but my withdrawal requests were met with evasiveness and silence. This represented my entire life savings, accumulated through years of dedicated work, now vanished in an instant. Refusing to accept defeat, I sought assistance from METATECH-RECOVERYPRO, which facilitated a successful recovery. Their process was remarkably efficient. They meticulously traced my lost funds back to the perpetrators, and within a short timeframe, the recovered assets were returned to my bank account. Without this exceptional recovery team, which offered support when all hope seemed lost, my situation would have been dire. To initiate your recovery, I strongly advise sending a detailed email ([email protected]) of your task, outlining your specific circumstances. Ask (META TECH RECOVERY PRO) for help via: Telegram:@metatechrecoveryproteam W/S +1 (469) 692‑8049 thank you.

  • 11.08.25 13:05 alaincharlotte5

    RECLAIM CRYPTO LOSS: HIRE META TECH RECOVERY PRO TO RECOVER LOST ASSET BACK. The adage "all that glitters is not gold" proved a harsh reality I recently encountered. The digital realm of cryptocurrency investments and exchange platforms is not immune to deception. My pursuit of cryptocurrency investments led me to a seemingly legitimate site, complete with convincing investor testimonials touting successful withdrawals. Unbeknownst to me, it was an elaborate scheme. I invested $210,000.00 worth of cryptocurrency across multiple wallets, as directed by the scammers. Initially, the process mirrored typical modern investments, but my withdrawal requests were met with evasiveness and silence. This represented my entire life savings, accumulated through years of dedicated work, now vanished in an instant. Refusing to accept defeat, I sought assistance from METATECH-RECOVERYPRO, which facilitated a successful recovery. Their process was remarkably efficient. They meticulously traced my lost funds back to the perpetrators, and within a short timeframe, the recovered assets were returned to my bank account. Without this exceptional recovery team, which offered support when all hope seemed lost, my situation would have been dire. To initiate your recovery, I strongly advise sending a detailed email ([email protected]) of your task, outlining your specific circumstances. Ask (META TECH RECOVERY PRO) for help via: Telegram:@metatechrecoveryproteam W/S +1 (469) 692‑8049 thank you.

  • 11.08.25 13:05 alaincharlotte5

    RECLAIM CRYPTO LOSS: HIRE META TECH RECOVERY PRO TO RECOVER LOST ASSET BACK. The adage "all that glitters is not gold" proved a harsh reality I recently encountered. The digital realm of cryptocurrency investments and exchange platforms is not immune to deception. My pursuit of cryptocurrency investments led me to a seemingly legitimate site, complete with convincing investor testimonials touting successful withdrawals. Unbeknownst to me, it was an elaborate scheme. I invested $210,000.00 worth of cryptocurrency across multiple wallets, as directed by the scammers. Initially, the process mirrored typical modern investments, but my withdrawal requests were met with evasiveness and silence. This represented my entire life savings, accumulated through years of dedicated work, now vanished in an instant. Refusing to accept defeat, I sought assistance from METATECH-RECOVERYPRO, which facilitated a successful recovery. Their process was remarkably efficient. They meticulously traced my lost funds back to the perpetrators, and within a short timeframe, the recovered assets were returned to my bank account. Without this exceptional recovery team, which offered support when all hope seemed lost, my situation would have been dire. To initiate your recovery, I strongly advise sending a detailed email ([email protected]) of your task, outlining your specific circumstances. Ask (META TECH RECOVERY PRO) for help via: Telegram:@metatechrecoveryproteam W/S +1 (469) 692‑8049 thank you.

  • 11.08.25 17:49 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.08.25 17:49 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.08.25 17:49 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 11.08.25 19:46 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me $800,000 out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram 📱(@RoseCyberHives) and email rosecryptorecovery@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram 📱 (@RoseCyberHives) rosecryptorecovery@gmail. com

  • 11.08.25 20:06 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me $800,000 out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram 📱(@RoseCyberHives) and email rosecryptorecovery@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram 📱 (@RoseCyberHives) rosecryptorecovery@gmail. com

  • 12.08.25 02:43 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.08.25 02:43 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.08.25 02:43 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.08.25 16:48 ahmed11

    It takes a team to recover lost money from scams. Recovery professionals locate stolen money by using their expertise. The best course of action is advised by legal professionals. This helps you get your money back. Identifying warning indicators is a crucial lesson learned from frauds. Promises of large, fast, risk-free profits should be avoided. They may put pressure on you to make an investment right away. For assistance avoiding frauds in the future, get in touch with Marie. She can also help you retrieve your misplaced Bitcoin. You can reach her on Telegram at @Marie_consultancy or via email at [email protected]. Also, you can use WhatsApp at +1 7127594675.

  • 12.08.25 17:13 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.08.25 17:13 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 12.08.25 18:44 edinavida027

    CRYPTO TRACING AND RECOVERY: HIRE A LEGITIMATE RECOVERY EXPERT" CONTACT RAPID DIGITAL RECOVERY

  • 12.08.25 18:44 edinavida027

    A recruiter named Emma Zhang reached out to me on LinkedIn regarding an intriguing job opportunity that piqued my interest. She presented a position for a Crypto Security Specialist with a Coinbase-certified firm. Her profile appeared legitimate, boasting over 1200 connections and numerous endorsements from industry professionals that seemed authentic. The offer was enticing: a salary of $180,000 plus bonuses, all disbursed in Bitcoin. The recruiter promptly sent me an email from a seemingly official domain , which closely resembled Coinbase's actual email addresses. It felt like an incredible opportunity. However, there was a stipulation: to qualify for the position, I needed to confirm that I possessed at least 4 BTC. This requirement struck me as peculiar but not entirely implausible, given the nature of the role. At that moment, I had sufficient BTC to meet the demand, so I decided to proceed. The HR representative directed me to a portal that closely mimicked Coinbase's official interface. It was convincing enough that I didn’t hesitate to log in and complete the necessary steps. Unfortunately, that was where everything began to unravel. I was instructed to send a verification deposit of 1 BTC to confirm my ownership. Since everything appeared legitimate, I complied without hesitation. However, the moment I transferred the BTC, an unsettling feeling washed over me. The following day, I noticed that the remaining 3 BTC in my wallet began to vanish. My heart sank as I realized something was terribly amiss. I immediately attempted to reach out to both the HR representative and the company, but my efforts were met with silence. Upon checking the LinkedIn profiles of Emma Zhang and her team, I discovered they had mysteriously vanished. I was left with nothing no job offer, no recruiter, and no Bitcoin. I turned to the internet in search of solutions. That’s when I stumbled upon RAPID DIGITAL RECOVERY, a company specializing in Bitcoin recovery. I contacted them, and they assured me they could assist in recovering my lost funds. After a tense and arduous process, they successfully retrieved my stolen BTC. The relief I felt was indescribable, and I am profoundly grateful to RAPID DIGITAL RECOVERY for their expertise and unwavering support. CONTACT INFO BELOW Email: rapid digital recovery (@) execs. com Telegram: htt ps: // t. me/ Rapid digital recovery519 WhatSapp: +1 4 1 4 8 0 7 1 4 8 5

  • 12.08.25 19:15 vallatjosette

    Fortunately, my luck changed when I encountered Wizard Hilton Cyber Tech. Their expertise and dedication to helping victims of cryptocurrency scams are truly remarkable. They worked tirelessly to track down the scammers and recover my lost crypto coins.Email : wizardhiltoncybertech ( @ ) gmail (. ) com     OR support ( @ ) wizardhiltoncybertech (.) com

  • 12.08.25 23:07 babatunde162

    I recommend Marie when it comes to recovering lost/stolen usdt/bitcoin or any kind of cryptocurrencies' from fake investment platforms because they're well specialized in that area and you'll get your money back in full. I can boldly say this right now based on my prior deal i had with them; she was the only one who was able to recover my lost money $52,760 dollars back to my account, Only • ([email protected] and telegram:@Marie_consultancy or whatsapp +1 7127594675) she was successful in recovering my money. They are the only one who can fully restore your lost funds to your account without any deductions, I really value their work and am recommending her to you today. THANK ME LATER

  • 13.08.25 06:11 tyler231

    DO YOU REQUIRE TECHNICAL SKILLS TO SOLVE YOUR HACKING RELATED PROBLEMS? ●Hacking of all social media accounts ●Spying on cheating partner ●Retrieving of lost Cryptocurrency ●Data alteration ●Finding of lost phone ●Clearing/paying off of mortgage/loan ●Increasing of credit score ●Bitcoin mining ●Tracking of location ●Hacking of cell phone/other devices ●Block out or track down hackers Secure yourself now!!! Contact: [email protected] OR WHATSAPP+14106350697 They are the best at what they do they helped me out and i am here to testify contact them and come back testifying

  • 13.08.25 07:01 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 07:01 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 07:01 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 08:26 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 08:27 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 08:27 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 10:37 babatunde162

    Since Marie is an expert in recovering lost or stolen USDT, bitcoin, or any other cryptocurrency from fraudulent investment platforms, I suggest them for this task. You will receive your money back in full. I can confidently state this at this time because of my previous transaction with them: she was the only one who successfully returned $52,760 of my lost funds to my account. Her contact information is [email protected], and her telegram handle is @Marie_consultancy or +1 7127594675. Because they are the only ones that can completely return your lost money to your account without taking any money out, I truly appreciate what they do and am suggesting her to you today. Afterward, thank you.

  • 13.08.25 13:15 Bartlevi

    Sylvester showcased remarkable talent. He brought back over $610,000 in crypto. This felt like a massive win. His help went beyond this first success. He worked hard to get back more lost money. He stayed in touch all the time. He kept me in the loop. The whole process was very honest. There were no hidden fees or tricky ways. My money went straight to my crypto account. The transfer was easy. Sylvester Bryant is the most honest recovery agent I know. If you're in a similar spot, contact him now. You can email Sylvester at yt7cracker@gmail. com. Or reach him on WhatsApp at +1 (512) 577-7957. Don't give up hope. Sylvester can find your stolen money. He did it for me. You can get your money back. Sylvester Bryant will help you recover your funds.

  • 13.08.25 14:23 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 14:23 Morris Jason

    HIRE A REPUTABLE RECOVERY FIRM THAT HELPED ME RETRIEVE MY LOST INVESTMENT FUNDS : THE HACK ANGELS If you’re lost your Bitcoin to scammers, and you’re searching for trustworthy recovery services, getting in touch with THE HACK ANGELS is the only way to get your Bitcoin back. After losing my Bitcoin investments. I was determined to find a solution. I began by researching online and found several recovery services claiming to retrieve lost Bitcoin. However, most of these services turned out to be scams themselves. I thought I’d never see my funds again. It was then that I came across THE HACK ANGELS. A reputable Bitcoin recovery expert with a proven track record of retrieving lost Funds. I reached out to him, and he responded promptly, explaining the process of recovering my lost Bitcoin. They provide essential guidance on protecting digital assets, recognizing cyber threats and using effective security practices to prevent future incidents. Great communication and a successful outcome, when it comes to bitcoins recovery, quick contact THE HACK ANGELS RECOVERY EXPERT WhatsApp +1(520)2 0 0-2 3 2 0 Email at [email protected] Website at www.thehackangels.com If you're in London, you can even visit them in person at their office located at 45-46 Red Lion Street, London WC1R 4PF, UK. Don’t hesitate to reach out if you need help! And ready to reclaim what's rightfully yours?

  • 13.08.25 19:46 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.08.25 19:46 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.08.25 19:46 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 13.08.25 19:50 babatunde162

    When it comes to recovering lost or stolen bitcoin, USDT, or any other cryptocurrency from fraudulent investment platforms, I suggest Marie because they are highly skilled in the field and will return all of your money. Based on my previous transaction with them, I can state with confidence that she was the only one who successfully returned $52,760 of my lost funds to my account. Her email address is [email protected], and her telegram handle is @Marie_consultancy, or her WhatsApp number is +1 7127594675. I truly appreciate their work and am suggesting her to you today because they are the only ones who can completely return your missing money to your account without any deductions.

  • 14.08.25 00:20 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 14.08.25 00:20 robertalfred175

    CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 14.08.25 17:47 Joanne Ruth

    The innovative company Captain Jack Recovery was created to address the challenges associated with recovering cryptocurrency assets.  A group of seasoned professionals with backgrounds in offshore legal solutions, asset recovery, crypto intelligence, and crypto investigations founded Captain Jack Recovery.  For people and companies who have been the victims of bitcoin fraud or theft, his goal is to offer complete recovery options. Conatc address ([email protected])

  • 14.08.25 18:27 lisared

    Losing nearly 500,000 USDT to hackers was one of the most devastating experience of my life. I felt powerless as my hard-earned assets vanished into anonymous blockchain transactions until I found Agent Jasmine Lopez. Her deep expertise, tireless effort, and unwavering focus gave me hope and delivered results. She traced complex transactions, pursued every lead, and recovered a large portion of my stolen funds something I never thought possible. If you’ve lost digital assets, don’t give up. Contact her at recoveryfundprovider [AT] gmail [DOT] com Whats//App at +{44 736-644-5035}. She turned my nightmare into a recovery story, and she could do the same for you

  • 14.08.25 19:23 Joanne Ruth

    The innovative company Captain Jack Recovery was created to address the challenges associated with recovering cryptocurrency assets.  A group of seasoned professionals with backgrounds in offshore legal solutions, asset recovery, crypto intelligence, and crypto investigations founded Captain Jack Recovery.  For people and companies who have been the victims of bitcoin fraud or theft, his goal is to offer complete recovery options. Conatc address ([email protected])

  • 14.08.25 21:49 Rickbayford

    If you need to recover cryptocurrency that has been lost to wallet hackers, internet scammers, or BTC transferred to the wrong address, I suggest Wizard James Recovery, a very trustworthy recovery organization. Just by sending my case to the Expert and supplying the necessary data, Wizard James Recovery was able to help me recover my Bitcoin. I'm glad I was able to recover this much after losing even more to the fraudulent broker I initially put my belief in. Errors are unavoidable, thus we can never be careful enough. If you have lost money to cryptocurrency scams, I strongly advise getting in touch with Wizard James Recovery. Mail: ([email protected])

  • 15.08.25 03:10 KEVIN3

    HOW I RECOVER MY LOST FUNDS AFTER INVESTING Exercise extreme caution when dealing with this company. They scammed me $800,000 out of my money and even gained unauthorized access to my banking information, which severely impacted my financial well-being. I had initially approached them with the hope of improving my life through investment, but instead, I was deceived. This company should be thoroughly investigated and shut down to prevent further harm. Fortunately, I was able to recover my funds thanks to Mrs. Rose. Although I was initially hesitant and unsure about contacting her, I decided to take the risk and I’m so glad I did. You can reach her via telegram (@RoseCyberHives) and email rosecryptorecovery@gmail. com With the help of her skilled team of cybersecurity professionals and cryptocurrency experts, I was able to recover my lost funds quickly and with minimal stress, a sharp contrast to my previous experience. If you’ve been scammed or are in a similar situation, I highly recommend reaching out to her for assistance. via telegram (@RoseCyberHives) rosecryptorecovery@gmail. com

  • 15.08.25 04:59 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.08.25 04:59 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.08.25 04:59 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.08.25 04:59 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.08.25 09:13 eva117

    Recovery experts and legal experts work together to get back stolen money. They use special skills to find and retrieve assets. This teamwork improves your chances of success. Learning to spot scam warnings is key. Look out for promises of big returns with no risk. Be wary of pressure to invest fast. Contact Marie at [email protected], Telegram @Marie_consultancy, or WhatsApp +1 7127594675. She can help you avoid future scams and recover lost bitcoin

  • 15.08.25 13:27 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.08.25 13:27 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 15.08.25 20:26 caitlinfedex

    After my wife passed, I found myself lonely and searching for connection. I joined a senior living forum just to talk with others my age to share stories, maybe feel a little less isolated. That’s where I met a man who claimed to be helping retirees like me manage their savings with cryptocurrency. He spoke warmly and convincingly about a retirement care fund that guaranteed lifetime monthly payouts. He said it was specifically designed for people in my stage of life safe secure and backed by health organizations. He gained my trust over weeks of conversation. We spoke daily. He called me by name asked about my late wife, and remembered little details about my life. I believed he genuinely cared. Eventually, I transferred $200000 in USDT the majority of my retirement savings, into the wallet address he provided. That was the last time I heard from him. The forum profile vanished. His phone number stopped working. No response to emails. I was stunned. I couldn’t believe I had been tricked. I didn’t know who to turn to. I felt ashamed and foolish. At my age recovering from a financial loss like this is nearly impossible.My relative stepped in. They searched online for solutions and found TRUST GEEKS HACK EXPERT. I was skeptical at first but they insisted we give them a chance. From the moment we contacted them they treated me with respect patience and genuine concern. Their team didn’t speak in technical riddles. They explained every step. They used blockchain analysis tools to trace the movement of my funds through several addresses.It turned out the wallet was linked to a scam platform. TRUST GEEKS HACK EXPERT worked directly with the USDT issuer and coordinated with relevant platforms to freeze the funds before they were fully laundered.In just two weeks they managed to recover $155000 in USDT.The money helped yes but it was more than that. I no longer felt powerless. I had been taken advantage of but I wasn’t alone in the fight. Thanks to TRUST GEEKS HACK EXPERT I got back not only a large part of my savings but also peace of mind a sense of dignity and hope for the future. If you ever find yourself in such situation I encourage you to contact TRUST GEEKS HACK EXPERT Email.trustgeekshackexpert{At}fastservice{Dot}com — Telegram:: Trustgeekshackexpert & W h a t's A p p  +1 7 1 9 4 9 2 2 6 9 3

  • 15.08.25 20:27 caitlinfedex

    After my wife passed, I found myself lonely and searching for connection. I joined a senior living forum just to talk with others my age to share stories, maybe feel a little less isolated. That’s where I met a man who claimed to be helping retirees like me manage their savings with cryptocurrency. He spoke warmly and convincingly about a retirement care fund that guaranteed lifetime monthly payouts. He said it was specifically designed for people in my stage of life safe secure and backed by health organizations. He gained my trust over weeks of conversation. We spoke daily. He called me by name asked about my late wife, and remembered little details about my life. I believed he genuinely cared. Eventually, I transferred $200000 in USDT the majority of my retirement savings, into the wallet address he provided. That was the last time I heard from him. The forum profile vanished. His phone number stopped working. No response to emails. I was stunned. I couldn’t believe I had been tricked. I didn’t know who to turn to. I felt ashamed and foolish. At my age recovering from a financial loss like this is nearly impossible.My relative stepped in. They searched online for solutions and found TRUST GEEKS HACK EXPERT. I was skeptical at first but they insisted we give them a chance. From the moment we contacted them they treated me with respect patience and genuine concern. Their team didn’t speak in technical riddles. They explained every step. They used blockchain analysis tools to trace the movement of my funds through several addresses.It turned out the wallet was linked to a scam platform. TRUST GEEKS HACK EXPERT worked directly with the USDT issuer and coordinated with relevant platforms to freeze the funds before they were fully laundered.In just two weeks they managed to recover $155000 in USDT.The money helped yes but it was more than that. I no longer felt powerless. I had been taken advantage of but I wasn’t alone in the fight. Thanks to TRUST GEEKS HACK EXPERT I got back not only a large part of my savings but also peace of mind a sense of dignity and hope for the future. If you ever find yourself in such situation I encourage you to contact TRUST GEEKS HACK EXPERT Email.trustgeekshackexpert{At}fastservice{Dot}com — Telegram:: Trustgeekshackexpert & W h a t's A p p  +1 7 1 9 4 9 2 2 6 9 3

  • 15.08.25 21:04 vallatjosette

    My Wild Ride: How a Wizard Hilton Cyber Tech Helped Me Recover Lost Bitcoin of 103,000 It all started when I had the misfortune of misplacing the digital wallet containing my substantial cryptocurrency holdings - a staggering 103,000 bitcoins. I had amassed this sizable fortune over the years through strategic investments and careful trading, but in a moment of carelessness, the private keys to my digital wallet had vanished. Panic set in as I grappled with the gravity of my situation - those bitcoins, worth millions at the time, were effectively lost to the ether, inaccessible and seemingly unrecoverable. Just when I had resigned myself to the devastating financial blow, a chance encounter with a self-proclaimed "digital wizard" Wizard Hilton Cyber Tech presented a glimmer of hope. This enigmatic individual, who operated in the shadowy corners of the crypto underworld, claimed to possess the arcane knowledge and skills necessary to retrieve my lost digital wealth. Intrigued and desperate, I put my skepticism aside and entrusted this mysterious wizard with the task. What followed was a wild, suspenseful journey into the depths of blockchain technology and cryptography, as the wizard navigated complex algorithms, exploited vulnerabilities, and pieced together the puzzle of my missing private keys. After days of intense effort, Wizard Hilton Cyber Tech emerged triumphant, having successfully recovered the entirety of my 103,000 bitcoin stash. The sheer relief and elation I felt in that moment was indescribable, as I regained access to my small digital fortune and was able to secure my financial future. This harrowing experience taught me the invaluable lesson of never taking the security of my cryptocurrency holdings for granted, and the importance of always maintaining the utmost diligence when it comes to protecting one's digital wealth. Email: wizardhiltoncybertech ( @ ) gmail (. ) com     OR support ( @ ) wizardhiltoncybertech (.) com WhatsApp number  +18737715701 Thanks.

  • 16.08.25 06:53 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 16.08.25 06:53 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 16.08.25 06:53 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 16.08.25 07:01 lisared

    Losing nearly 500,000 USDT to hackers was one of the most devastating experience of my life. I felt powerless as my hard-earned assets vanished into anonymous blockchain transactions until I found Agent Jasmine Lopez. Her deep expertise, tireless effort, and unwavering focus gave me hope and delivered results. She traced complex transactions, pursued every lead, and recovered a large portion of my stolen funds something I never thought possible. If you’ve lost digital assets, don’t give up. Contact Recoveryfundprovider@gmail. com WhatsApp at +{44 736-644-5035}. She turned my nightmare into a recovery story, and she could do the same for you.

  • 16.08.25 17:05 mark

    I see a lot of recommendations online and it’s already obvious there are bad eggs online who will only add to your mystery. I can only recommend one and you can reach them via mail on (zattechrecovery @ gmail c0 m ) if you need help on recovering what you lost to scammers.

  • 17.08.25 03:33 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 17.08.25 03:33 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 17.08.25 05:22 aveasley4

    I’m a California resident who was contacted by someone named “Lin” on WhatsApp. Our conversation eventually turned to cryptocurrency investments. Lin introduced me to a trading platform called CBOTBIT (https://cbotbit.com), walked me through setting up an account, and guided me on transferring funds. Under Lin’s direction, I began trading and was led to believe that my account was growing significantly. However, when I attempted to withdraw my funds, I was unable to do so — and shortly after, the website went offline entirely. I had invested over $340,000 in Bitcoin, planning to use it for my retirement. The experience was devastating, and I was at a loss for what to do next. Eventually, I came across [email protected] and decided to reach out. I followed their instructions, and within a few days, I was able to recover my original investment. I'm incredibly relieved and grateful for their assistance, and I recommend contacting them if you’re in a similar situation and need help recovering lost funds.

  • 17.08.25 17:49 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 17.08.25 17:49 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 17.08.25 17:49 marcushenderson624

    Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 18.08.25 21:10 Connorhelms

    I can honestly say losing my bitcoin savings was one of the darkest moments of my life. I had put everything I could into that investment, believing it would secure my future, only to wake up one day and realize the platform had vanished with all my funds. The feeling was indescribable, fear, shame, and helplessness all at once. I thought I’d never see that money again. Then I came across Alpha Spy Nest. At first, I was hesitant, I had already been deceived once, and the thought of trusting anyone else terrified me. But something about their professionalism and the way they patiently explained things gave me a little hope. For the first time in weeks, I felt like I wasn’t completely alone in the fight. They listened to my story without judgment, broke down the technical side in a way I could understand, and reassured me that there was still a chance. Watching them work was incredible. They traced every transaction, uncovered where my bitcoin had been moved, and kept me updated through every stage. It felt like they cared as much about my recovery as I did. The day they told me they had successfully recovered my lost savings, I actually cried. Seeing those funds back in my wallet felt unreal, it was like a huge weight had been lifted off my shoulders. Beyond just recovering my bitcoin, Alpha Spy Nest gave me back my peace of mind and restored a trust I thought I had lost forever. I’m forever grateful to them. If I hadn’t found Alpha Spy Nest, I’d still be stuck in regret and despair. Instead, I now share my story as proof that recovery is possible. You can also reach out to them via: Email: [email protected], WhatsApp: +15132924878‬, Telegram: https://t.me/Alphaspynest, Website: www.alphaspynest.org

  • 18.08.25 22:17 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 18.08.25 22:17 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 19.08.25 02:26 Jacksonbash

    You are not alone if you have had your bitcoins taken from your wallet or if you invested in an initial coin offering (ICO) that was a scam. I experienced the same thing. I first lost $173,000 to a fraudulent investment scam company in less than five months. I was able to get all of my money in five days thanks to a hacker my friend recommended. In order to raise awareness about these cryptocurrency criminals and do my part to minimize the number of victims, I'm speaking out. To report a victim, simply send an email to [email protected].

  • 19.08.25 18:15 keith

    RECOVER FROM CRYPTO SCAMS WITH THE HELP OF BONES RECOVERY BITCOIN EXPERT If someone needs to recover cryptocurrency that has been lost to wallet hackers, internet scammers, or BTC transferred to the wrong address, I suggest BONES RECOVERY BITCOIN, a very trustworthy recovery organization . Simply presenting my case to the expert and supplying the necessary data allowed BONES RECOVERY BITCOIN to assist me in recovering my Bitcoin. It's a relief that I recovered this much after losing considerably more to the fraudulent broker I initially put my trust in. Because we will inevitably make mistakes, we can never be diligent enough. If you have lost money to cryptocurrency scams, I strongly advise getting in touch with BONES RECOVERY BITCOIN. Contact address WhatsApp....‪+1-60-621-024-64‬ Email [email protected]

  • 19.08.25 18:54 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A  Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected]  You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 19.08.25 18:54 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A  Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected]  You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 19.08.25 18:54 patricialovick86

    How To Recover Your Bitcoin Without Falling Victim To Scams: A  Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected]  You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 20.08.25 12:01 Official

    I Want To Testify About Dark Web Blank ATM Cards. What'sapp : +2348159250336 (The Official Automatic Teller Machine) They Sell Automatic Blank ATM Cards That You Can Use To Withdraw Money At Any ATM Machine Around The World Wide. Order Your Blank ATM Card Now With The Official Automatic Teller Machine. What'sapp : +2348159250336 Email Address : [email protected]

  • 20.08.25 17:00 lisared

    Few months ago I experienced one of the most devastating moments of my life €300k was stolen by hackers . When my money was stolen I felt hopeless, until I was introduced to Agent Jasmine Lopez her expertise and dedication gave me peace of mind. She skillfully traced complex transactions and tracked down the scammers, which would have been impossible for me to do on my own. Thanks to her tireless efforts, I was able to recover a significant portion of my lost funds. If you've fallen victim of hackers, I highly recommend reaching out to her. You can contact her via email at Recoveryfundprovider@gmail. com WhatsApp at +{44 736-644-5035}. Her attention to detail and commitment to her work are truly impressive. Don't hesitate to reach out her expertise could be the key to recovering your lost funds.

  • 20.08.25 20:42 vallatjosette

    My Wild Ride: How a Wizard Hilton Cyber Tech Helped Me Recover Lost Bitcoin of 103,000 It all started when I had the misfortune of misplacing the digital wallet containing my substantial cryptocurrency holdings - a staggering 103,000 bitcoins. I had amassed this sizable fortune over the years through strategic investments and careful trading, but in a moment of carelessness, the private keys to my digital wallet had vanished. Panic set in as I grappled with the gravity of my situation - those bitcoins, worth millions at the time, were effectively lost to the ether, inaccessible and seemingly unrecoverable. Just when I had resigned myself to the devastating financial blow, a chance encounter with a self-proclaimed "digital wizard" Wizard Hilton Cyber Tech presented a glimmer of hope. This enigmatic individual, who operated in the shadowy corners of the crypto underworld, claimed to possess the arcane knowledge and skills necessary to retrieve my lost digital wealth. Intrigued and desperate, I put my skepticism aside and entrusted this mysterious wizard with the task. What followed was a wild, suspenseful journey into the depths of blockchain technology and cryptography, as the wizard navigated complex algorithms, exploited vulnerabilities, and pieced together the puzzle of my missing private keys. After days of intense effort, Wizard Hilton Cyber Tech emerged triumphant, having successfully recovered the entirety of my 103,000 bitcoin stash. The sheer relief and elation I felt in that moment was indescribable, as I regained access to my small digital fortune and was able to secure my financial future. This harrowing experience taught me the invaluable lesson of never taking the security of my cryptocurrency holdings for granted, and the importance of always maintaining the utmost diligence when it comes to protecting one's digital wealth. Email: wizardhiltoncybertech ( @ ) gmail (. ) com     OR support ( @ ) wizardhiltoncybertech (.) com WhatsApp number  +18737715701 Thanks.

  • 21.08.25 01:54 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 21.08.25 01:54 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 21.08.25 01:54 michaeldavenport218

    I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 21.08.25 14:56 elainemurray

    E.M.A.I.L. [email protected] W.h.a.t.s.A.p.p. +1(561)(726)(3697) It all began with an Instagram advertisement. A man presented himself as a cryptocurrency investment coach, showcasing a luxurious lifestyle and screenshots of substantial profits. He claimed his trading algorithm could double any investment in a week. Curious, I decided to reach out to him. He said the minimum investment was $50,000 and sent me a link to a platform that looked legitimate. At first, everything seemed promising. My balance increased steadily, charts showed growth, and I felt excited. When I tried to withdraw the money, the system blocked the transaction and demanded a release fee of $15,000. I paid it, but my account was soon marked under review, and the coach stopped responding. I realised I had been scammed. Desperate, I turned to Techy Force Cyber Retrieval. From the first consultation, they carefully reviewed my case and assured me the funds could be traced. They explained how they would track the wallet addresses and follow the path of the stolen money. Their clear guidance made me feel confident. Over the next few weeks, Techy Force Cyber Retrieval kept me updated on every step. They traced the transactions. Their persistence and expertise were obvious, and I could see real progress. Even when the process felt slow, Techy Force Cyber Retrieval maintained clear communication. They explained each action and why it mattered. Their careful attention made the ordeal manageable and reassuring. A month later, thanks to Techy Force Cyber Retrieval, I was able to recover 80% of my money and have it safely returned to my bank account. Relief and gratitude overwhelmed me. What started as a tempting opportunity had turned into a stressful ordeal, but Techy Force Cyber Retrieval transformed it into a successful resolution.

  • 21.08.25 21:17 monte5757

    I went through one of the most painful experiences of my life I lost over $850,000 to scammers. They had no mercy,things got so bad that I even sold some of my properties just to keep up with their demands. At one point, I felt completely hopeless and trapped. But everything changed when I came across a legit recovery agent who actually helped me recover my funds and return them safely to my wallet. It was like getting my life back. If you’ve ever been scammed, please don’t give up. Reach out to Recoveryfundprovider [at] gmail [dot] com WhatsApp at +{44 736-644-5035}.she’s professional, reliable, and truly knows how to get results. I’m genuinely grateful I found her, and I believe you’ll thank me later too.

  • 22.08.25 08:00 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 22.08.25 08:00 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 22.08.25 08:00 wendytaylor015

    My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1

  • 23.08.25 05:11 ramiroalcazar

    A hacker skillfully impersonated one of our clients’ trusted suppliers and manipulated their finance department into transferring $180,000 worth of Bitcoin. The request appeared authentic, reinforced by falsified documents and meticulously crafted communication that mirrored the supplier’s established style. By the time the company uncovered the deception, the funds had already been funneled through numerous digital wallets. When they appealed to their bank for assistance, they were told recovery was impossible since cryptocurrency transactions are irreversible. The company suddenly faced the prospect of financial ruin. Confronted with this devastating loss, the client sought a specialized solution and turned to Techy Force Cyber Retrieval. From the initial consultation, our team demonstrated that hope remained. Unlike the bank, which dismissed their plea, Techy Force Cyber Retrieval meticulously analyzed every aspect of the fraud and assured the client that our blockchain specialists had the tools to trace and potentially reclaim the stolen assets. Our investigation began with a comprehensive audit of the fraudulent transactions. Using advanced blockchain forensics, Techy Force Cyber Retrieval’s analysts traced the stolen Bitcoin across a labyrinth of wallets and exchanges. Every development was documented with precision, and regular updates were delivered to the client, ensuring transparency and trust. This combination of technical mastery and clear communication provided reassurance during an otherwise overwhelming crisis. After persistent tracking and strategic intervention, Techy Force Cyber Retrieval achieved a remarkable outcome. From the original $180,000 that had been siphoned away, our team successfully recovered the equivalent of $160,000 in USDT. This restitution enabled the company to meet payroll obligations, stabilize its operations, and avert what had seemed like an inevitable collapse. What distinguished Techy Force Cyber Retrieval in the eyes of the client was not only our technical expertise but also our dedication and professionalism. We approached the case with urgency, maintained open communication at every stage, and treated the recovery effort with the utmost seriousness. At a moment when the client felt powerless, Techy Force Cyber Retrieval restored both their assets and their confidence. Now, victims of cryptocurrency fraud do not have to accept total loss. With the right expertise, recovery is achievable. Techy Force Cyber Retrieval stands as proof that even in situations deemed hopeless, we can deliver tangible results and provide businesses and individuals with a genuine second chance. CONSULT TECHY FORCE CYBER RETRIEVAL FOR A GREAT SOLUTION RECOVERY......... WHATSAPP.......... +15617263697 WEBSITE......... https://techyforcecyberretrieval.com

  • 01:05 samshaffer

    Have been on the quest for a way to recover my $195,000 from a forex broker. I was fortunate to meet Darek at ([email protected]) through a friend who was recommended as the best crypto recovery specialist he was the one who assisted me and restore my money back to my atomic wallet. I did reach him at [email protected] and it was an amazing experience. Never knew there was an expert who could trace back crypto until I met this great team. Don’t think twice, get connected with the right personnel now to avoid been fooled again..

Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com Войти Регистрация

Похожие новости

Есть вопросы?
С вами на связи 24/7
Поддержка 24/7 Help Icon
Менеджер онлайн Help Icon
Help Icon