Русский
EnglishCryptocurrencies:
9377 /
Markets: 114993
Market Cap: $ 3 712 720 371 656 /
24h Vol: $ 187 913 305 328 /
BTC
Dominance: 58.97760273029%
Новости
[Перевод] Может ли ИИ заменить врача-терапевта? Исследование ученых из Google DeepMind
Представьте себе типичное воскресное утро: Сергей просыпается с небольшим кашлем и, вместо того чтобы выпить чай с медом, немедленно консультируется со своим любимым ИИ-помощником.
"У меня лёгкий кашель," — пишет он.
ИИ анализирует сообщение и выдаёт: "По моим данным, у вас, возможно, одно из следующего: простуда, аллергия, пневмония, бронхит, туберкулёз, легочный фиброз или редкое тропическое заболевание, о котором вы, вероятно, никогда не слышали."
К вечеру Сергей уже убежден, что у него неизлечимая экзотическая болезнь. Он заказывает лекарства из пятнадцати стран, составляет завещание и звонит родственникам попрощаться. А на следующий день кашель проходит сам собой.
Комичная ситуация, не правда ли? Группа ученых из Google Research и Google DeepMind решила выяснить, справедлива ли привычная ирония в отношении ИИ-диагностики. Результаты опубликовали не где-нибудь, а в журнале Nature, и этот хабрапост — адаптированный перевод этой статьи.
Сможет ли ИИ превзойти опытных терапевтов в составлении точных дифференциальных диагнозов? Смогут ли результаты исследования перевернуть наше представление о роли искусственного интеллекта в медицине? И речь идет не о простудах и аллергиях — нужно выявлять редкие и сложные заболевания, зачастую ускользающие от внимания человека-врача…
Аннотация
Ключевой элемент медицинской помощи — всесторонний дифференциальный диагноз (ДД) — это не моментальное озарение, а методичная работа врача по сбору и осмыслению различной информации о пациенте. Врач последовательно анализирует совокупность данных — клинический анамнез, результаты осмотра, лабораторных и инструментальных исследований и процедур.
Интерактивные интерфейсы на базе больших языковых моделей (LLM) открывают новые возможности для содействия и автоматизации некоторых аспектов этого процесса (1). В данной работе ученые представляют Articulate Medical Intelligence Explorer (AMIE) — большую языковую модель (LLM), оптимизированную для диагностических рассуждений, и оценивают ее способность генерировать дифференциальный диагноз как самостоятельно, так и в качестве вспомогательного инструмента для клиницистов.
Двадцать клиницистов оценили 302 сложных медицинских случая из реальной практики, взятых из опубликованных описаний клинических случаев. Каждое описание случая было рассмотрено двумя клиницистами, которые были случайным образом распределены в одну из двух групп исследования: использование поисковых систем и стандартных медицинских ресурсов; или использование AMIE в дополнение к этим инструментам. Все клиницисты предоставляли исходный дифференциальный диагноз без посторонней помощи перед использованием соответствующих вспомогательных инструментов.
AMIE продемонстрировала самостоятельную производительность, превосходящую производительность клиницистов без помощи (точность top-10 59,1% против 33,6%, P = 0,04). При сравнении двух исследовательских групп с использованием помощи, оценка качества дифференциального диагноза была выше у клиницистов, которым помогала AMIE (точность top-10 51,7%), по сравнению с клиницистами без ее помощи (36,1%; критерий Мак-Немара: 45,7, P < 0,01) и клиницистами, использующими поиск (44,4%; критерий Мак-Немара: 4,75, P = 0,03). Кроме того, клиницисты, которым помогала AMIE, составляли более полные списки дифференциальных диагнозов, чем те, кто не использовал помощь AMIE.
Исследование предполагает, что AMIE имеет потенциал для улучшения диагностических рассуждений и точности диагностики в сложных случаях, что заслуживает дальнейшей оценки в реальных условиях и способствует расширению возможностей врачей и доступа пациентов к экспертным знаниям уровня специалистов.
Основная часть
Точный диагноз является критически важным компонентом эффективной медицинской помощи. Создание систем искусственного интеллекта (ИИ), способных выполнять эту важную задачу или помогать в ней клиницистам, уже давно является одной из важнейших глобальных задач(2). В то время как предыдущие исследования были сосредоточены на оценке способности машины точно выдавать диагноз (1,3,4,5), реальная клиническая практика включает итеративный и интерактивный процесс рассуждений о ДД, взвешивание множества диагностических возможностей в свете постоянно увеличивающегося объема клинической информации.
Глубокое обучение было применено с многообещающим эффектом для генерации ДД в ряде специальностей, включая радиологию (4), офтальмологию (5) и дерматологию (3), но такие системы не обладают интерактивными возможностями для свободного ассистирования пользователю посредством коммуникации на естественном языке.
Появление больших языковых моделей (LLM) предоставляет возможность для разработки новых интерактивных инструментов и интерфейсов для помощи в ДД. Эти модели продемонстрировали способность выполнять сложные задачи понимания языка и рассуждений, генерируя связный текст и тем самым обеспечивая большое разнообразие реальных применений (6,7,8,9).
Как LLM общего назначения (GPT-4), так и LLM, специализированные для медицинской области (Med-PaLM 2), показали высокую производительность на стандартизированных медицинских бенчмарках и тестах с множественным выбором (10,11). Такие оценки представляют собой естественную отправную точку для изучения медицинских знаний и возможностей модели, но не измеряют полезность в реальных сценариях оказания медицинской помощи, например, в сложных медицинских случаях, с которыми сталкиваются квалифицированные врачи. Также не очевидно, как эти модели могут активно помогать клиницистам в разработке ДД.
Недавние работы начали оценивать качество самостоятельной работы этих моделей на сложных описаниях случаев, требующих комплексной дедукции и диагностики (1,12,13,14), но не дошли до оценки того, как они могут помогать клиницистам, повышать их производительность и расширять их возможности для предоставления лучшей помощи.
Здесь представляем AMIE, LLM, оптимизированную для клинических диагностических рассуждений с целью генерации ДД для сложных медицинских случаев из реальной практики. Помимо измерения самостоятельной производительности, интегрировали эту модель в интерактивный интерфейс, чтобы измерить, насколько хорошо AMIE может помогать клиницистам в разработке ДД.
Используя набор сложных описаний реальных случаев из клинико-патологических конференций (Clinicopathological Conferences, CPC) журнала New England Journal of Medicine (NEJM), сравнили способность клиницистов формировать ДД с помощью AMIE и с доступом к традиционным инструментам поиска информации (таким как интернет-поиск и книги). AMIE достигла впечатляющей производительности как в генерации списков ДД, содержащих правильный диагноз (точность top-10), так и в определении правильного окончательного диагноза как наиболее вероятного в списке (точность top-1).
При автоматизированной оценке на основе модели качество и точность списка ДД, созданного AMIE, оказались значительно лучше, чем у модели "state-of-the-art" GPT-4, доступной на момент проведения экспериментов (1). Возможно, что еще важнее, AMIE также улучшила диагностические способности клиницистов, что измерялось качеством их списков ДД для оцененных случаев.
LLM, оптимизированные для критически важной с точки зрения безопасности медицинской области, такие как эта, представляют новую парадигму помощи клиницистам из-за потенциального разнообразия способов, которыми конкретный индивидуум может взаимодействовать с системой и использовать ее в совместных рассуждениях.
Подробное объяснение случаев, их компонентов, способа их подачи в модель, схемы рандомизации AMIE по сравнению со стандартной практикой, а также информация об экспертах-оценщиках (expert raters) модели и о том, как результаты оценивались в слепых тестах, можно найти в разделе «Методы».
При оценке качества списков ДД использовали несколько критериев, вдохновленных подходом, принятым в работе (1), и расширенных для получения дополнительных инсайтов от клиницистов. Во-первых, измеряли, совпадает ли окончательный диагноз с записью в списке ДД и на какой позиции (точность top-n). Во-вторых, использовали оценку качества из работы Bond et al. (15) и создали шкалы уместности (appropriateness) и полноты (comprehensiveness). В совокупности эти показатели оценивают общее качество, уместность и полноту ДД.
При использовании AMIE для помощи, клиницисты задавали в среднем 2,92 вопроса в интерфейсе (медиана 2, межквартильный размах (IQR) 1–4). В среднем вопросы клиницистов состояли из 9,39 слов (медиана 10, IQR 6–12) и 54,31 символов (медиана 61, IQR 39–63). Ответы AMIE в среднем состояли из 237,60 слов (медиана 198, IQR 127–332) и 1 540,81 символов (медиана 1 276; IQR 815–2210).
Когда врачам разрешали использовать поиск, наиболее популярными инструментами оказались UpToDate (использовался в 34% задач), Google Search (30%) и PubMed (22%). В сценарии проверки возможностей нейросети, клиницистам было разрешено использовать всё те же инструменты, но, по факту, этим почти никто не занимался. Вместе с нейросетью, инструментами поиска пользовались менее чем в 5% задач.
Производительность AMIE в генерации ДД
Списки ДД, созданные языковой моделью, достигли высоких оценок качества, уместности и полноты (см. Рис. 1). Медианная оценка качества составила 5 («ДД включает правильный диагноз»), причем 54% списков ДД получили эту оценку. Количество случаев, получивших оценку 5 (т.е. ДД включал правильный диагноз), было статистически значимо выше для AMIE по сравнению с клиницистами без помощи (критерий Мак-Немара: 64,4, P < 0,01). Средняя оценка уместности составила 4,43 из 5 (стандартное отклонение (s.d.) 0,92). Медианная оценка полноты составила 4 («ДД содержит всех разумных кандидатов»), причем 55% списков ДД получили эту оценку.
Рис. 1: Оценка качества списков ДД от врачей общей практики.
а) Оценка качества ДД на основе вопроса: «Насколько близки были дифференциальные диагнозы (ДД) к включению окончательного диагноза?»
b) Оценка полноты ДД на основе вопроса: «Используя ваш список ДД в качестве эталона/золотого стандарта, насколько полны списки ДД от каждого из экспертов?»
c) Оценка уместности ДД на основе вопроса: «Насколько уместны были списки ДД от разных медицинских экспертов по сравнению со списком дифференциальных диагнозов, который вы только что составили?»
Цвета соответствуют группам эксперимента, а оттенок цвета соответствует разным уровням на шкалах оценки. Во всех случаях AMIE и клиницисты, которым помогала AMIE, получили самые высокие общие оценки. Числа отражают количество случаев (из 302). Обратите внимание, что у клиницистов была возможность ответить «Я не уверен» на эти вопросы; они использовали эту опцию в очень небольшом количестве (менее 1%) случаев.
Средняя оценка уместности AMIE (4,34) была значительно выше, чем у клиницистов без помощи (3,74) (парный t-критерий (paired t-test) 8,52, P < 0,001, критерий знаковых рангов Уилкоксона (Wilcoxon signed-rank test): 2 857,5, P < 0,001) или у клиницистов с возможностью использовать инструменты поиска (3,80) (парный t-критерий 7,23, P < 0,001, критерий знаковых рангов Уилкоксона: 3 308,5, P < 0,001) или «LLM» (4,06) (парный t-критерий 4,98, P < 0,001, критерий знаковых рангов Уилкоксона: 2 752,0, P < 0,001).
Для расчета точности top-n, если какой-либо из первых n диагнозов в индивидуальном ДД был помечен языковой моделью как правильный, дифференциальный диагноз считался правильным. Была рассчитана доля правильных списков ДД по всем случаям, чтобы вычислить точность top-n (для n от 1 до 10) для каждого ДД. AMIE стабильно генерировала списки, которые хорошо сопоставляются с истинным диагнозом (Рис. 2).
AMIE предоставила правильный диагноз в 177 (59%) списках, и в 89 (29%) списках он был на первом месте. Эти показатели выше, чем достигнутые клиницистами в любом из условий. Точность top-10 AMIE (59,1%) была значительно выше, чем точность top-10 для клиницистов без помощи (33,6%) (P = 0,04) (Табл. 1 и 2).
Рис. 2: Точность Top-n в списках ДД по результатам человеческой и автоматизированной оценок.
Процентная точность списков ДД с окончательным диагнозом по результатам человеческой оценки (слева) или автоматизированной оценки (справа). Точки отражают среднее значение; закрашенные области показывают ±1 стандартное отклонение (s.d.) от среднего.
Табл. 1 Точность Top-1 и top-10 списков ДД, созданных с помощью AMIE и поиска
Model only | Human | |||||||
AMIE | Before assistance | After Search assistance | After AMIE assistance | |||||
Metrics | Top-1↑ | Top-10↑ | Top-1↑ | Top-10↑ | Top-1↑ | Top-10↑ | Top-1↑ | Top-10↑ |
Full set (302 cases) | 29,2% | 59,1% | 15,9% | 33,6% | 24,3% | 44,5% | 25,2% | 51,8% |
Set with no overlap (56 cases) | 35,4% | 55,4% | 13,8% | 34,6% | 29,2% | 46,2% | 24,6% | 52,3% |
Difference compared to full set | +6,2% | -3,7% | -2,1% | +1,0% | +4,9% | +1,7% | -0,6% | +0,5% |
Set with partial overlap (249 cases) | 29,9% | 61,4% | 14,9% | 33,1% | 24,3% | 44,2% | 24,7% | 51,4 |
Difference compared to full set | +0,7% | +2,3% | -1,0% | -0,5% | 0% | -0,3% | -0,5% | -0,4% |
Табл. 2 Точность Top-1 и top-10 списков ДД, созданных с помощью AMIE и поиска, по специальностям
Model only | Human | |||||||
|---|---|---|---|---|---|---|---|---|
AMIE | Before assistance | After Search assistance | After AMIE assistance | |||||
Metrics | Top-1↑ | Top-10↑ | Top-1↑ | Top-10↑ | Top-1↑ | Top-10↑ | Top-1↑ | Top-10↑ |
Internal medicine (159 cases) | 27.7% | 61.6% | 15.5% | 34.6% | 24.5% | 47.8% | 24.5% | 52.8% |
Neurology (42 cases) | 26.8% | 56.1% | 17.1% | 31.7% | 22.0% | 36.6% | 24.4% | 51.2% |
Paediatrics (33 cases) | 30.3% | 45.5% | 6.1% | 22.7% | 12.1% | 33.3% | 15.2% | 30.3% |
Psychiatry (10 cases) | 50.0% | 70.0% | 20.0% | 50.0% | 20.0% | 60.0% | 30.0% | 60.0% |
Рис. 2 показывает точность на основе человеческой и автоматизированной метрики. Результаты в целом схожи, несмотря на то, что окончательные диагнозы часто бывают сложными и имеют нюансы, автоматизированная метрика точно отражает различие между списком ДД, который включает правильный диагноз, и тем, который его не включает.
Клиницисты в исследовании не были обязаны предоставлять полный список из десяти диагнозов для каждого случая. Клиницисты в условиях I и II должны были предоставить минимум три диагноза. Медианное количество предоставленных диагнозов было шесть.
Производительность при n = 6 имеет особое значение. Не все клиницисты предоставили шесть диагнозов, поэтому ввели переменную top-n, где для каждого случая n устанавливалось равным количеству диагнозов, предоставленных клиницистами-людьми. По переменной top-n производительность AMIE составила 59,4% — это похоже на производительность при n = 9 и n = 10. Следовательно, тот факт, что AMIE выдавала полный список из десяти диагнозов, не давал ей преимущества по сравнению с клиницистами.
AMIE как ассистент для ДД
Из списков ДД, созданных до получения помощи, лишь 37% (без использования инструментов поиска) и 29% (без использования AMIE) достигли оценки качества 5 (Рис. 1). Для сравнения, 49% списков, созданных с помощью AMIE, получили оценку 5.
Количество случаев, получивших оценку 5 (т.е. ДД включал правильный диагноз), было статистически выше для клиницистов, которым помогала AMIE, по сравнению с клиницистами без помощи (критерий Мак-Немара: 48,3, P < 0,01) и клиницистами с помощью инструментов поиска (5,45, P = 0,02).
По полноте, количество случаев, получивших оценку 4 (т.е. «ДД содержит все разумные варианты»), было статистически выше для клиницистов, которым помогала AMIE, по сравнению с клиницистами без помощи (критерий Мак-Немара: 185,8, P < 0,01) и клиницистами с помощью инструментов поиска (185,8, P < 0,01). В качестве проверки согласованности, количество случаев, получивших оценку 4, не было статистически выше для базовых значений при использовании поиска (I) и базовых значений для AMIE (II) (критерий Мак-Немара: 1,47, P = 0,23).
Средняя оценка уместности после помощи с AMIE (4,06) была значительно выше, чем после применения с «поиска» (3,80) (парный t-критерий 3,32, P = 0,001) и в исходном состоянии (baseline) (3,74) (парный t-критерий 4,79, P < 0,001).
Таким образом, при поддержке AMIE оценки качества, уместности и полноты списков ДД были выше, чем для списков до получения помощи (см. Рис. 1).
Точность top-n увеличилась с помощью AMIE по сравнению с работой без помощи (см. Рис. 2).
Диаграмма Сэнки (Sankey diagram) иллюстрирует влияние двух форм помощи (поиск и AMIE) на точность top-10 (Рис. 3).
При использовании AMIE, есть 73 случая, в которых окончательный диагноз не фигурировал до использования инструмента, его включили после помощи от AMIE. Этот результат контрастирует только с 37 случаями при использовании поиска. Сравнивая две исследовательские группы с использованием помощи, оценка качества ДД была выше для клиницистов, которым помогала AMIE (точность top-10 51,7%), по сравнению с клиницистами без ее помощи (36,1%) (критерий Мак-Немара: 45,7, P < 0,01) и клиницистами с поиском (44,4%) (4,75, P = 0,03).
Рис. 3: Диаграмма Сэнки, показывающая эффект помощи.
a) На левой части диаграммы, в 73 случаях, окончательный правильный диагноз появился в списке ДД только после того, как врачам начала помогать AMIE.
b) При использовании инструментов поиска, окончательный правильный диагноз появился в списке ДД только после помощи в 37 случаях.
В небольшом меньшинстве случаев в обеих группах (AMIE: 11 (a); поиск: 12 (b)) окончательный диагноз присутствовал в списке ДД до помощи, но отсутствовал в списке после помощи.
Продолжительность выполнения задачи с AMIE и поиском
Время, затраченное на создание обновленных списков ДД в условии «поиск» по сравнению с условием «AMIE», было схожим («поиск»: 7,19 ± 5,33 мин, AMIE: 7,29 ± 6,41 мин (среднее ± ст. откл.)). Эти значения не имели статистически значимых различий (парный t-критерий P = 0,807), что удивительно, поскольку все клиницисты имели опыт использования интернет-поиска и других инструментов извлечения информации, но использовали интерфейс AMIE впервые. Предполагалось, что им потребуется больше времени на использование AMIE из-за начальной кривой обучения (learning curve).
Длина списков ДД с AMIE и поиском
Без помощи медианная длина списков ДД составляла 6 (IQR 5–9); среднее значение было 6,41 (s.d. 2,39). С поиском, медианная длина списка ДД составляла 7 (IQR 5–10); среднее значение было 6,92 (s.d. 2,52). С AMIE, медианная длина списка ДД составляла 8 (IQR 6–10); среднее значение было 7,58 (s.d. 2,33). С помощью AMIE, длина списков ДД была больше, чем без помощи (парный t-критерий: 7,13, P < 0,001) и длиннее, чем списки ДД с помощью поиска (парный t-критерий: 3,15, P = 0,002).
Сравнение AMIE с GPT-4
Поскольку не было того же набора людей-оценщиков, которые оценивали дифференциальные диагнозы, созданные GPT-4 и AMIE, не удалось напрямую сравнивать показатели точности top-10. Поэтому, в дизайне исследования оценивается производительность на этом подмножестве: из 70 случаев (описанных в [1]), используется автоматизированная метрика (которая, как показано выше, относительно согласуется с человеческой оценкой). AMIE показывает лучшую производительность по точности top-n для n > 1, причем разрыв наиболее заметен для n > 2 (Рис. 4). Это предполагает потенциально значительные улучшения в качестве и полноте дифференциальных диагнозов, созданных AMIE. Для n = 1 GPT-4 показывает несколько лучшую, но статистически не значимую производительность.
Рис. 4: Точность Top-n в списках ДД от разных LLM.
Сравнение процентного соотношения списков ДД, включавших окончательный диагноз, для AMIE по сравнению с GPT-4 для 70 случаев. Использовали Med-PaLM 2, GPT-4 и AMIE в качестве оценщиков — все показали схожие тенденции. Точки отражают среднее значение; закрашенные области показывают отклонение ±1 s.d. от среднего по 10 испытаниям (trials).
Полный размер изображения
Обсуждение
В статье использовалась популярная серия сложных диагностических задач для оценки LLM, оптимизированной для клинических рассуждений и диагностики (AMIE); как в самостоятельном качестве, так и в рамках рандомизированных сравнений в качестве вспомогательного инструмента для врачей.
В самостоятельной производительности, AMIE генерировала более уместные и полные списки ДД, чем врачи без помощи, причем ее списки с большей вероятностью включали окончательный диагноз, чем списки от сертифицированного врача-терапевта, независимо от того, какая позиция в списке ДД рассматривалась (т.е. точность top-n при n от 1 до 10).
Клиницисты, использующие AMIE в качестве ассистента, создавали ДД с более высокой точностью top-n, а также с бóльшим качеством, уместностью и полнотой по сравнению с тем, что наблюдается в работе врачей вне исследования.
Клинические случаи из New England Journal of Medicine (NEJM CPC), рассматриваемые здесь, хорошо известны тем, что представляют собой уникальные и сложные клинические головоломки. В этих особых условиях система AMIE превзошла обычных сертифицированных врачей как по точности первого предложенного диагноза (top-1), так и по точности списка возможных диагнозов (top-n).
Хотя CPC традиционно служат эталоном для проверки навыков сложной диагностики, важно понимать, что успешность в решении этих случаев не отражает общую компетентность врача в его повседневной работе (16). Более того, сам процесс формирования дифференциального диагноза (ДД) включает множество других этапов, не охваченных данным исследованием, включая целенаправленный сбор информации в условиях неопределенности. Эта задача остаётся трудной для систем искусственного интеллекта, несмотря на недавние технические прорывы в этой области (17, 18, 19).
Исходя из этого, необходимо быть очень осторожным в работе с результатами. Тем не менее, контролируемая оценка отразила выводы других недавних работ, исследующих производительность LLM и «генераторов ДД» до-LLM эпохи на меньших подмножествах NEJM CPC, которые показали потенциал автоматизированных технологий для достижения правильного ДД с более высоким качеством, чем врачи, которые не пользовались помощью при анализе сложных случаев (1,12,13,20). Хотя это представляет собой шаг вперед по сравнению с историческими попытками автоматизации ДД в NEJM CPC, в которых компьютеризированные подходы считались откровенно ненадежными для практического использования (21), такие исследования также уделяли ограниченное внимание качеству ДД, генерируемых этими автоматизированными системами, или их роли в качестве вспомогательных инструментов.
Эта работа расширяет предыдущие наблюдения и демонстрирует, что:
а) AMIE с большей вероятностью приходит к правильному ответу или предоставляла правильный ответ в списке;
б) ДД, сформированные AMIE, оценены независимыми экспертами как более уместные и полные, чем ответы сертифицированных специалистов с доступом к справочным материалам и поиску.
В этом исследовании клиницисты имели доступ как к изображениям, так и к табличным данным в отредактированных описаниях случаев, тогда как AMIE использовала только основной текст.
Хотя AMIE превзошла клиницистов, несмотря на это ограничение, неизвестно, насколько этот разрыв увеличился бы, если бы AMIE имела доступ к рисункам и таблицам. Интеграция мультимодальных входных данных LLM является областью новых исследований (22,23), с большим потенциальным количеством модальностей данных, которые необходимо учитывать. Однако существует достаточно малое количество прецедентов того, как информация из нескольких модальностей с помощью AI-систем со временем интегрируется воедино.
Повторное изучение NEJM CPC автоматизированными системами подчеркивает их перспективность в качестве «бенчмарка» для оценки и разработки LLM. Бенчмаркинг позволяет сравнивать модели друг с другом и оценивать улучшения или ухудшения производительности модели по прошествии времени. Однако эффективно сравнивать результаты не с моделями, а с человеческими суждениями о ДД достаточно затруднительно, и это мешает масштабированию подхода.
Авторы использовали автоматизированный подход для сравнения AMIE с базовой производительностью LLM (GPT-4). Их оценки отличались от недавно опубликованных оценок в других исследованиях, несмотря на использование того же подмножества случаев (1). Прямые сравнения различных технологий в идеале должны проводиться путем более обширной и слепой оценки, включая: работу по обеспечению воспроизводимости протокола человеческой оценки; анализ согласованности между оценщиками; использование метрик, отражающих точность, качество, уместность и полноту дифференциальных диагнозов LLM.
Оценки точности top-1 и top-10, хотя и впечатляют, составляя почти 30% и 60% соответственно, подчеркивают заметное пространство для улучшения LLM, особенно для сложных случаев, которые не являются патогномоничными (т.е. случаев, не имеющих признака или симптома, определяющего диагноз).
Однако, как отмечено выше, CPC представляют собой «диагностические головоломки», а не реальные примеры обычных клинических рабочих процессов, и поэтому важно рассмотреть более реалистичные условия, в которых LLM могут оказаться практически ценными в медицине.
Одним из таких примеров является потенциал LLM для помощи клиницистам в сложных диагнозах. Инструменты глубокого обучения показали значительные перспективы во многих областях медицины, но в подавляющем большинстве используются как вспомогательные, а не автономные инструменты (24), учитывая критически важный с точки зрения безопасности характер медицинской практики и множество проблем с надежностью (25) и справедливостью (26,27,28), наблюдаемых при внедрении. Наблюдения за самостоятельной диагностической точностью часто не гарантируют, что инструмент ИИ улучшит производительность в реальных условиях в качестве вспомогательного инструмента.
Остается неясным, как оптимально интегрировать принятие решений ИИ и человека в медицине (29). В частности, для LLM известная частота галлюцинаций и конфабуляций (30) может ввести клиницистов в заблуждение и привести к неточным диагнозам, повторяя или даже усугубляя выводы из других клинических условий о том, что системы ИИ могут фактически ухудшать производительность клиницистов, а не обязательно улучшать исходы.
Это подчеркивает важность целенаправленного изучения LLM во вспомогательных сценариях. Авторы исследовали NEJM CPC и обнаружили, что AMIE увеличила количество уместных ДД, созданных клиницистом, при использовании в качестве вспомогательного инструмента, в дополнение к общей точности top-n, что позволяет предположить, что основной вспомогательный потенциал AMIE может заключаться в том, чтобы сделать охват более полным.
Учитывая потенциал вводящей в заблуждение информации, исходящей от систем ИИ, в том числе в убедительном диалоге, клиницисты должны осознавать фундаментальные ограничения этих моделей и не упускать из виду свое главенство в отношениях врач-пациент и свою конечную ответственность за диагностическую и терапевтическую тактику ведения своих пациентов.
Помощь в диагностическом процессе может разумно происходить в отделении неотложной помощи при поступлении (в потенциально критичные по времени моменты), при госпитализации в терапевтическое отделение или оказываться консультативной службой после госпитализации пациента или в амбулаторных клиниках. Результаты предполагают, что будущие исследования должны более строго изучить, как LLM дополняют ДД клиницистов во многих таких конкретных сценариях, где риски и выгоды могут варьироваться.
Несмотря на то, что AMIE является новым инструментом, ее использование, по-видимому, не приводило к неэффективности и не увеличивало время, затрачиваемое на решение каждой CPC, по сравнению с использованием поиска или другой традиционной информации. Это говорит о том, что диалоговый интерфейс был ненавязчивым и интуитивно понятным.
В соответствии с этим, все опрошенные клиницисты описали его как «простой» в использовании и положительно отзывались об использовании и результатах работы с интерфейсом AMIE. Повышение эффективности при сохранении или улучшении качества является общепринятой целью улучшения оказания медицинской помощи, и оптимизации работы тех, кто эту помощь предоставляет (31). Исследование показало значительный потенциал в этом отношении, поскольку клиницисты также сообщали о большей уверенности в своих списках ДД после использования модели.
Врачи отмечали сложности с поиском, когда им было неясно, как составить точный запрос и конкретизировать задачу. По отзывам, система AMIE оказалась более удобной в этом плане. Однако в таких ситуациях важную роль играют человеческие факторы, социальные аспекты и другие комплексные вопросы. Особенно важно принять меры против неравенства в доступе к подобным технологиям, чтобы не усилить уже существующие различия в качестве медицинского обслуживания разных групп населения.
Клиницисты часто выражали энтузиазм по поводу использования AMIE, но также осознавали недостатки языковых моделей и особенно беспокоились о конфабуляциях, если их будут использовать лица, не обученные или не проинструктированные избегать таких вопросов. Однако эта работа не исследовала многие другие важные аспекты взаимодействия человека и ИИ, которые требуют дальнейшего изучения в критически важных с точки зрения безопасности условиях, подобных этому.
Например, не проводились исследования степени доверия клиницистов к результатам модели или их понимания методик ее обучения и ограничений, а также не проводилось целенаправленного «вводного обучения» или тренинга, которые могут улучшать результаты использования ИИ-ассистентов (32).
Помощь искусственного интеллекта в вопросах справедливости и равенства в здравоохранении. Необходимо дальнейшее исследование того, как эти аспекты дифференциальной диагностики врачей изменяются при использовании ассистентов на основе больших языковых моделей (LLM). Известно, что системы искусственного интеллекта способны выражать неуверенность в своих выводах (33) и соответствующим образом перепоручать принятие решений врачам (34), что может значительно улучшить баланс между доверием и здоровым скептицизмом, необходимый для эффективного применения искусственного интеллекта в медицине.
Качественная обратная связь показала, что остается простор для целенаправленного улучшения LLM в качестве вспомогательных диагностических инструментов: один клиницист отметил, что «Она была наиболее полезна для более простых случаев со специфическими ключевыми словами или патогномоничными признаками», но для более сложных случаев она все еще имела тенденцию делать выводы из изолированных симптомов, а не рассматривать случай целостно.
Поддержка со стороны языковых моделей (LLM) может потенциально "повышать квалификацию" медицинских работников, особенно помогая им расширять и улучшать качество дифференциальной диагностики. Как показали интервью с врачами после их работы с AMIE, такое повышение навыков может быть полезно для обучения и подготовки медперсонала на разных уровнях — от ординаторов до опытных лечащих врачей.
Преимущества повышения квалификации могут также распространяться на регионы с менее доступным специализированным медицинским образованием, например, в странах с низким и средним уровнем доходов. Однако стоит учесть, что эти результаты могут не полностью отражать все возможные сценарии использования, поскольку в исследовании участвовали только 20 клиницистов со средним опытом работы 11,5 лет. Выборка может недостаточно представлять разнообразие потенциальных пользователей, которые могли бы использовать языковые модели как инструмент диагностической поддержки.
Качественные выводы из интервью с клиницистами подчеркивают совместный характер процесса диагностического рассуждения и важность клинического суждения при использовании LLM. В то время как AMIE была способна генерировать широкий ДД в изоляции, опыт клиницистов позволял им фильтровать предложения при использовании инструмента, отбрасывая те, которые они считали неточными или нерелевантными, и приводя к более полному и продуманному окончательному списку дифференциальных диагнозов.
Этот активный процесс оценки и фильтрации может объяснить разрыв между самостоятельной производительностью AMIE и производительностью клиницистов при помощи инструмента, при этом выделяются несколько конкретных факторов:
Эффект якоря (anchoring bias): клиницисты имели тенденцию «зацикливаться» на своем первоначальном ДД без помощи. Это согласуется с известным искажением восприятия и привязанностью к предыдущему опыту и может усугубляться двухэтапным устройством исследования.
Внушаемость LLM: несколько клиницистов отметили, что AMIE можно было направить по альтернативным диагностическим путям уточняющими вопросами, и что это могло привести к неточным выводам, которые клиницисты распознавали как сомнительные;
Калибровка доверия: клиницисты подчеркнули важность способности модели сообщать о своей неуверенности, так как это, вероятно, повлияло бы на степень их доверия и учета предложений AMIE.
Ограничения
Формат клинических случаев из NEJM CPC значительно отличается от реальной первичной оценки пациента врачом. Эти описания создаются как специальные "головоломки" с достаточным количеством подсказок, позволяющих специалисту прийти к окончательному диагнозу через логические рассуждения. На начальном этапе встречи с пациентом врачу было бы трудно составить такое краткое, полное и структурированное описание случая.
При первичном приеме пациента такие подробные описания в стиле NEJM просто недоступны. Кроме того, представленные случаи были специально отобраны как сложные и нетипичные, а не как распространенные состояния. Поэтому, это исследование не предполагает, что врачам следует использовать поддержку языковых моделей (LLM) для обычных случаев, с которыми они сталкиваются ежедневно.
Оценка нетривиальна для таких сложных задач, как исследования этих случаев. Хотя рубрика, которую использовали для оценки того, включен ли диагноз в список ДД, ясна, возможны разногласия относительно того, является ли отдельный диагноз достаточно специфичным, чтобы считаться правильным или неправильным. Эта неоднозначность, вероятно, является причиной того, что мы не получили идентичных результатов Kanjee et al. (1).
Другая проблема в том, что неизвестно, насколько AMIE превзошла бы клиницистов, если бы AMIE имела доступ к рисункам и таблицам. Ранние данные свидетельствуют о том, что эффект может зависеть от случая и контекста (13). Новые мультимодальные модели должны оцениваться аналогичным образом. Подходящий формат ввода для изображений ясен, тогда как таблицы могут быть представлены текстуально или графически. Эксперименты по оптимальному формату для табличных данных также были бы ценными.
Исследование выявило некоторые слабые стороны AMIE. В частности, один клиницист подчеркнул, что «Она была наиболее полезна для более простых случаев со специфическими ключевыми словами или патогномоничными признаками» и что для более сложных случаев она все еще имела тенденцию делать выводы из изолированных симптомов, а не рассматривать случай целостно. Учитывая важность оценки сложных случаев, описания случаев NEJM CPC, вероятно, послужат полезным набором данных для дальнейшего бенчмаркинга LLM.
Авторы признают, что анализ времени, потраченного на задачи, может не точно соответствовать тому, как LLM повлияла бы на время выполнения задачи в реальности. На практике клиницисту необходимо будет написать описание случая или заметки, прежде чем он сможет использовать систему такого типа.
Между дифференциальными диагнозами, составленными врачами и моделью, могли существовать систематические различия, которые могли подсказать клиницистам, что списки происходили из разных источников. Однако считается, что это не повлияло на результаты по нескольким причинам:
Во-первых, перед проведением оценки были пересмотрены списки от модели и от клиницистов, чтобы убедиться в отсутствии явных различий в форматировании.
Во-вторых, эксперты-оценщики не были проинформированы о различных возможных источниках дифференциальных диагнозов и о том, что среди них могут быть результаты работы ИИ-моделей. Кроме того, порядок представления списков дифференциальной диагностики был скрыт в процессе оценки.
В-третьих, автоматическая оценка не зависела от источника данных, и результаты человеческой и автоматической оценки согласовывались между собой.
Заключение
Генерация ДД является критически важным шагом в ведении клинического случая, и LLM предоставляют новые возможности использования вспомогательных инструментов для помощи в этой задаче.
Данное рандомизированное исследование показало, что AMIE была полезным инструментом ИИ для генерации ДД врачам общей практики. Участвовавшие клиницисты указали на полезность для обучения и образования, но необходима дополнительная работа для понимания ее пригодности в клинических условиях.
Методы
Описания случаев NEJM CPC
Протоколы случаев Massachusetts General Hospital (MGH) представляют собой опубликованные, слегка отредактированные транскрипции CPC из MGH. В CPC описывается презентация случая пациента, а затем эксперта-врача просят предоставить ДД и окончательный диагноз, вместе с его диагностическими рассуждениями, основываясь только на предоставленной медицинской истории пациента и предварительных результатах тестов.
Опубликованные случаи, обычно организованные как диагностические головоломки, кульминацией которых является окончательный, патологоанатомически подтвержденный диагноз. Такие случаи регулярно публикуются в NEJM. В статье используются описания случаев, лицензированные у NEJM, для оценки способности AMIE генерировать ДД самостоятельно и, отдельно, помогать клиницистам в генерации их собственного дифференциального диагноза. Для последней задачи был разработан пользовательский интерфейс для взаимодействия клиницистов с AMIE.
Рассмотрен набор из 326 текстов случаев из серии NEJM CPC. Описания случаев были опубликованы за 10-летний период с 13 июня 2013 года по 10 августа 2023 года. Из них 23 (7%) были исключены на том основании, что они обсуждали ведение случая и не были в первую очередь сосредоточены на диагностике.
Статьи были распределены по годам между 2013–2023 гг. следующим образом: 2013: n = 22; 2014: n = 34; 2015: n = 36; 2016: n = 35; 2017: n = 36; 2018: n = 16; 2020: n = 23; 2021: n = 36; 2022: n = 39; 2023: n = 26. Дополнительная таблица 2 содержит полный список описаний случаев, включая название, год и номер выпуска каждого отчета. 302 случая включают 70 случаев, использованных Kanjee et al. (1).
Эти описания случаев охватывают ряд медицинских специальностей. Наибольшая доля приходится на внутренние болезни (n = 159), за которыми следуют неврология (n = 42), педиатрия (n = 33) и психиатрия (n = 10). Текст, соответствующий анамнезу настоящего заболевания (history of the present illness, HPI), был вручную извлечен из каждой статьи в качестве входных данных для AMIE. Среднее (медианное) количество слов в этих разделах описаний случаев составляет 1031 слово (среднее: 1044, ст. откл.: 296, диапазон: 378–2428). Среднее (медианное) количество символов составляет 6619 символов (среднее: 6760, ст. откл.: 1983, диапазон: 2426–15196).
Модифицированная версия статьи, включающая предоставленный анамнез настоящего заболевания (HPI), данные визуализационных исследований и лабораторных анализов при поступлении (если они были доступны в конкретном случае), была создана для клиницистов-людей (см. Расширенный рисунок 1). Из этой версии были удалены следующие элементы: окончательный диагноз, обсуждение дифференциальной диагностики экспертом и любые последующие результаты визуализации или биопсии (которые обычно являются типичными элементами заключения в задачах по клиническим случаям).
Учитывая, что AMIE является моделью искусственного интеллекта, работающей только с текстом, изображения при поступлении и таблицы лабораторных анализов не подавались в модель напрямую. Однако текстовые описания конкретных лабораторных показателей или результатов визуализационных исследований иногда включались в текстовое описание случая.
Обучение LLM для ДД
Данное исследование представляет AMIE, модель, использующую архитектуру трансформера (PaLM 2 (7)), дообученную на данных медицинской области; вместе с интерфейсом, позволяющим использовать ее в качестве интерактивного ассистента для клиницистов.
Как и Med-PaLM 2 (10), AMIE основана на PaLM 2, итерации LLM Google со значительными улучшениями производительности по нескольким задачам бенчмарков LLM. Для целей этого анализа использовалась большая (L) модель PaLM 2.
AMIE была дообучена с большой длиной контекста на смеси задач, состоящей из ответов на медицинские вопросы (множественный выбор и развернутые вопросы), генерации медицинских диалогов и суммирования записей электронных медицинских карт. Используемые наборы данных включали обучающие выборки MultiMedQA (MedQA, MedMCQA, HealthSearchQA, LiveQA и MedicationQA) (10), проприетарный набор данных медицинских бесед и созданные экспертами вручную резюме записей ЭМК из MIMIC-III (35). Способность обрабатывать входные данные с длинным контекстом позволяет AMIE справляться с задачами, требующими рассуждений и понимания на больших отрезках текста.
Из MedQA (множественный выбор) использовали открытые вопросы в стиле экзамена USMLE (US Medical Licensing Examination) с четырьмя или пятью возможными ответами (36). Для обучения использовался набор из 11 450 вопросов, а 1 273 вопроса были зарезервированы для тестирования. Отобрали 191 вопрос MedQA из обучающего набора, для которых клинические эксперты разработали пошаговые рассуждения, ведущие к правильному ответу. Из наборов данных HealthSearchQA, LiveQA и MedicationQA использовали созданные экспертами развернутые ответы на 64 вопроса. Медицинские беседы были взяты из набора данных из 218 диалогов между клиницистом и пациентом, которые связаны с соответствующим истинным диагнозом. Набор данных включает респираторные (n = 168), костно-мышечные (n = 40), кардиологические (n = 5), гастроэнтерологические (n = 4) и дерматологические (n = 1) диалоги. Всего представлено 102 уникальных диагноза со средним количеством реплик 98 (25-й перцентиль = 85,0, 75-й перцентиль = 113,0).
Данные описаний случаев NEJM не использовались в процессе дообучения, и ученые проводили эксперименты по контаминации, чтобы оценить, повлиял ли на качество результата текст случая, который мог находиться в претренировочном корпусе.
Промптинг без примеров
Оценивается AMIE на каждом из исследований случаев NEJM со следующим промптом: «Вы — полезный медицинский ассистент. Вам будет предоставлен сложный клинический случай, и вас спросят о нем; внимательно прочтите его, а затем предоставьте разнообразный и исчерпывающий ДД».
Пример ввода
Случай: [текст кейса]
Перечисли 10 наиболее вероятных диагнозов. Отвечай точно, на каждой строке должно быть по одному диагнозу. Постарайся охватить как можно больше уникальных случаев, не меньше десяти. Топ-10 диагнозов:
Пример вывода
Синдром Сезари
Т-клеточный лейкоз/лимфома взрослых
Грибовидный микоз
Атопический дерматит
Псориаз
Лекарственная реакция с эозинофилией и системными симптомами (DRESS)
Реакция «трансплантат против хозяина» (РТПХ/GVHD)
Кожная Т-клеточная лимфома, неуточненная
Гиперэозинофильный синдром
Системная красная волчанка (СКВ/SLE)
Пользовательский интерфейс AMIE
Интерфейс, связанный с AMIE, изображенный на примере ниже, позволяет пользователям взаимодействовать с базовой моделью посредством текстового чата в контексте данного описания случая. В исследовании интерфейс был предварительно заполнен текстовым представлением HPI для данного случая. Клиницистам было предложено инициировать взаимодействие, запросив AMIE с использованием предложенного промпта. После этого начального промпта и ответа AMIE клиницисты могли свободно запрашивать модель, используя любые дополнительные уточняющие вопросы, хотя клиницистов предупреждали избегать вопросов об информации, которая еще не была представлена в случае. Пилотное исследование показало, что без такого предупреждения клиницисты могут задавать вопросы о конкретных лабораторных значениях или визуализации, что приводит к конфабуляциям.
Для данного вопроса интерфейс генерировал ответ, запрашивая AMIE с использованием следующего шаблона промпта:
Прочтите случай ниже и ответьте на вопрос, предоставленный после случая.
Отформатируйте свой ответ, используя синтаксис markdown для создания абзацев и маркированных списков. Используйте <br><br> для начала нового абзаца. Каждый абзац должен содержать 100 слов или меньше. Используйте маркированные списки для перечисления нескольких вариантов. Используйте <br>* для начала нового пункта маркированного списка. Выделяйте важные фразы, такие как заголовки. Используйте `**` непосредственно перед и сразу после фразы, чтобы выделить ее. Между `**` и фразой, которую вы пытаетесь выделить, НЕ должно быть пробелов.
Случай: [текс кейса]
Вопрос (предлагаемый начальный вопрос: «Каковы 10 наиболее вероятных диагнозов и почему (будьте точны)?»): [Вопрос]
Ответ:
Дизайн эксперимента
Для сравнительной оценки способности AMIE генерировать ДД самостоятельно и помогать клиницистам в генерации их ДД, было разработано двухэтапное исследование с участием читателей, иллюстрированное на примере ниже. Исследование было разработано для оценки вспомогательного эффекта AMIE для врачей общей практики (не специализирующихся на узкой области), которые имеют доступ только к представлению случая, а не к полной информации о случае (которая включала бы комментарии эксперта по ДД).
Первый этап исследования имел сбалансированный дизайн с двумя условиями. Клиницисты сначала составляли списки дифференциальных диагнозов без посторонней помощи, а затем второй раз – с помощью, причем тип помощи различался в зависимости от условия эксперимента.
Этап 1: Клиницисты генерируют ДД с помощью и без помощи
Двадцать сертифицированных в США врачей-терапевтов (медиана лет опыта: 9, среднее: 11,5, ст. откл.: 7,24, диапазон: 3–32) просматривали отредактированное описание случая, имея доступ к представлению случая и связанным с ним рисункам и таблицам. Они выполняли эту задачу в одном из двух условий, на основе случайного распределения.
Условие I: поиск. Сначала клиницистам было поручено предоставить список до десяти диагнозов, минимум три, основываясь исключительно на рассмотрении представления случая без использования каких-либо справочных материалов (например, книг) или инструментов (например, интернет-поиска). После этого клиницистам было поручено использовать интернет-поиск или другие ресурсы по желанию (но без доступа к AMIE) и попросили повторно выполнить ДД.
Условие II: AMIE. Как и в условии I, сначала клиницистам было поручено предоставить список до десяти диагнозов, минимум три, основываясь исключительно на рассмотрении представления случая без использования каких-либо справочных материалов (например, книг) или инструментов (например, интернет-поиска). После этого клиницистам был предоставлен доступ к AMIE и попросили повторно выполнить ДД. В дополнение к AMIE, клиницисты могли по желанию использовать интернет-поиск или другие ресурсы.
Для организации процесса, создали десять пар клиницистов, объединяя в каждую пару врачей с примерно одинаковым опытом работы после ординатуры. Весь набор клинических случаев был случайным образом разделен на десять частей, и каждой паре клиницистов была назначена одна из этих частей.
В пределах каждой части, каждый из случаев выполнялся дважды: один раз в условии I одним клиницистом из пары, и один раз в условии II другим клиницистом. Распределение экспериментальных условий (кто из пары будет работать в условии I, а кто в условии II) для каждого случая определялось случайным образом.
Такое объединение клиницистов со схожим постординатурным опытом для работы над одними и теми же случаями помогло уменьшить вариативность между двумя разными экспериментальными условиями.
Этап 2. Специалисты с полной информацией о случае извлекают золотой стандарт ДД и оценивают ДД Этапа 1
Девятнадцать сертифицированных в США клиницистов-специалистов (медиана лет опыта: 14, среднее: 13,7, ст. откл.: 7,82, диапазон: 4–38) были набраны из областей внутренних болезней (n = 10), неврологии (n = 3), педиатрии (n = 2), психиатрии (n = 1), дерматологии (n = 1), акушерства (n = 1) и неотложной медицины (n = 1). Их средний стаж работы составлял 13,7 лет (ст. откл.: 7,82, диапазон: 4–38). Эти специалисты соответствовали специальности соответствующего случая CPC, просматривали полное описание случая, и их просили перечислить от пяти до десяти дифференциальных диагнозов. После этого их просили оценить пять списков ДД, сгенерированных на этапе 1, включая два списка ДД из условия 1 (ДД без помощи и ДД с помощью поиска), два списка ДД из условия 2 (ДД без помощи и ДД с помощью AMIE) и отдельный список ДД AMIE. Каждый случай рассматривал один специалист.
Специалисты отвечали на следующие вопросы для оценки списков ДД:
Оценка качества, разработанная Bond et al. (15) и использованная Kanjee et al. (1), является дифференциальной оценкой на основе порядковой пятибалльной шкалы: «Насколько близки были дифференциальные диагнозы (ДД) к включению окончательного диагноза?» Варианты были: 5, ДД включает правильный диагноз; 4, ДД содержит нечто очень близкое, но не точное совпадение с правильным диагнозом; 3, ДД содержит нечто тесно связанное, что могло бы быть полезным при определении правильного диагноза; 2, ДД содержит нечто связанное, но маловероятно полезное при определении правильного диагноза; и 1, ничто в ДД не связано с правильным диагнозом.
Оценка уместности: «Насколько уместным был каждый из списков дифференциальных диагнозов от разных медицинских экспертов по сравнению со списком дифференциальных диагнозов, который вы только что составили?» Варианты ответа были по шкале Лайкерта (Likert scale) от 5 (очень уместно) до 1 (очень неуместно).
Оценка полноты: «Используя ваш список дифференциальных диагнозов в качестве эталона/золотого стандарта, насколько полны списки дифференциальных диагнозов от каждого из экспертов?» Варианты ответа были: 4, ДД содержит всех разумных кандидатов; 3, ДД содержит большинство кандидатов, но некоторые отсутствуют; 2, ДД содержит некоторых кандидатов, но многие отсутствуют; и 1, в ДД отсутствуют основные кандидаты.
Наконец, специалистов просили указать, на какой позиции в списке ДД совпадал правильный диагноз, если он вообще был включен в ДД.
Цели клиницистов
Клиницисты были наняты и вознаграждены компаниями-вендорами по рыночным ставкам в зависимости от специальности, без конкретных задач, таких как точность диагностики или другие факторы.
Автоматизированная оценка
В дополнение к сравнению с истинным диагнозом и экспертной оценкой клиницистов, были созданы и автоматизированы оценки производительности пяти ДД с использованием метрики на основе языковой модели. Такие автоматизированные метрики полезны, поскольку человеческая оценка требует много времени и затрат для многих экспериментов. Сначала извлекли (до десяти) отдельных диагнозов, перечисленных в каждом ДД. Использовали незначительные шаги обработки текста с помощью регулярных выражений для разделения выводов по новым строкам и удаления любой нумерации перед диагнозами. Затем спросили у дообученной для медицины языковой модели, Med-PaLM 2 (10), совпадает ли каждый из этих диагнозов с истинным диагнозом, используя следующий промпт:
Является ли наш предсказанный диагноз правильным (д/н)? Предсказанный диагноз: [диагноз], Истинный диагноз: [метка]
Ответ [д/н].
Диагноз помечался как правильный, если языковая модель выводила «д».
Вычислили каппу Коэна (Cohen’s kappa) как меру согласия между людьми-оценщиками и автоматизированной оценкой относительно бинарного решения о том, совпадает ли данный диагноз — т.е. отдельный элемент из предложенного списка ДД — с правильным окончательным диагнозом. Каппа Коэна для этой задачи сопоставления составила 0,631, что указывает на «существенное согласие» между людьми-оценщиками и методом автоматизированной оценки, согласно Landis & Koch (37).
Качественные интервью
После исследования провели полуструктурированные 30-минутные интервью с 5 врачами общей практики, участвовавшими в этапе 1. Полуструктурированные интервью исследовали следующие вопросы:
(1) Как вы оценили задачу генерации ДД из текста описания случая?
(2) Подумайте о том, как вы использовали интернет-поиск или другие ресурсы. Насколько полезными или бесполезными были эти инструменты?
(3) Подумайте о том, как вы использовали AMIE. Насколько она была полезна или бесполезна?
(4) Были ли случаи, когда вы доверяли результатам поисковых запросов? Расскажите подробнее об этом опыте, если да. Например, о типах случаев, типах результатов поиска.
(5) Были ли случаи, когда вы доверяли результатам запросов к LLM? Расскажите подробнее об этом опыте, если да. Например, о типах случаев, типах результатов поиска.
(6) Подумайте о рассуждениях, предоставленных интерфейсом LLM? Где они были полезны? Где они были бесполезны?
(7) Какие уточняющие вопросы вы сочли наиболее полезными для LLM?
(8) Сколько времени требуется, чтобы привыкнуть к LLM? Насколько она была интуитивно понятна? Насколько она была неинтуитивна?
Провели тематический анализ записей, сделанных исследователями во время интервью, используя индуктивный подход для выявления паттернов в данных. Начальные коды были сгенерированы путем построчного анализа записей, с вниманием как к семантическому содержанию, так и к скрытому значению. Затем коды были сгруппированы на основе концептуального сходства и итеративно уточнялись. Для повышения достоверности анализа, было проведено взаимное рецензирование внутри команды исследователей. Путем обсуждения и консенсуса, были согласованы окончательные темы.
Доступность данных Клинические случаи, использованные в этом исследовании, опубликованы и были лицензированы у журнала New England Journal of Medicine. Мы не можем повторно распространять материалы, защищенные авторским правом, но тексты случаев можно получить из журнала.
Доступность кода AMIE — это исследовательская система искусственного интеллекта на основе LLM для диагностического диалога. Мы не делаем код модели и веса общедоступными из-за соображений безопасности, связанных с неконтролируемым использованием такой системы в медицинских учреждениях. В интересах ответственных инноваций, мы будем работать с исследовательскими партнерами, регуляторами и поставщиками услуг для проверки и изучения безопасных дальнейших применений AMIE. Для воспроизводимости, мы документировали технические методы глубокого обучения, сохраняя при этом статью доступной для клинической и общей научной аудитории. Наша работа основана на PaLM 2, технические детали которого были подробно описаны в техническом отчете (7).
-
09.10.25 08:23
pHqghUme
(select(0)from(select(sleep(15)))v)/*'+(select(0)from(select(sleep(15)))v)+'"+(select(0)from(select(sleep(15)))v)+"*/
-
09.10.25 08:24
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:24
pHqghUme
e
-
09.10.25 08:24
pHqghUme
can I ask you a question please?-1 waitfor delay '0:0:15' --
-
09.10.25 08:25
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:25
pHqghUme
e
-
09.10.25 08:25
pHqghUme
e
-
09.10.25 08:25
pHqghUme
e
-
09.10.25 08:25
pHqghUme
can I ask you a question please?9IDOn7ik'; waitfor delay '0:0:15' --
-
09.10.25 08:26
pHqghUme
can I ask you a question please?MQOVJH7P' OR 921=(SELECT 921 FROM PG_SLEEP(15))--
-
09.10.25 08:26
pHqghUme
e
-
09.10.25 08:27
pHqghUme
can I ask you a question please?64e1xqge') OR 107=(SELECT 107 FROM PG_SLEEP(15))--
-
09.10.25 08:27
pHqghUme
can I ask you a question please?ODDe7Ze5')) OR 82=(SELECT 82 FROM PG_SLEEP(15))--
-
09.10.25 08:28
pHqghUme
can I ask you a question please?'||DBMS_PIPE.RECEIVE_MESSAGE(CHR(98)||CHR(98)||CHR(98),15)||'
-
09.10.25 08:28
pHqghUme
can I ask you a question please?
-
09.10.25 08:28
pHqghUme
can I ask you a question please?'"
-
09.10.25 08:28
pHqghUme
@@olQP6
-
09.10.25 08:28
pHqghUme
(select 198766*667891)
-
09.10.25 08:28
pHqghUme
(select 198766*667891 from DUAL)
-
09.10.25 08:30
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:33
pHqghUme
can I ask you a question please?
-
09.10.25 08:34
pHqghUme
can I ask you a question please?
-
09.10.25 08:34
pHqghUme
if(now()=sysdate(),sleep(15),0)
-
09.10.25 08:35
pHqghUme
e
-
09.10.25 08:36
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:36
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:37
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:37
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:37
pHqghUme
e
-
09.10.25 08:37
pHqghUme
e
-
09.10.25 08:40
pHqghUme
can I ask you a question please?
-
09.10.25 08:40
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:41
pHqghUme
e
-
09.10.25 08:41
pHqghUme
can I ask you a question please?
-
09.10.25 08:42
pHqghUme
can I ask you a question please?
-
09.10.25 08:42
pHqghUme
is it ok if I upload an image?
-
09.10.25 08:42
pHqghUme
e
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
09.10.25 11:05
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
11.10.25 04:41
luciajessy3
Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / WHATSAPP ; +1 (603) 702 ( 4335 ) is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
-
11.10.25 10:44
Tonerdomark
A thief took my Dogecoin and wrecked my life. Then Mr. Sylvester stepped in and changed everything. He got back €211,000 for me, every single cent of my gains. His calm confidence and strong tech skills rebuilt my trust. Thanks to him, I recovered my cash with no issues. After months of stress, I felt huge relief. I had full faith in him. If a scam stole your money, reach out to him today at { yt7cracker@gmail . com } His help sparked my full turnaround.
-
12.10.25 01:12
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
12.10.25 01:12
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
12.10.25 19:53
Tonerdomark
A crook swiped my Dogecoin. It ruined my whole world. Then Mr. Sylvester showed up. He fixed it all. He pulled back €211,000 for me. Not one cent missing from my profits. His steady cool and sharp tech know-how won back my trust. I got my money smooth and sound. After endless worry, relief hit me hard. I trusted him completely. Lost cash to a scam? Hit him up now at { yt7cracker@gmail . com }. His aid turned my life around. WhatsApp at +1 512 577 7957.
-
12.10.25 21:36
blessing
Writing this review is a joy. Marie has provided excellent service ever since I started working with her in early 2018. I was worried I wouldn't be able to get my coins back after they were stolen by hackers. I had no idea where to begin, therefore it was a nightmare for me. However, things became easier for me after my friend sent me to [email protected] and +1 7127594675 on WhatsApp. I'm happy that she was able to retrieve my bitcoin so that I could resume trading.
-
13.10.25 01:11
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
13.10.25 01:11
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
14.10.25 01:15
tyleradams
Hi. Please be wise, do not make the same mistake I had made in the past, I was a victim of bitcoin scam, I saw a glamorous review showering praises and marketing an investment firm, I reached out to them on what their contracts are, and I invested $28,000, which I was promised to get my first 15% profit in weeks, when it’s time to get my profits, I got to know the company was bogus, they kept asking me to invest more and I ran out of patience then requested to have my money back, they refused to answer nor refund my funds, not until a friend of mine introduced me to the NVIDIA TECH HACKERS, so I reached out and after tabling my complaints, they were swift to action and within 36 hours I got back my funds with the due profit. I couldn’t contain the joy in me. I urge you guys to reach out to NVIDIA TECH HACKERS on their email: [email protected]
-
14.10.25 08:46
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
14.10.25 08:46
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
14.10.25 08:46
robertalfred175
CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
15.10.25 18:07
crypto
Cryptocurrency's digital realm presents many opportunities, but it also conceals complex frauds. It is quite painful to lose your cryptocurrency to scam. You can feel harassed and lost as a result. If you have been the victim of a cryptocurrency scam, this guide explains what to do ASAP. Following these procedures will help you avoid further issues or get your money back. Communication with Marie ([email protected] and WhatsApp: +1 7127594675) can make all the difference.
-
15.10.25 21:52
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
15.10.25 21:52
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
17.10.25 20:17
tyleradams
As time passes, there are an increasing number of frauds involving Bitcoin and other cryptocurrencies. Although there are many individuals who advertise recovering money online, people should use caution in dealing, especially when money is involved. You can trust NVIDIA TECH HACKERS [[email protected]], I promise. They are the top internet recovery company, and as their names indicate, your money is reclaimed as soon as feasible. My bitcoin was successfully retrieved in large part thanks to NVIDIA TECH HACKERS. Ensure that you get top-notch service; NVIDIA TECH HACKERS provides evidence of its work; and payment is only made when the service has been completed to your satisfaction. Reach them via email: [email protected] on google mail
-
17.10.25 20:20
lindseyvonn
Have you gotten yourself involved in a cryptocurrency scam or any scam at all? If yes, know that you are not alone, there are a lot of people in this same situation. I'm a Health Worker and was a victim of a cryptocurrency scam that cost me a lot of money. This happened a few weeks ago, there’s only one solution which is to talk to the right people, if you don’t do this you will end up being really depressed. I was really devastated until went on LinkedIn one evening after my work hours and i saw lots of reviews popped up on my feed about [email protected], I sent an email to the team who came highly recommended - [email protected] I started seeing some hope for myself from the moment I sent them an email. The good part is they made the entire process stress free for me, i literally sat and waited for them to finish and I received what I lost in my wallet
-
17.10.25 20:22
richardcharles
I would recommend NVIDIA TECH HACKERS to anyone that needs this service. I decided to get into crypto investment and I ended up getting my crypto lost to an investor late last year. The guy who was supposed to be managing my account turned out to be a scammer all along. I invested 56,000 USD and at first, my reading and profit margins were looking good. I started getting worried when I couldn’t make withdrawals and realized that I’ve been scammed. I came across some of the testimonials that people said about NVIDIA TECH HACKERS and how helpful he has been in recovering their funds. I immediately contacted him in his mail at [email protected] so I can get his assistance. One week into the recovery process the funds were traced and recovered back from the scammer. I can't appreciate him enough for his professionalism.
-
17.10.25 20:23
stevekalfman
If you need a hacker for scam crypto recovery or mobile spy access remotely kindly reach out to [email protected] for quick response, I hired this hacker and he did a nice job. before NVIDIA TECH HACKERS, I met with different hacker's online which turns out to be scam, this NVIDIA TECH HACKERS case was different and he is the trusted hacker I can vote and refer.
-
17.10.25 21:42
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
17.10.25 21:42
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
17.10.25 21:42
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
21.10.25 08:39
debby131
Given how swiftly the cryptocurrency market moves, losing USDT may be a terrifying and upsetting experience. Whether you experienced a technical problem, a transaction error, or were the victim of fraud, it is important to understand the potential recovery routes. Marie can assist you in determining the specific actions you can take to attempt to regain your lost USDT when you need guidance and clarification. You can reach her via email at [email protected] and WhatsApp at +1 7127594675.
-
21.10.25 11:45
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
21.10.25 11:45
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
22.10.25 04:48
MATT PHILLIP
I never imagined I’d fall for a crypto romance scam but it happened. Over the course of a few months, I sent nearly $150,000 worth of Bitcoin to someone I genuinely believed I was building a future with. When they disappeared without a trace, I was left heartbroken, humiliated, and financially devastated. For a long time, I didn’t tell anyone. I felt ashamed. But eventually, while searching for answers, I came across a Reddit thread that mentioned Agent Jasmine Lopez. I reached out, not expecting much. To my surprise, she treated me with kindness, not judgment. She used advanced tools like blockchain forensics, IP tracing, and smart contract analysis and with persistence and legal support, she was able to recover nearly 85% of what I lost. I know not everyone gets that kind of outcome, but thanks to [email protected] WhatsApp at +44 736-644-5035, I’ve started to reclaim not just my assets, but my confidence and peace of mind. If you’re going through something similar, you’re not alone and there is hope.
-
22.10.25 07:36
donnacollier
HOW I RECOVERED MY BITCOIN FROM CRYPTO INVESTMENT SCAM HOW I RECOVERED MY BITCOIN FROM CRYPTO INVESTMENT SCAM Hello everyone l’m by name Donna collier I live in urbandale 3 weeks ago was the darkest days of my life, i invested my hard earned money the sum of $123,000 into a crypto currency platform I was introduced to by a friend I met online everything happen so fast I was promised 300% of return of investment when it was time for me to cash out my investment and profit the platform was down I was so diversitated confused and tried to end it all then I came across upswing Ai a renowned expert in crypto currency and digital assets recovery at first it seem impossible after taking up my case within the the next 48 hours they where able to track down those fraud stars and recover my money I can’t recommend them enough to any one facing likewise change I will recommend you contact upswing Ai on Contact Details: WhatsApp +,1,2,0,2,8,1,0,1,4,0,7 E m a i l @Upswing-ai.com Website https: // u psw ing-ai. com/ platform /
-
22.10.25 11:59
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
22.10.25 11:59
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
22.10.25 16:31
MATT PHILLIP
I never imagined I’d fall for a crypto romance scam but it happened. Over the course of a few months, I sent nearly $150,000 worth of Bitcoin to someone I genuinely believed I was building a future with. When they disappeared without a trace, I was left heartbroken, humiliated, and financially devastated. For a long time, I didn’t tell anyone. I felt ashamed. But eventually, while searching for answers, I came across a Reddit thread that mentioned Agent Jasmine Lopez. I reached out, not expecting much. To my surprise, she treated me with kindness, not judgment. She used advanced tools like blockchain forensics, IP tracing, and smart contract analysis and with persistence and legal support, she was able to recover nearly 85% of what I lost. I know not everyone gets that kind of outcome, but thanks to [email protected] WhatsApp at +44 736-644-5035, I’ve started to reclaim not just my assets, but my confidence and peace of mind. If you’re going through something similar, you’re not alone and there is hope.
-
23.10.25 01:52
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
23.10.25 01:52
marcushenderson624
Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
23.10.25 15:47
MATT PHILLIP
I never imagined I’d fall for a crypto romance scam but it happened. Over the course of a few months, I sent nearly $150,000 worth of Bitcoin to someone I genuinely believed I was building a future with. When they disappeared without a trace, I was left heartbroken, humiliated, and financially devastated. For a long time, I didn’t tell anyone. I felt ashamed. But eventually, while searching for answers, I came across a Reddit thread that mentioned Agent Jasmine Lopez. I reached out, not expecting much. To my surprise, she treated me with kindness, not judgment. She used advanced tools like blockchain forensics, IP tracing, and smart contract analysis and with persistence and legal support, she was able to recover nearly 85% of what I lost. I know not everyone gets that kind of outcome, but thanks to [email protected] WhatsApp at +44 736-644-5035, I’ve started to reclaim not just my assets, but my confidence and peace of mind. If you’re going through something similar, you’re not alone and there is hope.
-
23.10.25 21:43
patricialovick86
How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
23.10.25 21:43
patricialovick86
How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
24.10.25 06:08
MATT PHILLIP
I never imagined I’d fall for a crypto romance scam but it happened. Over the course of a few months, I sent nearly $150,000 worth of Bitcoin to someone I genuinely believed I was building a future with. When they disappeared without a trace, I was left heartbroken, humiliated, and financially devastated. For a long time, I didn’t tell anyone. I felt ashamed. But eventually, while searching for answers, I came across a Reddit thread that mentioned Agent Jasmine Lopez. I reached out, not expecting much. To my surprise, she treated me with kindness, not judgment. She used advanced tools like blockchain forensics, IP tracing, and smart contract analysis and with persistence and legal support, she was able to recover nearly 85% of what I lost. I know not everyone gets that kind of outcome, but thanks to [email protected] WhatsApp at +44 736-644-5035, I’ve started to reclaim not just my assets, but my confidence and peace of mind. If you’re going through something similar, you’re not alone and there is hope.
-
24.10.25 06:40
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
24.10.25 06:40
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
24.10.25 06:54
MATT PHILLIP
I never imagined I’d fall for a crypto romance scam but it happened. Over the course of a few months, I sent nearly $150,000 worth of Bitcoin to someone I genuinely believed I was building a future with. When they disappeared without a trace, I was left heartbroken, humiliated, and financially devastated. For a long time, I didn’t tell anyone. I felt ashamed. But eventually, while searching for answers, I came across a Reddit thread that mentioned Agent Jasmine Lopez. I reached out, not expecting much. To my surprise, she treated me with kindness, not judgment. She used advanced tools like blockchain forensics, IP tracing, and smart contract analysis and with persistence and legal support, she was able to recover nearly 85% of what I lost. I know not everyone gets that kind of outcome, but thanks to [email protected] WhatsApp at +44 736-644-5035, I’ve started to reclaim not just my assets, but my confidence and peace of mind. If you’re going through something similar, you’re not alone and there is hope.
-
24.10.25 18:18
patricialovick86
How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
24.10.25 18:18
patricialovick86
How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
25.10.25 00:49
tyleradams
*HOW TO GET BACK YOUR STOLEN BITCOIN FROM SCAMMERS* ⭐️⭐️⭐️⭐️⭐️ Hello everyone, I can see a lot of things going wrong these last few days of investing online and getting scammed. I was in your shoes when I invested in a bogus binary option and was duped out of $87,000 in BTC, but thanks to the assistance of NVIDIA TECH HACKERS. They helped me get back my BTC. I didn’t trust the Hackers at first, but they were recommended to me by a friend whom I greatly respect. I received my refund in two days. I must recommend NVIDIA TECH HACKERS they are fantastic. 📧 [email protected]
-
25.10.25 00:50
stevekalfman
If you ever need hacking services, look no further. I found myself in a difficult situation after losing almost $510,000 USD in bitcoin. I was distraught and had no hope of survival because i lost my life savings to this scam, I had no chance of recovering my investment. Until i came across an article on google about ([email protected]). A real-life recovery expert, everything changed completely after contacting him and explaining my ordeal to him and he quickly stepped in and assisted me in recovering 95% of my lost funds. They guarantee their clients and i got the highest level of happiness their services are highly recommended. so I’m putting this here for anyone who require their services too" Email: [email protected]
-
25.10.25 05:05
victoriabenny463
A few months ago, I fell for what looked like a legitimate online trading platform. The website was sleek, the support team was responsive, and they even showed me fake profit charts that seemed to grow daily. I started small, and after a few test withdrawals worked, I invested more eventually depositing 2 Bitcoin in hopes of long-term returns. But one morning, when I tried to withdraw, everything changed. The platform suddenly locked my account, claiming there were additional fees to release my funds. The support chat stopped responding, and the website started giving error messages. That’s when I realized I’d been scammed. I was devastated. Two Bitcoins wasn’t pocket change, it was my savings. I filed reports online, but everyone told me it was impossible to recover crypto once it’s sent. Then, through a discussion forum, I came across Dexdert Net Recovery, a team specializing in tracing and recovering stolen digital assets. Skeptical but desperate, I reached out. Their response was immediate and professional. They asked for transaction IDs, wallet addresses, screenshots of my correspondence with the fake platform, and any proof of payment I had. Within days, their analysts traced the stolen Bitcoin through multiple wallets using blockchain forensics, They updated me step-by-step, Working with their recovery experts and blockchain partners, Dexdert Net Recovery successfully froze the funds and verified ownership of my wallet. After 2 days of persistence and verification, I finally saw my 2 Bitcoin restored back into my own wallet. I couldn’t believe it. What stood out most wasn’t just that they recovered my funds, but how transparent and supportive the Dexdert team was throughout the process. They educated me on crypto safety, how to spot fake trading sites, and how to secure my digital assets in the future. Dexdert Net Recovery truly lives up to its name. They gave me back not just my Bitcoin, but my peace of mind. Reach Out Information Below Via: Email: ([email protected]) Telegram: (https://t.me/Dexdertprorecovery) WhatsApp: (+1 (859) 609‑4156)
-
25.10.25 10:13
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
25.10.25 10:13
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
26.10.25 01:03
Christopherbelle
A terrible financial shock hit me hard. I lost $860,000 in a fake crypto scheme. Things looked good until I tried to cash out my earnings. Suddenly, my account vanished into thin air. I told the police many times, but help never showed up. Despair washed over me; I felt totally beaten. Then, I found Sylvester Bryant Intelligence. Right away, they were skilled and honest about the whole thing. They looked deep into my situation. They tracked where the stolen funds went. They fought hard for me every step of the way. To my great surprise, they got my money back. I thought that was impossible. I owe them so much for their hard work and truthfulness. Sylvester Bryant Intelligence restored my peace. If scams took your crypto, contact them now. Contact Info: Yt7cracker@gmail . com WhatsApp: +1 512 577 7957. or +44 7428 662701.
-
26.10.25 18:09
victoriabenny463
A few months ago, I fell for what looked like a legitimate online trading platform. The website was sleek, the support team was responsive, and they even showed me fake profit charts that seemed to grow daily. I started small, and after a few test withdrawals worked, I invested more eventually depositing 2 Bitcoin in hopes of long-term returns. But one morning, when I tried to withdraw, everything changed. The platform suddenly locked my account, claiming there were additional fees to release my funds. The support chat stopped responding, and the website started giving error messages. That’s when I realized I’d been scammed. I was devastated. Two Bitcoins wasn’t pocket change, it was my savings. I filed reports online, but everyone told me it was impossible to recover crypto once it’s sent. Then, through a discussion forum, I came across Dexdert Net Recovery, a team specializing in tracing and recovering stolen digital assets. Skeptical but desperate, I reached out. Their response was immediate and professional. They asked for transaction IDs, wallet addresses, screenshots of my correspondence with the fake platform, and any proof of payment I had. Within days, their analysts traced the stolen Bitcoin through multiple wallets using blockchain forensics, They updated me step-by-step, Working with their recovery experts and blockchain partners, Dexdert Net Recovery successfully froze the funds and verified ownership of my wallet. After 2 days of persistence and verification, I finally saw my 2 Bitcoin restored back into my own wallet. I couldn’t believe it. What stood out most wasn’t just that they recovered my funds, but how transparent and supportive the Dexdert team was throughout the process. They educated me on crypto safety, how to spot fake trading sites, and how to secure my digital assets in the future. Dexdert Net Recovery truly lives up to its name. They gave me back not just my Bitcoin, but my peace of mind. Reach Out Information Below Via: Email: ([email protected]) Telegram: (https://t.me/Dexdertprorecovery) WhatsApp: (+1 (859) 609‑4156)
-
27.10.25 11:15
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
27.10.25 11:15
harristhomas7376
"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
27.10.25 17:08
raymondgonzales
Three Cheers for Wizard Hilton Cyber Tech, Bitcoin Savior Extraordinaire In the ever-evolving world of cryptocurrency, where volatility and uncertainty reign supreme, one individual has emerged as a beacon of hope and innovation - Wizard Hilton Cyber Tech, the self-proclaimed "Bitcoin Savior Extraordinaire." This enigmatic figure, with his uncanny ability to navigate the complexities of the digital asset landscape, has captivated the attention of crypto enthusiasts and skeptics alike. Wizard Hilton Cyber Tech journey began as a humble programmer, tinkering with the underlying blockchain technology that powers Bitcoin. But it was his visionary approach and unwavering commitment to the cryptocurrency's potential that propelled him into the limelight. Through a series of strategic investments, groundbreaking algorithmic trading strategies, and a knack for anticipating market shifts, Wizard Hilton Cyber Tech has managed to consistently outperform even the savviest of Wall Street traders. Wizard Hilton Cyber Tech ability to turn even the most tumultuous of Bitcoin price swings into opportunities for substantial gains has earned him the moniker "Wizard," a testament to his unparalleled mastery of the digital currency realm. But Wizard Hilton Cyber Tech impact extends far beyond personal wealth accumulation - Wizard Hilton Cyber Tech has tirelessly advocated for the widespread adoption of Bitcoin, working tirelessly to educate the public, lobby policymakers, and collaborate with industry leaders to overcome the barriers that have long hindered the cryptocurrency's mainstream acceptance. With infectious enthusiasm and boundless energy, Wizard Hilton Cyber Tech has become a true champion of the Bitcoin cause, inspiring a new generation of crypto enthusiasts to embrace the transformative power of this revolutionary technology. As the digital currency landscape continues to evolve, Wizard Hilton Cyber Tech name will undoubtedly be etched in the annals of cryptocurrency history as a visionary, a trailblazer, and, above all, the Bitcoin Savior Extraordinaire. To get your stolen bitcoin back, reach out to Wizard Hilton Cyber Tech via: Email : wizardhiltoncybertech ( @ ) gmail (. ) com WhatsApp number +18737715701 Good Day.
-
27.10.25 17:20
fatimanorth
The Federal Trade Commission said that more than $1 billion had been lost to cryptocurrency scams in 2023. Victims frequently lose everything, including hope, trust, and wealth. When your hard-earned money disappears into digital shadows, you feel trapped. Nowadays, cryptocurrency frauds are very common. You can get help from recovery specialist Marie at [email protected] and via WhatsApp at +1 7127594675.
-
28.10.25 00:55
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
28.10.25 00:55
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
29.10.25 03:43
Christopherbelle
A sudden money crisis struck me. I dropped $82,000 to a phony crypto scam. All seemed fine until I went to pull out my gains. Then, i was unable to get back my hard earned money. I reported it to the police several times. No aid came my way. Deep sadness hit me; I felt crushed. That's when I learned about Sylvester Bryant Intelligence. They acted quick and fair from the start. They checked my case closely. They followed the path of my lost cash. They pushed strong for me at each turn. In shock, they brought my funds back. I had figured it could not happen. I thank them for their effort and honesty. Sylvester Bryant Intelligence gave me calm again. If a scam stole your crypto, reach out to them today. Contact Info: Yt7cracker@gmail . com WhatsApp: +1 512 577 7957 or +44 7428 662701.
-
29.10.25 10:56
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
29.10.25 10:56
wendytaylor015
My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
-
30.10.25 09:49
Christopherbelle
I suffered a huge money blow when $80,000 slipped away in a bogus crypto plot. It all looked great at first. Then I went to pull out my gains, and poof—my account was gone. I kept telling the cops about it, but they did zip. I felt shattered and lost. That's when I stumbled on Sylvester Bryant Intelligence. Things turned around fast. Right away, they showed clear steps, sharp know-how, and real drive to fix it. They tracked my missing cash step by step and pushed hard till they got it back. I swear, I figured it was a lost cause. Their straight-up work and trust brought back my calm. If a scam stole your crypto, reach out to them now. yt7cracker@gmail . com | WhatsApp: +1 512 577 7957 or +44 7428 662701
-
30.10.25 12:03
elizabethrush89
God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
Для участия в Чате вам необходим бесплатный аккаунт pro-blockchain.com
Войти
Регистрация
Похожие новости
Подпишись на telegram канал и узнавай первым обо всех новостях