Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie

Прямой эфир

Русский

English

Войти / Регистрация

Cryptocurrencies: 8123 / Markets: 110688

Market Cap: $ 2 690 667 610 546 / 24h Vol: $ 60 048 265 646 / BTC Dominance: 60.138218143661%

Н Новости

[Перевод] KAN 2.0: Kolmogorov-Arnold Networks Meet Science

Предлагаю полный перевод второй статьи на тему нейронных сетей на основе алгоритма Колмогорова-Арнольда (KAN), опубликованной в августе 2024 года. В этой работе исследователи продолжают развивать тему KAN, раскрывают ее связь с наукой, а также приводят некоторые практические советы по использованию библиотеки pykan, написанной на python, в которой реализован алгоритм KAN.
Перевод первой статьи размещен по адресу https://habr.com/ru/articles/856776/.

Аннотация

Основная проблема ИИ + Наука (AI + Science) заключается в их изначальной несовместимости: сегодняшний ИИ в первую очередь основан на коннекционизме, в то время как наука опирается на символизм. Чтобы соединить два мира, мы предлагаем структуру для бесшовной синергии сетей Колмогорова-Арнольда (KAN) и науки. Структура подчеркивает использование KAN для трех аспектов научного открытия: определение соответствующих признаков, выявление модульных структур и открытие символических формул. Синергия двунаправленная: наука к KAN (включение научных знаний в KAN) и KAN к науке (извлечение научных идей из KAN). Мы выделяем основные новые функции в pykan: (1) MultKAN: KAN с узлами умножения. (2) kanpiler: компилятор KAN, который компилирует символические формулы в KAN. (3) преобразователь деревьев: преобразование KAN (или любых нейронных сетей) в древовидные графы. На основе этих инструментов мы демонстрируем способность KAN открывать различные типы физических законов, включая сохраняющиеся величины, лагранжианы, симметрии и конститутивные законы.

Рисунок 1: Синергия науки и сети Колмогорова-Арнольда (KAN)

1 Введение

В последние годы ИИ + Наука стали многообещающей новой областью, что привело к значительным научным достижениям, включая прогнозирование сворачивания белков [37], автоматическое доказательство теорем [95, 83], прогноз погоды [41] и другие. Общей чертой этих задач является то, что все они могут быть хорошо сформулированы в виде проблем с четкими целями, оптимизируемыми системами ИИ-черного ящика. Хотя эта парадигма работает исключительно хорошо для прикладной науки, существует другой вид науки: наука, движимая любопытством. В исследованиях, движимых любопытством, процедура является более исследовательской, часто не имеющей четких целей, кроме «получения большего понимания». Для ясности, наука, движимая любопытством, далеко не бесполезна; совсем наоборот. Научные знания и понимание, полученные посредством любопытства, часто закладывают прочную основу для завтрашних технологий и способствуют широкому спектру приложений.

Хотя и прикладная, и любознательная наука бесценны и незаменимы, они задают разные вопросы. Когда астрономы наблюдают движение небесных тел, прикладные исследователи сосредотачиваются на прогнозировании их будущих состояний, в то время как любознательные исследователи изучают физику, лежащую в основе движения. Другим примером является AlphaFold, которая, несмотря на свой огромный успех в прогнозировании белковых структур, остается в сфере прикладной науки, поскольку она не предоставляет новых знаний на более фундаментальном уровне (например, атомных сил). Гипотетически AlphaFold должен был открыть важную неизвестную физику, чтобы достичь своих высокоточных предсказаний. Однако эта информация остается скрытой от нас, оставляя AlphaFold в значительной степени черным ящиком. Поэтому мы выступаем за новые парадигмы ИИ для поддержки любознательной науки. Эта новая парадигма ИИ + Наука требует более высокой степени интерпретируемости и интерактивности в инструментах ИИ, чтобы их можно было легко интегрировать в научные исследования.

Недавно новый тип нейронной сети, называемый сетью Колмогорова-Арнольда (KAN) [57], показал себя многообещающим для задач, связанных с наукой. В отличие от многослойных персептронов (MLP), которые имеют фиксированные функции активации на узлах, KAN имеют обучаемые функции активации на ребрах. Поскольку KAN могут раскладывать многомерные функции на одномерные функции, интерпретируемость может быть получена путем символической регрессии этих 1D-функций. Однако их определение интерпретируемости несколько узкое, поскольку оно приравнивается почти исключительно к способности извлекать символические формулы. Это ограниченное определение сужает сферу их применения, поскольку символические формулы не всегда необходимы или возможны в науке. Например, если в физике символьные уравнения являются мощным инструментом и широко распространены, то в химии и биологии системы часто слишком сложны, чтобы их можно было представить с помощью таких уравнений. В этих областях модульные структуры и ключевые особенности могут быть достаточными для характеристики интересных аспектов этих систем. Еще одним упущенным из виду аспектом является обратная задача - внедрение знаний в KAN: как мы можем внедрить предварительные знания в KAN в духе обучения на основе физики?

Мы совершенствуем и расширяем KAN, чтобы их было легко использовать в науке, движимой любопытством. Цель этой статьи можно кратко сформулировать следующим образом:

Чтобы быть более конкретным, научные объяснения могут иметь разные уровни, начиная от самых грубых / простых / корреляционных и заканчивая самыми тонкими / сложными / причинно-следственными:
• Важные характеристики: Например, " полностью определяется x_1 и x_2 , в то время как другие факторы не имеют значения". Другими словами, существует функция , такая, что y = f(x_1, x_2) .
• Модульные структуры: например, " x_1 и x_2 независимо друг от друга аддитивно влияют на ". Это означает, что существуют такие функции и , что y = g(x_1) + h(x_2) .
• Символические формулы: Например, " зависит от x_1 как синусоидальная функция и от x_2 как экспоненциальная функция". Другими словами, y = sin(x_1) + exp(x_2) .

В статье рассказывается о том, как включить и извлечь эти свойства из KAN. Структура статьи выглядит следующим образом (показано на рисунке 1): В разделе 2 мы дополняем исходную CAN узлами умножения, представляя новую модель под названием MultKAN. В разделе 3 мы исследуем способы внедрения научных индуктивных методов в KAN, уделяя особое внимание важным функциям (раздел 3.1), модульным структурам (раздел 3.2) и символическим формулам (раздел 3.3).

Рисунок 2: Вверху: сравнение диаграмм KAN и MultKAN. MultKAN имеет дополнительные слои умножения M. Внизу: После обучения на KAN реализует алгоритм, требующий двух узлов сложения, тогда как MultKAN требует только один узел умножения.

Рисунок 2: Вверху: сравнение диаграмм KAN и MultKAN. MultKAN имеет дополнительные слои умножения M. Внизу: После обучения на f(x, y) = xy

KAN реализует алгоритм, требующий двух узлов сложения, тогда как MultKAN требует только один узел умножения.

В разделе 4 мы предлагаем методы извлечения научных знаний из KAN, снова охватывая важные функции (раздел 4.1), модульные структуры (раздел 4.2) и символьные формулы (раздел 4.3). В разделе 5 мы применяем KAN к различным задачам научного поиска, используя инструменты, разработанные в предыдущих разделах. Эти задачи включают в себя обнаружение сохраняющихся величин, симметрий, лагранжианов и определяющих законов. Коды доступны по адресу https://github.com/KindXiaoming/pykan и также могут быть установлены с помощью pip install pykan. Хотя статья называется “KAN 2.0”, выпущенная версия pykan - 0.2.x.

2 MultKAN: Увеличение количества KAN за счет умножения

Теорема о представлении Колмогорова-Арнольда (Kolmogorov-Arnold representation theorem KART) утверждает, что любая непрерывная функция большой размерности может быть разложена на конечную композицию одномерных непрерывных функций и переменной:

Это означает, что сложение является единственной истинной многомерной операцией, в то время как другие многомерные операции (включая умножение) могут быть выражены как операции сложения в сочетании с одномерными функциями. Например, чтобы умножить два положительных числа x и y, мы можем выразить это как xy = exp(logx + logy) *, правая часть которого состоит только из сложения и одномерных функций (log и exp). (*Значения и могут быть отрицательными, поэтому можно использовать большое значение c > 0 и выразить xy = exp(log(x + c) + log(y +c)) − c(x + y) − c^2 . Другие конструкции включают квадратичные функции, такие как xy = ((x + y)^2 − (x − y)^2)/4 или xy = ((x + y)^2 − x^2 − y^2)/2) .
Однако, учитывая распространенность умножений как в науке, так и в повседневной жизни, желательно явно включать умножения в KAN, что потенциально может повысить как интерпретируемость, так и потенциал модели.

Kolmogorov-Arnold Network (KAN) В то время как уравнение KART (1) соответствует двухслойной сети, Лю и др. [57] удалось расширить его на произвольную глубину, признав, что кажущиеся различными внешние функции Φ_q и внутренние функции $ϕ_{q,p}$ могут быть объединены с помощью предложенных ими слоев KAN. Глубину L KANN можно построить, просто наложив L слоев KAN. Форма глубины L KAN представлена целочисленным массивом [n_0, n_1, ··· , n_L] , где n_l обозначает количество нейронов в -м нейронном слое. Слой KAN с входными размерами n_l и выходными размерами $n_{l+1}$ преобразует входной вектор $x_l \in \mathbb{R}^{n_l}$ в $x_{l+1} \in \mathbb{R}^{n_{l+1}}$

и вся сеть представляет собой композицию из L слоев KAN, т.е.,

На диаграммах KAN можно интуитивно представить сеть, состоящую из узлов (суммирование) и ребер (обучаемые активации), как показано на рисунке 2 вверху слева. При обучении на наборе данных, сгенерированном из f(x, y) = xy , KAN (рисунок 2 внизу слева) использует два дополнительных узла, что делает неясным, действия сети. Однако после некоторого размышления мы понимаем, что она использует равенство xy = ((x + y)^2 − (x − y)^2)/4 , но это далеко не очевидно.

Multiplicative Kolmogorov-Arnold Networks (MultKAN) Для явного введения операций умножения мы предлагаем MultKAN, который может более четко выявлять мультипликативные структуры в данных. MultKAN (показан на рисунке 2 вверху справа) похож на KAN, причем оба имеют стандартные слои KAN. Мы называем входные узлы слоя KAN узлами, а выходные узлы слоя KAN подузлами. Разница между KAN и MultKAN заключается в преобразованиях из подузлов текущего слоя в узлы следующего слоя. В KAN узлы напрямую копируются из подузлов предыдущего слоя. В MultKAN некоторые узлы (узлы сложения) копируются из соответствующих подузлов, в то время как другие узлы (узлы умножения) выполняют умножение на k подузлах из предыдущего слоя. Для простоты далее мы установим k = 2 *.
*(Для простоты мы задали k = 2 , но пакет pykan позволяет использовать любое целое число k ≥ 2 . Пользователи даже могут задавать разные значения для разных узлов умножения. Однако если в одном слое используются разные значения , распараллеливание этих умножений может быть затруднено.)

На основе диаграммы MultKAN (рисунок 2 вверху справа) можно интуитивно понять, что MultKAN — это обычный KAN с необязательными вставленными умножениями. Для математической точности мы определяем следующие обозначения: Количество операций сложения (умножения) в слое обозначается как n_l^a ( n_l^m) соответственно. Они собираются в массивы: ширина сложения n^a ≡[n_0^a,n_1^a,⋅⋅⋅n_L ^a] и ширина умножения n^m ≡[n_0^m,n_1^m,⋅⋅⋅n_L ^m] . Когда n_0^m = n_1^m =⋅⋅⋅n_L^m=0 , MultKAN сводится к KAN. Например, на рисунке 2 (вверху справа) показан MultKAN с $\mathbf{n}^a = [2, 2, 1]$ и $\mathbf{n}^m = [0, 2, 0]$ .

Слой MultKAN состоит из стандартного KANLayer $\mathbf{Φ}_l$ и слоя умножения M_l . $\mathbf{Φ}_l$ принимает входной вектор $x_l ∈ \mathbb{R}^{n_l^a+n_l^m}$ и выводит $\mathbf{z}_l=\mathbf{\Phi}_l(x) \in \mathbb{R}^{n_{l+1}^a + 2n_{l+1}^m}$ . Слой умножения состоит из двух частей: часть умножения выполняет умножения пар подузлов, в то время как другая часть выполняет тождественное преобразование. Написанный на Python, M_l преобразует $\mathbf{z}_l$ следующим образом:

где — поэлементное умножение. MultKANLayer можно кратко представить как Ψ_l≡M_l∘ Φ_l . Таким образом весь MultKAN:

Рисунок 3: Добавление вспомогательных переменных к входным данным улучшает интерпретируемость. Для уравнения релятивистской массы , (a) двухслойная KAN необходима, если в качестве входных данных используются только . (b) Если мы добавим и в качестве вспомогательных переменных к KAN, то будет достаточно однослойной KAN (seed 0). (c) seed 1 находит другое решение, которое не является оптимальным и которого можно избежать с помощью проверки гипотез (раздел 4.3).

Рисунок 3: Добавление вспомогательных переменных к входным данным улучшает интерпретируемость. Для уравнения релятивистской массы ${m_0}/{\sqrt{{1-v^2}/c^2}}$ , (a) двухслойная KAN необходима, если в качестве входных данных используются только (m0, v, c)

. (b) Если мы добавим β≡v/c

и $γ ≡1/\sqrt{1-β^2}$ в качестве вспомогательных переменных к KAN, то будет достаточно однослойной KAN (seed 0). (c) seed 1 находит другое решение, которое не является оптимальным и которого можно избежать с помощью проверки гипотез (раздел 4.3).

Поскольку в слоях умножения нет обучаемых параметров, все методы разреженной регуляризации (например, ℓ_1 и энтропийная регуляризация) для KAN [57] могут быть напрямую применены к MultKAN. Для задачи умножения f(x, y) = xy MultKAN действительно учится использовать один узел умножения, что позволяет ему выполнять простое умножение, поскольку все изученные функции активации являются линейными (рисунок 2 внизу справа).
Хотя KAN ранее рассматривались как особый случай MultKAN, мы расширяем определение и рассматриваем «KAN» и «MultKAN» как синонимы. По умолчанию, когда мы ссылаемся на KAN, умножение разрешено. Если мы конкретно ссылаемся на KAN без умножения, мы явно это укажем.

3 Наука в KAN

В науке знание предметной области имеет решающее значение, позволяя нам эффективно работать даже с небольшими или нулевыми данными. Поэтому полезно принять подход, основанный на физике, для KAN: мы должны включить доступные индуктивные предубеждения в KAN, сохраняя их гибкость для открытия новой физики из данных.
Мы исследуем три типа индуктивных предубеждений, которые могут быть интегрированы в KAN. От самых грубых/легких/корреляционных до самых тонких/сложных/причинных – это: важные признаки (раздел 3.1), модульные структуры (раздел 3.2) и символические формулы (раздел 3.3).

3.1 Добавление важных признаков в KAN

В задаче регрессии цель состоит в том, чтобы найти функцию , такую, что y = f(x_1, x_2, · · · , x_n) . Предположим, мы хотим ввести вспомогательную входную переменную a = a(x_1, x_2,···, x_n) , преобразуя функцию в y = f(x_1,···,x_n, a) . Хотя вспомогательная переменная a не добавляет новой информации, она может увеличить выразительную силу нейронной сети. Это связано с тем, что сети не нужно тратить ресурсы на вычисление вспомогательной переменной. Кроме того, вычисления могут стать проще, что приведет к улучшению интерпретируемости. Пользователи могут добавлять вспомогательные функции к входам с помощью метода augment_input:

В качестве примера рассмотрим формулу для релятивистской массы $m(m_0,v,c) = m_0/\sqrt{1 -(v/c)^2}$ , где — масса покоя, — скорость точечной массы, а — скорость света. Поскольку физики часто работают с безразмерными числами β ≡ v/c и $γ ≡ 1/\sqrt{1 - β^2} ≡ 1/\sqrt{1 - (v/c)^2}$ , они могут ввести и наряду с и в качестве входных данных. Рисунок 3 показывает KAN с этими вспомогательными переменными и без них: (a) иллюстрирует KAN, составленный из символической формулы (см. раздел 3.3 для компилятора KAN), которая требует 5 ребер; (b)(c) показывает KAN со вспомогательными переменными, требующими только 2 или 3 ребра и достигающими потерь 10⁻⁶ и 10⁻⁴ соответственно. Обратите внимание, что (b) и (c) отличаются только величиной seed. Seed равный 1 представляет собой неоптимальное решение, поскольку оно также определяет β = v/c как ключевой признак (feature). Это неудивительно, так как в классическом пределе v ≪ c , $γ ≡ 1/\sqrt{1 - (v/c)^2} ≈ 1 + (v/c)^2/2 = 1 + β^2/2$ . Разнообразие, вызванное различными seed, можно рассматривать либо как особенность, либо как ошибку (bug): Как особенность, это разнообразие может помочь найти неоптимальные решения, которые, тем не менее, могут предложить интересные идеи; как ошибка, оно может быть устранено с помощью метода проверки гипотез, предложенного в разделе 4.3.

Рисунок 4: Построение модульных структур для KAN: (a) мультипликативная разделимость; (b) симметрии

3.2 Строительство модульных конструкций для KAN

Модульность распространена в природе: например, кора головного мозга человека разделена на несколько функционально различных модулей, каждый из которых отвечает за определенные задачи, такие как восприятие или принятие решений. Эта модульность упрощает понимание нейронных сетей, поскольку позволяет нам интерпретировать кластеры нейронов совместно, а не анализировать каждый нейрон по отдельности.
Структурная модульность характеризуется кластерами связей, где внутрикластерные связи намного сильнее межкластерных. Чтобы обеспечить модульность, мы вводим модульный метод, который сохраняет внутрикластерные связи, удаляя межкластерные связи. Модули указываются пользователями. Синтаксис:

Например, если пользователь хочет назначить модулю определенные узлы/подузлы - скажем, 0-й узел в слой 1, 1-й и 3-й подузлы в слой 1, 1-й и 3-й узлы в слой 2 - он может использовать module(1, '[0] -> [1,3] -> [1,3]'). Если говорить конкретно, то существует два типа модульности: разделимость и симметрия.

Разделимость Мы говорим, что функция считается разделимой, если ее можно выразить как сумму или произведение функций непересекающихся групп переменных. Например, функция четырех переменных f(x_1, x_2, x_3, x_4) является максимально мультипликативно разделимой, если она имеет вид f_1(x_1)f_2(x_2)f_3(x_3)f_4(x_4) , создавая четыре различные группы (1), (2), (3), (4). Пользователи могут создавать эти модули, вызывая метод module четыре раза: module(0, '[ i ]->[ i ]'), = 0, 1, 2, 3, как показано на рисунке 4 (а). Последний вызов можно пропустить, так как первых трех достаточно для определения групп. Более слабые формы мультипликативной разделимости могут быть f_1 (x_1, x_2)f_2 (x_3,x_4) (вызов module(0, '[ 0,1 ]->[ 0,1 ]' )) или f_1 (x_1)f_2 (x_2,x_3,x_4) (вызов module(0, '[ 0 ]->[ 0 ]' )).

Обобщенная симметрия Мы говорим, что функция симметрична относительно переменных (x_1,x_2) , если f(x_1, x_2,x_3,· · · ) = g(h(x_1, x_2),x_3,· · · ) . Это свойство называется симметрией, поскольку значение остается неизменным до тех пор, пока h(x_1,x_2) остается постоянным, даже если x_1 и x_2 изменяются. Например, функция является вращательно-инвариантной в 2D, если f(x_1,x_2) = g(r) где $r ≡ \sqrt{x_1^2 + x_2^2}$ . Когда симметрия затрагивает только подмножество переменных, ее можно считать иерархической, поскольку x_1 и x_2 сначала взаимодействуют через (2-слойный KAN), а затем взаимодействует с другими переменными через (2-слойный KAN). Предположим, что функция с четырьмя переменными имеет иерархическую форму f(x_1,x_2,x_3,x_4) = h(f(x_1,x_2),g(x_3,x_4)) ,

Рисунок 5: Компилятор KAN (kanpiler) преобразует символьные выражения в KAN. (a) Как работает kanpiler: символьная формула сначала разбирается на дерево выражений, которое затем преобразуется в KAN. (b) Применение KAN к 10 уравнениям (выбранным из набора данных Фейнмана). (c) Расширение скомпилированного KAN для увеличения его выразительной мощности.

как показано на рисунке 4 (b). Мы можем использовать метод module для создания этой структуры, вызвав module(0, '[ 0,1 ] -> [ 0,1 ] -> [ 0,1 ] -> [ 0 ]'), гарантируя, что группы переменных (x_1,x_2) и (x_3,x_4) не будут взаимодействовать в первых двух слоях.

3.3 Составление символических формул в KAN

Ученые часто находят удовлетворение в представлении сложных явлений посредством символических уравнений. Однако, хотя эти уравнения и лаконичны, им может не хватать выразительной силы, необходимой для охвата всех нюансов из-за их специфических функциональных форм. Напротив, нейронные сети очень выразительны, но могут неэффективно тратить время обучения и данные на изучение знаний предметной области, уже известных ученым. Чтобы использовать сильные стороны обоих подходов, мы предлагаем двухэтапную процедуру:
(1) компилировать символические уравнения в KAN и
(2) настраивать эти KAN с использованием данных.
Первый шаг направлен на внедрение известных знаний предметной области в KAN, в то время как второй шаг фокусируется на изучении новой «физики» из данных.

kanpiler (KAN compiler) Цель kanpiler — преобразовать символическую формулу в KAN. Процесс, показанный на рисунке 5 (a), включает три основных шага: (1) Символическая формула разбирается на древовидную структуру, где узлы представляют выражения, а ребра обозначают операции/функции. (2) Затем это дерево модифицируется для приведения в соответствие со структурой графа KAN. Изменения включают перемещение всех листовых узлов на входной слой через фиктивные ребра и добавление фиктивных подузлов/узлов для соответствия архитектуре KAN. Эти фиктивные ребра/узлы/подузлы выполняют только тождественное преобразование. (3) Переменные объединяются в первом слое, эффективно преобразуя дерево в граф. Для наглядности на ребрах размещены одномерные кривые для представления функций. Мы протестировали kanpiler на наборе данных Фейнмана, и он успешно обрабатывает все 120 уравнений. Примеры показаны на рисунке 5 (b). Kanpiler принимает входные переменные (как символы sympy) и выходное выражение (как выражение sympy) и возвращает модель KAN.

Обратите внимание, что возвращаемая модель KAN находится в символическом режиме, т.е. символические функции точно закодированы. Если вместо этого мы используем кубические сплайны для аппроксимации этих символических функций, мы получим потери MSE $ℓ ∝ N^{−8}$ [57], где N — число интервалов сетки (пропорционально числу параметров модели).
Расширение ширины/глубины для увеличения выразительной мощности Сеть KAN, сгенерированная kanpiler, компактна, без избыточных ребер, которые могут ограничить ее выразительную мощность и помешать дальнейшей тонкой настройке. Для решения этой проблемы мы предлагаем методы expand_width и expand_depth для расширения сети, чтобы она стала шире и глубже, как показано на рисунке 5 (c). Методы расширения изначально добавляют нулевые функции активации, которые страдают от нулевых градиентов во время обучения. Поэтому метод возмущения следует использовать для возмущения этих нулевых функций до ненулевых значений, что делает их обучаемыми с ненулевыми градиентами.

4 KAN в науку

Сегодняшние черные ящики глубоких нейронных сетей являются мощными, но интерпретация этих моделей остается сложной задачей. Ученые ищут не только высокопроизводительные модели, но и возможность извлекать значимые знания из моделей. В этом разделе мы сосредоточимся на повышении интерпретируемости научных целей KAN. Мы рассмотрим три уровня извлечения знаний из KAN, от самых базовых до самых сложных: важные признаки (раздел 4.1), модульные структуры (раздел 4.2) и символические формулы (раздел 4.3).

4.1 Определение важности переменных KAN

Определение важности переменных имеет решающее значение для многих задач. Учитывая регрессионную модель , где y ≈ f(x_1 ,x_2 ,...,x_n) , мы стремимся назначить баллы (scores) входным переменным для оценки их важности. Лю и др. [57] использовали функцию L1 norm для указания важности ребер, но эта метрика может быть проблематичной, поскольку она учитывает только локальную информацию.

Чтобы решить эту проблему, мы вводим более эффективную оценку атрибуции, которая лучше отражает важность переменных, чем норма L1. Для простоты предположим, что есть узлы умножения, поэтому нам не нужно различать узлы и подузлы* (*для подузлов, принадлежащих узлу умножения, подузлы наследуют свои оценки от узла умножения). Предположим, что у нас есть L-слой KAN с шириной [n_0, n_1, · · · , n_L] . Мы определяем $E_{l,i,j}$ как стандартное отклонение активаций на ребре (l, i, j) , а $N_{l,i}$ как стандартное отклонение активаций на узле (l, i) . Затем мы определяем оценку узла (атрибуции) $A_{l,i}$ и оценку ребра (атрибуции) $B_{l,i,j}$ . В [57] мы просто определили $B_{l,i,j} = E_{l,i,j}$ и $A_{l,i} = N_{l,i}$ . Однако это определение не учитывает более поздние сегменты сети; даже если узел или ребро имеет бо́льшую норму, они могут не вносить вклад в выход, если остальная часть сети фактически является нулевой функцией. Поэтому теперь мы вычисляем оценки узлов и ребер итеративно от выходного слоя до входного слоя. Мы устанавливаем все выходные измерения так, чтобы они имели единичные оценки, т. е. $A_{L,i} = 1$ , i = 0, 1, · · · , n_L – 1 * , и вычисляем оценки следующим образом:
(*другие варианты могут быть сделаны на основе воспринимаемой важности каждого выходного измерения, хотя это менее критично, когда выходные данные, как правило, одномерны)

Рисунок 6: Определение важных признаков в KAN. (a) сравнение оценки атрибуции с нормой L1, используемой в работе Лю и др. [57]. В двух синтетических задачах оценка атрибуции дает больше информации, чем норма L1. (b) Оценки атрибуции можно вычислить для входных данных и использовать для обрезки входных данных.

Сравнение $E_{l,i,j}$ и $B_{l,i,j}$ Мы обнаружили, что $B_{l,i,j}$ обеспечивает более точное отражение важности ребер. На рисунке 6 мы сравниваем KAN, обученные на двух уравнениях y = exp(sin(πx_1) + x_2^2) и y= (x_1^2 + x_2^2)^2 + (x_3^2+ x_4^2)^2 , и визуализируем KAN с оценками важности (L1 norm) или (оценка атрибуции). Для первого уравнения оценки атрибуции показывают более чистый график, чем нормы L1, так как многие активные ребра в первом слое не вносят вклад в конечный результат из-за неактивных последующих ребер. Оценка атрибуции учитывает это, что приводит к более осмысленному графику. Для второго уравнения y= (x_1^2 + x_2^2)^2 + (x_3^2+ x_4^2)^2 , мы можем сказать исходя из её символического вида, что все четыре переменные одинаково важны. Оценки атрибуции правильно отражают равную важность всех четырех переменных, тогда как норма L1 неверно предполагает, что x_3 и x_4 важнее, чем x_1 и x_2 .
Отсечение входных данных на основе оценок атрибуции В реальных наборах данных размерность входных данных может быть большой, но только несколько переменных могут быть релевантными. Чтобы решить эту проблему, мы предлагаем отсечение нерелевантных признаков на основе оценок атрибуции, чтобы мы могли сосредоточиться на наиболее релевантных. Пользователи могут применить prune_input, чтобы сохранить только наиболее релевантные переменные. Например, если есть 100 входных признаков, упорядоченных по убыванию релевантности в функции $y =∑_{i=0}^{99} {x_i^2/2^i}$ , x_i ∈ [-1,1] , и после обучения только первые пять признаков показывают значительно более высокие оценки атрибуции, метод prune_input сохранит только эти пять признаков. Отсеченная сеть становится компактной и интерпретируемой, тогда как исходная KAN со 100 входными данными слишком плотна для прямой интерпретации.

4.2 Определение модульных структур из KAN

Хотя оценка атрибуции дает ценную информацию о том, какие ребра или узлы важны, она не раскрывает модульные структуры, т. е. как связаны важные ребра и узлы. В этой части мы стремимся раскрыть модульные структуры из обученных KAN и MLP, исследуя два типа модульности: анатомическую модульность и функциональную модульность.

Рисунок 7: Индуцирование анатомической модульности в нейронных сетях посредством обмена нейронами. Подход включает назначение пространственных координат нейронам и их перестановку для минимизации общей стоимости соединения. Для двух задач (слева: многозадачный паритет, справа: иерархическое голосование большинства) обмен нейронами работает для KAN (вверху) в обоих случаях и работает для MLP (внизу) для многозадачного паритета.

4.2.1 Анатомическая модульность

Анатомическая модульность относится к тенденции нейронов, расположенных близко друг к другу в пространстве, иметь более сильные связи, чем те, которые находятся дальше друг от друга. Хотя искусственные нейронные сети не имеют физических пространственных координат, было показано, что введение концепции физического пространства улучшает интерпретируемость [51, 52]. Мы принимаем метод обмена нейронами из [51, 52], который сокращает связи, сохраняя при этом функциональность сети. Мы называем этот метод auto_swap. Анатомическая модульная структура, выявленная путем обмена нейронами, облегчает идентификацию модулей, даже визуально, для двух задач, показанных на рисунке 7: (1) многозадачный разреженный паритет; и (2) иерархическое голосование большинства. Для многозадачной разреженной четности у нас есть 10 входных бит $x_i ∈ \{0, 1\}, i = 1, 2, ···, 10$ , и выход $y_j = x_{2j−1} ⊕ x_{2j}, j = 1,···, 5$ , где обозначает сложение по модулю 2. Задача демонстрирует модульность, поскольку каждый выход зависит только от подмножества входов. Функция auto_swap успешно идентифицирует модули как для KAN, так и для MLP, при этом KAN обнаруживает более простые модули. Для иерархического голосования большинством с 9 входными битами $x_i ∈ \{0, 1\}$ , i=1,···,9 и выходом y = maj(maj(x_1,x_2,x_3),maj(x_4,x_5,x_6),maj(x_7,x_8,x_9)) , где maj обозначает голосование большинством (выход 1, если два или три входа равны 1, в противном случае 0). KAN раскрывает модульную структуру даже до auto_swap, и диаграмма становится более организованной после auto_swap. MLP показывает некоторую модульную структуру из шаблона весов первого слоя, указывая на взаимодействия между переменными, но глобальная модульная структура остается неясной независимо от auto_swap.

4.2.2 Функциональная модульность

Функциональная модульность относится к общей функции, представленной нейронной сетью. Учитывая сеть Oracle, где внутренние детали, такие как веса и активации скрытых слоев, недоступны (слишком сложны для анализа), мы все равно можем собирать информацию о функциональной модульности посредством прямых и обратных проходов на входах и выходах. Мы определяем три типа функциональной модульности (см. Рисунок 8 (a)), основываясь в основном на [84].

Разделимость: Функция f аддитивно разделима, если

Обратите внимание, что $\frac{∂^2 f}{∂x_i ∂x_j }=0$ , когда 1≤i≤k , k+ 1 ≤ j≤ n .

Чтобы обнаружить разделимость, мы можем вычислить матрицу Гессиан

$\mathbf{H} ≡ ∇^T ∇f \left(\mathbf{H}_{ij} = \frac{∂^2 f}{∂x_i ∂x_j}\right)$ и проверить блочную структуру.

Рисунок 8: Обнаружение функциональной модульности в KAN. (a) Мы изучаем три типа функциональной модульности: разделимость (аддитивная или мультипликативная), общая разделимость и симметрия. (b) Применение этих тестов рекурсивно преобразует функцию в дерево. Здесь функция может быть символической функцией (вверху), KAN (в середине) или MLP (внизу). Как KAN, так и MLP создают правильные графы деревьев в конце обучения, но показывают различную динамику обучения.

Если $\mathbf{H}_{ij}=0$ для всех 1≤i≤k и k+1≤j≤n , то мы знаем, что аддитивно разделима. Для мультипликативной разделимости мы можем преобразовать ее в аддитивную разделимость, взяв логарифм:

Для обнаружения мультипликативной разделимости мы определяем $\mathbf{H}_{ij} ≡ \frac{∂^2 log|f|}{∂x_i ∂x_j}$ и

проверяем блочную структуру. Пользователи могут вызвать test_separability для проверки общей разделимости.

Обобщенная разделимость: Функция f имеет обобщенную разделимость, если

Для обнаружения обобщенной отделимости мы вычисляем

где мы использовали $\frac{∂F}{∂g} = \frac{∂F}{∂h}$ . Обратите внимание, что $\frac{{∂f}/{∂x_i}}{∂f/∂x_j}$ является

мультипликативно разделимым, это может быть обнаружено с помощью теста на разделимость, предложенного выше. Пользователи могут вызвать test_general_separability для проверки на аддитивную или мультипликативную разделимость.

Обобщенная симметрия: Функция имеет обобщенную симметрию (по первым k переменным), если

Обозначим $\mathbf{y} = (x_1,· · · ,x_k)$ и $\mathbf{z} = (x_{k+1},· · · ,x_n)$ . Это свойство называется обобщенной симметрией, поскольку сохраняет одно и то же значение до тех пор, пока остается постоянным, независимо от индивидуальных значений x_1,· · · ,x_k . Вычислим градиент f относительно : $∇_y f = \frac{∂g}{∂h} ∇_y h$ . Поскольку $\frac{∂g}{∂h}$ является скалярной функцией, она не

меняет направление ∇_y h . Таким образом, направление $\widehat{{∇_y f}} ≡ \frac{∇_y f}{|∇_y f|}$ не зависит от $\mathbf{z}$ , т. е.

что является условием симметрии. Пользователи могут вызвать метод test_symmetry для проверки симметрии.

Древовидный преобразователь Три типа функциональной модульности образуют иерархию: симметрия является наиболее общей, общая разделимость является промежуточной, а разделимость является наиболее специфической. Математически,

Чтобы получить максимальную иерархию модульных структур, мы применяем обобщенное обнаружение симметрии рекурсивно, формируя группы всего с k = 2 переменными и расширяя их до всех k = n переменных. Например, рассмотрим функцию с 8 переменными

которая имеет четыре обобщенные симметрии k = 2 , включающие группы (x_1,x_2),(x_3,x_4),(x_5,x_6),(x_7,x_8) ; две обобщенные симметрии k = 2 , включающие группы (x_1,x_2,x_3,x_4) и (x_5,x_6,x_7,x_8) . Таким образом, каждая группа k = 4 содержит две группы k = 2 , демонстрируя иерархию. Для каждой обобщенной симметрии мы также можем проверить, является ли обобщенная симметрия далее обобщенно разделимой или разделимой. Пользователи могут использовать метод plot_tree для получения графа дерева для функции (функцией могут быть любые выражения Python, нейронные сети и т. д.). Для модели нейронной сети пользователи могут просто вызвать model.tree(). Граф дерева может иметь стиль «дерево» (по умолчанию) или «ящик» («box»).

Примеры На рисунке 8 (b) приведены два примера. Когда точные символьные функции вводятся в plot_tree, получаются графы истинного дерева. Нас особенно интересует, работает ли преобразователь деревьев для нейронных сетей. Для этих простых случаев и KAN, и MLP могут найти правильный граф, если они достаточно обучены. На рисунке 8 (b) (внизу) показана эволюция графов деревьев во время обучения KAN и MLP. Особенно интересно наблюдать, как нейронные сети постепенно усваивают правильную модульную структуру. В первом случае f(x_1,x_2,x_3,x_4) = (x_1^2 + x_2^2)^2 + (x_3^2 + x_4^2)^2 , и KAN, и MLP постепенно приобретают больше индуктивных смещений (их промежуточные состояния различны), пока не достигнут правильной структуры.

Рисунок 9: Три приема для упрощения символической регрессии. Прием A (верхний ряд): обнаружение и использование модульных структур. Прием B (средний ряд): инициализация разреженных соединений. Прием C (нижний ряд): проверка гипотез.

Во втором случае, $f(x_1,x_2,x_3) = sin(x_1)/\sqrt{x_2^2 + x_3^2}$ , обе модели изначально обнаруживают мультипликативную разделимость для всех трех переменных, показывая даже более высокую симметрию, чем правильная структура. После обучения обе модели «понимают», что: для лучшего соответствия данным (потери становятся ниже), такая высокосимметричная структура больше не может быть выполнена и должна быть ослаблена до менее строгой структуры. Дополнительное наблюдение заключается в том, что KAN имеет промежуточную структуру, не найденную в MLP. Есть два предостережения, которые мы хотели бы упомянуть: (1) результаты могут зависеть от начального значения и/или порога. (2) все тесты полагаются на производные второго порядка, которые могут быть ненадежными из-за того, что модель обучается только на информации нулевого порядка. Состязательные конструкции, такие как $f_ϵ (x) = f(x)+ϵsin \left( \frac xϵ\right)$ могут привести к проблемам, потому что хотя |f_ϵ (x)-f(x)| → 0 при ϵ → 0, |f_ϵ^" (x) - f^"(x)| → ∞ при . Хотя такие крайние случаи маловероятны на практике, гладкость необходима для обеспечения успешности наших методов.

4.3 Определение символических формул из KAN

Символические формулы являются наиболее информативными, поскольку они четко раскрывают как важные характеристики, так и модульные структуры, как только они становятся известны. В работе Лю и др. [57] авторы показали ряд примеров, из которых они могут извлекать символические формулы, имея при необходимости некоторые предварительные знания. С помощью новых инструментов, предложенных выше (важность характеристик, модульные структуры и символические формулы), пользователи могут использовать эти новые инструменты для легкого взаимодействия и совместной работы с KAN, что упрощает символическую регрессию. Ниже мы представляем три приема, проиллюстрированные на рисунке 9.

Прием A: обнаружить и использовать модульные структуры Сначала мы можем обучить общую сеть и исследовать ее модульность. После того, как модульная структура идентифицирована, мы инициализируем новую модель с этой модульной структурой в качестве индуктивных смещений. Например, рассмотрим функцию f(q,v,B,m) = qvB/m Сначала мы инициализируем большую KAN (предположительно достаточно выразительную), чтобы подогнать набор данных с разумной точностью. После обучения из обученной KAN извлекается древовидный граф (ссылка на раздел 4.2), который показывает мультипликативную разделимость. Затем мы можем построить модульную структуру во второй KAN (ссылка на раздел 3.2), обучить ее, а затем символизировать все одномерные функции, чтобы вывести формулу.

Прием B: разреженная инициализация Символические формулы обычно соответствуют KAN с разреженными связями (см. Рисунок 5 (b)), поэтому разреженная инициализация KAN лучше согласует их с индуктивными смещениями символических формул. В противном случае, плотно инициализированные KAN требуют тщательной регуляризации для обеспечения разреженности. Разреженная инициализация может быть достигнута путем передачи аргумента «sparse_init=True» инициализатору KAN. Например, для функции f(q,E,v,B,θ) = q(E + vBsinθ) разреженно инициализированная KAN очень похожа на окончательно обученную KAN, требуя лишь незначительных корректировок в обучении. В отличие от этого, плотная инициализация потребует длительного обучения для удаления ненужных ребер.

Прием C: Проверка гипотезы Когда мы сталкиваемся с несколькими разумными гипотезами, мы можем попробовать их все (ветвясь в «параллельные вселенные»), чтобы проверить, какая гипотеза является наиболее точной и/или самой простой. Чтобы облегчить проверку гипотез, мы создаем систему контрольных точек, которая автоматически сохраняет версии модели всякий раз, когда вносятся изменения (например, обучение, обрезка). Например, рассмотрим функцию $f(m_0,v,c) = m_0/ \sqrt{1 - (v/c)^2}$ . Начнем со случайно инициализированного KAN, имеющего версию 0.0. После обучения он эволюционирует до версии 0.1, где активируется как при β = v/c , так и при $γ = 1/ \sqrt{1 - (v/c)^2}$ . Выдвигаем гипотезу, что могут понадобиться только или . Сначала мы устанавливаем ребро на ноль и обучаем модель, получая $6,5×10^{−4}$ тестового RMSE (версия 0.2). Чтобы проверить альтернативную гипотезу, мы хотим вернуться к точке ветвления (версия 0.1) для чего вызываем model.rewind( '0.1' ), которая возвращает модель обратно к версии 0.1. Чтобы указать, что вызвана перемотка, версия 0.1 переименовывается в версию 1.1. Теперь мы устанавливаем ребро равным нулю, обучаем модель, получая $2.0×10^{−6}$ тестового RMSE (версия становится 1.2). Сравнение версий 0.2 и 1.2 показывает, что вторая гипотеза лучше из-за меньших потерь при одинаковой сложности (обе гипотезы имеют два ненулевых ребра).

5 Применение

Предыдущие разделы в основном были сосредоточены на проблемах регрессии в педагогических целях. В этом разделе мы применяем KAN для обнаружения физических концепций, таких как сохраняющиеся величины, лагранжианы, скрытые симметрии и конститутивные законы. Эти примеры иллюстрируют, как инструменты, предложенные в этой статье, могут быть эффективно интегрированы в реальные научные исследования для решения этих сложных задач.

5.1 Открытие сохраняющихся величин

Рисунок 10: Использование KAN для обнаружения сохраняющихся величин для двумерного гармонического осциллятора.

Сохраняющиеся величины — это физические величины, которые остаются постоянными с течением времени. Например, свободно падающий мяч преобразует свою гравитационную потенциальную энергию в кинетическую энергию, в то время как полная энергия (сумма обеих форм энергии) остается постоянной (при условии пренебрежимо малого сопротивления воздуха). Сохраняющиеся величины имеют решающее значение, поскольку они часто соответствуют симметриям в физических системах и могут упростить вычисления за счет уменьшения размерности системы. Традиционно вывод сохраняющихся величин с помощью бумаги и карандаша может быть трудоемким и требует обширных знаний предметной области. Недавно были исследованы методы машинного обучения для обнаружения сохраняющихся величин [55, 53, 54, 58, 32, 89]. Мы следуем подходу Лю и др. [53], определивших дифференциальное уравнение, которому должны удовлетворять сохраняющиеся величины, тем самым преобразуя проблему поиска сохраняющихся величин в решение дифференциальных уравнений. Они использовали многослойные персептроны (MLP) для параметризации сохраняющихся величин. Мы в основном следуем их процедуре, но заменяем MLP на KAN. Конкретнее, они рассматривают динамическую систему с переменной состояния $\mathbf{z} ∈ \mathbb{R}^d$ , управляемую уравнением $\frac{d \mathbf{z}}{dt} = \mathbf{f}(\mathbf{z})$ . Необходимым и достаточным условием для того, чтобы функция $H(\mathbf{z})$ была сохраняющейся величиной, является выполнение условия $\mathbf{f}(\mathbf{z}) · ∇H(\mathbf{z}) = 0$ для всех $\mathbf{z}$ . Например, в одномерном гармоническом осцилляторе фазовое пространство характеризуется положением и импульсом, $\mathbf{z} = (x,p)$ , а уравнение эволюции имеет вид d(x,p)/dt = (p,-x) . Энергия $H= \frac12 (x^2 + p^2)$ является сохраняющейся величиной, поскольку

$\mathbf{f}(\mathbf{z})·∇H(\mathbf{z}) = (p,-x)·(x,p)=0$ . Мы параметризуем с помощью KAN и обучаем его, используя функции потерь $\ell = ∑_{i=1}^N|\mathbf{f}(\mathbf{z}^{(i)} )· \hat{∇}H{(\mathbf{z}^{\left(i\right)})}|^2$ где $\hat{∇}$ — нормализованный градиент, а $\mathbf{z}^{(i)}$ — i-я точка данных, равномерно взятая из гиперкуба [-1,1]^d .
Мы выбираем 2D гармонический осциллятор для тестирования KAN, характеризующийся (x,y,p_x,p_y) . Он имеет три сохраняющиеся величины: (1) энергия

вдоль направления : $H_1 = \frac12 (x^2 + p_x^2)$ ; (2) энергия вдоль направления :

$H_2 =\frac12 (y^2+p_y^2)$ ; (3) угловой момент H_3 = xp_y-yp_x . Мы обучаем [4, [0, 2], 1] KAN с

тремя различными случайными начальными числами, как показано на рисунке 10, которые соответствуют H1, H2 и H3 соответственно.

5.2 Открытие лагранжианов

Рисунок 11: Использование KAN для изучения лагранжианов для одиночного маятника (вверху) и релятивистской массы в однородном поле (внизу).

В физике механика Лагранжа — это формулировка классической механики, основанная на принципе стационарного действия. Она описывает механическую систему с использованием фазового пространства и гладкой функции L, известной как лагранжиан. Для многих систем $\mathcal{L}= T - V$ , где и представляют собой кинетическую и потенциальную энергию системы соответственно. Фазовое пространство обычно описывается как $(\mathbf{\text{q}},\mathbf{\dot{\text{q}}})$ , где $\mathbf{\text{q}}$ и $\mathbf{\dot{\text{q}}}$ обозначают координаты и скорости соответственно. Уравнение движения может быть

выведено из лагранжиана через уравнение Эйлера-Лагранжа: $\frac d{dt}\left(\frac{∂\mathcal{L}}{∂\mathbf{\dot{q}}}\right) = \frac{∂\mathcal{L}}{∂\mathbf{q}}$ , или эквивалентно

Учитывая фундаментальную роль лагранжиана, интересным вопросом является то, можем ли мы вывести лагранжиан из данных. Следуя [19], мы обучаем лагранжеву нейронную сеть предсказывать $\mathbf{\ddot{q}}$ из $(\mathbf{\text{q}},\mathbf{\dot{\text{q}}})$ . LNN использует MLP для параметризации $\mathcal{L} (\mathbf{\text{q}},\mathbf{\dot{\text{q}}})$ и вычисляет уравнение (18) для предсказания мгновенных ускорений $\mathbf{\ddot{q}}$ . Однако LNN сталкиваются с двумя основными проблемами: (1) Обучение LNN может быть нестабильным из-за производных второго порядка и инверсии матрицы в уравнении (18). (2) LNN не обладают интерпретируемостью, поскольку сами MLP нелегко интерпретировать. Мы решаем эти проблемы с помощью KAN.
Чтобы решить первую задачу, отметим, что матричное обращение гессиана $(\nabla_{\dot{q}} \nabla_{\dot{q}}^T \mathcal{L})^{-1}$ становится проблематичным, когда гессиан имеет собственные значения, близкие к нулю. Чтобы смягчить это, мы инициализируем $(\nabla_{\dot{q}} \nabla_{\dot{q}}^T \mathcal{L})$ как положительно определенную матрицу (или положительное число в 1D). Поскольку $(\nabla_{\dot{q}} \nabla_{\dot{q}}^T \mathcal{L})$ — это масса в классической механике, а кинетическая энергия обычно равна $T=\frac12m\mathbf{\dot{q}}^2$ , кодирование этих априорных знаний в KAN проще, чем в MLP (с использованием kanpiler, представленного в разделе 3.3). Kanpiler может преобразовать символическую формулу T в KAN (как показано на рисунке 11). Мы используем эту преобразованную KAN для инициализации и продолжаем обучение, что приводит к гораздо большей стабильности по сравнению со случайной инициализацией. После обучения символическая регрессия может быть применена к каждому ребру для извлечения символических формул, решая вторую задачу.
Мы показываем два 1D примера на рисунке 11, одиночный маятник и релятивистская масса в однородном поле. Скомпилированные KAN показаны слева, с ребрами на $\dot{q}$ , отображающими квадратичные функции, и ребрами на как нулевые функции.

Одиночный маятник Часть $\dot{q}$ остается квадратичной функцией $T(\dot{q}) = \frac12\dot{q}^2$ , в то время

как часть учится быть функцией косинуса, так как V(q)=1-cos(q) . На рисунке 11 вверху результаты suggest_symbolic отображают пять функций, которые лучше всего соответствуют сплайнам, учитывая как пригодность, так и простоту. Как и ожидалось, косинус и квадратичная функция появляются в верхней части списков.

Релятивистская масса в однородном поле После обучения кинетическая энергия отклоняется от $T = ½ \dot{q}^2$ , поскольку для релятивистской частицы $T_r=(1 - \dot{q}^2)^{-1/2}-1$ . На рисунке 11 (внизу) символическая регрессия успешно находит V(q) = q , но не может идентифицировать T_r из-за своей композиционной природы, поскольку наша символическая регрессия ищет только простые функции. Предполагая, что первая композиция функций является квадратичной, мы создаем еще один [1, 1, 1] KAN для соответствия T_r и устанавливаем первую функцию как квадратичную функцию с помощью fix_symbolic и обучаем только вторую функцию. После обучения мы видим, что истина $x^{−1/2}$ появляется среди пяти лучших кандидатов. Однако $x^{1/2}$ немного лучше подходит для сплайна, на что указывает более высокое значение R-квадрата. Это говорит о том, что символическая регрессия чувствительна к шуму (из-за несовершенного обучения), и априорные знания имеют решающее значение для правильного суждения. Например, знание того, что кинетическая энергия должна стремиться к бесконечности по мере приближения скорости к скорости света, помогает подтвердить, что $x^{−1/2}$ является правильным членом, поскольку $x^{1/2}$ не демонстрирует ожидаемого стремления к бесконечности.

5.3 Обнаружение скрытой симметрии

Рисунок 12: Повторное открытие скрытой симметрии черной дыры Шварцшильда с помощью MLP и KAN. (a) ∆t(r), изученный MLP, является глобально гладким решением; (b) ∆t(r), изученный KAN, является решением "доменной стенки"; (c) KAN показывает всплеск потерь на "доменной стенке"; (d) KAN можно использовать для точной настройки решения MLP, близкой к машинной точности.

Филип Андерсон утверждал, что «было бы лишь небольшим преувеличением сказать, что физика — это изучение симметрии», подчеркивая, насколько открытие симметрии было бесценным как для углубления нашего понимания, так и для более эффективного решения проблем.
Однако симметрии иногда не проявляются, а скрываются, только проявляясь путем применения некоторого преобразования координат. Например, после того, как Шварцшильд открыл свою одноименную метрику черной дыры, Painlevé, Gullstrand и Lemaître потребовалось 17 лет, чтобы раскрыть ее скрытую трансляционную симметрию. Они продемонстрировали, что пространственные сечения можно сделать трансляционно инвариантными с помощью умного преобразования координат, тем самым углубив наше понимание черных дыр [65]. Лю и Тегмарк [56] показали, что преобразование Gullstrand-Painlevé можно обнаружить, обучив MLP за считанные минуты. Однако они не получили чрезвычайно высокой точности (т.е. машинной точности) для решения. Мы пытаемся вернуться к этой проблеме с помощью KAN.
Предположим, что в пространстве-времени (t,x,y,z) имеется черная дыра Шварцшильда с массой 2M = 1 , центром в точке x = y = z = 0 и радиусом r_s=2M=1 . Метрика Шварцшильда описывает, как искажаются пространство и время вокруг нее:

Применяя преобразование Gullstrand-Painlevé $t'=t+2M\left(2u+ln⁡\left(\frac{u-1}{u+1}\right) \right)$ ,

$u ≡ \sqrt{\frac{r}{2M}}$ , x'=x, y'=y, z'=z , метрика в новых координатах становится:

которая демонстрирует трансляционную инвариантность в пространственном сечении (нижний правый блок 3×3 представляет собой евклидову метрику). Лю и Тегмарк [56] использовали многослойный перцептрон для обучения отображению из (t,x,y,z) в

(t',x',y',z') . Определяя матрицу Якоби $\mathbf{J}≡\frac{∂(t', x', y', z')}{∂(t,x,y,z)}$ , $\mathbf{\text{g}}$ преобразуется в

$\mathbf{g}'= \mathbf{J}^{-T}\mathbf{g}\mathbf{J}^{-1}$ . Мы берем нижний правый блок 3×3 $\mathbf{\text{g}}'$ ′ и берем его разность с евклидовой метрикой, чтобы получить потерю MSE. Потери минимизируются путем выполнения градиентных спусков на MLP. Чтобы упростить задачу, они предполагают знание x'=x, y'=y, z'=z и используют только MLP (1 вход и 1 выход) для прогнозирования

временной разницы $∆t(r)=t'-t=2M\left(2u+ln⁡\left(\frac{u-1}{u+1}\right) \right)$ , $u≡\sqrt{\frac{r}{2M}}$ из радиуса .
MLP и KAN находят разные решения Мы обучили как MLP, так и KAN минимизировать эту функцию потерь, и результаты показаны на рисунке 12. Поскольку задача имеет 1 входное измерение и 1 выходное измерение, KAN эффективно сводится к сплайну. Изначально мы ожидали, что KAN превзойдут MLP, поскольку сплайны, как известно, превосходят MLP в низкоразмерных условиях [63]. Однако, в то время как MLP может достичь $10^{−8}$ потерь, KAN застревает на $10^{−3}$ потерях, несмотря на уточнения сетки. Оказалось, что KAN и MLP узнали два разных решения: в то время как MLP нашел глобально гладкое решение (рисунок 12 (a)), KAN узнал решение доменной стенки (рисунок 12 (b)). Решение доменной стенки имеет особую точку, которая разделяет всю кривую на два сегмента. Левый сегмент правильно изучает ∆t(r) , в то время как правый сегмент изучает −∆t(r) , что также является допустимым решением, но отличается от левого сегмента знаком минус. В особой точке появляется пик потерь (рисунок 12 (c)). Можно считать это особенностью KAN, поскольку решения с доменными стенками распространены в природе. Однако, если считать это недостатком, KAN все еще могут получать глобально гладкие решения, добавляя регуляризации (для уменьшения колебаний сплайна) или экспериментируя с различными случайными начальными числами (примерно 1 из 3 случайных начальных чисел находит глобально гладкие решения).
KAN могут достигать чрезвычайной точности Хотя MLP находит глобально гладкое решение и достигает потерь $10^{−8}$ , потери все еще далеки от машинной точности. Мы обнаружили, что ни более длительное обучение, ни увеличение размера MLP не привели к значительному уменьшению потерь. Поэтому мы обратились к KAN, которые, как сплайны в 1D, могут достигать произвольной точности за счет уточнения сетки (при бесконечных данных). Сначала мы использовали MLP в качестве учителя, генерируя контролируемые пары (x,y) для обучения KAN для соответствия контролируемым данным. Таким образом, KAN инициализируется для глобально гладкого решения. Затем мы итеративно уточняли KAN, увеличивая количество интервалов сетки до 1000. В конечном итоге точно настроенные KAN достигают потерь $10^{−15}$ , близких к машинной точности (рисунок 12 (d)).

5.4 Изучение конститутивных законов

Конститутивный закон определяет поведение и свойства материала, моделируя его реакцию на внешние силы или деформации. Одной из простейших форм конститутивного закона является закон Гука [34], который линейно связывает деформацию и напряжение эластичных материалов. Конститутивные законы охватывают широкий спектр материалов, включая эластичные материалы [80, 68], пластичные материалы [64] и жидкости [8]. Традиционно эти законы были выведены из первых принципов, основанных на теоретических и экспериментальных исследованиях [79, 81, 6, 29]. Однако недавние достижения представили подходы, основанные на данных, которые используют машинное обучение для обнаружения и уточнения этих законов из выделенных наборов данных [73, 91, 59, 60].

Рисунок 13: Открытие конститутивных законов (соотношений между тензором давления P и тензором деформации F) с помощью KAN, взаимодействуя с ними. Вверху: предсказание диагонального элемента P₁₁; внизу: предсказание внедиагонального элемента P₁₂.

Мы следуем стандартным обозначениям и экспериментальным установкам в упругой части NCLaw [59] и определяем материальный закон как параметризованную функцию $\mathcal{E}_\theta(\mathbf{F})\rightarrow \mathbf{P}$ , где $\mathbf{F}$ обозначает тензор деформации, $\mathbf{P}$ — первый тензор напряжений Piola–Kirchhoff , а — параметры в материнском законе.
Многие изотропные материалы имеют линейные материальные законы при малой деформации:

Однако, когда деформация становится больше, начинают проявляться нелинейные эффекты. Например, материал NeoHookean имеет следующий конститутивный закон:

где и — так называемые параметры Lamé, определяемые так называемым модулем

Юнга и коэффициентом Пуассона как $µ =\frac Y{2(1+v)}$ , $λ=\frac{Yv}{(1+ν )(1-2ν)}$ .

Для простоты выберем Y = 1 и ν = 0,2 , отсюда $µ = \frac {5}{12}≈0,42$ и $λ = \frac{5}{18}≈0,28$ .

Предположим, что мы работаем с нео-гуковскими материалами, и наша цель — использовать KAN для предсказания тензора $\mathbf{P}$ из тензора $\mathbf{F}$ . Предположим, мы не знаем, что это нео-гуковские материалы, но у нас есть предварительное знание того, что линейный конститутивный закон приблизительно действителен для малой деформации. Из-за симметрии достаточно продемонстрировать, что мы можем точно предсказать $P_{11}$ и $P_{12}$ из 9 матричных элементов $\mathbf{F}$ . Мы хотим скомпилировать линейные конститутивные законы в KAN, которые представляют собой $P_{11}= 2µ(F_{11}– 1)+ λ(F_{11}+ F_{22}+ F_{33}– 3)$ , и $P_{12}= µ(F_{12}+ F_{21} )$ . Мы хотим извлечь неогуковские законы из обученных KAN, представляющих собой $P_{11}= µ(F_{11}^2+ F_{12}^2+ F_{13}^2– 1)+λ log⁡(det⁡(\mathbf{F}))$ , и $P_{12}= µ(F_{11} F_{21}+ F_{12} F_{22}+ F_{13} F_{23} )$ . Мы генерируем синтетический набор данных, выбирая $F_{ij}$ из $U[δ_{ij}– w,δ_{ij}+ w](w = 0,2)$ и используя неогуковский конститутивный закон для вычисления P. Наше взаимодействие с KAN проиллюстрировано на рисунке 13. В обоих случаях мы успешно вычислили истинные символические формулы с помощью некоторых индуктивных предубеждений. Однако главный вывод заключается не в том, что мы можем заново найти точные символьные формулы - учитывая, что предварительные знания искажают процесс, - а в том, что в реальных сценариях, где ответы неизвестны и пользователи могут делать предположения на основе предварительных знаний, пакет pykan позволяет легко проверить или учесть предварительные знания.

Предсказание $P_{11}$ На шаге 1 мы компилируем линейный конститутивный закон $P_{11}= 2µ(F_{11}– 1)+ λ(F_{11}+F_{22}+ F_{33}– 3)$ в KAN с помощью kanpiler, что приводит к потере $10^{−2}$ . На шаге 2 мы привносим возмущение в KAN так, чтобы она стала обучаемой (на что указывает изменение цвета с красного на фиолетовый; красный обозначает чисто символическую часть, в то время как фиолетовый указывает на то, что активны как символическая, так и сплайновая части). На шаге 3 мы обучаем возмущенную модель до сходимости, что дает потерю $6×10^{−3}$ . На шаге 4, предполагая, что детерминант является ключевой вспомогательной переменной, мы используем expand_width (для KAN) и augment_input (для набора данных), чтобы включить детерминант |F |. На шаге 5 мы обучаем KAN до сходимости, что дает потерю $2×10^{−4}$ . На шаге 6 мы символизируем KAN, чтобы получить символическую формулу $P_{11} = 0,42(F_{11}^2+ F_{12}^2+F_{13}^2 – 1) + 0,28log⁡(|F|)$ , что дает потерю $3×10^{−11}$ .

Прогнозирование $P_{12}$ Мы экспериментировали с кодированием линейного конститутивного закона в качестве априорного знания и без него. С предварительными знаниями: на шаге 1 мы компилируем линейный конститутивный закон в KAN, что приводит к потере $10^{−2}$ . Затем мы выполняем ряд операций, включая расширение (шаг 2), возмущение (шаг 3), обучение (шаг 4), сокращение (шаг 5) и, наконец, символизацию (шаг 6). Влияние предварительных знаний очевидно, поскольку окончательный KAN определяет только незначительные корректирующие члены линейного конститутивного закона. Окончательный KAN символизируется как $P_{12}=0,42(F_{12}+F_{21})+0,44F_{13} F_{23}-0,03F_{21}^2+0,02 F_{12}^2$ , что дает потерю $7×10^{−3}$ , лишь немного лучше, чем линейный конститутивный закон. Без предварительных знаний: на шаге 1 мы случайным образом инициализируем модель KAN. На шаге 2 мы обучаем KAN с регуляризацией. На шаге 3 мы обрезаем KAN, чтобы сделать ее более компактной. На шаге 4 мы символизируем KAN, получая $P_{12}=0,42(F_{11} F_{21}+F_{12} F_{22}+F_{13} F_{23} )$ , что близко соответствует точной формуле, достигая потери $6×10^{−9}$ . Сравнение двух сценариев — одного с предварительными знаниями и одного без них — показывает неожиданный результат: в этом примере предварительные знания кажутся вредными, возможно, потому, что линейный конститутивный закон, вероятно, находится вблизи (плохого) локального минимума, из которого модели трудно выйти. Однако мы, вероятно, не должны случайным образом экстраполировать этот вывод на более сложные задачи и более крупные сети. Для более сложных задач нахождение локального минимума с помощью градиентного спуска может быть достаточно сложным, что делает желательным приблизительное начальное решение. Кроме того, более крупные сети могут быть достаточно перепараметризованы, чтобы исключить плохие локальные минимумы, гарантируя, что все локальные минимумы будут глобальными и взаимосвязанными.

Рисунок 14: KAN интерполирует между программным обеспечением 1.0 и 2.0. (a) KAN находят баланс между интерпретируемостью (программное обеспечение 1.0) и обучаемостью (программное обеспечение 2.0). (b) Граница Парето KAN на плоскости шкалы интерпретируемости. Количество интерпретации, которое мы можем получить от KAN, зависит от масштабов проблемы и методов интерпретируемости.

6 Связанные работы

Сети Колмогорова-Арнольда (KAN), вдохновленные теоремой Колмогорова-Арнольда о представлении (KART), были недавно предложены Лю и др. [57]. Хотя связь между KART и сетями долгое время считалась несущественной [30], Лю и др. обобщили исходную двухслойную сеть до произвольной глубины и продемонстрировали их перспективность для научно-ориентированных задач с учетом их точности и интерпретируемости. Последующие исследования изучали применение KAN в различных областях, включая графы [12, 22, 38, 99], уравнения в частных производных [87, 78] и обучение операторов [1, 78, 67], табличные данные [70], временные ряды [85, 28, 93, 27], распознавание человеческой активности [49, 50], нейронауку [96, 33], квантовую науку [40, 46, 4], компьютерное зрение [17, 7, 44, 16, 76, 10], обучение ядра [101], ядерную физику [48], электротехнику [69], биологию [71]. Лю и др. использовали B-сплайны для параметризации 1D-функций, а другие исследования изучали различные функции активации, включая wavelet [11, 76], радиальную базисную функцию [47], ряды Фурье [92]), конечный базис [35, 82], базисные функции Якоби [2], полиномиальные базисные функции [75], рациональные функции [3]. Также были предложены другие методы для KAN, включая регуляризацию [5], Kansformer (объединяющий трансформатор и KAN) [15], адаптивное обновление сетки [72], federated learning [98], сверточные KAN [10]. Продолжаются дебаты относительно того, действительно ли KAN превосходят другие нейронные сети (особенно MLP) в различных областях [7, 16, 42, 77, 97], что говорит о том, что, хотя KAN показывают перспективы для задач машинного обучения, необходимы дальнейшие разработки, чтобы превзойти самые современные модели.

Машинное обучение для физических законов Основная цель KAN — помочь в открытии новых физических законов из данных. Предыдущие исследования показали, что машинное обучение можно использовать для изучения различных типов физических законов, включая уравнения движения [90, 13, 43, 20], законы сохранения [55, 53, 54, 58, 32, 89], симметрии [39, 56, 94], фазовые переходы [88, 14], лагранжианы и гамильтонианы [19, 31] и символическую регрессию [18, 61, 23, 74] и т. д. Однако для того, чтобы сделать нейронные сети интерпретируемыми, часто требуются знания, специфичные для предметной области, что ограничивает их общность. Мы надеемся, что KAN превратятся в универсальные базовые модели для физических открытий.

Механистическая интерпретируемость стремится понять, как нейронные сети работают на фундаментальном уровне [21, 62, 86, 25, 66, 100, 51, 24, 45, 26]. Некоторые исследования в этой области сосредоточены на разработке моделей, которые по своей сути являются интерпретируемыми [24] или на предложении методов обучения, которые явно способствуют интерпретируемости [51]. KAN попадают в эту категорию, поскольку теорема Колмогорова-Арнольда раскладывает многомерную функцию на набор одномерных функций, которые значительно легче интерпретировать, чем многомерные функции.

7 Обсуждение

KAN интерполирует между программным обеспечением 1.0 и 2.0 Ключевое различие между сетями Колмогорова-Арнольда (KAN) и другими нейронными сетями (программное обеспечение 2.0, термин, введенный Andrej Karpathy) заключается в их большей интерпретируемости, что позволяет пользователям манипулировать ими, аналогично традиционному программному обеспечению (программное обеспечение 1.0). Однако KAN не являются полностью традиционным программным обеспечением, поскольку они (1) обучаемы (хорошо), что позволяет им изучать новые вещи из данных, и (2) имеют пониженную интерпретируемость (плохо), поскольку они становятся менее интерпретируемыми и контролируемыми по мере увеличения масштабов сети. На рисунке 14 (a) визуализируется положение программного обеспечения 1.0, программного обеспечения 2.0 и KAN на плоскости интерпретируемости-обучаемости, иллюстрируя, как KAN могут сбалансировать компромиссы между этими двумя парадигмами. Целью данной статьи является предложение различных инструментов, которые делают KAN более похожими на программное обеспечение 1.0, используя при этом обучаемость программного обеспечения 2.0.

Повышение эффективности. Первоначальный пакет pykan [57] был плох в эффективности. Мы включили несколько методов для повышения его эффективности.
1. Эффективные оценки сплайнов. Вдохновленные Efficient KAN [9], мы оптимизировали оценки сплайнов, избегая ненужных расширений входных данных. Для KAN с L слоями, N нейронами на слой и размером сетки G использование памяти было сокращено с O(LN^2 G) до O(LNG) .
2. Включение символической ветви (symbolic branch) только при необходимости. Слой KAN содержит как сплайновую, так и символическую ветвь. Символическая ветвь требует гораздо больше времени, чем сплайновая, поскольку ее нельзя распараллелить (нужны катастрофические двойные циклы). Однако во многих приложениях символическая ветвь не нужна, поэтому мы можем пропустить ее, когда это возможно, что значительно сокращает время выполнения, особенно когда сеть большая.
3. Сохранение промежуточных активаций только при необходимости. Для построения диаграмм KAN необходимо сохранять промежуточные активации. Изначально активации сохранялись по умолчанию, что приводило к замедлению времени выполнения и чрезмерному использованию памяти. Теперь мы сохраняем промежуточные активации только при необходимости (например, для построения графиков или применения регуляризаций при обучении). Пользователи могут включить эти улучшения эффективности с помощью одной строки: model.speed().
4. Ускорение на GPU. Изначально все модели запускались на CPU из-за мелкомасштабного характера проблем. Теперь мы сделали модель совместимой с GPU* (*Модели можно обучать на графических процессорах, но не все функции уже поддерживаются графическими процессорами) . Например, обучение [4,100,100,100,1] с Adam для 100 шагов раньше занимало целый день на CPU (до внедрения 1, 2, 3), но теперь занимает 20 секунд на CPU и менее одной секунды на GPU. Однако KAN все еще отстают от MLP по эффективности, особенно в больших масштабах. Сообщество работает над бенчмаркингом и повышением эффективности KAN, и разрыв в эффективности был значительно сокращен [36].

Поскольку цель этой статьи — сделать KAN более похожими на программное обеспечение 1.0, при выборе между 1.0 (интерактивность и универсальность) и 2.0 (эффективность и конкретика) мы отдаем приоритет интерактивности и универсальности, а не эффективности. Например, мы храним афишированные данные в моделях (что потребляет дополнительную память), поэтому пользователи могут просто вызвать model.plot() для генерации диаграммы KAN без ручного выполнения прямого прохода для сбора данных.

Интерпретируемость Хотя обучаемые одномерные функции в KAN более интерпретируемы, чем весовые матрицы в MLP, масштабируемость остается проблемой. По мере масштабирования моделей KAN, даже если все сплайн-функции интерпретируются по отдельности, становится все труднее управлять объединенным выводом этих 1D-функций. Следовательно, KAN может оставаться интерпретируемой только тогда, когда масштаб сети относительно мал (рисунок 14 (b), толстая красная линия). Важно отметить, что интерпретируемость зависит как от внутренних факторов (связанных с самой моделью), так и от внешних факторов (связанных с методами интерпретируемости). Расширенные методы интерпретируемости должны быть способны обрабатывать интерпретируемость на различных уровнях. Например, интерпретируя KAN с помощью символической регрессии, обнаружения модульности и атрибуции признаков (рисунок 14 (b), тонкие красные линии), граница Парето интерпретируемости по сравнению с масштабом выходит за рамки того, чего может достичь только KAN. Перспективным направлением будущих исследований является разработка более продвинутых методов интерпретируемости, которые могут еще больше раздвинуть текущие границы Парето.

Будущая работа В этой статье представлена структура, которая интегрирует KAN с научными знаниями, фокусируясь в первую очередь на мелкомасштабных примерах, связанных с физикой. В дальнейшем два перспективных направления включают применение этой структуры к более масштабным проблемам и ее распространение на другие научные дисциплины за пределами физики.

Признание

Мы хотели бы поблагодарить Yizhou Liu, Di Luo, Akash Kundu и многих пользователей GitHub за плодотворное обсуждение и конструктивные предложения. Мы выражаем особую благодарность пользователю GitHub Blealtan за публикацию их потрясающей работы по повышению эффективности KAN.
Z.L. и M.T. поддерживаются IAIFI через грант NSF PHY-2019786.

Ссылки

[1] D. W. Abueidda, P. Pantidis, and M. E. Mobasher. Deepokan: Deep operator network based on kolmogorov arnold networks for mechanics problems. arXiv preprint arXiv:2405.19143, 2024.

[2] A. A. Aghaei. fkan: Fractional kolmogorov-arnold networks with trainable jacobi basis functions. arXiv preprint arXiv:2406.07456, 2024.

[3] A. A. Aghaei. rkan: Rational kolmogorov-arnold networks. arXiv preprint arXiv:2406.14495, 2024.

[4] T. Ahmed and M. H. R. Sifat. Graphkan: Graph kolmogorov arnold network for small molecule-protein interaction predictions. In ICML’24 Workshop ML for Life and Material Science: From Theory to Industry Applications, 2024.

[5] M. G. Altarabichi. Dropkan: Regularizing kans by masking post-activations. arXiv preprint arXiv:2407.13044, 2024.

[6] E. M. Arruda and M. C. Boyce. A three-dimensional constitutive model for the large stretch behavior of rubber elastic materials. Journal of the Mechanics and Physics of Solids, 41(2):389–412, 1993.

[7] B. Azam and N. Akhtar. Suitability of kans for computer vision: A preliminary investigation. arXiv preprint arXiv:2406.09087, 2024.

[8] G. K. Batchelor. An introduction to fluid dynamics. Cambridge university press, 2000.

[9] Blealtan. Blealtan/efficient-kan: An efficient pure-pytorch implementation of kolmogorovarnold network (kan).

[10] A. D. Bodner, A. S. Tepsich, J. N. Spolski, and S. Pourteau. Convolutional kolmogorovarnold networks. arXiv preprint arXiv:2406.13155, 2024.

[11] Z. Bozorgasl and H. Chen. Wav-kan: Wavelet kolmogorov-arnold networks. arXiv preprint arXiv:2405.12832, 2024.

[12] R. Bresson, G. Nikolentzos, G. Panagopoulos, M. Chatzianastasis, J. Pang, and M. Vazirgiannis. Kagnns: Kolmogorov-arnold networks meet graph learning. arXiv preprint arXiv:2406.18380, 2024.

[13] S. L. Brunton, J. L. Proctor, and J. N. Kutz. Discovering governing equations from data by sparse identification of nonlinear dynamical systems. Proceedings of the national academy of sciences, 113(15):3932–3937, 2016.

[14] J. Carrasquilla and R. G. Melko. Machine learning phases of matter. Nature Physics, 13(5):431–434, 2017.

[15] Y. Chen, Z. Zhu, S. Zhu, L. Qiu, B. Zou, F. Jia, Y. Zhu, C. Zhang, Z. Fang, F. Qin, et al. Sckansformer: Fine-grained classification of bone marrow cells via kansformer backbone and hierarchical attention mechanisms. arXiv preprint arXiv:2406.09931, 2024.

[16] M. Cheon. Demonstrating the efficacy of kolmogorov-arnold networks in vision tasks. arXiv preprint arXiv:2406.14916, 2024.

[17] M. Cheon. Kolmogorov-arnold network for satellite image classification in remote sensing. arXiv preprint arXiv:2406.00600, 2024.

[18] M. Cranmer. Interpretable machine learning for science with pysr and symbolicregression. jl. arXiv preprint arXiv:2305.01582, 2023.

[19] M. Cranmer, S. Greydanus, S. Hoyer, P. Battaglia, D. Spergel, and S. Ho. Lagrangian neural networks. arXiv preprint arXiv:2003.04630, 2020.

[20] M. Cranmer, A. Sanchez Gonzalez, P. Battaglia, R. Xu, K. Cranmer, D. Spergel, and S. Ho. Discovering symbolic models from deep learning with inductive biases. Advances in neural information processing systems, 33:17429–17442, 2020.

[21] H. Cunningham, A. Ewart, L. Riggs, R. Huben, and L. Sharkey. Sparse autoencoders find highly interpretable features in language models. arXiv preprint arXiv:2309.08600, 2023.

[22] G. De Carlo, A. Mastropietro, and A. Anagnostopoulos. Kolmogorov-arnold graph neural networks. arXiv preprint arXiv:2406.18354, 2024.

[23] O. Dugan, R. Dangovski, A. Costa, S. Kim, P. Goyal, J. Jacobson, and M. Soljaci ˇ c. Occamnet: ´A fast neural model for symbolic regression at scale. arXiv preprint arXiv:2007.10784, 2020.

[24] N. Elhage, T. Hume, C. Olsson, N. Nanda, T. Henighan, S. Johnston, S. ElShowk, N. Joseph, N. DasSarma, B. Mann, D. Hernandez, A. Askell, K. Ndousse, A. Jones, D. Drain, A. Chen, Y. Bai, D. Ganguli, L. Lovitt, Z. Hatfield-Dodds, J. Kernion, T. Conerly, S. Kravec, S. Fort, S. Kadavath, J. Jacobson, E. Tran-Johnson, J. Kaplan, J. Clark, T. Brown, S. McCandlish, D. Amodei, and C. Olah. Softmax linear units. Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/solu/index.html.

[25] N. Elhage, T. Hume, C. Olsson, N. Schiefer, T. Henighan, S. Kravec, Z. Hatfield-Dodds, R. Lasenby, D. Drain, C. Chen, et al. Toy models of superposition. arXiv preprint arXiv:2209.10652, 2022.

[26] J. Engels, I. Liao, E. J. Michaud, W. Gurnee, and M. Tegmark. Not all language model features are linear. arXiv preprint arXiv:2405.14860, 2024.

[27] R. Genet and H. Inzirillo. A temporal kolmogorov-arnold transformer for time series forecasting. arXiv preprint arXiv:2406.02486, 2024.

[28] R. Genet and H. Inzirillo. Tkan: Temporal kolmogorov-arnold networks. arXiv preprint arXiv:2405.07344, 2024.

[29] A. N. Gent. A new constitutive relation for rubber. Rubber chemistry and technology, 69(1):59–61, 1996.

[30] F. Girosi and T. Poggio. Representation properties of networks: Kolmogorov’s theorem is irrelevant. Neural Computation, 1(4):465–469, 1989.

[31] S. Greydanus, M. Dzamba, and J. Yosinski. Hamiltonian neural networks. Advances in neural information processing systems, 32, 2019.

[32] S. Ha and H. Jeong. Discovering conservation laws from trajectories via machine learning. arXiv preprint arXiv:2102.04008, 2021.

[33] L. F. Herbozo Contreras, J. Cui, L. Yu, Z. Huang, A. Nikpour, and O. Kavehei. Kan-eeg: Towards replacing backbone-mlp for an effective seizure detection system. medRxiv, pages 2024–06, 2024.

[34] R. Hooke. Lectures de potentia restitutiva, or of spring explaining the power of springing bodies. Number 6. John Martyn, 2016.

[35] A. A. Howard, B. Jacob, S. H. Murphy, A. Heinlein, and P. Stinis. Finite basis kolmogorovarnold networks: domain decomposition for data-driven and physics-informed problems. arXiv preprint arXiv:2406.19662, 2024.

[36] Jerry-Master. Jerry-master/kan-benchmarking.

[37] J. Jumper, R. Evans, A. Pritzel, T. Green, M. Figurnov, O. Ronneberger, K. Tunyasuvunakool, R. Bates, A. Žídek, A. Potapenko, et al. Highly accurate protein structure prediction with alphafold. nature, 596(7873):583–589, 2021.

[38] M. Kiamari, M. Kiamari, and B. Krishnamachari. Gkan: Graph kolmogorov-arnold networks. arXiv preprint arXiv:2406.06470, 2024.

[39] S. Krippendorf and M. Syvaeri. Detecting symmetries with neural networks. Machine Learning: Science and Technology, 2(1):015010, 2020.

[40] A. Kundu, A. Sarkar, and A. Sadhu. Kanqas: Kolmogorov arnold network for quantum architecture search. arXiv preprint arXiv:2406.17630, 2024.

[41] R. Lam, A. Sanchez-Gonzalez, M. Willson, P. Wirnsberger, M. Fortunato, F. Alet, S. Ravuri, T. Ewalds, Z. Eaton-Rosen, W. Hu, et al. Learning skillful medium-range global weather forecasting. Science, 382(6677):1416–1421, 2023.

[42] T. X. H. Le, T. D. Tran, H. L. Pham, V. T. D. Le, T. H. Vu, V. T. Nguyen, Y. Nakashima, et al. Exploring the limitations of kolmogorov-arnold networks in classification: Insights to software training and hardware implementation. arXiv preprint arXiv:2407.17790, 2024.

[43] P. Lemos, N. Jeffrey, M. Cranmer, S. Ho, and P. Battaglia. Rediscovering orbital mechanics with machine learning. Machine Learning: Science and Technology, 4(4):045002, 2023.

[44] C. Li, X. Liu, W. Li, C. Wang, H. Liu, and Y. Yuan. U-kan makes strong backbone for medical image segmentation and generation. arXiv preprint arXiv:2406.02918, 2024.

[45] K. Li, A. K. Hopkins, D. Bau, F. Viégas, H. Pfister, and M. Wattenberg. Emergent world representations: Exploring a sequence model trained on a synthetic task. In The Eleventh International Conference on Learning Representations, 2023.

[46] X. Li, Z. Feng, Y. Chen, W. Dai, Z. He, Y. Zhou, and S. Jiao. Coeff-kans: A paradigm to address the electrolyte field with kans. arXiv preprint arXiv:2407.20265, 2024.

[47] Z. Li. Kolmogorov-arnold networks are radial basis function networks. arXiv preprint arXiv:2405.06721, 2024.

[48] H. Liu, J. Lei, and Z. Ren. From complexity to clarity: Kolmogorov-arnold networks in nuclear binding energy prediction, 2024.

[49] M. Liu, S. Bian, B. Zhou, and P. Lukowicz. ikan: Global incremental learning with kan for human activity recognition across heterogeneous datasets. arXiv preprint arXiv:2406.01646, 2024.

[50] M. Liu, D. Geißler, D. Nshimyimana, S. Bian, B. Zhou, and P. Lukowicz. Initial investigation of kolmogorov-arnold networks (kans) as feature extractors for imu based human activity recognition. arXiv preprint arXiv:2406.11914, 2024.

[51] Z. Liu, E. Gan, and M. Tegmark. Seeing is believing: Brain-inspired modular training for mechanistic interpretability. Entropy, 26(1):41, 2023.

[52] Z. Liu, M. Khona, I. R. Fiete, and M. Tegmark. Growing brains: Co-emergence of anatomical and functional modularity in recurrent neural networks. arXiv preprint arXiv:2310.07711, 2023.

[53] Z. Liu, V. Madhavan, and M. Tegmark. Machine learning conservation laws from differential equations. Physical Review E, 106(4):045307, 2022.

[54] Z. Liu, P. O. Sturm, S. Bharadwaj, S. J. Silva, and M. Tegmark. Interpretable conservation laws as sparse invariants. Phys. Rev. E, 109:L023301, Feb 2024.

[55] Z. Liu and M. Tegmark. Machine learning conservation laws from trajectories. Phys. Rev. Lett., 126:180604, May 2021.

[56] Z. Liu and M. Tegmark. Machine learning hidden symmetries. Physical Review Letters, 128(18):180201, 2022.

[57] Z. Liu, Y. Wang, S. Vaidya, F. Ruehle, J. Halverson, M. Soljačić, T. Y. Hou, and M. Tegmark. ´Kan: Kolmogorov-arnold networks. arXiv preprint arXiv:2404.19756, 2024.

[58] P. Y. Lu, R. Dangovski, and M. Soljaci ˇ c. Discovering conservation laws using optimal trans- ´port and manifold learning. Nature Communications, 14(1):4744, 2023.

[59] P. Ma, P. Y. Chen, B. Deng, J. B. Tenenbaum, T. Du, C. Gan, and W. Matusik. Learning neural constitutive laws from motion observations for generalizable pde dynamics. In International Conference on Machine Learning, pages 23279–23300. PMLR, 2023.

[60] P. Ma, T.-H. Wang, M. Guo, Z. Sun, J. B. Tenenbaum, D. Rus, C. Gan, and W. Matusik. Llm and simulation as bilevel optimizers: A new paradigm to advance physical scientific discovery. In Forty-first International Conference on Machine Learning, 2024.

[61] G. Martius and C. H. Lampert. Extrapolation and learning equations. arXiv preprint arXiv:1610.02995, 2016.

[62] K. Meng, D. Bau, A. J. Andonian, and Y. Belinkov. Locating and editing factual associations in GPT. In A. H. Oh, A. Agarwal, D. Belgrave, and K. Cho, editors, Advances in Neural Information Processing Systems, 2022.

[63] E. J. Michaud, Z. Liu, and M. Tegmark. Precision machine learning. Entropy, 25(1):175, 2023.

[64] R. v. Mises. Mechanik der festen körper im plastisch-deformablen zustand. Nachrichten von der Gesellschaft der Wissenschaften zu Göttingen, Mathematisch-Physikalische Klasse, 1913:582–592, 1913.

[65] C. Misner, K. Thorne, and J. Wheeler. Gravitation. Princeton University Press, 2017.

[66] N. Nanda, L. Chan, T. Lieberum, J. Smith, and J. Steinhardt. Progress measures for grokking via mechanistic interpretability. In The Eleventh International Conference on Learning Representations, 2023.

[67] G. Nehma and M. Tiwari. Leveraging kans for enhanced deep koopman operator discovery. arXiv preprint arXiv:2406.02875, 2024.

[68] R. W. Ogden. Non-linear elastic deformations. Courier Corporation, 1997.

[69] Y. Peng, M. He, F. Hu, Z. Mao, X. Huang, and J. Ding. Predictive modeling of flexible ehd pumps using kolmogorov-arnold networks. arXiv preprint arXiv:2405.07488, 2024.

[70] E. Poeta, F. Giobergia, E. Pastor, T. Cerquitelli, and E. Baralis. A benchmarking study of kolmogorov-arnold networks on tabular data. arXiv preprint arXiv:2406.14529, 2024.

[71] P. Pratyush, C. Carrier, S. Pokharel, H. D. Ismail, M. Chaudhari, and D. B. KC. Calmphoskan: Prediction of general phosphorylation sites in proteins via fusion of codon aware embeddings with amino acid aware embeddings and wavelet-based kolmogorov arnold network. bioRxiv, pages 2024–07, 2024.

[72] S. Rigas, M. Papachristou, T. Papadopoulos, F. Anagnostopoulos, and G. Alexandridis. Adaptive training of grid-dependent physics-informed kolmogorov-arnold networks. arXiv preprint arXiv:2407.17611, 2024.

[73] A. Sanchez-Gonzalez, J. Godwin, T. Pfaff, R. Ying, J. Leskovec, and P. Battaglia. Learning to simulate complex physics with graph networks. In International conference on machine learning, pages 8459–8468. PMLR, 2020.

[74] M. Schmidt and H. Lipson. Distilling free-form natural laws from experimental data. science, 324(5923):81–85, 2009.

[75] S. T. Seydi. Exploring the potential of polynomial basis functions in kolmogorov-arnold networks: A comparative study of different groups of polynomials. arXiv preprint arXiv:2406.02583, 2024.

[76] S. T. Seydi. Unveiling the power of wavelets: A wavelet-based kolmogorov-arnold network for hyperspectral image classification. arXiv preprint arXiv:2406.07869, 2024.

[77] H. Shen, C. Zeng, J. Wang, and Q. Wang. Reduced effectiveness of kolmogorov-arnold networks on functions with noise. arXiv preprint arXiv:2407.14882, 2024.

[78] K. Shukla, J. D. Toscano, Z. Wang, Z. Zou, and G. E. Karniadakis. A comprehensive and fair comparison between mlp and kan representations for differential equations and operator networks. arXiv preprint arXiv:2406.02917, 2024.

[79] E. Sifakis and J. Barbic. Fem simulation of 3d deformable solids: a practitioner’s guide to theory, discretization and model reduction. In Acm siggraph 2012 courses, pages 1–50. 2012.

[80] W. S. Slaughter. The linearized theory of elasticity. Springer Science & Business Media, 2012.

[81] B. Smith, F. D. Goes, and T. Kim. Stable neo-hookean flesh simulation. ACM Transactions on Graphics (TOG), 37(2):1–15, 2018.

[82] H.-T. Ta. Bsrbf-kan: A combination of b-splines and radial basic functions in kolmogorovarnold networks. arXiv preprint arXiv:2406.11173, 2024.

[83] T. H. Trinh, Y. Wu, Q. V. Le, H. He, and T. Luong. Solving olympiad geometry without human demonstrations. Nature, 625(7995):476–482, 2024.

[84] S.-M. Udrescu, A. Tan, J. Feng, O. Neto, T. Wu, and M. Tegmark. Ai feynman 2.0: Paretooptimal symbolic regression exploiting graph modularity. Advances in Neural Information Processing Systems, 33:4860–4871, 2020.

[85] C. J. Vaca-Rubio, L. Blanco, R. Pereira, and M. Caus. Kolmogorov-arnold networks (kans) for time series analysis. arXiv preprint arXiv:2405.08790, 2024.

[86] K. R. Wang, A. Variengien, A. Conmy, B. Shlegeris, and J. Steinhardt. Interpretability in the wild: a circuit for indirect object identification in GPT-2 small. In The Eleventh International Conference on Learning Representations, 2023.

[87] Y. Wang, J. Sun, J. Bai, C. Anitescu, M. S. Eshaghi, X. Zhuang, T. Rabczuk, and Y. Liu. Kolmogorov arnold informed neural network: A physics-informed deep learning framework for solving pdes based on kolmogorov arnold networks. arXiv preprint arXiv:2406.11045, 2024.

[88] S. J. Wetzel. Unsupervised learning of phase transitions: From principal component analysis to variational autoencoders. Physical Review E, 96(2):022140, 2017.

[89] S. J. Wetzel, R. G. Melko, J. Scott, M. Panju, and V. Ganesh. Discovering symmetry invariants and conserved quantities by interpreting siamese neural networks. Phys. Rev. Res., 2:033499, Sep 2020.

[90] T. Wu and M. Tegmark. Toward an artificial intelligence physicist for unsupervised learning. Physical Review E, 100(3):033311, 2019.

[91] H. Xu, F. Sin, Y. Zhu, and J. Barbic. Nonlinear material design using principal stretches. ˇACM Transactions on Graphics (TOG), 34(4):1–11, 2015.

[92] J. Xu, Z. Chen, J. Li, S. Yang, W. Wang, X. Hu, and E. C.-H. Ngai. Fourierkan-gcf: Fourier kolmogorov-arnold network–an effective and efficient feature transformation for graph collaborative filtering. arXiv preprint arXiv:2406.01034, 2024.

[93] K. Xu, L. Chen, and S. Wang. Kolmogorov-arnold networks for time series: Bridging predictive power and interpretability. arXiv preprint arXiv:2406.02496, 2024.

[94] J. Yang, R. Walters, N. Dehmamy, and R. Yu. Generative adversarial symmetry discovery. In International Conference on Machine Learning, pages 39488–39508. PMLR, 2023.

[95] K. Yang, A. Swope, A. Gu, R. Chalamala, P. Song, S. Yu, S. Godil, R. J. Prenger, and A. Anandkumar. Leandojo: Theorem proving with retrieval-augmented language models. Advances in Neural Information Processing Systems, 36, 2024.

[96] S. Yang, L. Qin, and X. Yu. Endowing interpretability for neural cognitive diagnosis by efficient kolmogorov-arnold networks. arXiv preprint arXiv:2405.14399, 2024.

[97] R. Yu, W. Yu, and X. Wang. Kan or mlp: A fairer comparison. arXiv preprint arXiv:2407.16674, 2024.

[98] E. Zeydan, C. J. Vaca-Rubio, L. Blanco, R. Pereira, M. Caus, and A. Aydeger. F-kans: Federated kolmogorov-arnold networks. arXiv preprint arXiv:2407.20100, 2024.

[99] F. Zhang and X. Zhang. Graphkan: Enhancing feature extraction with graph Kolmogorov arnold networks. arXiv preprint arXiv:2406.13597, 2024.

[100] Z. Zhong, Z. Liu, M. Tegmark, and J. Andreas. The clock and the pizza: Two stories in mechanistic explanation of neural networks. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[101] S. Zinage, S. Mondal, and S. Sarkar. Dkl-kan: Scalable deep kernel learning using kolmogorov-arnold networks. arXiv preprint arXiv:2407.21176, 2024.

Источник

Теги

Категория

Новости

Дата

26 нояб. 2024 г.

26.06.26 15:05 Riley Stephens

If withdrawals keep getting denied, stay calm. I went through the same, and this firm helped me recover everything. Their assistance was outstanding. Contact: [ResQProFirm @Gmail|•|com], Telegram: ResQprofirm, WhatsApp: <+198> <5296> <9146>.
26.06.26 15:09 Antonio Riley

Withdrawal troubles shouldn’t stress you out. I faced a similar problem, and this firm stepped in and recovered my funds. Their support truly mattered. Contact them: [[email protected], ResQprofirm @aol.com], Telegram: ResQprofirm, WhatsApp: +19852969146.
28.06.26 00:37 kimberlyhebertt673

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
28.06.26 00:37 kimberlyhebertt673

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
29.06.26 11:57 Lisadonato0726

For 43 years, I struggled with bad credit due to my own poor decisions, and my credit score was around 490. When my girlfriend and I decided to buy a house, a mortgage broker informed us that it would be impossible to secure a mortgage with my credit score. As a result, she referred me to a company called HACK MAVENS CREDIT SPECIALIST, assuring me of their professionalism and ability to assist with credit improvement. Upon contacting them, I was impressed by their professionalism and they assured me that they could help. In less than 6 days, my credit score skyrocketed to 785, and they also successfully resolved issues in my credit report, including the bankruptcy. I am incredibly satisfied with their service and would highly recommend HACK MAVENS CREDIT SPECIALIST for reliable credit repairs. You can reach them at H A C K M A V E N S 5 [AT] G M A I L [DOT] COM or at [+] [1] [2 0 9] [4 1 7] – [1 9 5 7]. Thanks to their help, my girlfriend and I are now proud homeowners.
29.06.26 22:37 riley777

Back in 2025, I watched my life savings vanish. A thief took every cent. I felt desperate and went looking for a way to get it back. I found a guy here who said he was an expert haha. He talked about special software that could find my missing cash. I trusted him. That was a big mistake. He was just another scammer. I paid him a software fee and then he just stopped answering my texts and ran off with my money too. I felt so ashamed that I kept quiet about it for months. It is hard to admit you got fooled twice. Later on, I found a real pro. she did not use a fancy sales pitch. she just looked at the trans screenshots and followed the path the money took. she worked fast and got my funds back into my account. Having that money back changed everything. I can sleep again. her info; [email protected]. Call/chatroom on Whtasapp/ +44 7476618364.
30.06.26 15:08 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
30.06.26 15:08 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
02.07.26 01:22 Lieneke Bonnema

I highly recommend ResQprofirm for their professional asset recovery services of my $120,000 scammed funds. Their expertise, professionalism, and commitment to achieving results make them a reliable choice for anyone seeking dependable recovery assistance. [email protected], WhatsApp +19852969146, telegram @resqprofirm
02.07.26 01:26 Clara Morin

I want to extend my deepest appreciation for showing that circumstances do not define one’s potential for greatness. Your support has been a major source of inspiration during my trading journey, and I am sincerely grateful for your insight and mentorship. Thank you so much. [email protected], WhatsApp +19852969146, telegram ResQprofirm
02.07.26 01:31 Robin Hale

I sincerely want to thank you for demonstrating that anyone can rise above their circumstances and achieve success. Your constant support has been incredibly inspiring during my trading journey, and your wisdom and advice mean so much to me. I appreciate you deeply. [email protected], WhatsApp +19852969146, telegram Resqprofirm
04.07.26 15:32 Fraddy Pual

There are few companies I trust as much as FUNDSRETRIEVER. When I lost $653,000 in Ethereum to a ruthless scam, I thought my life would never be the same. The betrayal cut deep, but I refused to give up. I searched tirelessly for a legitimate way to recover what was stolen, and finally found FUNDSRETRIEVER—the most competent and compassionate recovery team I could have imagined. They handled my case with precision and care, and in the end, my entire ETH wallet was restored. More than the money, they gave me back my hope and happiness. I'm sharing my story because I want others to know that recovery is possible. If a scam has taken from you, don't hesitate—contact FUNDSRETRIEVER today. Email: FUNDSRETRIEVER1@ Gmail.com | WhatsApp: +1 603-512-1448 | Telegram: @FUNDSRETRIEVER
05.07.26 14:44 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
05.07.26 14:44 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
06.07.26 16:20 Olga Ognjanović

Having trouble withdrawing funds from an investment platform? ResQprofirm provides fund recovery assistance for individuals seeking help with investment-related disputes. I reached out to them after experiencing problems with an investment platform, and I appreciated their professionalism and support throughout the process. If you're facing a similar situation, act promptly, keep records of your transactions and communications, and seek assistance from a qualified recovery service or the appropriate authorities. Contact: Email: [email protected] Telegram: @ResQprofirm WhatsApp: +1 985 296 9146
06.07.26 16:31 Joseph Weigl

Invest wisely and stay cautious. Don't be influenced by promises of unusually high returns or convincing sales pitches from brokers. I learned this the hard way after falling victim to an investment scam that promised huge profits. Fortunately, I acted quickly and reported the incident to a recovery firm for assistance. Contact: Email: [email protected] Telegram: @Resqprofirm WhatsApp: +1 985 296 9146
06.07.26 16:33 Jaran Løvlien

A heartfelt thank you to RESQPRO FIRM for their commitment and professionalism throughout the investigation of my case. Their team worked diligently and helped recover assets valued at $88,000, which were returned to my wallet. I truly appreciate their support, clear communication, and dedication, and I'm grateful for the assistance I received. Contact: Email: [email protected] Telegram: @Resqprofirm WhatsApp: +1 985 296 9146
07.07.26 18:00 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
07.07.26 18:01 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
09.07.26 19:06 Toivo Walli

I lost 8.56btc to a fake Bitcoin mining site, I tried withdrawing but couldn't approved my process, I reported to !R£SQPROFIRM! via °R£SQproFirm°àt°gmail•com° °tEL£°gram=R£SQprofirm °whaT°Zap+198°52°96°91°46
09.07.26 19:10 Misty Alexander

Ongoing messages demanding more money before approving withdrawals are a major red flag. Stop engaging and report the incident to a trusted recovery team. For professional support, you can contact R£sQprofirm using °ResQproFirm°àt°g,*ma'il(•)¢m°, TEL£gram ResQprofirm, or |whaTZap| +1-985-296-9146.
09.07.26 19:13 Clara Soto

Anyone receiving continued requests for additional deposits from a scam platform should immediately cut off communication and submit the case to a reputable recovery service for investigation. R£sQprofirm is a dependable firm you can reach at °ResQproFirm°àt°g,*ma'il(•)¢om°, TEL£gram ResQprofirm, or |whaTZap| +1-985-296-9146.
12.07.26 03:30 Kora Baltacha

Time is critical. Act now by reaching out to a reputable, seasoned recovery specialist who will guide you every step of the way. You'll need to submit transaction proof, scammer details, and any other useful information. Armed with this, the experts can trace and attempt to pull your money back from the scammers' hidden accounts or wallets. Best of all, R£sQprofirm provides recovery help without charging any upfront fees. Contact them immediately via Telegram @ResQprofirm, WhatsApp +19852969146, or email [email protected].
12.07.26 03:33 Pahal Mathew

It's important to move proactively by engaging an experienced recovery specialist. They will assist you throughout the process. To help them, provide: · Transaction evidence · Scammer information · Any additional relevant details The experts will then track and try to retrieve your funds from the scammers' hidden accounts or wallets. R£sQprofirm offers recovery assistance with no upfront fees. Contact: Telegram: @ResQprofirm WhatsApp: +19852969146 Email: [email protected]
13.07.26 23:49 [email protected]

One of the biggest concerns I have about cryptocurrency is the lack of regulation. It creates opportunities for scammers to invent convincing stories and fraudulent investment schemes. Unfortunately, some social media platforms continue to display these ads because they profit from them, even after users report them.I personally clicked on a Facebook advertisement for a company called Chickenfastmining and ended up losing more than $120,000 in a scam. I reported the ad, but nothing was done. Later, through a Reddit community, I found a recovery service called CYBERBERSPY that, in my personal experience, they helped me recover $110,000 of my lost funds. If you've been a victim of a cryptocurrency scam, don't lose hope. Explore your options carefully, and always verify the legitimacy of any recovery service before trusting them or paying any fees. Based on my own experience, CYBERBERSPY was helpful to me and i was able to recover my funds back, but I encourage everyone to do their own research before using any recovery service.i highly recommend: ([email protected])
15.07.26 11:53 Sarah Green

Thank you for showing that success is possible regardless of where someone starts. Your encouragement, valuable advice, and continuous support have inspired me throughout my $160,457k crypto investment recovery journey. I truly appreciate your kindness and dedication. Resqprofirm @gmail.com Telegram: Resqprofirm
15.07.26 11:58 Lily Gagné

I sincerely appreciate you for proving that anyone can overcome challenges and achieve success. Your unwavering support throughout my trading investment scam of $88,890 recovery journey has been truly inspiring, and your guidance and wisdom have meant a great deal to me. Thank you for everything ResQprofirm@ gmail.com, ResQprofirm on the telegram.
16.07.26 21:38 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
16.07.26 21:38 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
17.07.26 19:24 laimqq90

I recommend Marie when it comes to recovering lost/stolen ust/bitcoin or any kind of cryptocurrencies' from fake investment platforms because they're well specialized in that area and you'll get your money back in full. I can boldly say this right now based on my prior deal i had with them; she was the only one who was able to recover my lost money $52,760 dollars back to my account, Only * ([email protected] and WhatsApp +1 7127594675 successful in recovering my money. They are the only one who can fully restore your lost funds to your account without any deductions, I really value their work and am recommending her to you today. THANK ME LATER
17.07.26 20:12 martinsjude080

Needs Online Fraud Help Contact Mighty Hacker Recovery https://mightyhackarrecovery.com I lost $292,900 in Bitcoin after investing with an online mining company. After realizing I had been scammed, I spent a long time searching for ways to recover my funds and contacted several services without success. During my research, I came across Mighty Hacker Recovery through Google and YouTube. What caught my attention was that they said they would not require any upfront payment before providing their recovery service. I decided to contact them to discuss my case and understand their process. Throughout the process, they kept me informed about the progress. After several days, I was asked to provide my Bitcoin wallet address, and my case was concluded. Their fee was handled after the service rather than being requested in advance. If you've been the victim of a cryptocurrency scam, it's important to do your own research, ask questions, and carefully evaluate any recovery service before proceeding. Every case is different, so take the time to verify information and understand the process before making any decisions. For Bitcoin scam recovery, cryptocurrency scam, crypto recovery service, recover stolen Bitcoin, Bitcoin fraud help, blockchain investigation, crypto wallet recovery, online investment scam, digital asset recovery, and crypto scam support. Contact Them on WhatsApp +1 (343) 947-3496 or [email protected] or [email protected] or https://mightyhackarrecovery.com Scam recovery Online fraud help Scam alert Report fraud Fraud investigation Fake website checker Scam checker Identity theft protection Consumer protection Chargeback for scam Wire transfer scam Tech support scam Employment scam Rental scam Shopping scam Email scam WhatsApp scam Telegram scam Facebook scam Instagram scam
18.07.26 17:12 Malthe Larsen

My experience with OKX has been deeply frustrating. For months, my account withdrawals were restricted with no explanation or resolution. Multiple emails to their support team were ignored, leaving me without answers or reassurance. This complete lack of communication shattered my trust. I ultimately regained access to my funds only through the help of a third-party recovery service, ResQProfirm. What should have been a reliable platform instead made me feel helpless and cut off from my own assets. [email protected], WhatsApp +19852969146, telegram @Resqprofirm
18.07.26 17:42 پریا رضایی

OKX has been a major disappointment. My withdrawals were restricted for months, and repeated attempts to contact support went unanswered. This silence destroyed my confidence in the platform. I was only able to recover my funds through a third-party service, ResQProfirm. I trusted OKX for its reliability, but the experience left me feeling trapped and helpless. Timely communication and access to one’s own money should be a basic standard. [email protected], WhatsApp +19852969146, telegram: ResQprofirm
18.07.26 17:46 Adem Akışık

I truly didn’t expect such an outstanding outcome. Recovering my $49,360 felt impossible at first, but ResQprofirm’s dedication and persistence made it happen. I hold their team in the highest regard. [email protected], WhatsApp +19852969146
18.07.26 23:51 bernalzenaida

WhatsApp https://wa.link/fhle97 Telegram https://msng.link/o?@techcyberforc=tg As cryptocurrency continues to reshape global finance, cybercriminals are finding new ways to exploit investors through scams, hacks, phishing attacks, fake investment platforms, and other forms of digital asset fraud. For many victims, knowing where to turn after a loss can be one of the biggest challenges. Techy Force Cyber Retrieval was founded with one clear mission: to give victims of crypto fraud a fighting chance through professional blockchain investigations and cybersecurity expertise. Our team brings together experienced blockchain analysts, digital forensic specialists, cybersecurity professionals, and legal partners who work collaboratively to investigate cryptocurrency-related crimes. Using advanced blockchain forensic tools and global investigative techniques, we analyze transaction histories, trace digital asset movements where possible, identify valuable investigative leads, and prepare evidence that may assist clients and the appropriate authorities. We believe blockchain should represent transparency, accountability, and trust—not fear. That’s why we’re committed to helping victims understand their options, navigate the investigative process, and take informed action after cryptocurrency fraud. Every case is different, and while no legitimate recovery service can promise a successful recovery, acting quickly and working with experienced professionals can improve the quality of an investigation. At Techy Force Cyber Retrieval, we do more than investigate digital crimes—we advocate for victims, pursue the facts, and help people regain confidence after cryptocurrency fraud. WhatsApp https://wa.link/fhle97 Telegram https://msng.link/o?@techcyberforc=tg Crypto fraud doesn’t have to be the end of the road. It’s where our investigation begins.
19.07.26 04:10 Fraddy Pual

I can't thank Fundsretriever enough for everything they did for me. My name is Vanessa Conway, and I'm here to tell you my story of how I recovered money I never thought I'd see again. A few months ago, I put a significant amount of money into what looked like a genuine online investment company. At first, it felt real—they showed me fake profits and convinced me to invest even more. But when I tried to cash out, they went quiet and started asking for extra fees. That's when it hit me—I had been scammed. I was heartbroken, frustrated, and didn't know where to turn. That money was my savings—months of hard work gone. Then I found Fundsretriever online. I reached out, hoping for a miracle. Right away, their team made me feel heard. They were responsive, knowledgeable, and walked me through everything. They didn't just take my case—they took it seriously and kept me in the loop every step of the way. I finally felt like I had real experts fighting for me. And guess what? They actually got my money back. It wasn't instant, and it took teamwork, but it happened. When I saw those funds returned, I cried with joy. I'm sharing this so that anyone else out there who's been scammed knows—don't lose hope. Do your research before investing, and stay far away from platforms that promise too much too fast. And if you've already been stung, don't wait—get professional help immediately. Thank you, Fundsretriever, from the bottom of my heart. You didn't just recover my money—you restored my faith. — Vanessa Conway 📧 [email protected] 📱 WhatsApp: +16035121448 💬 Telegram: @Fundsretriever
19.07.26 19:53 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
19.07.26 19:53 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
19.07.26 19:54 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
30.07.26 00:04 Ahmed

A really cool analysis, thank you. I was especially struck by how strictly the order is defined: data processing and formatting come first, with color only at the very end. This really saves you from the typical mistake of "first a pretty palette, then we figure out what the chart is for." And the palette validator with OKLCH + colorblindness check is absolutely fantastic; you almost never see that in regular tools. By the way, while reading about rank-trajectory and the logarithmic scale, I immediately remembered how convenient it is to analyze dynamics on charts in ExpertOption—I've been trading there for quite some time now. When the data is well visualized, decisions are noticeably easier and more relaxed. I also liked the point about "no more than eight colors" and the dual-axis ban. Strict restrictions sometimes actually produce better results than complete freedom. I'll try this approach myself.
30.07.26 17:27 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
30.07.26 17:27 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
31.07.26 16:21 rssllhrnsb

I learned an important lesson after investing in what appeared to be a genuine opportunity. Unfortunately, I was unable to access my funds, which reinforced the importance of carrying out thorough due diligence, checking whether an investment is appropriately regulated, and seeking qualified professional advice rather than relying solely on online reviews or testimonials. During the process of addressing my case, I worked with Mrs. Doris Ashley, who communicated clearly, provided regular updates, and handled the matter in a professional manner. According to my experience, I have recovered $50,000 so far, while efforts to resolve the remaining balance are still in progress. If you wish to contact her, the details I used are: Mrs. Tatiana Sorina TEXT : (tatianasorina06 at G.Ma IL ..c 0 m ) Before committing money to any investment, take time to verify the legitimacy of the platform, confirm any relevant regulatory authorisations, and avoid investing more than you can comfortably afford to lose.
01.08.26 15:05 keithwilson9899

ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
01.08.26 15:05 keithwilson9899

ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
03.08.26 20:05 Philip

I was a victim of a crypto theft involving a Pink Drainer, which resulted in the theft of my Wrapped Bitcoin (WBTC) from my Polygon network. The experience was incredibly frustrating and distressing, as I had no idea how to recover my funds. Unfortunately, by the time I noticed the theft, the funds had already been drained to an address that I had no control over, making it seem like an irreversible situation.The attack happened when I clicked on what appeared to be a legitimate link. I didn’t realize at the time that it was a phishing attempt designed to siphon off my private keys and access my wallet. The Pink Drainer, a type of malicious script used by attackers, is specifically designed to exploit such vulnerabilities in crypto wallets. The moment I realized that my WBTC had been drained from my Polygon network. I felt completely helpless, as I didn’t have direct access to the thief's address, and there was no way to reverse the transaction on my own at that point, I started searching for ways to recover my funds, but most resources only offered generic advice that wasn’t practical in this particular case. I quickly realized that if I wanted to have any hope of getting my assets back, I would need professional assistance. After some research, I came across a reliable and trusted recovery team called Aspen Recovery Experts. Their expertise in cryptocurrency recovery, especially in cases like mine, seemed promising.I decided to reach out to Aspen Recovery Experts, and I’m incredibly grateful that I did. Their team of crypto recovery experts was able to help me trace the stolen funds and identify the path the funds took after they left my wallet. Using advanced tools and techniques, they were able to track the transactions on the blockchain, helping me understand where my WBTC had been sent. More importantly, they worked tirelessly to assist me in contacting the necessary parties and even interfaced with blockchain analysts to help facilitate the recovery process.Thanks to their efforts, I was able to successfully recover my stolen funds. The entire process took some time, but the Aspen Recovery Experts dedicated team provided regular updates and kept me informed throughout the process, which gave me a sense of hope and relief during an otherwise stressful time. If you’re ever in a similar situation, I highly recommend reaching out to a trusted recovery team like Aspen Recovery Expertshhh . Their professionalism, knowledge, and expertise were critical in helping me recover my funds and regain control of my crypto assets. Whatsapp : +1 747 231 9036 Telegram : @ prohackerspy Email : [email protected]
03.08.26 20:06 Philip

I was a victim of a crypto theft involving a Pink Drainer, which resulted in the theft of my Wrapped Bitcoin (WBTC) from my Polygon network. The experience was incredibly frustrating and distressing, as I had no idea how to recover my funds. Unfortunately, by the time I noticed the theft, the funds had already been drained to an address that I had no control over, making it seem like an irreversible situation.The attack happened when I clicked on what appeared to be a legitimate link. I didn’t realize at the time that it was a phishing attempt designed to siphon off my private keys and access my wallet. The Pink Drainer, a type of malicious script used by attackers, is specifically designed to exploit such vulnerabilities in crypto wallets. The moment I realized that my WBTC had been drained from my Polygon network. I felt completely helpless, as I didn’t have direct access to the thief's address, and there was no way to reverse the transaction on my own at that point, I started searching for ways to recover my funds, but most resources only offered generic advice that wasn’t practical in this particular case. I quickly realized that if I wanted to have any hope of getting my assets back, I would need professional assistance. After some research, I came across a reliable and trusted recovery team called Aspen Recovery Experts. Their expertise in cryptocurrency recovery, especially in cases like mine, seemed promising.I decided to reach out to Aspen Recovery Experts, and I’m incredibly grateful that I did. Their team of crypto recovery experts was able to help me trace the stolen funds and identify the path the funds took after they left my wallet. Using advanced tools and techniques, they were able to track the transactions on the blockchain, helping me understand where my WBTC had been sent. More importantly, they worked tirelessly to assist me in contacting the necessary parties and even interfaced with blockchain analysts to help facilitate the recovery process.Thanks to their efforts, I was able to successfully recover my stolen funds. The entire process took some time, but the Aspen Recovery Experts dedicated team provided regular updates and kept me informed throughout the process, which gave me a sense of hope and relief during an otherwise stressful time. If you’re ever in a similar situation, I highly recommend reaching out to a trusted recovery team like Aspen Recovery Expertshhh . Their professionalism, knowledge, and expertise were critical in helping me recover my funds and regain control of my crypto assets. Whatsapp : +1 747 231 9036 Telegram : @ prohackerspy Email : [email protected]
04.08.26 11:05 Kisnoles

Excellent analysis, thank you. I was particularly struck by how rigidly the skill sets the order: data processing and form come first, with color coming last. This really cures the habit of "first a pretty palette, then we'll figure it out." A palette validator using OKLCH + color blindness + WCAG is something most chart generators lack. And regarding the boundaries of competence, it's very clear. Where there's a self-checking loop (color), you delegate freely. Where there's a heuristic (form, data interpretation), you remain the final filter. This is a universal principle, not just for /dataviz. By the way, when you look at trading dashboards (including those of decent platforms like ExpertOption), it's immediately clear who thought about readability and who just threw in rainbow lines. Tools like this skill could greatly improve the quality of analytics. Thanks again for the detailed analysis – saved.
04.08.26 12:37 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
04.08.26 12:37 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text Number: +1 (336) 390-6684
06.08.26 08:11 ROMMYHENDERSON344

All you need is to hire an expert to help you accomplish that. If there's any need to spy on your partner's phone. From my experience I lacked evidence to confront my husband on my suspicion on his infidelity, until I came across REALCYBERHACKERS which many commend him of assisting them in their spying mission. So I contacted him and he provided me with access into his phone to view all text messages, call logs, WhatsApp messages and even her location. This evidence helped me move him off my life . I recommend you consult REALCYBERHACKERS AT gmail com or whatsapp +14106350697 if you need access to your partner's phone or any kind of hacking, they carry out all kinds of hacking job
06.08.26 13:56 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
06.08.26 13:56 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/Text: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
11.08.26 03:43 raymont0714

I recommend a trusted cybersecurity PRO with experience in authorized device access, security testing, and data recovery. SHE work only with the owner's consent and follow all legal and privacy rules on meta data. With permission, this specialist can recover lost files, check device security offline & online, and review texts, call records, or hidden data (spy or lurk around a cheating partner or colleuge). Strict confidentiality agreements protect the information, and client details remain private. The work is careful, efficient, and suited to complex cases. For help securing or recovering information from a phone or another electronic device, use the details below 2 consult [email protected] +44 7476618364 I trust her secrecy a living witness. Her discretion is unmatched, ensuring your privacy is always maintained
12.08.26 16:37 rssllhrnsb

I learned an important lesson after investing in what appeared to be a genuine opportunity. Unfortunately, I was unable to access my funds, which reinforced the importance of carrying out thorough due diligence, checking whether an investment is appropriately regulated, and seeking qualified professional advice rather than relying solely on online reviews or testimonials. During the process of addressing my case, I worked with Mrs. Tatiana Sorina , who communicated clearly, provided regular updates, and handled the matter in a professional manner. According to my experience, I have recovered $50,000 so far, while efforts to resolve the remaining balance are still in progress. If you wish to contact her, the details I used are: Mrs. Tatiana Sorina TEXT : (tatianasorina06 at G_Ma IL dot ..c 0 m)…. Before committing money to any investment, take time to verify the legitimacy of the platform, confirm any relevant regulatory authorisations, and avoid investing more than you can comfortably afford to lose.
16.08.26 01:44 Matt Kegan

CapitalNode Analytics. They help to investigate and recover stolen digital assets from fake trading platforms. Great firm i must say.
18.08.26 04:59 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone WhatsApp/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
18.08.26 04:59 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone WhatsApp/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
19.08.26 14:50 BAYER7043

My account was locked, and I couldn’t access my own information until [email protected] +447476618364 whats?up? helped me recover it. This lady hacker was kind and professional, but this experience showed me how risky account lockouts can be. If you’re facing the same problem, do not panic consult her A. S. A. P. Be careful with recovery agents outchea, and research their name, business, and reviews before sharing any details. Never send passwords, security codes, banking information, or copies of your ID unless you’ve confirmed who you’re dealing with. Be wary of promises that sound too good to be true, especially claims that require little information or guarantee instant access with outrageous fees.
20.08.26 11:32 michaeldavenport218

I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR WhatsApp Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1
20.08.26 11:32 michaeldavenport218

I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR WhatsApp Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1
23.08.26 20:02 leslieyee

Excellent analysis by /dataviz! I was particularly struck by how strictly the order is defined: "data meaning first, color last" and how the validator actually adjusts the palette according to OKLCH, color blindness, and WCAG standards. These rules greatly improve the quality of charts. By the way, a similar approach to clean and legible charts is highly valued in trading—for example, on the ExpertOption platform, the interface and price visualization are designed to ensure information is read instantly and without unnecessary noise.
25.08.26 13:44 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
25.08.26 13:44 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
30.08.26 15:37 [email protected]

Discovering I had been defrauded, I searched online for services claiming to recover stolen ETH. I contacted several companies, but none succeeded. Although some claimed they could trace assets or recover funds, I could not verify their success or recover my money. I later found SYLVESTER BRYANT Recovery through Google. After contacting him, he recovered 450,000,00. He can be reached at [email protected] or WhatsApp at +1 512 577 7957.
30.08.26 15:37 [email protected]

Discovering I had been defrauded, I searched online for services claiming to recover stolen ETH. I contacted several companies, but none succeeded. Although some claimed they could trace assets or recover funds, I could not verify their success or recover my money. I later found SYLVESTER BRYANT Recovery through Google. After contacting him, he recovered 450,000,00. He can be reached at [email protected] or WhatsApp at +1 512 577 7957.
01.09.26 11:16 lisawerth897

My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
01.09.26 11:16 lisawerth897

My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
01.09.26 17:34 Garry42

Really crazy world. These fraudsters go at any length to steal your hard earned funds. I have been a victim of a bitcoin scam about 7 months back. A Con artist gained access to my cashapp account through a phishing scam. They stole $409,000. I was really devastated. I did everything to get back my funds by contacting the FBI but they claimed there was nothing they could do. A friend told me about a recovery expert. He helps fight against various phishing and investment scams and they were able to help trace and recover my funds even though it took over 2 days. you can reach out to him through recoverydarek@gmail. com . I can guarantee his services are still active.
01.09.26 17:34 Garry42

Really crazy world. These fraudsters go at any length to steal your hard earned funds. I have been a victim of a bitcoin scam about 7 months back. A Con artist gained access to my cashapp account through a phishing scam. They stole $409,000. I was really devastated. I did everything to get back my funds by contacting the FBI but they claimed there was nothing they could do. A friend told me about a recovery expert. He helps fight against various phishing and investment scams and they were able to help trace and recover my funds even though it took over 2 days. you can reach out to him through recoverydarek@gmail. com . I can guarantee his services are still active.
02.09.26 03:43 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
02.09.26 03:43 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
04.09.26 21:51 Kovengray

Recovering your lost investment funds as the case might be, is not what you can do alone, you’d require the service of a trained recovery specialist. A recovery specialist is a person or a group of people who are well equipped to work around the brokerage network. They have vast knowledge about the whole network and have the right software and private keys to follow any transaction. I was ripped off trading online to an investment broker, good thing I got every penny back through the help of Gavin ray he’s a genius Contact : Gavinray78 at gmail com or WhatsApp +1 352 322 2096 It is also important to be patient and really calm during the process.
05.09.26 21:38 [email protected]

I invested 45,000 Euro, and later aggreviated to 198,000 Euro. I requested to place ‎Withdrawal of my funds to be paid to my Bank account. But nothing happened I was subjected to pay more fee until I can get my funds on my account, i got in touch with Theodore ryan here on this platform who had helped a lot of people, I followed all instructions and he legally got back my withheld funds, I got threatened by the company that if I don’t pay they will get my account frozen, all thanks to Theodore ryan and I highly recommend him to anyone dealing with an unregulated broker company… contact him on his Gmail - theodoreryan318@ gmail . com
09.09.26 21:31 lisawerth897

My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
09.09.26 21:31 lisawerth897

My Experience With Cryptocurrency — CAPITAL CRYPTO RECOVER I lost over $82,000 in Bitcoin after falling victim to a fraudulent online investment scheme. After realizing I had been scammed, I spent considerable time researching possible ways to recover my funds. During my research, I came across CAPITAL CRYPTO RECOVER and decided to contact them after reading their reported success record and encouraging client positive reviews and testimonials. Their team guided me through the recovery process, and I was grateful to successfully recover my lost cryptocurrency. The experience was challenging, but I appreciated the assistance and support I received throughout the process. I’m sharing my experience in the hope that it may encourage other victims to carefully research their options and verify any recovery service before proceeding. I will forever be thankful to you CAPITAL CRYPTO RECOVER 📧 [email protected] 🌐 Website: recovercapital.wixsite.com/capital-crypto-rec-1 📧 [email protected] 📞 Call/WhatsApp: +1 (336) 390-6684
09.09.26 23:22 Fraddy Pual

Hearing that these individuals are focusing on other people makes me very sad. I had a similar situation with them and lost a lot of money, but after learning about (Cruxcipherteam @ proton DoT me), whataqq:+168160-15021, telegram: @Cruxcipherteam I was able to get my money back. It's critical that we all be watchful and keep reporting these occurrences.
11.09.26 03:23 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
11.09.26 03:23 kimberlyhebertt6877

I invested in bitcoin trading After losing $78.4 USDT) linked to a romance fraud scam worth of cryptocurrency through an online investment platform and later discovered it was a scam. After extensive research for recovery options, I contacted CAPITAL CRYPTO RECOVER based on positive client reviews and recommendations. Their professional security team guided me through the recovery process using advanced technology, and I was able to recover my lost cryptocurrency successfully. I am truly grateful for their support and assistance during such a difficult experience. I will advise you to contact CAPITAL CRYPTO RECOVER helped me recover my funds. For anyone facing similar issues, Website: https://recovercapital.wixsite.com/capital-crypto-rec-1 Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] WhatsApp/Text Number: +1 (336) 390-6684
15.09.26 03:35 elioduncan

I fell victim to a freelance web development contract scam that ultimately cost me CAD 4,000. It all started when I came across a job posting on Indeed Canada, a popular online job portal. The position seemed perfect: a freelance web developer role for an established company looking for someone to design and build a fully functional e-commerce website. The job promised a high payment of CAD 20,000 upon successful completion, which sounded like a great opportunity for me to gain experience and earn decent pay.The employer, who introduced himself as a project manager from a "well-known" tech company, was very persuasive and professional in our initial communication. He explained that the project involved developing a user-friendly, responsive online store for their client and that they had a strict timeline to meet. He assured me that the payment would be made promptly after completing the tasks. However, before starting the work, he told me that I would need to pay an upfront fee of CAD 4,000 to cover certain software tools and licensing fees required for the project. This was supposedly a part of their company policy for freelance contractors, ensuring access to their premium resources. The idea of working on a professional project, coupled with the promise of a substantial payout, convinced me to pay the upfront fee.As soon as I made the payment, the project manager became increasingly difficult to reach. He initially responded to my emails and provided some vague instructions on what the project would entail, but as time went on, communication slowed to a complete halt. I never received the required tools or any proper project details. My emails went unanswered, and any attempts to contact the company were met with silence. After waiting for weeks, I realized that I had been scammed.Desperate to recover my money, I turned to TechY Force Cyber Retrieval, a service that specializes in helping victims of online scams. They helped me track the payment and took legal steps to pursue the fraudsters. Through their guidance, I was able to recover the full CAD 4,000. TechY Force Cyber Retrieval worked with my bank to reverse the transaction and liaised with the authorities to trace the scammer's details.This was a hard lesson, and I now know to be highly cautious about online job offers that require upfront payments. It is crucial to research companies thoroughly and avoid any job that seems too good to be true, especially when it involves paying money upfront. WhatsApp https://wa.link/2x6ktp Mail. [email protected]
15.09.26 15:45 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
15.09.26 15:45 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
05.10.26 21:26 [email protected]

I Invested 45,000 Euro, and later aggreviated to 198,000 Euro. I requested to place Withdrawal of my funds to be paid to my Bank account. But nothing happened I was subjected to pay more fee until I can get my funds on my account, i got in touch with Theodore ryan here on this platform who had helped a lot of people, I followed all instructions and he legally got back my withheld funds, I got threatened by the company that if I don’t pay they will get my account frozen, all thanks to Theodore ryan and I highly recommend him to anyone dealing with an unregulated broker company… contact him on his Gmail - theodoreryan318@ gmail . com
06.10.26 06:13 melissathomason573

Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
06.10.26 06:13 melissathomason573

Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
06.10.26 17:44 Darrell1717

I fell victim of a scam I invested to total of 5thousand into. I know it could be risky but after I trusted this man I was dating online he lured me into investing with him. I know hard I worked of my money so I wanted every way possible to get it back. I really appreciate Blockrecoveryexpert for successfully recovered my funds form this scammer. This is all I can say. You can reachout if you ever need help contact blockrecoveryexpert (at) gmail (dot)com
11.10.26 03:04 Patricia014

Most recovery companies will take your money again. I personally think they’re the same set of people running all of them. It’s a sad, unending cycle, and so many people fall for cloned websites. The only recovery agent I know is Agent Rottgen Raphael. I’ve visited their physical company address, and they’ll tell you if they can handle your case instead of taking upfront payment when they know they can’t help. I highly appreciate their support in recovering my money from the scammers’ wallet within 24 hours. RottgenRaphael@Gmail. com
12.10.26 19:34 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
12.10.26 19:34 lydiassmith567

HIRE A HACKER YOUR STOLEN CRYPTO RECOVERY / BTC / USDT / ETH WITH THE HELP OF CAPITAL CRYPTO RECOVER. I want to share my experience publicly regarding cryptocurrency wallet recovery, I highly recommend you to contact CAPITAL CRYPTO RECOVER, a professional private investigator in the Bitcoin world. They have a certified expert security team specializing in Bitcoin Recovery Services and have helped many people worldwide recover their lost funds. My wife and I were defrauded by an online manipulator posing as an experienced crypto investment professional. We lost $9.2 Million Stolen BTC in cryptocurrency and were left feeling homeless. After spending hours searching for a reliable crypto recovery service, I discovered CAPITAL CRYPTO RECOVER online. By patiently explaining my situation to their team, I was able to recover all my funds. Remarkably, my money was returned to my wallet in less than 24 hours. I am extremely grateful to CAPITAL CRYPTO RECOVER for their excellent assistance—they truly were a godsend in my difficult situation. If you have fallen victim to a cryptocurrency scam, you can reach CAPITAL CRYPTO RECOVER through the following channels Email: [email protected] OR Call/WhatsApp: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
13.10.26 14:14 lisalisa22

Legitimate Cryptocurrency Recovery Services: Consult ZEUS CRYPTO RECOVERY SERVICES Zeus Crypto Recovery Services supports individuals exploring options after cryptocurrency losses from fraud, unauthorised transfers, or wallet access issues. Services may include blockchain analysis, wallet tracing, and evidence gathering for investigations. Each case is reviewed. Zeus Crypto Recovery Services is a trusted company with the highest success rate among cryptocurrency recovery services in 2025/2026 and is highly recommended if you have been scammed. ZEUS CRYPTO RECOVERY SERVICES handles case such as Scammed USDT Lost BTC, Coinbase Wallet Forgotten password, ETH and coins, etc. Anything that has to do with cryptocurrency or lost digital assets, ZEUS can help you Do you Need Help? Website https://zeusrecoveryservices.com Mailbox [email protected] WhatsApp number +447798816938 Telegram https://t.me/Zeuscryptorecoveryservices
13.10.26 14:14 lisalisa22

Legitimate Cryptocurrency Recovery Services: Consult ZEUS CRYPTO RECOVERY SERVICES Zeus Crypto Recovery Services supports individuals exploring options after cryptocurrency losses from fraud, unauthorised transfers, or wallet access issues. Services may include blockchain analysis, wallet tracing, and evidence gathering for investigations. Each case is reviewed. Zeus Crypto Recovery Services is a trusted company with the highest success rate among cryptocurrency recovery services in 2025/2026 and is highly recommended if you have been scammed. ZEUS CRYPTO RECOVERY SERVICES handles case such as Scammed USDT Lost BTC, Coinbase Wallet Forgotten password, ETH and coins, etc. Anything that has to do with cryptocurrency or lost digital assets, ZEUS can help you Do you Need Help? Website https://zeusrecoveryservices.com Mailbox [email protected] WhatsApp number +447798816938 Telegram https://t.me/Zeuscryptorecoveryservices
17.10.26 12:58 melissathomason573

Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
17.10.26 12:58 melissathomason573

Professional Crypto Recovery Testimonial After losing a significant amount of cryptocurrency through a scam on Twitter, I was unsure whether my Bitcoin funds could ever be recovered. The experience was extremely stressful, particularly because I encountered several individuals and services claiming they could help recover my assets, only to discover that some were fraudulent themselves. A friend eventually referred me to CAPITAL CRYPTO RECOVER. Their team handled my case professionally, discreetly, and efficiently. With their assistance, I successfully recovered approximately $130,000 worth of USDT in just over a week. My experience taught me the importance of being extremely cautious when seeking cryptocurrency recovery services, as scammers often target victims a second time. I am grateful to CAPITAL CRYPTO RECOVER for the assistance I received and wanted to share my experience with others who may be facing a similar situation. If you’ve been compromised, don’t lose hope—and be careful of fraudsters posing as saviors. CAPITAL CRYPTO RECOVER are real professionals in crypto recovery. I am a living proof of their effectiveness, you can reach them through Phone (Call/WhatsApp): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
03:16 lxbfYeaa

e
03:16 lxbfYeaa

e
03:16 lxbfYeaa

e
03:16 lxbfYeaa

e
03:23 lxbfYeaa

e
03:23 lxbfYeaa

e
03:24 lxbfYeaa

e