Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie

Прямой эфир

Русский

English

Войти / Регистрация

Cryptocurrencies: 8585 / Markets: 116273

Market Cap: $ 2 407 835 017 672 / 24h Vol: $ 116 956 152 622 / BTC Dominance: 58.088697778934%

Н Новости

[Перевод] KAN: Kolmogorov–Arnold Networks

Предлагаю вашему вниманию полный перевод статьи об алгоритме нейронной сети на основе теоремы Колмогорова Арнольда, опубликованной исследователями из Massachusetts Institute of Technology, California Institute of Technology, Northeastern University и The NSF Institute for Artificial Intelligence and Fundamental Interactions.

В настоящее время в на просторах интернета есть лишь посты на основе данной статьи с интригующими названиями типа: «Новый убийца нейросетей? Сеть Колмогорова Арнольда (KANs)» или «Исследователи разработали принципиально новую архитектуру нейросетей, которая работает лучше персептрона» и т. п. Для лучшего понимания это темы обратимся к первоисточнику ‑статье, опубликованной не так давно — в апреле 2024 года.

KAN: Kolmogorov–Arnold Networks
Ziming Liu,,Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou,Max Tegmark
Massachusetts Institute of Technology
California Institute of Technology
Северо-Восточный университет
The NSF Institute for Artificial Intelligence and Fundamental Interactions

Аннотация

Вдохновленные теоремой Колмогорова-Арнольда, мы предлагаем сети Колмогорова-Арнольда (KAN) в качестве перспективных альтернатив многослойным персептронам (MLP). В то время как MLP имеют фиксированные функции активации на узлах («нейроны»), KAN имеют обучаемые функции активации на ребрах («веса»). KAN вообще не имеют линейных весов — каждый параметр веса заменен одномерной функцией, параметризованной как сплайн. Мы показываем, что это, казалось бы, простое изменение позволяет KAN превосходить MLP с точки зрения точности и интерпретируемости в задачах AI+Science небольшого масштаба. Что касается точности, меньшие KAN могут достигать сопоставимой или лучшей точности, чем большие MLP в задачах подгонки функций. Теоретически и эмпирически KAN обладают более быстрыми законами нейронного масштабирования, чем MLP. Что касается интерпретируемости, KAN можно наглядно визуализировать, и они могут легко взаимодействовать с пользователями. На двух примерах из математики и физики показано, что KAN являются полезными «коллегами», помогающими ученым (повторно) открывать математические и физические законы. Подводя итог, можно сказать, что KAN являются многообещающими альтернативами MLP, открывая возможности для дальнейшего улучшения современных моделей глубокого обучения, которые в значительной степени полагаются на MLP.

Рисунок 0.1: Многослойные персептроны (MLP) против сетей Колмогорова-Арнольда (KAN)

1. Введение

Многослойные персептроны (MLP) [1, 2, 3], также известные как полносвязанные нейронные сети прямого распространения, являются основополагающими строительными блоками современных моделей глубокого обучения. Важность MLP невозможно переоценить, поскольку они являются моделями по умолчанию в машинном обучении для аппроксимации нелинейных функций из-за их выразительной силы, гарантированной универсальной теоремой аппроксимации [3]. Однако являются ли MLP лучшими нелинейными регрессорами, которые мы можем построить? Несмотря на распространенное использование MLP, у них есть существенные недостатки. Например, в трансформерах [4] MLP потребляют почти все невстраиваемые параметры и, как правило, менее интерпретируемы (по сравнению со слоями внимания) без инструментов пост-анализа [5].

Мы предлагаем многообещающую альтернативу многослойным перцепторам, называемую сетями Колмогорова-Арнольда (KAN).

В то время как MLP вдохновлены теоремой универсальной аппроксимации, KAN вдохновлены теоремой Колмогорова-Арнольда о представлении (или теоремой о суперпозиции) [6, 7, 8]. Как и MLP, KAN имеют полностью связанные структуры. Однако, в то время как MLP размещают фиксированные функции активации на узлах («нейронах»), KAN размещают обучаемые функции активации на ребрах («весах»), как показано на рисунке 0.1. В результате KAN вообще не имеют линейных весовых матриц: вместо этого каждый весовой параметр заменяется обучаемой одномерной функцией, параметризованной как сплайн. Узлы KAN просто суммируют входящие сигналы без применения каких-либо нелинейностей. Можно было бы беспокоиться, что KAN безнадежно дороги, поскольку каждый весовой параметр MLP становится сплайновой функцией KAN. К счастью, KAN обычно допускают гораздо меньшие графы вычислений, чем MLP.

Неудивительно, что возможность использования теоремы Колмогорова-Арнольда о представлении (или теорема о суперпозиции) для построения нейронных сетей изучалась [9, 10, 11, 12, 13, 14, 15, 16]. Однако большая часть работы застряла на исходном представлении глубиной 2 и шириной (2n + 1) , и у многих не было возможности использовать более современные методы (например, обратное распространение) для обучения сетей. В [12] было исследовано представление глубиной 2 и шириной (2n + 1) с разрушением проклятия размерности, наблюдаемым как эмпирически, так и с помощью теории приближения, заданной композиционными структурами функции. Наш вклад заключается в обобщении исходного представления Колмогорова-Арнольда на произвольные ширины и глубины, оживлении и контекстуализации его в современном мире глубокого обучения, а также в использовании обширных эмпирических экспериментов для выявления его потенциала для AI+Science из-за его точности и интерпретируемости.

Несмотря на свою элегантную математическую интерпретацию, KAN — это не более чем комбинации сплайнов и MLP, использующие их сильные стороны и избегающие их слабых сторон. Сплайны точны для низкоразмерных функций, их легко настраивать локально и они способны переключаться между различными разрешениями. Однако сплайны имеют серьезную проблему проклятия размерности (curseofdimensionality - COD) из-за их неспособности использовать композиционные структуры. MLP, с другой стороны, меньше страдают от COD благодаря их обучению признакам, но менее точны, чем сплайны в низких размерностях, из-за их неспособности оптимизировать одномерные функции. Связь между MLP, использующими ReLU-k в качестве функций активации, и сплайнами была установлена в [17, 18]. Чтобы точно изучить функцию, модель должна не только изучить композиционную структуру (внешние степени свободы), но и хорошо аппроксимировать одномерные функции (внутренние степени свободы). KAN являются такими моделями, поскольку они имеют MLP снаружи и сплайны внутри. В результате KAN могут не только изучать признаки (благодаря их внешнему сходству с MLP), но и оптимизировать эти изученные признаки с большой точностью (благодаря их внутреннему сходству со сплайнами). Например, если задана функция высокой размерности

Рисунок 2.1: Предлагаемые нами сети Колмогорова-Арнольда названы в честь двух великих математиков прошлого времени, Андрея Колмогорова и Владимира Арнольда. Сети KAN математически обоснованы, точны и интерпретируемы.

сплайны не будут работать для больших N из-за COD; MLP потенциально могут изучить обобщенную аддитивную структуру, но они очень неэффективны для аппроксимации экспоненциальных и синусоидальных функций, скажем, с помощью активаций ReLU. Напротив, KAN могут изучить как композиционную структуру, так и одномерные функции довольно хорошо, поэтому превосходят MLP с большим отрывом (см. рисунок 3.1).

В этой статье мы будем использовать обширные численные эксперименты, чтобы показать, что KAN могут привести к улучшению точности и интерпретируемости по сравнению с MLP, по крайней мере, в мелкомасштабных задачах AI+Science. Организация статьи проиллюстрирована на рисунке 2.1. В разделе 2 мы представляем архитектуру KAN и ее математическую основу, вводим методы упрощения сети, чтобы сделать KAN интерпретируемыми, и вводим метод расширения сетки, чтобы сделать KAN более точными. В разделе 3 мы показываем, что KAN точнее MLP для подгонки данных: KAN могут победить проклятие размерности, когда в данных есть композиционная структура, достигая лучших законов масштабирования, чем MLP. Мы также демонстрируем потенциал KAN в решении PDE (решение уравнений в частных производных. см. 3.4. Прим пер.) на простом примере уравнения Пуассона. В разделе 4 мы показываем, что KAN интерпретируемы и могут использоваться для научных открытий. Мы используем два примера из математики (теория узлов) и физики (локализация Андерсона), чтобы продемонстрировать, что KAN могут быть полезными «коллегами» для ученых в (повторном) открытии математических и физических законов. Раздел 5 суммирует связанные работы. В разделе 6 мы завершаем обсуждением общих последствий и будущих направлений. Коды доступны по адресу https://github.com/KindXiaoming/pykan и также могут быть установлены с помощью pip install pykan.

2. Kolmogorov–Arnold Networks (KAN)

Многослойные персептроны (MLP) вдохновлены теоремой универсальной аппроксимации. Вместо этого мы сосредоточимся на теореме представления Колмогорова-Арнольда, которая может быть реализована новым типом нейронной сети, называемой сетями Колмогорова-Арнольда (KAN). Мы рассматриваем теорему Колмогорова-Арнольда в разделе 2.1, чтобы вдохновиться на разработку сетей Колмогорова-Арнольда в разделе 2.2. В разделе 2.3 мы даем теоретические гарантии выразительной силы KAN и их законов нейронного масштабирования, связывая их с существующими теориями аппроксимации и обобщения в литературе. В разделе 2.4 мы предлагаем метод расширения сетки, чтобы сделать KAN все более точными. В разделе 2.5 мы предлагаем методы упрощения, чтобы сделать KAN интерпретируемыми.

2.1 Теорема о представлении Колмогорова-Арнольда
Владимир Арнольд и Андрей Колмогоров установили, что если f — многомерная непрерывная функция на ограниченной области, то f можно записать как конечную композицию непрерывных функций

Рисунок 2.2: Слева: Обозначения активаций, проходящих через сеть. Справа: функция активации параметризована как B-сплайн, что позволяет переключаться между крупнозернистыми и мелкозернистыми сетками.

одной переменной и бинарной операции сложения. Более конкретно, для гладкой f :[0,1]^n → R

где $ϕ_{q,p}:[0,1]→ {\mathbb{R}}$ и $ϕ_q:{\mathbb{R}} → {\mathbb{R}}$ . В некотором смысле они показали, что единственной истинной многомерной функцией является сложение, поскольку любая другая функция может быть записана с использованием одномерных функций и суммы. Можно было бы наивно считать это отличной новостью для машинного обучения: изучение многомерной функции сводится к изучению полиномиального числа одномерных (1D) функций. Однако эти одномерные функции могут быть негладкими и даже фрактальными, поэтому они могут быть неизучаемыми на практике [19, 20]. Из-за этого патологического поведения теорема Колмогорова-Арнольда о представлении была фактически приговорена к смерти в машинном обучении, считаясь теоретически обоснованной, но практически бесполезной [19, 20].

Однако мы более оптимистичны относительно полезности теоремы Колмогорова-Арнольда для машинного обучения. Прежде всего, нам не нужно придерживаться исходного уравнения (2.1), которое имеет только двухслойные нелинейности и небольшое количество членов (2n+1) в скрытом слое: мы обобщим сеть до произвольной ширины и глубины. Во-вторых, большинство функций в науке и повседневной жизни часто являются гладкими и имеют разреженные композиционные структуры, что потенциально способствует гладким представлениям Колмогорова-Арнольда. Философия здесь близка к мышлению физиков, которых часто больше заботят типичные случаи, чем наихудшие. В конце концов, наш физический мир и задачи машинного обучения должны иметь структуры, чтобы сделать физику и машинное обучение полезными или вообще обобщаемыми [21].

2.2 Архитектура KAN

Предположим, у нас есть контролируемая задача обучения (обучение с учителем – прим пер.), состоящая из пар вход-выход $\{x_i, y_i\}$ , где мы хотим найти , такую, что y_i ≈ f(x_i) для всех точек данных. Уравнение (2.1) подразумевает, что мы достигли цели, если мы можем найти соответствующие одномерные функции $ϕ_{q,p}$ и Φ_q . Это вдохновляет нас на разработку нейронной сети, которая явно параметризует уравнение (2.1). Поскольку все функции, которые должны быть изучены, являются одномерными функциями, мы можем параметризовать каждую одномерную функцию как B-сплайновую кривую с обучаемыми коэффициентами локальных базисных функций B-сплайна (см. рисунок 2.2 справа). Теперь у нас есть прототип KAN, граф вычислений которого точно задан уравнением. (2.1) и проиллюстрирован на рисунке 0.1 (б) (с входной размерностью n = 2) , представляя собой двухслойную нейронную сеть с функциями активации, размещенными на ребрах вместо узлов (по узлам выполняется простое суммирование), и с шириной 2n + 1 в среднем слое.
Как уже упоминалось, такая сеть, как известно, слишком проста, чтобы аппроксимировать любую функцию произвольно хорошо на практике с помощью гладких сплайнов! Поэтому мы обобщаем нашу KAN, чтобы она была шире и глубже. Не сразу понятно, как сделать KAN глубже, поскольку представления Колмогорова-Арнольда соответствуют двухслойным KAN. Насколько нам известно, пока не существует «обобщенной» версии теоремы, которая соответствовала бы более глубоким KAN.
Прорыв происходит, когда мы замечаем аналогию между MLP и KAN. В MLP, как только мы определяем слой (состоящий из линейного преобразования и нелинейностей), мы можем накладывать больше слоев, чтобы сделать сеть глубже. Чтобы построить глубокие KAN, мы должны сначала ответить на вопрос: «Что такое слой KAN?» Оказывается, слой KAN с $n_{in}$ входами и $n_{out}$ выходами можно определить как матрицу 1D функций,

где функции $ϕ_{q,p}$ имеют обучаемые параметры, как подробно описано ниже.
В теореме Колмогова-Арнольда внутренние функции образуют слой KAN с $n_{in} = n$ и $n_{out} = 2n+1$ , а внешние функции образуют слой KAN с $n_{in} = 2n + 1$ и $n_{out} = 1$ . Таким образом, представления Колмогорова-Арнольда в уравнении (2.1) являются просто композициями двух слоев KAN. Теперь становится ясно, что значит иметь более глубокие представления Колмогорова-Арнольда: просто сложить больше слоев KAN!
Введём некоторые обозначения. Этот абзац будет немного техническим, но читатели могут обратиться к рисунку 2.2 (слева) для конкретного примера и интуитивного понимания. Форма KAN представлена целочисленным массивом,

де n_i — количество узлов в -м слое вычислительного графа.
Обозначим -й нейрон в -м слое как (l, i) , а значение активации (l, i) -нейрона как $x_{l,i}$ . Между слоем и слоем l+1 имеется $n_ln_{l+1}$ функций активации: функция активации, которая соединяет (l, i) и (l + 1, j) , обозначается как

Предварительная активация $ϕ_{l,j,i}$ это просто $x_{l,i}$ ; постактивация $ϕ_{l,j,i}$ обозначается как $\tilde{x}_{l,j,i} ≡ ϕ_{l,j,i} (x_l,i)$ . Значение активации нейрона (l+1, j) — это просто сумма всех входящих постактиваций:

В матричной форме это выглядит так:

где Φ_l — функциональная матрица, соответствующая -му слою KAN. Общая сеть KAN представляет собой композицию из слоев: при заданном входном векторе $x_0 ∈ {\mathbb{R}}^{n_0}$ выход KAN равен

Мы также можем переписать приведенное выше уравнение, чтобы сделать его более аналогичным уравнению (2.1), предположив, что выходная размерность n_L = 1 , и определив f(x) ≡ KAN(x) :

что довольно громоздко. Напротив, наша абстракция слоев KAN и их визуализации более чистые и интуитивные. Исходное представление Колмогорова-Арнольда (2.1) соответствует 2-слойной KAN с формой [n, 2n+1, 1] . Обратите внимание, что все операции дифференцируемы, поэтому мы можем обучать KAN с обратным распространением. Для сравнения, MLP можно записать как чередование аффинных преобразований W и нелинейностей σ:

Очевидно, что MLP обрабатывают линейные преобразования и нелинейности отдельно как W и σ, тогда как KAN обрабатывают их все вместе в . На рисунке 0.1 (c) и (d) мы визуализируем трехслойный MLP и трехслойный KAN, чтобы прояснить их различия.

Подробности реализации. Хотя уравнение слоя KAN (2.5) выглядит чрезвычайно простым, сделать его хорошо оптимизируемым — нетривиальная задача. Ключевые приемы:
(1) Остаточные функции активации (Residual activation functions). Мы включаем базисную функцию b(x) (аналогичную остаточным связям) так, что функция активации ϕ(x) является суммой базисной функции b(x) и сплайн-функции:

Мы устанавливаем

в большинстве случаев spline(x) параметризуется как линейная комбинация B-сплайнов, так что

являются обучаемыми (см. рисунок 2.2 для иллюстрации). В принципе и w_s избыточны, поскольку их можно поглотить в b(x) и spline(x) . Однако мы все равно включаем эти факторы (которые по умолчанию обучаемы), чтобы лучше контролировать общую величину функции активации.
(2) Инициализация масштабов. Каждая функция активации инициализируется так, чтобы иметь ws = 1 и spline(x)≈0 *. инициализируется в соответствии с инициализацией Ксавье (Xavier), которая использовалась для инициализации линейных слоев в MLP.
*Это делается путем построения коэффициентов B-сплайна c_i ∼N(0, σ^2) с малым σ, обычно мы устанавливаем σ = 0.1
(3) Обновление сеток сплайнов. Мы обновляем каждую сетку на лету в соответствии с ее входными активациями, чтобы решить проблему, когда сплайны определяются в ограниченных областях, но значения активации могут выходить за пределы фиксированной области во время обучения **.
** Другие возможности: (a) сетка обучаема с помощью градиентного спуска, например, [22]; (b) используйте нормализацию, чтобы входной диапазон был фиксированным. Сначала мы попробовали (b), но его производительность уступает нашему текущему подходу.

Количество параметров. Для простоты предположим имеется сеть

(1) с глубиной
(2) со слоями одинаковой ширины n_0 = n_1 = ··· = n_L = N ,
(3) с каждым сплайном порядка (обычно k = 3 ) на G интервалах (для G+1 точек сетки).
Тогда в общей сложности имеется O(N^2L(G + k)) ∼ O(N^2 LG) параметров. В отличие от этого, MLP с глубиной и шириной требует только O(N^2L) параметров, что, по-видимому, более эффективно, чем может быть. К счастью, для KAN обычно требуется гораздо меньшее число , чем для MLP, что не только экономит параметры, но и обеспечивает лучшее обобщение (см., например, рис. 3.1 и 3.3) и облегчает интерпретацию. Отметим, что для одномерных задач мы можем взять N = L = 1 , и сеть KAN в нашей реализации является ничем иным, как сплайновой аппроксимацией. Для более высоких измерений мы характеризуем обобщающее поведение KAN с помощью приведенной ниже теоремы.

2.3 Способности KAN к аппроксимации и законы масштабирования

Напомним, что в уравнении (2.1) двухслойное представление ширины (2n + 1) может быть негладким. Однако более глубокие представления могут обеспечить преимущества более плавных активаций. Например, функция с 4 переменными

может быть плавно представлена [4, 2, 1, 1] KAN, которая является 3-слойной, но может не допускать 2-слойной KAN с плавными активациями. Для облегчения аппроксимационного анализа мы по-прежнему предполагаем гладкость активаций, но позволяем представлениям быть произвольно широкими и глубокими, как в уравнении (2.7). Чтобы подчеркнуть зависимость нашей KAN от конечного набора точек сетки, мы используем Ф^G_l и $Ф^G_{l,i,j}$ ниже для замены обозначений Ф_l и $Ф_{l,i,j}$ , используемых в уравнении (2.5) и (2.6).

Теорема 2.1 (Теория приближений, КАТ). Пусть x = (x_1, x_2,··· , x_n) . Предположим, что функция допускает представление

как в уравнении (2.7), где каждый из $Ф_{l,i,j}$ является (k + 1) - раз непрерывно дифференцируемым. Тогда существует константа C, зависящая от f и ее представления, такая, что мы имеем следующую границу приближения в терминах размера сетки G: существуют B-сплайн-функции k-го порядка $Ф_{l,i,j}^G$ такие, что для любого мы имеем границу

Здесь мы принимаем обозначение C^m-нормы, измеряющей величину производных до порядка m:

Доказательство. Согласно классической теории одномерных B-сплайнов [23] и тому факту, что $Ф_{l,i,j}$ как непрерывные функции могут быть равномерно ограничены на ограниченной области, мы знаем, что существуют конечно-сеточные B-сплайновые функции $Ф_{l,i,j}^G$ такие, что для любого 0 ≤ m ≤ k,

с константой , не зависящей от . Мы фиксируем эти B-сплайновые аппроксимации. Следовательно, мы имеем, что остаток R_l , определенный через

удовлетворяет

с константой, не зависящей от . Наконец, обратите внимание:

мы знаем, что (2.15) выполняется.

Мы знаем, что асимптотически, при условии, что предположение в теореме 2.1 выполняется, KAN с конечным размером сетки могут хорошо аппроксимировать функцию с остаточной скоростью, независимой от размерности, тем самым преодолевая проклятие размерности! Это естественно, поскольку мы используем сплайны только для аппроксимации одномерных функций. В частности, при m = 0 мы восстанавливаем точность в норме L^∞ , что, в свою очередь, обеспечивает границу RMSE на конечной области, что дает показатель масштабирования k + 1 . Конечно, константа зависит от представления; следовательно, она будет зависеть от размерности. Мы оставим обсуждение зависимости константы от размерности в качестве будущей работы.
Заметим, что хотя теорема Колмогорова-Арнольда (2.1) соответствует представлению KAN с формой [d, 2d+1, 1] , ее функции не обязательно являются гладкими. С другой стороны, если мы можем идентифицировать гладкое представление (возможно, за счет дополнительных слоев или делая KAN шире, чем предписывает теория), то теорема 2.1 указывает, что мы можем победить проклятие размерности (COD). Это не должно вызывать удивления, поскольку мы можем по своей сути узнать структуру функции и сделать наше конечно-выборочное приближение KAN интерпретируемым.

Законы нейронного масштабирования: сравнение с другими теориями. Законы нейронного масштабирования — это явление, при котором потери теста уменьшаются с увеличением числа параметров модели, т. е. $ℓ ∝ N^{−α}$ , где — это RMSE теста, — это количество параметров, а — показатель масштабирования. Большее значение обещает большее улучшение за счет простого масштабирования модели. Для предсказания были предложены различные теории. Sharma & Kaplan [24] предполагают, что возникает из подгонки данных на входном многообразии внутренней размерности . Если класс функций модели представляет собой кусочно-полиномиальные функции порядка k (k = 1 for ReLU) , то стандартная теория аппроксимации подразумевает α = (k + 1)/d из теории аппроксимации. Эта граница страдает от проклятия размерности, поэтому исследователи искали другие границы, независимые от , используя композиционные структуры. В частности, Michaud и др. [25] рассмотрели вычислительные графы, которые включают только унарные (например, квадрат, синус, exp) и бинарные (+ и ×) операции, найдя α = (k + 1)/d^∗ = (k + 1)/2 , где d^∗ = 2 - максимальная арность. Poggio и др. [19] использовали идею композиционной разреженности и доказали, что для заданного класса функций W_m (функции, производные которых непрерывны до m-го порядка) требуется $N = O(ϵ^{-\frac2m})$ параметров для достижения ошибки ϵ, что эквивалентно $a = \frac m2$ . Наш подход, который предполагает существование гладких представлений Колмогорова-Арнольда, раскладывает высокоразмерную функцию на несколько одномерных функций, давая α = k+1 (где — кусочно-полиномиальный порядок сплайнов). Мы выбираем k = 3 кубических сплайна, так что α = 4 , что является наибольшим и лучшим показателем масштабирования по сравнению с другими работами. Мы покажем в разделе 3.1, что эта граница α = 4 на самом деле может быть достигнута эмпирически с помощью KAN, в то время как в предыдущей работе [25] сообщалось, что MLP имеют проблемы даже с насыщением более медленных границ (например, α = 1 ) и быстрым выходом на плато. Конечно, мы можем увеличить , чтобы соответствовать гладкости функций, но слишком большое может быть слишком осцилляторным, что приведет к проблемам оптимизации.

Сравнение KAT и UAT. Мощность полносвязанных нейронных сетей подтверждается универсальной теоремой аппроксимации (UAT), которая гласит, что при заданной функции и допуске погрешности ϵ > 0 двухслойная сеть с k > N(ϵ) нейронами может аппроксимировать функцию с точностью до погрешности . Однако UAT не гарантирует никаких ограничений на то, как N(ϵ) масштабируется с . Действительно, она страдает от COD, и было показано, что растет экспоненциально с d в некоторых случаях [21].

Рисунок 2.3: Мы можем сделать KAN более точными за счет расширения сетки (мелкозернистые сплайновые сетки). Вверху: динамика обучения KAN [2,5,1] ([2,1,1]). Обе модели демонстрируют лестницы на своих кривых потерь, т. е. потери внезапно падают, а затем выходят на плато после расширения сетки. Внизу слева: тест RMSE следует законам масштабирования в зависимости от размера сетки G. Внизу справа: время обучения благоприятно масштабируется с размером сетки G.

Разница между KAT и UAT является следствием того, что KAN используют преимущество изначально низкоразмерного представления функции, в то время как MLP этого не делают. В KAT мы подчеркиваем количественную оценку ошибки аппроксимации в композиционном пространстве. В литературе границы ошибки обобщения, учитывающие конечные выборки обучающих данных, для аналогичного пространства изучались для задач регрессии; см. [26, 27], а также специально для MLP с активациями ReLU [28]. С другой стороны, для общих функциональных пространств, таких как пространства Соболева или Бесова (Sobolev or Besov), нелинейная теория -widths [29, 30, 31] указывает, что мы никогда не сможем победить проклятие размерности, в то время как MLP с активациями ReLU могут достичь высокой скорости [32, 33, 34]. Этот факт снова мотивирует нас рассматривать функции композиционной структуры, как гораздо «более хорошие» функции, с которыми мы сталкиваемся на практике и в науке, чтобы преодолеть COD. По сравнению с MLP, мы можем использовать меньшую архитектуру на практике, поскольку мы изучаем общие нелинейные функции активации; см. также [28], где глубина ReLU MLP должна достигать по крайней мере log , чтобы иметь желаемую скорость, где — число выборок. Действительно, мы покажем, что KAN хорошо согласованы с символическими функциями, в то время как MLP — нет.

2.4 Для точности: Расширение сетки

В принципе, сплайн можно сделать произвольно точным для целевой функции, поскольку сетку можно сделать произвольно мелкозернистой. Эта хорошая особенность унаследована KAN. Напротив, MLP не имеют понятия «мелкозернистости». По общему признанию, увеличение ширины и глубины MLP может привести к улучшению производительности («законы нейронного масштабирования»). Однако эти законы нейронного масштабирования медленные (обсуждались в последнем разделе). Их также дорого получить, поскольку модели разных размеров обучаются независимо. Напротив, для KAN можно сначала обучить KAN с меньшим количеством параметров, а затем расширить ее до KAN с большим количеством параметров, просто сделав ее сетки сплайнов более мелкими, без необходимости переобучения более крупной модели с нуля.
Далее мы опишем, как выполнить расширение сетки (показано на рисунке 2.2 справа), что по сути является подгонкой нового мелкозернистого сплайна к старому крупнозернистому сплайну. Предположим, что мы хотим аппроксимировать 1D-функцию в ограниченной области [a, b] с помощью B-сплайнов порядка . Крупнозернистая сетка с интервалами G_1 имеет точки сетки в { $t_0 = a, t_1, t_2 ..., t_{G_1} = b$ }, что дополняется до
{ $t_{−k},··· ,t_{−1} ,t_0,··· ,t_{G_1}, t_{G_1+1},··· ,t_{G_1+k}$ }. Существует G_1 + k базисных функций B-сплайна, причем -й B-сплайн B_i(x) не равен нулю только на $[t_{−k+i}, t_{i+1}]$ (i = 0,··· ,G_1 + k − 1) . Тогда на грубой сетке выражается через линейную комбинацию этих базисных функций B-сплайнов

$f_{coarse}(x)= \sum_{i=0}^{G_1+k-1} c_iB_i(x)$ .

При наличии более мелкой сетки с интервалами G_2 , на мелкой сетке соответственно

$f_{fine}(x)= \sum_{j=0}^{G_2+k-1} c'_jB'_j(x)$ .

Параметры c′_j могут быть инициализированы из параметров c_i путем минимизации расстояния между $f_{fine}(x)$ и $f_{coarse}(x)$ (по некоторому распределению ):

который может быть реализован с помощью алгоритма наименьших квадратов. Мы выполняем расширение сетки для всех сплайнов в KAN независимо.

Игрушечный пример: ступенчатые кривые потерь. Мы используем игрушечный пример f(x, y) = exp(sin( πx ) + y^2 ) , чтобы продемонстрировать эффект расширения сетки. На рисунке 2.3 (слева вверху) мы показываем RMSE обучения и тестирования для KAN [2,5,1]. Количество точек сетки начинается с 3, увеличивается до большего значения каждые 200 шагов LBFGS, заканчивая 1000 точками сетки. Очевидно, что каждый раз, когда увеличивается тонкая зернистость, потери обучения падают быстрее, чем раньше (за исключением самой тонкой сетки с 1000 точками, где оптимизация перестает работать, вероятно, из-за плохих ландшафтов потерь). Однако потери теста сначала снижаются, а затем растут, отображая U-образную форму из-за компромисса смещения-дисперсии (недообучение против переобучения). Мы предполагаем, что оптимальные потери теста достигаются на пороге интерполяции, когда количество параметров соответствует количеству точек данных. Поскольку количество наблюдений в наших обучающих выборках равно 1000, а общее количество параметров KAN[2,5,1] равно 15 ( — число интервалов сетки), мы ожидаем, что порог интерполяции составит G = 1000/15 ≈ 67 , что примерно соответствует нашему экспериментально наблюдаемому значению G ∼ 50 .

Маленькие KAN лучше обобщают Это ли лучшая производительность теста, которую мы можем достичь? Обратите внимание, что синтетическая задача может быть представлена точно как KAN[2,1,1], поэтому мы обучаем KAN [2,1,1] и представляем динамику обучения на рисунке 2.3 вверху справа. Интересно, что он может достигать даже меньших потерь теста, чем KAN [2,5,1], с более четкими лестничными структурами, а порог интерполяции задерживается до большего размера сетки в результате меньшего количества параметров. Это подчеркивает тонкость выбора архитектур KAN. Если мы не знаем структуру задачи, как мы можем определить минимальную форму KAN? В разделе 2.5 мы предложим метод автоматического обнаружения такой минимальной архитектуры KAN с помощью регуляризации и обрезки.

Законы масштабирования: сравнение с теорией. Нас также интересует, как уменьшаются потери теста по мере увеличения числа параметров сетки. На рисунке 2.3 (внизу слева) [2,1,1] KAN масштабируется примерно как test $RMSE ∝ G^{−3}$ . Однако, согласно теореме 2.1, мы ожидали бы test $RMSE ∝ G^{−4}$ . Мы обнаружили, что ошибки по образцам неравномерны. Вероятно, это связано с граничными эффектами [25]. Фактически, есть несколько образцов, которые имеют значительно бо́льшие ошибки, чем другие, что замедляет общее масштабирование. Если мы вычислим квадратный корень из медианы (не среднего) квадратов потерь, мы получим масштабирование ближе к $G^{−4}$ . Несмотря на эту неоптимальность (вероятно, из-за оптимизации), KAN все еще имеют гораздо лучшие законы масштабирования, чем MLP, для подгонки данных (рисунок 3.1) и решения PDE (рисунок 3.3). Кроме того, время обучения выгодно масштабируется с числом точек сетки , как показано на рисунке 2.3 внизу справа*.
* При G = 1000 обучение значительно замедляется, что характерно для использования оптимизатора LBFGS с поиском по строке. Мы предполагаем, что ситуация с потерями становится плохой при G = 1000 , поэтому проводим поиск по строке, пытаясь найти оптимальный размер шага в максимальных итерациях без преждевременной остановки.

Внешние и внутренние степени свободы. Новая концепция, присущая KAN, — это различие между внешними и внутренними степенями свободы (параметрами). Вычислительный график того, как соединены узлы, представляет внешние степени свободы ("dofs"), в то время как точки сетки внутри функции активации являются внутренними степенями свободы. KAN выигрывают от того, что у них есть как внешние, так и внутренние степени свободы. Внешние степени свободы (которые также есть у MLP, но нет у сплайнов) отвечают за изучение композиционных структур нескольких переменных. Внутренние степени свободы (которые также есть у сплайнов, но нет у MLP) отвечают за изучение одномерных функций.

2.5 Для удобства интерпретации: Упрощение KAN и придание им интерактивности

Один из недостатков последнего подраздела заключается в том, что мы не знаем, как выбрать форму KAN, которая наилучшим образом соответствует структуре набора данных. Например, если мы знаем, что набор данных генерируется с помощью символической формулы f(x, y) = exp(sin(πx)+y^2) , то мы знаем, что [2,1,1] KAN может выразить эту функцию. Однако на практике мы не знаем информацию априори, поэтому было бы неплохо иметь подходы для автоматического определения этой формы. Идея состоит в том, чтобы начать с достаточно большой KAN и обучить ее с помощью регуляризации разреженности с последующей обрезкой. Мы покажем, что эти обрезанные KAN гораздо более интерпретируемы, чем необрезанные. Чтобы сделать KAN максимально интерпретируемыми, мы предлагаем несколько методов упрощения в разделе 2.5.1 и пример того, как пользователи могут взаимодействовать с KAN, чтобы сделать их более интерпретируемыми в разделе 2.5.2.

2.5.1 Методы упрощения

1. Разрежение (Sparsification). Для MLP используется регуляризация L1 линейных весов для поддержки разрежения. KAN могут адаптировать эту идею высокого уровня, но для этого нужны две модификации:
(1) В KAN нет линейного «веса». Линейные веса заменяются обучаемыми функциями активации, поэтому мы должны определить L1 norm этих функций активации.
(2) Мы обнаружили, что L1 недостаточно для разрежения KAN; вместо этого необходима дополнительная регуляризация энтропии (более подробную информацию см. в Приложении C).
Мы определяем норму L1 функции активации как ее среднюю величину по N_p входным данным, т. е.

Тогда для слоя KAN с $n_{in}$ количеством входов и $n_{out}$ количеством выходов мы определяем норму L1 как сумму норм L1 всех функций активации, т. е.

Кроме того, мы определяем энтропию как

Общая цель обучения $ℓ_{total}$ представляет собой потерю предсказания $ℓ_{pred}$ плюс L1 и энтропийную регуляризацию всех слоев KAN:

где µ_1, µ_2 — относительные величины, обычно устанавливаемые равными µ_1 = µ_2 = 1 , а λ управляет общей величиной регуляризации.

Рисунок 2.4: Пример того, как выполнить символическую регрессию с помощью KAN.

2. Визуализация. Когда мы визуализируем KAN, чтобы получить представление о величинах, мы устанавливаем прозрачность функции активации $ϕ_{l,i,j }$ пропорциональной tanh( $βA_{l,i,j}$ ), где β = 3 . Таким образом, функции с малой величиной кажутся затухшими, что позволяет нам сосредоточиться на важных.
3. Отсечение (Pruning). После обучения со штрафом за разрежение мы также можем захотеть отсечь сеть до меньшей подсети. Мы отсеиваем KAN на уровне узлов (а не на уровне границ). Для каждого узла (скажем, нейрона в слое ) мы определяем его входящие и исходящие баллы как

и считаем узел важным, если и входящие, и исходящие баллы больше порогового гиперпараметра $θ = 10^{−2}$ по умолчанию. Все неважные нейроны отсеиваются.
4. Символизация (Symbolification). В случаях, когда мы подозреваем, что некоторые функции активации на самом деле являются символическими (например, cos или log), мы предоставляем интерфейс для установки их в указанную символическую форму, где fix_symbolic (l, i, j, f) может установить активацию (l, i, j) в . Однако мы не можем просто установить функцию активации в качестве точной символической формулы, поскольку ее входы и выходы могут иметь сдвиги и масштабирования. Таким образом, мы получаем предактивации и постактивации из образцов и подгоняем аффинные параметры (a, b, c, d) таким образом, что y ≈ cf(ax+b)+d . Подгонка выполняется с помощью итеративного поиска сетки , и линейной регрессии. Помимо этих методов, мы предоставляем дополнительные инструменты, которые позволяют пользователям применять более детальный контроль к KAN, перечисленных в Приложении A.

2.5.2 Игрушечный пример: как пользователи могут взаимодействовать с KAN

Выше мы предложили ряд методов упрощения для KAN. Мы можем рассматривать эти варианты упрощения как кнопки, на которые можно нажать. Пользователь, взаимодействующий с этими кнопками, может решить, какую кнопку наиболее перспективно нажать следующей, чтобы сделать KAN более интерпретируемыми. Мы используем пример ниже, чтобы продемонстрировать, как пользователь может взаимодействовать с KAN, чтобы получить максимально интерпретируемые результаты. Давайте снова рассмотрим задачу регрессии

Имея данные точек (x_i, y_i, f_i), i = 1,2,··· ,N_p , гипотетический пользователь Алиса заинтересована в выяснении символической формулы. Этапы взаимодействия Алисы с KAN описаны ниже (проиллюстрированы на рисунке 2.4):
Шаг 1: Обучение с разрежением. Начиная с полностью связанной [2,5,1] KAN, обучение с регуляризацией разрежения может сделать ее довольно разреженной. 4 из 5 нейронов в скрытом слое кажутся бесполезными, поэтому мы хотим их отсечь.
Шаг 2: Обрезка (pruning). Видно, что автоматическая обрезка отбрасывает все скрытые нейроны, кроме последнего, оставляя [2,1,1] KAN. Функции активации, по-видимому, являются известными символическими функциями.
Шаг 3: Установка символических функций. Предполагая, что пользователь может правильно угадать эти символические формулы, глядя на график KAN, он может установить

В случае, если пользователь не имеет знаний в данной области или не имеет представления о том, какими символическими функциями могут быть эти функции активации, мы предоставляем функцию suggest_symbolic для предложения символических кандидатов.
Шаг 4: Дальнейшее обучение. После символизации всех функций активации в сети единственными оставшимися параметрами являются аффинные параметры. Мы продолжаем обучение этих аффинных параметров, и когда видим, что потери снижаются до машинной точности, мы знаем, что нашли правильное символьное выражение.
Шаг 5: Вывод символической формулы. Sympy используется для вычисления символической формулы выходного узла. Пользователь получает $1.0e^{1.0y^2+1.0sin(3.14x)}$ , что является истинным ответом (мы отобразили только два десятичных знака для ).
Замечание: Почему не символическая регрессия (SR)? Для этого примера разумно использовать символическую регрессию. Однако методы символической регрессии, как правило, хрупкие и их трудно отлаживать. Они либо возвращают успех, либо неудачу в конце, не выводя интерпретируемых промежуточных результатов. Напротив, KAN выполняют непрерывный поиск (с градиентным спуском) в функциональном пространстве, поэтому их результаты более непрерывны и, следовательно, более надежны. Более того, пользователи имеют бо́льший контроль над KAN по сравнению с SR из-за прозрачности KAN. То, как мы визуализируем KAN, похоже на демонстрацию «мозга» KAN пользователям, и пользователи могут выполнять «операцию» (отладку) на KAN. Этот уровень контроля обычно недоступен для SR. Мы покажем примеры этого в разделе 4.4. В более общем плане, когда целевая функция не является символической, символическая регрессия не сработает, но KAN все равно могут предоставить что-то значимое. Например, специальная функция (т.е. функция Бесселя Bessel function) не может быть изучена с помощью SR, если она не предоставлена заранее, но KAN могут использовать сплайны для ее численной аппроксимации в любом случае (см. рисунок 4.1 (d)).

3. KAN точны

В этом разделе мы демонстрируем, что KAN более эффективны для представления функций, чем MLP, в различных задачах (регрессия и решение PDE). При сравнении двух семейств моделей справедливо сравнивать как их точность (loss), так и их сложность (количество параметров). Мы покажем, что KAN демонстрируют более благоприятные границы Парето (Pareto Frontiers), чем MLP. Более того, в разделе 3.5 мы показываем, что KAN могут естественным образом работать в непрерывном обучении без катастрофического забывания.

Рисунок 3.1: Сравните KAN с MLP на пяти игрушечных примерах. KAN могут почти полностью соответствовать самому быстрому закону масштабирования, предсказанному нашей теорией (α = 4), в то время как MLP масштабируются медленно и быстро выходят на плато.

3.1 Игрушечные наборы данных

В разделе 2.3 наша теория предположила, что тест RMSE loss масштабируется как $ℓ ∝ N^{−4}$ с параметрами модели . Однако это основано на существовании представления Колмогорова-Арнольда. В качестве проверки здравомыслия мы строим пять примеров, которые, как мы знаем, имеют гладкие представления KA:
(1) f(x) = J_0(20x) , что является функцией Бесселя. Поскольку это одномерная функция, ее можно представить сплайном, который является [1,1] KAN.
(2) f(x,y) = exp(sin(πx) + y^2) . Мы знаем, что его можно точно представить как [2,1,1] KAN.
(3) f(x,y) = xy . Из рисунка 4.1 мы знаем, что его можно точно представить как [2,2,1] KAN.
(4) Пример высокой размерности $f(x_1…,x_{100})=exp⁡(\frac1{100} \sum_{i=1}^{100} sin^2(\frac{{\pi}x_i}2))$ , который можно представить с помощью [100,1,1] KAN
(5) Четырехмерный пример f (x_1 ,x_2 ,x_3 ,x_4 )=exp(1/2 (sin⁡(π(x_1^2+ x_2^2))+sin⁡(π(x_3^2+x_4^2 )))) который можно представить как [4,4,2,1] KAN.
Мы обучаем эти KAN, увеличивая точки сетки каждые 200 шагов, в общем покрывая G = {3,5,10,20,50,100,200,500,1000} . Мы обучаем MLP с различной глубиной и шириной в качестве базовых линий. И MLP, и KAN обучаются с LBFGS в общей сложности на 1800 шагов. Мы строим график тестового RMSE как функции количества параметров для KAN и MLP на рисунке 3.1, показывающий, что KAN имеют лучшие кривые масштабирования, чем MLP, особенно для примера с высокой размерностью. Для сравнения мы изобразим линии, предсказанные нашей теорией KAN, как красные пунктирные (α = k+1 = 4) , а линии, предсказанные Шармой и Капланом (Sharma & Kaplan) [24], как черные пунктирные (α = (k+1)/d = 4/d) . KAN представляют собой круто снижающиеся красные линии, в то время как MLP даже примерно не повторяют черные линии, и быстро выходят на плато. Мы также отмечаем, что в последнем примере 2-слойный KAN [4,9,1] ведет себя намного хуже, чем 3-слойный KAN (форма [4,2,2,1]). Это подчеркивает большую выразительную силу более глубоких KAN, что является тем же для MLP: более глубокие MLP обладают большей выразительной силой, чем более мелкие. Обратите внимание, что мы приняли ванильную настройку, где и KAN, и MLP обучаются с помощью LBFGS без расширенных методов, например, переключения между Adam и LBFGS или усиления [35]. Мы оставляем сравнение KAN и MLP в расширенных настройках для будущей работы.

3.2 Специальные функции

Одно предостережение относительно приведенных выше результатов заключается в том, что мы предполагаем знание «истинной» формы KAN. На практике мы не знаем о существовании представлений KA. Даже когда нам обещают, что такое представление KA существует, мы не знаем форму KAN априори. Специальные функции более чем от одной переменной являются такими случаями, потому что было бы (математически) удивительно, если бы многомерные специальные функции (например, функция Бесселя f(ν,x) = J_ν(x)) могли быть записаны в представлениях KA, включающих только одномерные функции и суммы).

Рисунок 3.2: Подгонка специальных функций. Мы показываем границу Парето KAN и MLP в плоскости, охватываемой числом параметров модели и потерей RMSE. Последовательно по всем специальным функциям KAN имеют лучшие границы Парето, чем MLP. Определения этих специальных функций приведены в Таблице 1

Ниже мы показываем, что:
(1) Возможно нахождение (приближенное) компактных KA-представлений специальных функций, раскрывающих новые математические свойства специальных функций с точки зрения представлений Колмогорова-Арнольда.
(2) KAN более эффективны и точны в представлении специальных функций, чем MLP.
Мы собрали 15 специальных функций, распространенных в математике и физике, сведенных в таблицу 1. Мы выбираем MLP с фиксированной шириной 5 или 100 и глубиной в $\{2,3,4,5,6\}$ . Мы запускаем KAN как с обрезкой, так и без нее. KAN без обрезки: Мы фиксируем форму KAN, ширина которого равна 5, а глубины развернуты в $\{{2,3,4,5,6}\}$ . KAN с обрезкой. Мы используем технику спарсификации (sparsification) ( $λ = 10^{-2}$ или $10^{-3}$ ) и обрезки, описанную в разделе 2.5.1, чтобы получить меньший KAN, обрезанный из KAN с фиксированной формой. Каждый KAN инициализируется для = 3, обучается с помощью LBFGS, с увеличением количества точек сетки каждые 200 шагов для покрытия $G = \{3,5,10,20,50,100,200\}$ . Для каждой комбинации гиперпараметров мы запускаем 3 случайных seeds.
Для каждого набора данных и каждого семейства моделей (KANs или MLPs) мы построили график границы Парето* в плоскости (количество параметров, RMSE), показанный на рисунке 3.2. Показано, что производительность KAN стабильно лучше, чем MLP, т. е. KAN может достичь меньших потерь при обучении/тестировании, чем MLP, при том же количестве параметров. Более того, в таблице 1 мы приводим (удивительно компактные) формы наших автооткрытых KAN для специальных функций. С одной стороны, интересно интерпретировать, что эти компактные представления означают с математической точки зрения (мы приводим иллюстрации KAN на рисунках F.1 и F.2 в Приложении F). С другой стороны, эти компактные представления подразумевают возможность разбиения высокоразмерной таблицы поиска на несколько одномерных таблиц поиска, что потенциально может сэкономить много памяти при (почти незначительных) затратах на выполнение нескольких дополнений во время вывода.
* Граница Парето определяется как соответствие, которое является оптимальным в том смысле, что никакое другое соответствие не является одновременно более простым и точным.

3.3 Наборы данных Feynman

Настройка в Разделе 3.1 - это когда мы четко знаем «истинные» формы KAN. Настройка в Разделе 3.2 — это когда мы четко не знаем «истинные» формы KAN. В этой части исследуется настройка, лежащая посередине:

Таблица 1: Специальные функции

Таблица 2 Фейнманов датасет

Учитывая структуру набора данных, мы можем построить KAN вручную, но мы не уверены, что они оптимальны. В этом режиме интересно сравнить KAN, созданные человеком, и KAN, обнаруженные автоматически с помощью обрезки (методы в разделе 2.5.1).

Набор данных Фейнмана. Набор данных Фейнмана собирает множество физических уравнений из учебников Фейнмана [36, 37]. Для нашей цели нас интересуют задачи из набора данных Feynman_no_units, которые имеют по крайней мере 2 переменные, поскольку одномерные задачи тривиальны для KAN (они упрощаются до 1D-сплайнов). Пример уравнения из набора данных Фейнмана — это формула сложения релятивистских скоростей

Набор данных может быть построен путем случайного выбора u_i ∈ (−1,1) , v_i ∈ (−1,1) и вычисления f_i = f(u_i, v_i) . При наличии множества кортежей (u_i, v_i, f_i) нейронная сеть обучается и стремится предсказать из и . Нас интересует (1) насколько хорошо нейронная сеть может работать на тестовых выборках; (2) насколько много мы можем узнать о структуре проблемы с помощью нейронных сетей.

Мы сравниваем четыре вида нейронных сетей:

(1) Сконструированный человеком KAN. Имея символическую формулу, мы переписываем ее в представлениях Колмогорова-Арнольда. Например, чтобы умножить два числа и , мы можем использовать тождество

$xy = \frac{(x+y)^2}4 - \frac{(x-y)^2}4$ ,

что соответствует [2,2,1] KAN. Сконструированные формы перечислены в «Форма KAN, сконструированная человеком» в Таблице 2.
(2) KAN без обрезки. Мы фиксируем форму KAN на ширине 5, а глубины увеличиваем до $\{2,3,4,5,6\}$ .
(3) KAN с обрезкой. Мы используем разрежение ( $λ = 10^{−2}$ или $10^{−3}$ ) и технику обрезки из раздела 2.5.1, чтобы получить меньший KAN из фиксированной формы KAN из (2).
(4) MLP с фиксированной шириной 5, глубинами, охватываемыми в $\{2,3,4,5,6\}$ , и активациями, выбранными из $\{Tanh, ReLU, SiLU\}$
Каждая KAN инициализируется с = 3, обучается с LBFGS, с увеличением числа точек сетки каждые 200 шагов для покрытия $G=\{{3,5,10,20,50,100,200}\}$ . Для каждой комбинации гиперпараметров мы пробуем 3 случайных начальных числа. Для каждого набора данных (уравнения) и каждого метода мы сообщаем результаты лучшей модели (минимальная форма KAN или наименьшие потери теста) по случайным начальным числам и глубинам в Таблице 2. Мы обнаружили, что MLP и KAN ведут себя в среднем сопоставимо. Для каждого набора данных и каждого семейства моделей (KAN или MLP) мы строим границу Парето на плоскости, охватываемой числом параметров и потерями RMSE, показанными на рисунке D.1 в Приложении D. Мы предполагаем, что наборы данных Фейнмана слишком просты, чтобы позволить KAN внести дальнейшие улучшения, в том смысле, что зависимость переменных обычно гладкая или монотонная, что контрастирует со сложностью специальных функций, которые часто демонстрируют колебательное поведение.

Автоматически найденные KAN меньше, чем построенные человеком. Мы сообщаем обрезанную (pruned) форму KAN в двух столбцах таблицы 2; в одном столбце - минимальная обрезанная форма KAN, которая может обеспечить приемлемые потери (т. е. RMSE теста меньше $10^{-2}$ ); в другом - обрезанная форма KAN, которая обеспечивает наименьшие потери теста. Для полноты картины мы визуализируем все 54 обрезанных KAN в приложении D (рис. D.2 и D.3). Интересно заметить, что автоматически найденные формы KAN (как для минимального, так и для лучшего) обычно меньше, чем наши человеческие конструкции. Это означает, что KA-представления могут быть более эффективными, чем мы себе представляем. В то же время это может затруднить интерпретацию, поскольку информация сжимается в меньшее пространство, чем нам удобно.
Рассмотрим, например, релятивистскую композицию скоростей $f(u, v) = \frac{u+v}{1+uv}$ . Наша конструкция довольно глубокая, поскольку мы предполагали, что умножение u,v будет использовать два слоя (см. рисунок 4.1 (a)), инверсия 1 + uv будет использовать один слой, а умножение u + v и 1/(1 + uv) будет использовать еще два слоя*, что в итоге дает 5 слоев (*Обратите внимание, что мы не можем использовать логарифмическую конструкцию для деления, поскольку и здесь могут быть отрицательными числами). Однако автоматически обнаруженные KAN имеют глубину всего 2 слоя! Оглядываясь назад, это на самом деле ожидаемо, если мы вспомним трюк с быстротой в теории относительности: определим две «быстроты» a ≡ arctanh и b ≡ arctanh . Релятивистская композиция скоростей — это простые сложения в пространстве быстроты, т.е. $\frac{u+v}{1+uv}$ , которые могут быть реализованы двухслойной KAN. Притворяясь, что мы не имеем понятия о быстроте в физике, мы могли бы потенциально обнаружить эту концепцию прямо из KAN без проб и ошибок символических манипуляций. Интерпретируемость KAN, которая может облегчить научное открытие, является основной темой в Разделе 4.

Рисунок 3.3: Пример PDE. Мы строим графики потерь L2 в квадрате и потерь H1 в квадрате между предсказанным решением и истинным решением. Первое и второе: динамика обучения потерь. Третье и четвертое: законы масштабирования потерь в зависимости от количества параметров. KAN сходятся быстрее, достигают меньших потерь и имеют более крутые законы масштабирования, чем MLP.

3.4 Решение уравнений в частных производных (partial differential equation PDE)

Мы рассматриваем уравнение Пуассона с нулевыми граничными данными Дирихле. Для Ω=[−1,1]^2 рассмотрим уравнение в частных производных

Рассмотрим данные f = −π^2(1 + 4y^2)sin(πx)sin(πy^2) + 2π sin(πx)cos(πy^2) , для которых u=sin(πx)sin(πy^2) является истинным решением. Мы используем структуру нейронных сетей, основанных на физике (PINN) [38, 39], чтобы решить это уравнение в частных производных, с функцией потерь, заданной как

где мы используем loss_i для обозначения внутренних потерь, дискретизированных и оцененных путем равномерной выборки из n_i точек z_i = (x_i, y_i) внутри области, и аналогично мы используем loss_b для обозначения граничных потерь, дискретизированных и оцененных путем равномерной выборки из n_b точек на границе, — гиперпараметр, уравновешивающий эффект двух членов.
Мы сравниваем архитектуру KAN с архитектурой MLP, используя те же гиперпараметры n_i = 10000 , n_b = 800 и α = 0,01 . Мы измеряем как ошибку L^2 norm, так и норму энергии ( H^1 ) и видим, что KAN достигает гораздо лучшего закона масштабирования с меньшей ошибкой, используя меньшие сети и меньшее количество параметров; см. рисунок 3.3. Двухслойная ширина – 10 KAN в 100 раз точнее, чем четырехслойная ширина – 100 MLP ( $10^{−7}$ против $10^{−5}$ MSE) и в 100 раз эффективнее по параметрам ( 10^2 против 10^4 параметров). Поэтому мы предполагаем, что KAN могут иметь потенциал служить хорошим представлением нейронной сети для сокращения моделей PDE. Однако мы хотим отметить, что наша реализация KAN обычно в 10 раз медленнее, чем MLP для обучения. То, что истина представляет собой символическую формулу, может быть несправедливым сравнением для MLP, поскольку KAN хороши для представления символических формул. В целом, KAN и MLP хороши для представления различных классов функций решений PDE, что требует детального будущего изучения для понимания их соответствующих границ.

3.5 Непрерывноe обучение

Катастрофическое забывание является серьезной проблемой в современном машинном обучении [40]. Когда человек справляется с задачей и переходит к другой задаче, он не забывает, как выполнять первую задачу. К сожалению, это не так для нейронных сетей. Когда нейронная сеть обучается по задаче 1, а затем переходит к обучению по задаче 2, сеть скоро забудет о том, как выполнять задачу 1.

Рисунок 3.4: Задача непрерывного обучения на игрушечных данных. Набор данных представляет собой задачу одномерной регрессии с 5 пиками Гаусса (верхний ряд). Данные вокруг каждого пика представляются последовательно (а не все сразу) в KAN и MLP. KAN (средний ряд) могут прекрасно избегать катастрофического забывания, в то время как MLP (нижний ряд) демонстрируют серьезное катастрофическое забывание.

Ключевое различие между искусственными нейронными сетями и человеческим мозгом заключается в том, что человеческий мозг имеет функционально различные модули, размещенные локально в пространстве. Когда изучается новая задача, реорганизация структуры происходит только в локальных регионах, ответственных за соответствующие навыки [41, 42], оставляя другие регионы нетронутыми. Большинство искусственных нейронных сетей, включая MLP, не имеют этого понятия локальности, что, вероятно, является причиной катастрофического забывания.
Мы показываем, что KAN обладают локальной пластичностью и могут избежать катастрофического забывания, используя локальность сплайнов. Идея проста: поскольку сплайновые базы локальны, выборка повлияет только на несколько близлежащих коэффициентов сплайна, оставляя далекие коэффициенты нетронутыми (что желательно, поскольку далекие регионы могут уже хранить информацию, которую мы хотим сохранить). Напротив, поскольку MLP обычно используют глобальные активации, например, ReLU/Tanh/SiLU и т. д., любое локальное изменение может неконтролируемо распространяться на далекие регионы, уничтожая хранящуюся там информацию.
Мы используем игрушечный пример для проверки этой интуиции. Задача одномерной регрессии состоит из 5 пиков Гаусса. Данные вокруг каждого пика представляются последовательно (а не все сразу) KAN и MLP, как показано на верхнем ряду рисунка 3.4. Прогнозы KAN и MLP после каждой фазы обучения показаны в среднем и нижнем рядах. Как и ожидалось, KAN ремоделирует только регионы, где присутствуют данные в текущей фазе, оставляя предыдущие регионы неизменными. Напротив, MLP ремоделирует весь регион после просмотра новых образцов данных, что приводит к катастрофическому забыванию.
Здесь мы просто представляем наши предварительные результаты на чрезвычайно простом примере, чтобы продемонстрировать, как можно было бы использовать локальность в KAN (благодаря параметризации сплайнов) для уменьшения катастрофического забывания. Однако остается неясным, может ли наш метод быть обобщен на более реалистичные установки, особенно в случаях с высокой размерностью, где неясно, как определить «локальность». В будущей работе мы также хотели бы изучить, как наш метод может быть связан и объединен с методами SOTA в непрерывном обучении [43, 44].

4. KAN интерпретируются

Мы хотим протестировать использование KAN не только на синтетических задачах (раздел 4.1 и 4.2), но и в реальных научных исследованиях. Мы демонстрируем, что KAN могут (пере)открывать как весьма нетривиальные отношения в теории узлов (раздел 4.3), так и границы фазовых переходов в физике конденсированного состояния (раздел 4.4). KAN потенциально могут стать базовой моделью для AI+Science благодаря своей точности (последний раздел) и интерпретируемости (этот раздел).

Figure 4.1: KAN интерпретируются для простых символических задач.

4.1 Наблюдаемые (контролируемые) наборы игрушечных данных

Сначала мы исследуем способность KAN выявлять композиционные структуры в символьных формулах. Шесть примеров приведены ниже, а их KAN визуализированы на рисунке 4.1. KAN способны выявить композиционные структуры, присутствующие в этих формулах, а также выучить правильные одномерные функции.
(a) Умножение f(x, y)=xy . KAN [2,5,1] обрезается до KAN [2,2,1]. Обученные функции активации являются линейной и квадратичной. Из графика вычислений видно, что способ вычисления основан на использовании 2xy = (x + y)^2 - (x^2 + y^2) .
(b) Деление положительных чисел f(x,y) = x/y . KAN [2,5,1] обрезается до KAN [2,1,1]. Обученные функции активации - это логарифмическая и экспоненциальная функции, а KAN вычисляет x/y , используя тождество x/y=exp(logx - logy) .
(c) Числовые в категориальные. Задача состоит в преобразовании вещественного числа в диапазоне [0,1] в его первую десятичную цифру (в виде одной точки), например, 0,0618 → [1,0,0,0,0, ···], 0,314 → [0,0,0,1,0, ···] . Обратите внимание, что функции активации обучаются как пики, расположенные вокруг соответствующих десятичных цифр.
(d) Специальная функция f(x,y) = exp(J_0(20x) + y^2) . Одно из ограничений символьной регрессии заключается в том, что она никогда не найдет правильную формулу специальной функции, если специальная функция не предоставлена в качестве предварительного знания. KAN могут обучаться специальным функциям - сильно волнистая функция Бесселя J_0(20x) обучается (численно) с помощью KAN.
(e) Фазовый переход f(x_1,x_2,x_3 )=tanh⁡(5(x_1^4+x_2^4+x_3^4-1)) . Фазовые переходы представляют большой интерес в физике, поэтому мы хотим, чтобы KAN могли обнаруживать фазовые переходы и определять правильные параметры порядка. Мы используем функцию tanh для моделирования поведения фазового перехода, а параметр порядка представляет собой комбинацию членов четвертой степени x_1, x_2, x_3 . Как зависимость четвертой степени, так и зависимость tanh появляются после обучения KAN. Это упрощенный случай локализационного фазового перехода, обсуждаемого в разделе 4.4.
(f) Более глубокие композиции $f(x_1,x_2,x_3,x_4)=\sqrt{(x_1-x_2)^2 + (x_3-x_4)^2}$ . Для вычисления этого нам понадобятся функция тождества, квадратная функция и квадратный корень, что требует как минимум трехслойного KAN. Действительно, мы обнаруживаем, что [4, 3, 3, 1] KAN может быть автоматически сокращен до [4, 2, 1, 1] KAN, что в точности соответствует ожидаемому нами графу вычислений.

Дополнительные примеры из набора данных Фейнмана и набора данных специальных функций представлены на рисунках D.2, D.3, F.1, F.2 в приложениях D и F.

4.2 Игрушечный набор данных для обучения без учителя

Часто научные открытия формулируются как контролируемые задачи обучения, т. е., имея входные переменные x_1, x_2,···, x_d и выходную переменную(ые) , мы хотим найти интерпретируемую функцию такую, что y ≈ f(x_1, x_2,··· , x_d) . Однако другой тип научного открытия может быть сформулирован как неконтролируемое обучение, т. е., имея набор переменных , мы хотим обнаружить структурную связь между переменными. В частности, мы хотим найти ненулевое f такое, что

Например, рассмотрим набор признаков (x_1, x_2, x_3) , который удовлетворяет $x_3 = exp(sin(\pi x_1)+x_2^2$ . Тогда допустимым является $f(x_1, x_2, x_3) = sin(\pi x_1)+x_2^2 - log(x_3) = 0$ , что подразумевает, что точки образуют двумерное подмногообразие, заданное f = 0 , а не заполняют все трехмерное пространство.
Если алгоритм решения неконтролируемой задачи может быть разработан, он будет иметь значительное преимущество перед контролируемой задачей, поскольку для него требуются только наборы признаков S = (x_1, x_2,··· , x_d) . С другой стороны, контролируемая задача пытается предсказать подмножества признаков с точки зрения других, т.е. она разбивает $S = S_{in} ∪ S_{out}$ на входные и выходные признаки обучаемой функции. Без экспертных знаний в данной области, которые могли бы посоветовать разбиение, существует 2^d - 2 возможностей, таких что $|S_{in}| > 0$ и $|S_{out}| > 0$ .
Этого экспоненциально большого пространства контролируемых проблем можно избежать, используя неконтролируемый подход. Этот неконтролируемый подход к обучению будет ценным для набора данных узлов в разделе 4.3. Команда Google Deepmind [45] вручную выбрала сигнатуру в качестве целевой переменной, в противном случае они столкнулись бы с этой комбинаторной проблемой, описанной выше. Здесь поднимается вопрос, можем ли мы вместо этого напрямую заняться неконтролируемым обучением. Мы представляем наш метод и игрушечный пример ниже.
Мы решаем проблему неконтролируемого обучения, превращая ее в проблему контролируемого обучения на всех признаках , не требуя выбора разбиения.
Основная идея состоит в том, чтобы изучить функцию f(x_1,..., x_d) = 0 , такую, что не является 0-функцией. Для этого, подобно контрастному обучению, мы определяем положительные образцы и отрицательные образцы: положительные образцы являются векторами признаков реальных данных. Отрицательные образцы создаются путем искажения признаков. Чтобы гарантировать, что общее распределение признаков для каждого топологического инварианта остается прежним, мы выполняем искажение признаков путем случайной перестановки каждого признака по всему обучающему набору. Теперь мы хотим обучить сеть так, чтобы $g(x_{real}) = 1$ и $g(x_{fake}) = 0$ , что превращает задачу в контролируемую задачу.
Однако помните, что изначально мы хотим, чтобы $f(x_{real}) = 0$ и $f(x_{fake})≠ 0$ . Мы можем добиться этого, имея g = σ ◦ f , где σ(x)=exp⁡(-x^2/(2w^2 )) - гауссова функция с малой шириной , которую можно удобно реализовать с помощью KAN с формой [...,1,1], последняя активация которой установлена как гауссова функция , а все предыдущие слои образуют . За исключением упомянутых выше изменений, все остальное для контролируемого обучения остается прежним.
Теперь мы продемонстрируем, что неконтролируемая парадигма работает для синтетического примера. Давайте рассмотрим 6D набор данных, где (x_1, x_2, x_3 ) — зависимые переменные, такие что x_3 = exp(sin(x_1) + x_2^2) ; (x4, x5) - зависимые переменные, причем x_5 = x_4^3 ; x₆ не зависит от других переменных.

Рисунок 4.2: Неконтролируемое обучение игрушечной задачи. KAN могут идентифицировать группы зависимых переменных, т.е. и в нашем случае.

Рисунок 4.2: Неконтролируемое обучение игрушечной задачи. KAN могут идентифицировать группы зависимых переменных, т.е. (x_1, x_2, x_3)

в нашем случае.

На рисунке 4.2 мы показываем, что для seed = 0 KAN раскрывает функциональную зависимость между x_1 , x_2 и x_3 ; для другого seed = 2024 KAN раскрывает функциональную зависимость между x_4 и x_5 . Наши предварительные результаты основаны на случайности (разные начальные значения) для обнаружения различных отношений; в будущем мы хотели бы исследовать более систематический и более контролируемый способ обнаружения полного набора отношений. Тем не менее, наш инструмент в его текущем состоянии может предоставить информацию для научных задач. Мы представляем наши результаты с набором данных узлов в разделе 4.3.

4.3 Применение к математике: теория узлов

Теория узлов — это предмет в низкоразмерной топологии, который проливает свет на топологические аспекты трех- и четырехмерных многообразий и имеет множество приложений, в том числе в биологии и топологических квантовых вычислениях. Математически узел является вложением S^1 в S^3 . Два узла и топологически эквивалентны, если один может быть деформирован в другой посредством деформации окружающего пространства S^3 , в этом случае мы пишем [K] = [K′] . Некоторые узлы топологически тривиальны, что означает, что их можно гладко деформировать в стандартную окружность. Узлы имеют множество деформационно-инвариантных особенностей f, называемых топологическими инвариантами, которые можно использовать для показа того, что два узла топологически неэквивалентны, [K] ≠ [K′] , если f(K) ≠ f(K′) . В некоторых случаях топологические инварианты имеют геометрическую природу. Например, гиперболический узел имеет дополнение узла S^3 \ , которое допускает каноническую гиперболическую метрику , такую что vol_g(K) является топологическим инвариантом, известным как гиперболический объем.
Другие топологические инварианты имеют алгебраическую природу, например, многочлен (polynomial) Джонса.
Учитывая фундаментальную природу узлов (knots) в математике и важность ее приложений, интересно изучить, может ли машинное обучение привести к новым результатам. Например, в [46] обучение с подкреплением использовалось для установления ленточности (ribbonness) определенных узлов, что исключило многие потенциальные контрпримеры к гладкой 4d гипотезе Пуанкаре.
Контролируемое обучение В [45] для получения новой теоремы, связывающей алгебраические и геометрические инварианты узлов принимали участие эксперты в предметной области, а также использовалось контролируемое обучение. В этом случае градиентная заметность определила ключевые инварианты для контролируемой проблемы, что привело экспертов в предметной области к выдвижению гипотезы, которая впоследствии была уточнена и доказана. Мы изучаем, может ли KAN достичь хороших интерпретируемых результатов по той же проблеме, которая предсказывает сигнатуру узла. Основные результаты, полученные при изучении набора данных по теории узлов, таковы:
(1) Используя методы сетевой атрибуции, они обнаружили, что подпись (signature) в основном зависит от меридионального расстояния (meridinal distance) (реальное µ_r , воображаемое µ_i ) и продольного расстояния .
(2) Учёные позже установили, что имеет высокую корреляцию с наклоном

$≡Re (\fracλμ)= \frac{λμ_r }{μ_r^2+μ_i^2}$ и вывели границу для |2σ - slope| . (2)

Рисунок 4.3: Набор данных об узлах, контролируемый режим. С помощью KAN мы заново открываем для себя результаты Deepmind о том, что сигнатура в основном зависит от перемещения по меридианам (действительная и мнимая части).

Таблица 3: В задаче классификации signature KAN может достичь большей точности, чем MLP, при гораздо меньшем количестве параметров. Вскоре после публикации нашего препринта профессор Ши Лаб из Технологического института Джорджии обнаружил, что для достижения точности 80 % достаточно MLP всего с 60 параметрами (результаты в общем доступе, но официально не опубликованы). Это хорошая новость для AI + Science, потому что это означает, что многие задачи AI + Science не так требовательны к вычислениям, как мы думаем (как с MLP, так и с KAN), а значит, многие новые научные открытия возможны даже на персональных ноутбуках.

Ниже мы покажем, что KAN не только повторно обнаруживает эти результаты с гораздо меньшими сетями и гораздо большей степенью автоматизации, но и представляет некоторые интересные новые результаты и идеи. Чтобы исследовать (1), мы рассматриваем 17 инвариантов узлов как входные данные, а сигнатуру - как выходные. Аналогично настройке в [45], сигнатуры (которые являются четными числами) кодируются как однократные векторы, и сети обучаются с cross-entropy loss. Мы обнаружили, что очень малая [17,1,14] KAN может достичь точности 81,6% (в то время как 4-слойная ширина 300 MLP Deepmind достигает точности 78%). Для [17,1,14] KAN ( = 3, = 3) имеется 200 параметров, в то время как для MLP $≈ 3 \times 10^5$ параметров, показанных в таблице 3. Примечательно, что KAN могут быть одновременно более точными и гораздо более эффективными по параметрам, чем MLP. С точки зрения интерпретируемости, мы шкалируем прозрачность каждой активации в зависимости от ее величины, так что сразу становится ясно, какие входные переменные важны, без необходимости атрибуции признаков (см. рис. 4.3 слева): сигнатура в основном зависит от $\mu_r$ , немного зависит от $\mu_i$ и $\lambda$ , а зависимость от других переменных невелика. Затем мы обучаем [3,1,14] KAN на трех важных переменных, получая точность теста 78,2%. Наши результаты имеют одно небольшое отличие от результатов работы [45]: они показывают, что сигнатура в основном зависит от $\mu_i$ , в то время как мы обнаруживаем, что сигнатура в основном зависит от $\mu_r$ . Это различие могло быть вызвано тонкими алгоритмическими решениями, но оно привело нас к проведению следующих экспериментов: (а) исследования абляции (ablation studies). Мы показываем, что $\mu_r$ вносит бо́льший вклад в точность, чем $\mu_i$ (см. рисунок 4.3): например, $\mu_r$ в одиночку может достичь 65,0% точности, в то время как $\mu_i$ в одиночку может достичь только 43,8% точности. (b) Мы находим символьную формулу (в таблице 4), в которой участвуют только $\mu_r$ и $\lambda$ , но точность теста составляет 77,8 %.
Чтобы исследовать (2), то есть получить символическую форму , мы формулируем проблему как задачу регрессии. Используя автосимвольную регрессию, представленную в разделе 2.5.1, мы можем преобразовать обученный KAN в символьные формулы.

Таблица 4: Символические формулы сигнатуры как функции меридионального сдвига µ (действительный µ_r, визуальный µ_i) и продольного сдвига λ. В [45] формула А была открыта учеными, вдохновленными результатами атрибуции нейронных сетей. Формулы B-F автоматически открываются KAN. KAN могут выбирать между простотой и точностью (B, C, D). Добавляя больше индуктивных смещений, KAN может открыть формулу E, которая не слишком отличается от формулы A. KAN также открыли формулу F, которая включает только две переменные (µ_r и λ) вместо всех трех переменных, с небольшой потерей точности.

Мы обучаем KAN с формами [3,1], [3,1,1], [3,2,1], соответствующие символьные формулы которых представлены в таблице 4 B-D. Очевидно, что при использовании более крупного KAN возрастает как точность, так и сложность. Таким образом, KAN предоставляют не просто одну символьную формулу, а целый фронтир формул Парето, компромисс между простотой и точностью. Однако KAN нуждаются в дополнительных индуктивных смещениях для дальнейшего упрощения этих уравнений, чтобы заново найти формулу из [45] (табл. 4 A). Мы протестировали два сценария: (1) в первом сценарии мы предполагаем, что формула истины имеет многомерное представление Pade (деление двух многомерных рядов Тейлора). Сначала мы обучаем [3,2,1], а затем подгоняем ее под представление Pade. В таблице 4 мы можем получить формулу E, которая имеет сходство с формулой Deepmind. (2) Мы предполагаем, что деление не очень интерпретируемо для KAN, поэтому мы обучаем два KAN (один для числителя, другой для знаменателя) и делим их вручную. Удивительно, но в итоге мы получаем формулу F (в табл. 4), в которой участвуют только $\mu_r$ и $\lambda$ , хотя $\mu_i$ также присутствует, но игнорируется KAN.
К настоящему времени мы заново открыли основные результаты из [45]. Примечательно, что KAN сделали это открытие очень интуитивным и удобным. Вместо того чтобы использовать методы атрибуции признаков (которые являются отличными методами), можно просто смотреть на визуализацию KAN. Более того, автоматическая символьная регрессия также значительно упрощает поиск символьных формул.
В следующей части мы предлагаем новую парадигму «ИИ для математики», не включенную в статью Deepmind, в которой мы стремимся использовать режим обучения KANs без контроля для обнаружения большего количества отношений (помимо сигнатур) в инвариантах узлов.

Обучение без учителя Как мы упоминали в разделе 4.2, обучение без учителя - это более перспективная настройка, поскольку она позволяет избежать ручного разделения входных и выходных переменных, которые имеют множество комбинаторных возможностей. В режиме обучения без контроля мы обрабатываем все 18 переменных (включая сигнатуру) как входные данные, чтобы они были одинаковыми. Данные узлов - это положительные выборки, и мы случайным образом перемешиваем объекты, чтобы получить отрицательные выборки. KAN обучен определять, принадлежит ли данный вектор признаков положительной выборке (1) или отрицательной выборке (0).
Мы вручную настроили активацию второго уровня как гауссову функцию с максимумом, центрированным на нуле, поэтому положительные выборки будут активироваться (около) нуля, неявно задавая соотношение между инвариантами узлов

$\sum_{i=1}^{18} g_i (x_i )=0$ ,

где x_i - обозначает признак (инвариант), а g_i - это соответствующая функция активации, которая может быть легко считана с диаграмм KAN. Мы обучаем KAN с $λ = \{10^{-2}, 10^{-3}\}$ , чтобы получить разреженную комбинацию входов, и seed = {0,1, ··· ,99}. Все 200 сетей можно сгруппировать в три кластера, а репрезентативные KAN показаны на рисунке 4.4. Эти три группы зависимых переменных:

Рисунок 4.4: Набор данных узлов, неконтролируемое обучение. С помощью KAN мы заново открываем три математических соотношения в наборе данных узлов.

(1) Первая группа зависимых переменных - это сигнатура, реальная часть меридионального расстояния и продольное расстояние (плюс еще две переменные, которые можно убрать из (3)). Это зависимость от сигнатуры, изученной выше, поэтому очень интересно видеть, что эта зависимость снова обнаруживается в режиме без контроля.
(2) Вторая группа переменных включает в себя объем $Cusp \ V$ , действительную часть меридиональной трансляции $\mu_r$ и продольную трансляцию . Все их активации выглядят как логарифмические функции (в чем можно убедиться с помощью подразумеваемого символьного функционала в разделе 2.5.1). Таким образом, отношение $-logV+log \mu_r + log \lambda = 0$ , что эквивалентно $V = \mu_r \lambda$ , что верно по определению. Однако обнадеживает то, что мы обнаруживаем это соотношение без каких-либо предварительных знаний.
(3) Третья группа переменных включает в себя действительную часть короткой геодезической (geodesic) g_r и радиус инъективности. Их активации выглядят качественно одинаково, но отличаются знаком минус, поэтому предполагается, что эти две переменные имеют линейную корреляцию. Мы построили двумерные скаттеры, обнаружив, что верхняя граница g_r , что также является хорошо известным соотношением [47].
Интересно, что неконтролируемый режим KAN может заново открыть несколько известных математических соотношений. Хорошая новость в том, что результаты, обнаруженные KAN, вероятно, надежны; плохая новость в том, что мы пока не открыли ничего нового. Стоит отметить, что мы выбрали неглубокую KAN для простой визуализации, но более глубокие KAN, вероятно, могут найти больше соотношений, если они существуют. Мы хотели бы исследовать, как обнаружить более сложные отношения с помощью более глубоких KAN в будущей работе.

4.4 Применение в физике: локализация Андерсона

Локализация Андерсона является фундаментальным явлением, при котором беспорядок в квантовой системе приводит к локализации электронных волновых функций, что приводит к прекращению любого транспорта [48]. В одно- и двух измерениях аргументы масштабирования показывают, что все электронные собственные состояния экспоненциально локализованы для бесконечно малого количества случайного беспорядка [49, 50]. Напротив, в трех измерениях критическая энергия образует фазовую границу, которая отделяет расширенные состояния от локализованных состояний, известную как край подвижности. Понимание этих краев подвижности имеет решающее значение для объяснения различных фундаментальных явлений, таких как переход металл-изолятор в твердых телах [51], а также эффекты локализации света в фотонных устройствах [52, 53, 54, 55, 56]. Поэтому необходимо разрабатывать микроскопические модели, которые демонстрируют края подвижности, чтобы обеспечить возможность детальных исследований. Разработка таких моделей часто более практична в более низких измерениях, где введение квазипериодичности вместо случайного беспорядка также может привести к краям подвижности, которые разделяют локализованные и расширенные фазы. Более того, экспериментальные реализации аналитических границ мобильности могут помочь разрешить спор о локализации во взаимодействующих системах [57, 58]. Действительно, несколько недавних исследований были сосредоточены на идентификации таких моделей и выводе точных аналитических выражений для их границ мобильности [59, 60, 61, 62, 63, 64, 65].
Здесь мы применяем KAN к числовым данным, полученным из квазипериодических моделей сильной связи, для извлечения их краев мобильности. В частности, мы рассматриваем три класса моделей: модель Mosaic (MM) [63], обобщенную модель Aubry-André (GAAM) [62] и модифицированную модель Aubry-André (MAAM) [60]. Для MM мы свидетельствуем о способности KAN точно извлекать край мобильности как одномерную функцию энергии. Для GAAM мы обнаруживаем, что формула, полученная из KAN, близко соответствует истинной. Для более сложной MAAM мы демонстрируем еще один пример символической интерпретируемости этой структуры. Пользователь может упростить сложное выражение, полученное из KAN (и соответствующих символических формул), с помощью «сотрудничества», когда исследователь генерирует гипотезы для получения лучшего соответствия (например, делая предположение о форме определенной функции активации), после чего KAN могут выполнять быструю проверку гипотез.
Для количественной оценки локализации состояний в этих моделях обычно используется обратное отношение участия (IPR). IPR для k-го собственного состояния, ψ⁽^k⁾, определяется как

где сумма пробегает индекс сайта (site index). Здесь мы используем связанную меру локализации – фрактальную размерность состояний, определяемую как

где – размер системы. D_k = 0(1) указывает на локализованные (расширенные) состояния.

Мозаичная модель (ММ) Сначала рассмотрим класс моделей сильной связи, определяемых гамильтонианом [63]

Рисунок 4.5: Результаты для модели Mosaic. Вверху: фазовая диаграмма. В середине и внизу: KAN могут получить как качественную интуицию (внизу), так и извлечь количественные результаты (в середине). $φ= \frac{1+{\sqrt{5}}}2$ - это золотое сечение,

где — связь ближайшего соседа, c_n(c^†n) — оператор уничтожения (рождения) в узле , а потенциальная энергия V_n определяется как

Чтобы ввести квазипериодичность, мы устанавливаем иррациональным (в частности, мы выбираем равным золотому сечению $φ= \frac{1+{\sqrt{5}}}2$ . — целое число, а квазипериодический потенциал возникает с интервалом . Спектр энергии (E) для этой модели в общем случае содержит протяженные и локализованные режимы, разделенные краем подвижности. Интересно, что здесь обнаружена уникальная особенность, заключающаяся в том, что края подвижности присутствуют для произвольно сильного квазипериодического потенциала (т. е. в системе всегда присутствуют протяженные состояния, которые сосуществуют с локализованными).
Границу мобильности можно описать как g(λ, E) ≡ λ − |f_κ(E)| = 0 . g(λ, E) > 0 и g(λ, E) < 0 соответствуют локализованной и расширенной фазам соответственно. Таким образом, изучение грани мобильности зависит от изучения «параметра порядка» . По общему признанию, эта проблема может быть решена многими другими теоретическими методами для этого класса моделей [63], но ниже мы покажем, что наша структура KAN готова и удобна для принятия предположений и индуктивных предубеждений от исследователей.
Предположим, что есть гипотетический пользователь Алиса, которая является докторантом по физике конденсированного состояния, и ей предоставлен [2,1] KAN в качестве помощника для выполнения задачи. Во-первых, она понимает, что это задача классификации, поэтому разумно задать функцию активации во втором слое как сигмоидную, используя функционал $fix\_symbolic$ . Во-вторых, она понимает, что изучение всей 2D-функции g(λ, E) не нужно, поскольку в конечном итоге ее интересует только λ = λ(E) , определяемая как g(λ, E) = 0 . При этом разумно предположить g(λ, E) = λ−h(E) = 0 . Алиса просто задает функцию активации как линейную, снова используя функционал $fix\_symbolic$ . Теперь Алиса обучает сеть KAN и получает ребро мобильности, как показано на рисунке 4.5. Алиса может получить как интуитивное качественное понимание (внизу), так и количественные результаты (в середине), которые хорошо соответствуют истине (вверху).

Таблица 5 Символьные формулы для двух систем GAAM и MAAM, истинных и открытых KAN.

Обобщенная модель Андре-Обри (GAAM) Далее мы рассмотрим класс моделей сильной связи, определяемых гамильтонианом [62]

где — это связь ближайших соседей, c_n(c_n^†) - оператор уничтожения (рождения) в узле n, а потенциальная энергия V_n задается как

которая является гладкой для α ∈ (−1,1) . Чтобы ввести квазипериодичность, мы снова устанавливаем иррациональным (в частности, мы выбираем как золотое сечение). Как и прежде, мы хотели бы получить выражение для границы подвижности. Для этих моделей граница подвижности задается выражением замкнутой формы [62, 64],

Мы случайным образом выбираем параметры модели: , и (устанавливая шкалу энергии = 1) и вычисляем собственные значения энергии, а также фрактальную размерность соответствующих собственных состояний, что формирует наш обучающий набор данных.
Здесь изучаемый «параметр порядка» («order parameter») равен g(α, E, λ, ϕ) = αE + 2(λ−1) , а ребро мобильности соответствует g = 0 . Давайте снова предположим, что Алиса хочет выяснить ребро мобильности, но у нее есть доступ только к данным IPR или фрактальной размерности, поэтому она решает использовать KAN, чтобы помочь себе с этой задачей. Алиса хочет, чтобы модель была как можно меньше, поэтому она может либо начать с большой модели и использовать автоматическую обрезку, чтобы получить маленькую модель, либо она может угадать разумную маленькую модель, основываясь на своем понимании сложности данной проблемы. В любом случае, давайте предположим, что она приходит к [4,2,1,1] KAN. Во-первых, она устанавливает последнюю активацию как сигмоидную, потому что это проблема классификации. Она обучает свою KAN с некоторой регуляризацией разреженности до точности 98,7% и визуализирует обученную KAN на рисунке 4.6 (a), шаг 1. Она замечает, что вообще не улавливается, что позволяет ей понять, что мобильность не зависит от (согласно уравнению (4.8)). Кроме того, она замечает, что почти все другие функции активации являются линейными или квадратичными, поэтому она включает автоматическую символьную привязку, ограничивая библиотеку только линейной или квадратичной. После этого она немедленно получает сеть, которая уже является символической (показано на рисунке 4.6 (a), шаг 2), с сопоставимой (даже немного лучшей) точностью 98,9%. Используя функционал $symbolic\_formula$ , Алиса удобно получает символическую форму , показанную в таблице 5 GAAM-KAN auto (строка три). Возможно, она хочет вычеркнуть некоторые малые члены и привязать коэффициент к малым целым числам, что приближает ее к истинному ответу.
Эта гипотетическая история для Алисы была бы совершенно другой, если бы она использовала метод символической регрессии. Если ей повезет, SR может вернуть точно правильную формулу. Однако в подавляющем большинстве случаев SR не возвращает полезных результатов, и Алиса не может «отладить» или взаимодействовать с лежащим в основе процессом символической регрессии. Кроме того, Алиса может чувствовать себя некомфортно/неопытно, предоставляя библиотеку символических терминов в качестве априорных знаний для SR до запуска SR. В отличие от этого в KAN, Алисе не нужно вводить какую-либо априорную информацию в KAN. Сначала она может получить некоторые подсказки, глядя на обученную KAN, и только затем ее работа — решить, какую гипотезу она хочет выдвинуть (например, «все активации линейны или квадратичны»), и реализовать свою гипотезу в KAN. Хотя KAN вряд ли вернут правильный ответ немедленно, KAN всегда вернут что-то полезное, и Алиса может сотрудничать с ней, чтобы уточнить результаты.

Модифицированная модель Andre-Aubry (MAAM) Последний класс моделей, которые мы рассматриваем, определяется гамильтонианом [60]

где — сила экспоненциально затухающей связи в пространстве, c_n(c_n^†) - оператор уничтожения (рождения) в узле , а потенциальная энергия V_n определяется выражением

Как и прежде, для введения квазипериодичности мы устанавливаем иррациональным (золотое сечение). Для этих моделей граница мобильности задается выражением замкнутой формы [60],

где мы определяем t_1 ≡ texp(−p) как силу прыжка ближайшего соседа, и устанавливаем t_1 = 1 в дальнейшем.

Предположим, что Алиса хочет выяснить мобильное преимущество для MAAM. Эта задача сложнее и требует больше человеческой мудрости. Как и в последнем примере, Алиса начинает с [4,2,1,1] KAN и обучает его, но получает точность около 75%, что меньше приемлемого. Затем она выбирает больший [4,3,1,1] KAN и успешно получает 98,4%, что приемлемо (рисунок 4.6 (b) шаг 1). Алиса замечает, что не улавливается KAN, что означает, что граничное значение мобильности не зависит от фазового фактора (согласно уравнению (4.11)). Если Алиса включит автоматическую символьную регрессию (используя большую библиотеку, состоящую из exp, tanh и т. д.), она получит сложную формулу в таблице 5 MAAM-KAN auto, которая имеет точность 97,1%. Однако, если Алиса захочет найти более простую символическую формулу, она захочет использовать ручной режим, в котором будет выполнять символическую привязку. До этого она обнаруживает, что [4,3,1,1] KAN после обучения может быть обрезана до [4,2,1,1], сохраняя при этом точность 97,7% (рисунок 4.6 (b)). Алиса может подумать, что все функции активации, за исключением тех, которые зависят от , являются линейными или квадратичными, и вручную привязать их к линейным или квадратичным с помощью $fix\_symbolic$ . После привязки и повторного обучения обновленная KAN показана на рисунке 4.6 (c) шаг 3, сохраняя точность 97,7%. С этого момента Алиса может сделать два разных выбора на основе своих предыдущих знаний. В одном случае Алиса могла догадаться, что зависимость от является cosh, поэтому она устанавливает активации как cosh-функцию. Она переобучает KAN и получает точность 96,9% (рисунок 4.6 (c) шаг 4A).

Рисунок 4.6: Сотрудничество человека и KAN для обнаружения границ мобильности GAAM и MAAM. Пользователь-человек может выбрать ленивый режим (используя автоматический режим) или более вовлеченный (используя ручной режим). Подробнее в тексте.

В другом случае Алиса не знает зависимости cosh от , поэтому она стремится к простоте и снова предполагает, что функции являются квадратичными. Она переобучает KAN и получает точность 95,4% (рисунок 4.6 (c) шаг 4B). Если бы она попробовала оба варианта, она бы поняла, что cosh лучше с точки зрения точности, а квадратичный лучше с точки зрения простоты. Формулы, соответствующие этим шагам, перечислены в таблице 5. Очевидно, что чем больше ручных операций выполняет Алиса, тем проще символическая формула (что немного жертвует точностью). У KAN есть «ручка», которую пользователь может настроить для компромисса между простотой и точностью (иногда простота может даже привести к лучшей точности, как в случае GAAM).

5. Похожие работы

Теорема Колмогорова-Арнольда и нейронные сети. Связь между теоремой Колмогорова-Арнольда (KAT) и нейронными сетями не нова в литературе [66, 67, 9, 10, 11, 12, 13, 14, 68, 69], но патологическое поведение внутренних функций делает KAT бесперспективным на практике [66]. Большинство этих предыдущих работ придерживаются исходных сетей с 2 слоями шириной (2n+1) , которые были ограничены по выразительной мощности, и многие из них даже предшествуют обратному распространению. Поэтому большинство исследований были построены на теориях с довольно ограниченными или искусственными игрушечными экспериментами. В более широком смысле KAN также в некоторой степени связаны с обобщенными аддитивными моделями (GAM) [70], графовыми нейронными сетями [71] и ядерными машинами [72]. Связи являются интригующими и фундаментальными, но могут выходить за рамки текущей статьи. Наш вклад заключается в обобщении сети Колмогорова до произвольной ширины и глубины, ее оживлении и контекстуализации в современном потоке глубокого обучения, а также в подчеркивании ее потенциальной роли в качестве базовой модели для AI + Science.
Законы нейронного масштабирования (Neural Scaling Laws NSL). NSL — это явления, в которых потери (losses behave) ведут себя как степенные законы в зависимости от размера модели, данных, вычислений и т. д. [73, 74, 75, 76, 24, 77, 78, 79]. Происхождение NSL все еще остается загадочным, но конкурирующие теории включают внутреннюю размерность [73], квантование задач [78], теорию ресурсов [79], случайные признаки [77], композиционную разреженность [66] и максимальность [25]. Эта статья вносит свой вклад в данное пространство, показывая, что высокоразмерная функция может неожиданно масштабироваться как одномерная функция (что является наилучшей возможной границей, на которую можно надеяться), если она имеет гладкое представление Колмогорова-Арнольда. Наша статья привносит новый оптимизм в законы нейронного масштабирования, поскольку она обещает самую быструю экспоненту масштабирования из когда-либо существовавших. В наших экспериментах мы показали, что этот быстрый закон нейронного масштабирования может быть достигнут на синтетических наборах данных, но необходимы будущие исследования, чтобы ответить на вопрос, достижимо ли это быстрое масштабирование для более сложных задач (например, языкового моделирования): существуют ли представления KA для общих задач? Если да, то находит ли наше обучение эти представления на практике?
Механистическая интерпретируемость (МИ). МИ — это новая область, которая направлена на механистическое понимание внутренней работы нейронных сетей [80, 81, 82, 83, 84, 85, 86, 87, 5]. Исследования МИ можно условно разделить на пассивные и активные исследования МИ. Большинство исследований МИ пассивны в том, что они сосредоточены на понимании существующих нейронных сетей, обученных стандартными методами. Активные исследования МИ пытаются достичь интерпретируемости путем проектирования внутренне интерпретируемых архитектур или разработки методов обучения для явного поощрения интерпретируемости [86, 87]. Наша работа относится ко второй категории, где модель и метод обучения по своей сути являются интерпретируемыми.
Обучаемые активации. Идея обучаемых активаций в нейронных сетях не нова в машинном обучении. Обучаемые функции активации изучаются дифференцируемым способом [88, 14, 89, 90] или ищутся дискретным способом [91]. Функция активации параметризуется как полиномы [88], сплайны [14, 92, 93], сигмоидальные линейные единицы [89] или нейронные сети [90]. KAN используют B-сплайны для параметризации своих функций активации. Мы также представляем наши предварительные результаты по обучаемым сетям активации (learnable activation networks LAN), свойства которых лежат между KAN и MLP, и их результаты приведены в Приложении B, чтобы сосредоточиться на KAN в основной статье.
Символическая регрессия. Существует множество готовых методов символической регрессии, основанных на генетических алгоритмах (Eureka [94], GPLearn [95], PySR [96]), методах на основе нейронных сетей (EQL [97], OccamNet [98]), методах, вдохновленных физикой (AI Feynman [36, 37]), и методах, основанных на обучении с подкреплением [99]. KAN больше всего похожи на методы на основе нейронных сетей, но отличаются от предыдущих работ тем, что наши функции активации непрерывно изучаются перед символическим привязкой, а не фиксируются вручную [94, 98].
Physics-Informed Neural Networks (PINN) и Physics-Informed Neural Operators (PINO). В подразделе 3.4 мы демонстрируем, что KAN могут заменить парадигму использования MLP для определения потерь PDE при решении PDE. Мы ссылаемся на Deep Ritz Method [100], PINN [38, 39, 101] для решения PDE и Fourier Neural Operator [102], PINO [103, 104, 105], DeepONet [106] для методов обучения операторов, изучающих карту решений. Существует потенциал для замены MLP на KAN во всех вышеупомянутых сетях.
ИИ для математики. Как мы видели в Подразделе 4.3, ИИ недавно был применен к нескольким проблемам в теории узлов, включая определение того, является ли узел неразвязанным (unknot) [107, 108] или ленточным узлом (ribbon) [46], а также предсказание инвариантов узлов и выявление связей между ними [109, 110, 111, 45]. Для обзора приложений науки о данных к наборам данных в математике и теоретической физике см., например, [112, 113], а для идей о том, как получить строгие результаты с помощью методов МО в этих областях, см. [114].

6 Обсуждения

В этом разделе мы обсуждаем ограничения KAN и будущие направления с точки зрения математической основы, алгоритмов и приложений.
Математические аспекты: Хотя мы представили предварительный математический анализ KAN (теорема 2.1), наше математическое понимание их все еще очень ограничено. Теорема о представлении Колмогорова-Арнольда была тщательно изучена в математике, но теорема соответствует KAN с формой [n, 2n + 1, 1] , которая является очень ограниченным подклассом KAN. Означает ли наш эмпирический успех с более глубокими KAN что-то фундаментальное в математике? Привлекательная обобщенная теорема Колмогорова-Арнольда могла бы определить «более глубокие» представления Колмогорова-Арнольда за пределами композиций глубины 2 и потенциально связать гладкость функций активации с глубиной. Гипотетически существуют функции, которые не могут быть представлены гладко (глубина 2) в исходных представлениях Колмогорова-Арнольда, но могут быть гладко представлены с глубиной 3 или выше. Можем ли мы использовать это понятие «глубины Колмогорова-Арнольда» для характеристики классов функций?
Алгоритмические аспекты: Мы обсуждаем следующее:
(1) Точность (Accuracy). Множественные варианты в архитектурном проектировании и обучении не полностью исследованы, поэтому альтернативы могут потенциально дополнительно повысить точность. Например, функции активации сплайна могут быть заменены радиальными базисными функциями или другими локальными ядрами. Могут использоваться стратегии адаптивной сетки.
(2) Эффективность. Одна из основных причин, по которой KAN работают медленно, заключается в том, что разные функции активации не могут использовать пакетные вычисления (большие данные через одну и ту же функцию). На самом деле, можно провести интерполяцию между одинаковыми функциями активации (MLP) и разными функциями активации (KAN), сгруппировав функции активации в несколько групп (“многоголовые”), где члены группы совместно используют одну и ту же функцию активации.
(3) Гибрид KAN и MLP. KAN имеют два основных отличия от MLP:
(i) функции активации находятся на ребрах, а не в узлах,
(ii) функции активации являются обучаемыми, а не фиксированными
Какое изменение более существенно для объяснения преимущества KAN? Мы представляем наши предварительные результаты в Приложении B, где мы изучаем модель, которая имеет (ii), т. е. функции активации обучаемы (как KAN), но не (i), т. е. функции активации находятся на узлах (как MLP). Более того, можно также построить другую модель с фиксированными активациями (как MLP), но на ребрах (как KAN).
(4) Адаптивность. Благодаря внутренней локальности базисных функций сплайнов мы можем ввести адаптивность в проектирование и обучение KAN для повышения как точности, так и эффективности: см. идею многоуровневого обучения, например, многосеточные методы, как в [115, 116], или доменно-зависимые базисные функции, например, многомасштабные методы, как в [117].
Аспекты применения: Мы представили некоторые предварительные доказательства того, что KAN более эффективны, чем MLP, в задачах, связанных с наукой, например, подгонка физических уравнений и решение PDE. Мы хотели бы применить KAN для решения уравнений Навье-Стокса, теории функционала плотности или любых других задач, которые можно сформулировать как регрессию или решение PDE. Мы также хотели бы применить KAN к задачам, связанным с машинным обучением, которые потребуют интеграции KAN в текущие архитектуры, например, трансформеры — можно предложить «кансформеры»(«kansformers»), которые заменяют MLP на KAN в трансформерах.
KAN как «языковая модель» для AI + Science: Причина, по которой большие языковые модели так преобразуют мир, заключается в том, что они полезны всем, кто владеет естественным языком. Язык науки — это функции. KAN состоят из интерпретируемых функций, поэтому, когда пользователь смотрит на KAN, это похоже на общение с ним с помощью языка функций.

Рисунок 6.1: Должен ли я использовать KAN или MLP?

Цель этого параграфа — продвижение парадигмы ИИ-ученый-сотрудничество (AI-Scientist-Collaboration), а не нашего конкретного инструмента KAN. Так же, как люди используют разные языки для общения, мы ожидаем, что в будущем KAN будут всего лишь одним из языков для AI + Science, хотя KAN будут одним из самых первых языков, которые позволят ИИ и человеку общаться. Однако, благодаря KAN, парадигма ИИ-ученый-сотрудничество никогда не была такой простой и удобной, что заставляет нас переосмыслить парадигму того, как мы хотим подходить к AI + Science: нам нужны ученые ИИ или нам нужен ИИ, который помогает ученым? Внутренняя сложность (полностью автоматизированных) ученых ИИ заключается в том, что трудно сделать человеческие предпочтения количественными, что кодифицировало бы человеческие предпочтения в цели ИИ. Фактически, ученые в разных областях могут по-разному относиться к тому, какие функции просты или интерпретируемы. В результате для ученых более желательно иметь ИИ, который может говорить на научном языке (функциях) и может удобно взаимодействовать с индуктивными предубеждениями отдельных ученых, чтобы адаптироваться к конкретной научной области.

Заключительный вывод: следует ли использовать KAN или MLP?
В настоящее время самым большим узким местом KAN является медленное обучение. KAN обычно в 10 раз медленнее MLP, учитывая то же количество параметров. Мы должны быть честны, что не пытались оптимизировать эффективность KAN, поэтому мы считаем медленное обучение KAN скорее инженерной проблемой, которую необходимо улучшить в будущем, а не фундаментальным ограничением. Если кто-то хочет быстро обучить модель, следует использовать MLP. Однако в других случаях KAN должны быть сопоставимы или лучше MLP, что делает их достойными попытки. Дерево решений на рисунке 6.1 может помочь решить, когда использовать KAN. Короче говоря, если вас волнует интерпретируемость и/или точность, а медленное обучение не является основной проблемой, мы предлагаем попробовать KAN, по крайней мере, для небольших задач AI+Science.

Признание

Мы хотели бы поблагодарить Mikail Khona, Tomaso Poggio, Pingchuan Ma, Rui Wang, Di Luo, Sara Beery, Catherine Liang, Yiping Lu, Nicholas H. Nelsen, Nikola Kovachki, Jonathan W. Siegel, Hongkai Zhao, Juncai He, Shi Lab (Humphrey Shi, Steven Walton, Chuanhao Yan) and Matthieu Darcy for fruitful discussion and constructive suggestions. Z.L., F.R., J.H., M.S. and M.T. are supported by IAIFI through NSF grant PHY-2019786.
Работа FR дополнительно поддерживается грантом NSF PHY-2210333 и стартапом от Northeastern University. У.В и Т.Х., поддерживаются грантом NSF DMS-2205590 и Choi Family Gift Fund. S. V. и M. S. выражают благодарность со стороны Многопрофильной исследовательской инициативы университета (MURI) U.S. Office of Naval Research (ONR) по гранту No N00014-20-1-2325 на устойчивые фотонные материалы с топологической защитой высшего порядка.

Ссылки

118 ссылок на источники

[1] Simon Haykin. Neural networks: a comprehensive foundation. Prentice Hall PTR, 1994.

[2] George Cybenko. Approximation by superpositions of a sigmoidal function. Mathematics of control, signals and systems, 2(4):303–314, 1989.

[3] Kurt Hornik, Maxwell Stinchcombe, and Halbert White. Multilayer feedforward networks are universal approximators. Neural networks, 2(5):359–366, 1989.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017.

[5] Hoagy Cunningham, Aidan Ewart, Logan Riggs, Robert Huben, and Lee Sharkey. Sparse autoencoders find highly interpretable features in language models. arXiv preprint arXiv:2309.08600, 2023.

[6] A.N. Kolmogorov. On the representation of continuous functions of several variables as superpositions of continuous functions of a smaller number of variables. Dokl. Akad. Nauk, 108(2), 1956.

[7] Andrei Nikolaevich Kolmogorov. On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition. In Doklady Akademii Nauk, volume 114, pages 953–956. Russian Academy of Sciences, 1957.

[8] Jürgen Braun and Michael Griebel. On a constructive proof of kolmogorov’s superposition theorem. Constructive approximation, 30:653–675, 2009.

[9] David A Sprecher and Sorin Draghici. Space-filling curves and kolmogorov superpositionbased neural networks. Neural Networks, 15(1):57–67, 2002.

[10] Mario Köppen. On the training of a kolmogorov network. In Artificial Neural Networks—ICANN 2002: International Conference Madrid, Spain, August 28–30, 2002 Proceedings 12, pages 474–479. Springer, 2002.

[11] Ji-Nan Lin and Rolf Unbehauen. On the realization of a kolmogorov network. Neural Computation, 5(1):18–20, 1993.

[12] Ming-Jun Lai and Zhaiming Shen. The kolmogorov superposition theorem can break the curse of dimensionality when approximating high dimensional functions. arXiv preprint arXiv:2112.09963, 2021.

[13] Pierre-Emmanuel Leni, Yohan D Fougerolle, and Frédéric Truchetet. The kolmogorov spline network for image processing. In Image Processing: Concepts, Methodologies, Tools, and Applications, pages 54–78. IGI Global, 2013.

[14] Daniele Fakhoury, Emanuele Fakhoury, and Hendrik Speleers. Exsplinet: An interpretable and expressive spline-based neural network. Neural Networks, 152:332–346, 2022.

[15] Hadrien Montanelli and Haizhao Yang. Error bounds for deep relu networks using the kolmogorov–arnold superposition theorem. Neural Networks, 129:1–6, 2020.

[16] Juncai He. On the optimal expressive power of relu dnns and its application in approximation with kolmogorov superposition theorem. arXiv preprint arXiv:2308.05509, 2023.

[17] Juncai He, Lin Li, Jinchao Xu, and Chunyue Zheng. Relu deep neural networks and linear finite elements. arXiv preprint arXiv:1807.03973, 2018.

[18] Juncai He and Jinchao Xu. Deep neural networks and finite elements of any order on arbitrary dimensions. arXiv preprint arXiv:2312.14276, 2023.

[19] Tomaso Poggio, Andrzej Banburski, and Qianli Liao. Theoretical issues in deep networks. Proceedings of the National Academy of Sciences, 117(48):30039–30045, 2020.

[20] Federico Girosi and Tomaso Poggio. Representation properties of networks: Kolmogorov’s theorem is irrelevant. Neural Computation, 1(4):465–469, 1989.

[21] Henry W Lin, Max Tegmark, and David Rolnick. Why does deep and cheap learning work so well? Journal of Statistical Physics, 168:1223–1247, 2017.

[22] Hongyi Xu, Funshing Sin, Yufeng Zhu, and Jernej Barbic. Nonlinear material design usingˇ principal stretches. ACM Transactions on Graphics (TOG), 34(4):1–11, 2015.

[23] Carl De Boor. A practical guide to splines, volume 27. springer-verlag New York, 1978.

[24] Utkarsh Sharma and Jared Kaplan. A neural scaling law from the dimension of the data manifold. arXiv preprint arXiv:2004.10802, 2020.

[25] Eric J Michaud, Ziming Liu, and Max Tegmark. Precision machine learning. Entropy, 25(1):175, 2023.

[26] Joel L Horowitz and Enno Mammen. Rate-optimal estimation for a general class of nonparametric regression models with unknown link functions. 2007.

[27] Michael Kohler and Sophie Langer. On the rate of convergence of fully connected deep neural network regression estimates. The Annals of Statistics, 49(4):2231–2249, 2021.

[28] Johannes Schmidt-Hieber. Nonparametric regression using deep neural networks with relu activation function. 2020.

[29] Ronald A DeVore, Ralph Howard, and Charles Micchelli. Optimal nonlinear approximation. Manuscripta mathematica, 63:469–478, 1989.

[30] Ronald A DeVore, George Kyriazis, Dany Leviatan, and Vladimir M Tikhomirov. Wavelet compression and nonlinear n-widths. Adv. Comput. Math., 1(2):197–214, 1993.

[31] Jonathan W Siegel. Sharp lower bounds on the manifold widths of sobolev and besov spaces. arXiv preprint arXiv:2402.04407, 2024.

[32] Dmitry Yarotsky. Error bounds for approximations with deep relu networks. Neural Networks, 94:103–114, 2017.

[33] Peter L Bartlett, Nick Harvey, Christopher Liaw, and Abbas Mehrabian. Nearly-tight vcdimension and pseudodimension bounds for piecewise linear neural networks. Journal of Machine Learning Research, 20(63):1–17, 2019.

[34] Jonathan W Siegel. Optimal approximation rates for deep relu neural networks on sobolev and besov spaces. Journal of Machine Learning Research, 24(357):1–52, 2023.

[35] Yongji Wang and Ching-Yao Lai. Multi-stage neural networks: Function approximator of machine precision. Journal of Computational Physics, page 112865, 2024.

[36] Silviu-Marian Udrescu and Max Tegmark. Ai feynman: A physics-inspired method for symbolic regression. Science Advances, 6(16):eaay2631, 2020.

[37] Silviu-Marian Udrescu, Andrew Tan, Jiahai Feng, Orisvaldo Neto, Tailin Wu, and Max Tegmark. Ai feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity. Advances in Neural Information Processing Systems, 33:4860–4871, 2020.

[38] Maziar Raissi, Paris Perdikaris, and George E Karniadakis. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378:686–707, 2019.

[39] George Em Karniadakis, Ioannis G Kevrekidis, Lu Lu, Paris Perdikaris, Sifan Wang, and Liu Yang. Physics-informed machine learning. Nature Reviews Physics, 3(6):422–440, 2021.

[40] Ronald Kemker, Marc McClure, Angelina Abitino, Tyler Hayes, and Christopher Kanan. Measuring catastrophic forgetting in neural networks. In Proceedings of the AAAI conference on artificial intelligence, volume 32, 2018.

[41] Bryan Kolb and Ian Q Whishaw. Brain plasticity and behavior. Annual review of psychology, 49(1):43–64, 1998.

[42] David Meunier, Renaud Lambiotte, and Edward T Bullmore. Modular and hierarchically modular organization of brain networks. Frontiers in neuroscience, 4:7572, 2010.

[43] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al. Overcoming catastrophic forgetting in neural networks. Proceedings of the national academy of sciences, 114(13):3521–3526, 2017.

[44] Aojun Lu, Tao Feng, Hangjie Yuan, Xiaotian Song, and Yanan Sun. Revisiting neural networks for continual learning: An architectural perspective, 2024.

[45] Alex Davies, Petar Velickoviˇ c, Lars Buesing, Sam Blackwell, Daniel Zheng, Nenad Tomašev,´ Richard Tanburn, Peter Battaglia, Charles Blundell, András Juhász, et al. Advancing mathematics by guiding human intuition with ai. Nature, 600(7887):70–74, 2021.

[46] Sergei Gukov, James Halverson, Ciprian Manolescu, and Fabian Ruehle. Searching for ribbons with machine learning, 2023.

[47] P. Petersen. Riemannian Geometry. Graduate Texts in Mathematics. Springer New York, 2006.

[48] Philip W Anderson. Absence of diffusion in certain random lattices. Physical review, 109(5):1492, 1958.

[49] David J Thouless. A relation between the density of states and range of localization for one dimensional random systems. Journal of Physics C: Solid State Physics, 5(1):77, 1972.

[50] Elihu Abrahams, PW Anderson, DC Licciardello, and TV Ramakrishnan. Scaling theory of localization: Absence of quantum diffusion in two dimensions. Physical Review Letters, 42(10):673, 1979.

[51] Ad Lagendijk, Bart van Tiggelen, and Diederik S Wiersma. Fifty years of anderson localization. Physics today, 62(8):24–29, 2009.

[52] Mordechai Segev, Yaron Silberberg, and Demetrios N Christodoulides. Anderson localization of light. Nature Photonics, 7(3):197–204, 2013.

[53] Z Valy Vardeny, Ajay Nahata, and Amit Agrawal. Optics of photonic quasicrystals. Nature photonics, 7(3):177–187, 2013.

[54] Sajeev John. Strong localization of photons in certain disordered dielectric superlattices. Physical review letters, 58(23):2486, 1987.

[55] Yoav Lahini, Rami Pugatch, Francesca Pozzi, Marc Sorel, Roberto Morandotti, Nir Davidson, and Yaron Silberberg. Observation of a localization transition in quasiperiodic photonic lattices. Physical review letters, 103(1):013901, 2009.

[56] Sachin Vaidya, Christina Jörg, Kyle Linn, Megan Goh, and Mikael C Rechtsman. Reentrant delocalization transition in one-dimensional photonic quasicrystals. Physical Review Research, 5(3):033170, 2023.

[57] Wojciech De Roeck, Francois Huveneers, Markus Müller, and Mauro Schiulaz. Absence of many-body mobility edges. Physical Review B, 93(1):014203, 2016.

[58] Xiaopeng Li, Sriram Ganeshan, JH Pixley, and S Das Sarma. Many-body localization and quantum nonergodicity in a model with a single-particle mobility edge. Physical review letters, 115(18):186601, 2015.

[59] Fangzhao Alex An, Karmela Padavic, Eric J Meier, Suraj Hegde, Sriram Ganeshan, JH Pixley,´ Smitha Vishveshwara, and Bryce Gadway. Interactions and mobility edges: Observing the generalized aubry-andré model. Physical review letters, 126(4):040603, 2021.

[60] J Biddle and S Das Sarma. Predicted mobility edges in one-dimensional incommensurate optical lattices: An exactly solvable model of anderson localization. Physical review letters, 104(7):070601, 2010.

[61] Alexander Duthie, Sthitadhi Roy, and David E Logan. Self-consistent theory of mobility edges in quasiperiodic chains. Physical Review B, 103(6):L060201, 2021.

[62] Sriram Ganeshan, JH Pixley, and S Das Sarma. Nearest neighbor tight binding models with an exact mobility edge in one dimension. Physical review letters, 114(14):146601, 2015.

[63] Yucheng Wang, Xu Xia, Long Zhang, Hepeng Yao, Shu Chen, Jiangong You, Qi Zhou, and Xiong-Jun Liu. One-dimensional quasiperiodic mosaic lattice with exact mobility edges. Physical Review Letters, 125(19):196604, 2020.

[64] Yucheng Wang, Xu Xia, Yongjian Wang, Zuohuan Zheng, and Xiong-Jun Liu. Duality between two generalized aubry-andré models with exact mobility edges. Physical Review B, 103(17):174205, 2021.

[65] Xin-Chi Zhou, Yongjian Wang, Ting-Fung Jeffrey Poon, Qi Zhou, and Xiong-Jun Liu. Exact new mobility edges between critical and localized states. Physical Review Letters, 131(17):176401, 2023.

[66] Tomaso Poggio. How deep sparse networks avoid the curse of dimensionality: Efficiently computable functions are compositionally sparse. CBMM Memo, 10:2022, 2022.

[67] Johannes Schmidt-Hieber. The kolmogorov–arnold representation theorem revisited. Neural networks, 137:119–126, 2021.

[68] Aysu Ismayilova and Vugar E Ismailov. On the kolmogorov neural networks. Neural Networks, page 106333, 2024.

[69] Michael Poluektov and Andrew Polar. A new iterative method for construction of the kolmogorov-arnold representation. arXiv preprint arXiv:2305.08194, 2023.

[70] Rishabh Agarwal, Levi Melnick, Nicholas Frosst, Xuezhou Zhang, Ben Lengerich, Rich Caruana, and Geoffrey E Hinton. Neural additive models: Interpretable machine learning with neural nets. Advances in neural information processing systems, 34:4699–4711, 2021.

[71] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Russ R Salakhutdinov, and Alexander J Smola. Deep sets. Advances in neural information processing systems, 30, 2017.

[72] Huan Song, Jayaraman J Thiagarajan, Prasanna Sattigeri, and Andreas Spanias. Optimizing kernel machines using deep learning. IEEE transactions on neural networks and learning systems, 29(11):5528–5540, 2018.

[73] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

[74] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv preprint arXiv:2010.14701, 2020.

[75] Mitchell A Gordon, Kevin Duh, and Jared Kaplan. Data and parameter scaling laws for neural machine translation. In ACL Rolling Review - May 2021, 2021.

[76] Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Mostofa Ali Patwary, Yang Yang, and Yanqi Zhou. Deep learning scaling is predictable, empirically. arXiv preprint arXiv:1712.00409, 2017.

[77] Yasaman Bahri, Ethan Dyer, Jared Kaplan, Jaehoon Lee, and Utkarsh Sharma. Explaining neural scaling laws. arXiv preprint arXiv:2102.06701, 2021.

[78] Eric J Michaud, Ziming Liu, Uzay Girit, and Max Tegmark. The quantization model of neural scaling. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[79] Jinyeop Song, Ziming Liu, Max Tegmark, and Jeff Gore. A resource model for neural scaling law. arXiv preprint arXiv:2402.05164, 2024.

[80] Catherine Olsson, Nelson Elhage, Neel Nanda, Nicholas Joseph, Nova DasSarma, Tom Henighan, Ben Mann, Amanda Askell, Yuntao Bai, Anna Chen, et al. In-context learning and induction heads. arXiv preprint arXiv:2209.11895, 2022.

[81] Kevin Meng, David Bau, Alex Andonian, and Yonatan Belinkov. Locating and editing factual associations in gpt. Advances in Neural Information Processing Systems, 35:17359–17372, 2022.

[82] Kevin Ro Wang, Alexandre Variengien, Arthur Conmy, Buck Shlegeris, and Jacob Steinhardt. Interpretability in the wild: a circuit for indirect object identification in GPT-2 small. In The Eleventh International Conference on Learning Representations, 2023.

[83] Nelson Elhage, Tristan Hume, Catherine Olsson, Nicholas Schiefer, Tom Henighan, Shauna Kravec, Zac Hatfield-Dodds, Robert Lasenby, Dawn Drain, Carol Chen, et al. Toy models of superposition. arXiv preprint arXiv:2209.10652, 2022.

[84] Neel Nanda, Lawrence Chan, Tom Lieberum, Jess Smith, and Jacob Steinhardt. Progress measures for grokking via mechanistic interpretability. In The Eleventh International Conference on Learning Representations, 2023.

[85] Ziqian Zhong, Ziming Liu, Max Tegmark, and Jacob Andreas. The clock and the pizza: Two stories in mechanistic explanation of neural networks. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[86] Ziming Liu, Eric Gan, and Max Tegmark. Seeing is believing: Brain-inspired modular training for mechanistic interpretability. Entropy, 26(1):41, 2023.

[87] Nelson Elhage, Tristan Hume, Catherine Olsson, Neel Nanda, Tom Henighan, Scott Johnston, Sheer ElShowk, Nicholas Joseph, Nova DasSarma, Ben Mann, Danny Hernandez, Amanda Askell, Kamal Ndousse, Andy Jones, Dawn Drain, Anna Chen, Yuntao Bai, Deep Ganguli, Liane Lovitt, Zac Hatfield-Dodds, Jackson Kernion, Tom Conerly, Shauna Kravec, Stanislav Fort, Saurav Kadavath, Josh Jacobson, Eli Tran-Johnson, Jared Kaplan, Jack Clark, Tom Brown, Sam McCandlish, Dario Amodei, and Christopher Olah. Softmax linear units. Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/solu/index.html.

[88] Mohit Goyal, Rajan Goyal, and Brejesh Lall. Learning activation functions: A new paradigm for understanding neural networks. arXiv preprint arXiv:1906.09529, 2019.

[89] Prajit Ramachandran, Barret Zoph, and Quoc V Le. Searching for activation functions. arXiv preprint arXiv:1710.05941, 2017.

[90] Shijun Zhang, Zuowei Shen, and Haizhao Yang. Neural network architecture beyond width and depth. Advances in Neural Information Processing Systems, 35:5669–5681, 2022.

[91] Garrett Bingham and Risto Miikkulainen. Discovering parametric activation functions. Neural Networks, 148:48–65, 2022.

[92] Pakshal Bohra, Joaquim Campos, Harshit Gupta, Shayan Aziznejad, and Michael Unser. Learning activation functions in deep (spline) neural networks. IEEE Open Journal of Signal Processing, 1:295–309, 2020.

[93] Shayan Aziznejad and Michael Unser. Deep spline networks with control of lipschitz regularity. In ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 3242–3246. IEEE, 2019.

[94] Renáta Dubcáková. Eureqa: software review. Genetic Programming and Evolvable Machines, 12:173–178, 2011.

[95] Gplearn. https://github.com/trevorstephens/gplearn. Accessed: 2024-04-19.

[96] Miles Cranmer. Interpretable machine learning for science with pysr and symbolicregression. jl. arXiv preprint arXiv:2305.01582, 2023.

[97] Georg Martius and Christoph H Lampert. Extrapolation and learning equations. arXiv preprint arXiv:1610.02995, 2016.

[98] Owen Dugan, Rumen Dangovski, Allan Costa, Samuel Kim, Pawan Goyal, Joseph Jacobson, and Marin Soljaciˇ c. Occamnet: A fast neural model for symbolic regression at scale.´ arXiv preprint arXiv:2007.10784, 2020.

[99] Terrell N. Mundhenk, Mikel Landajuela, Ruben Glatt, Claudio P. Santiago, Daniel faissol, and Brenden K. Petersen. Symbolic regression via deep reinforcement learning enhanced genetic programming seeding. In A. Beygelzimer, Y. Dauphin, P. Liang, and J. Wortman Vaughan, editors, Advances in Neural Information Processing Systems, 2021.

[100] Bing Yu et al. The deep ritz method: a deep learning-based numerical algorithm for solving variational problems. Communications in Mathematics and Statistics, 6(1):1–12, 2018.

[101] Junwoo Cho, Seungtae Nam, Hyunmo Yang, Seok-Bae Yun, Youngjoon Hong, and Eunbyung Park. Separable physics-informed neural networks. Advances in Neural Information Processing Systems, 36, 2024.

[102] Zongyi Li, Nikola Kovachki, Kamyar Azizzadenesheli, Burigede Liu, Kaushik Bhattacharya, Andrew Stuart, and Anima Anandkumar. Fourier neural operator for parametric partial differential equations. arXiv preprint arXiv:2010.08895, 2020.

[103] Zongyi Li, Hongkai Zheng, Nikola Kovachki, David Jin, Haoxuan Chen, Burigede Liu, Kamyar Azizzadenesheli, and Anima Anandkumar. Physics-informed neural operator for learning partial differential equations. ACM/JMS Journal of Data Science, 2021.

[104] Nikola Kovachki, Zongyi Li, Burigede Liu, Kamyar Azizzadenesheli, Kaushik Bhattacharya, Andrew Stuart, and Anima Anandkumar. Neural operator: Learning maps between function spaces with applications to pdes. Journal of Machine Learning Research, 24(89):1–97, 2023.

[105] Haydn Maust, Zongyi Li, Yixuan Wang, Daniel Leibovici, Oscar Bruno, Thomas Hou, and Anima Anandkumar. Fourier continuation for exact derivative computation in physicsinformed neural operators. arXiv preprint arXiv:2211.15960, 2022.

[106] Lu Lu, Pengzhan Jin, Guofei Pang, Zhongqiang Zhang, and George Em Karniadakis. Learning nonlinear operators via deeponet based on the universal approximation theorem of operators. Nature machine intelligence, 3(3):218–229, 2021.

[107] Sergei Gukov, James Halverson, Fabian Ruehle, and Piotr Sułkowski. Learning to Unknot. Mach. Learn. Sci. Tech., 2(2):025035, 2021.

[108] L. H. Kauffman, N. E. Russkikh, and I. A. Taimanov. Rectangular knot diagrams classification with deep learning, 2020.

[109] Mark C Hughes. A neural network approach to predicting and computing knot invariants.

Journal of Knot Theory and Its Ramifications, 29(03):2050005, 2020.

[110] Jessica Craven, Vishnu Jejjala, and Arjun Kar. Disentangling a deep learned volume formula. JHEP, 06:040, 2021.

[111] Jessica Craven, Mark Hughes, Vishnu Jejjala, and Arjun Kar. Illuminating new and known relations between knot invariants. 11 2022.

[112] Fabian Ruehle. Data science applications to string theory. Phys. Rept., 839:1–117, 2020.

[113] Y.H. He. Machine Learning in Pure Mathematics and Theoretical Physics. G - Reference,Information and Interdisciplinary Subjects Series. World Scientific, 2023.

[114] Sergei Gukov, James Halverson, and Fabian Ruehle. Rigor with machine learning from field theory to the poincaréconjecture. Nature Reviews Physics, 2024.

[115] Shumao Zhang, Pengchuan Zhang, and Thomas Y Hou. Multiscale invertible generative networks for high-dimensional bayesian inference. In International Conference on Machine Learning, pages 12632–12641. PMLR, 2021.

[116] Jinchao Xu and Ludmil Zikatanov. Algebraic multigrid methods. Acta Numerica, 26:591– 721, 2017.

[117] Yifan Chen, Thomas Y Hou, and Yixuan Wang. Exponentially convergent multiscale finite element method. Communications on Applied Mathematics and Computation, pages 1–17, 2023.

[118] Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, and Gordon Wetzstein. Implicit neural representations with periodic activation functions. Advances in neural information processing systems, 33:7462–7473, 2020.

Приложение
A Функциональные возможности KAN
Таблица 6 содержит общие функции, которые могут оказаться полезными для пользователей.

Таблица 6 Функциональные возможности KAN

B Обучаемые сети активации (LAN)
B.1 Архитектура
Помимо KAN, мы также предложили другой тип обучаемых сетей активации (learnable activation networks LAN), которые почти являются MLP, но с обучаемыми функциями активации, параметризованными как сплайны. KAN имеют два основных изменения по сравнению со стандартными MLP: (1) функции активации становятся обучаемыми, а не фиксированными; (2) функции активации размещаются на ребрах, а не в узлах. Чтобы разделить эти два фактора, мы также предлагаем обучаемые сети активации (LAN), которые имеют только обучаемые активации, но все еще в узлах, как показано на рисунке B.1.
Для LAN с шириной , глубиной L и числом точек сетки число параметров равно N^2L+NLG , где N^2L — число параметров для весовых матриц, а NLG — число параметров для активаций сплайнов, что приводит к небольшим накладным расходам в дополнение к MLP, поскольку обычно G ≪ N , поэтому NLG ≪ N^2L . LAN похожи на MLP, поэтому их можно инициализировать из предварительно обученных MLP и настраивать, разрешая обучаемые функции активации. Примером может служить использование LAN для улучшения SIREN, представленное в разделе B.3.

Сравнение LAN и KAN. Плюсы LAN

(1) LAN концептуально проще KAN. Они ближе к стандартным MLP (единственное изменение — функции активации становятся обучаемыми).
(2) LAN масштабируются лучше, чем KAN. LAN/KAN имеют обучаемые функции активации на узлах/ребрах соответственно. Таким образом, параметры активации в LAN/KAN масштабируются как N/N^2 , где — ширина модели.
Минусы локальных сетей:
(1) Локальные сети кажутся менее интерпретируемыми (матрицы весов трудно интерпретировать, как и в многослойных перцептронах);
(2) LAN также кажутся менее точными, чем KAN, но все еще более точными, чем MLP. Как и KAN, LAN также допускают расширение сетки, если функции активации LAN параметризованы сплайнами.

B.2 Результаты интерпретируемости локальной сети

Мы представляем предварительные результаты интерпретируемости LAN на рисунке B.2. С теми же примерами на рисунке 4.1, для которых KAN прекрасно интерпретируются, LAN кажутся гораздо менее интерпретируемыми из-за существования весовых матриц.

Рисунок B1: Обучение обучаемой активационной сети (LAN) на игрушечном примере f(x,y) = exp(sin(πx)+y2).

Рисунок B1: Обучение обучаемой активационной сети (LAN) на игрушечном примере f(x,y) = exp(sin(πx)+y²).

Рисунок B.2: LAN на синтетических примерах. LANне кажутся очень интерпретируемыми. Мы предполагаем, что матрицы весов оставляют слишком много степеней свободы.

Во-первых, весовые матрицы не так легко интерпретируемы, чем обучаемые функции активации. Во-вторых, весовые матрицы привносят слишком много степеней свободы, делая обучаемые функции активации слишком неограниченными. Наши предварительные результаты с LAN, по-видимому, подразумевают, что избавление от линейных весовых матриц (путем наличия обучаемых активаций на ребрах, как KAN) необходимо для интерпретируемости.

B.3 Подгонка изображений (LAN)

Неявные нейронные представления рассматривают изображения как двумерные функции f(x, y) , где значение пикселя является функцией двух координат пикселя и . Для сжатия изображения такое неявное нейронное представление (- нейронная сеть) может достичь впечатляющего сжатия параметров, сохраняя при этом почти исходное качество изображения. SIREN [118] предложил использовать MLP с периодическими функциями активации для соответствия функции . Естественно рассмотреть другие функции активации, которые разрешены в локальных сетях. Однако, поскольку мы инициализируем активации локальной сети так, чтобы они были плавными, а SIREN требует высокочастотных функций, локальная сеть работает медленно. Обратите внимание, что каждая функция активации в локальных сетях представляет собой сумму базовой функции и функции сплайна, т. е. ϕ(x) = b(x) + spline(x) , мы задаем b(x) синусоидальными функциями,

Рисунок B.3: Сеть SIREN (фиксированные синусоидальные активации) может быть адаптирована к локальным сетям (обучаемые активации) для улучшения представления изображений.

аналогично настройке, что и в SIREN, но пусть spline(x) будет обучаемым. Как для MLP, так и для LAN форма имеет вид [2,128,128,128,128,128,1].
Мы обучаем их с помощью оптимизатора Adam, размер batch4096, для 5000 шагов со скоростью обучения 10⁻³ и 5000 шагов со скоростью обучения 10⁻⁴. Как показано на рисунке B.3, LAN (оранжевый) может достичь более высокого PSNR, чем MLP (синий) из-за гибкости LAN для тонкой настройки функций активации. Мы показываем, что также возможно инициализировать LAN из MLP и дополнительно тонко настроить LAN (зеленый) для лучшего PSNR. Мы выбрали = 5 в наших экспериментах, поэтому дополнительное увеличение параметра составляет примерно $G/N = 5/128 ≈ 4\%$ по сравнению с исходными параметрами.

C Зависимость от гиперпараметров

Мы показываем влияние гиперпараметров на случай f(x, y) = exp(sin(πx) + y^2) на рисунке C.1. Чтобы получить интерпретируемый график, мы хотим, чтобы число активных функций активации было как можно меньше (в идеале 3).

(1) Нам нужен штраф энтропии, чтобы уменьшить количество активных функций активации. Без штрафа энтропии будет много дублирующих функций.
(2) Результаты могут зависеть от random seed. С некоторыми неудачными seed обрезанная сеть может быть больше, чем нужно.
(3) Общая сила штрафа эффективно контролирует разреженность.
(4) Число сетки G также имеет тонкое влияние на интерпретируемость. Когда слишком мало, поскольку каждая из функций активации не очень выразительна, сеть имеет тенденцию использовать стратегию ансамблирования, что затрудняет интерпретацию.
(5) Кусочно-полиномиальный порядок имеет только тонкое влияние на интерпретируемость. Однако он ведет себя немного как random seed, которые не демонстрируют никакой видимой закономерности в этом игрушечном примере.

Рисунок C.1: Влияние гиперпараметров на результаты интерпретируемости.

D Фейнман KAN

Мы приводим дополнительные результаты по набору данных Фейнмана (раздел 3.3). На рисунке D.1 показаны границы Парето KAN и MLP для каждого набора данных Фейнмана. На рисунках D.3 и D.2 визуализированы минимальные KAN (при ограничении теста RMSE < 10⁻²) и лучшие KAN (с наименьшими потерями теста RMSE) для каждой задачи подгонки уравнения Фейнмана.

E Примечание по размеру сетки

Для задач PDE и регрессии, когда мы выбираем данные обучения на равномерных сетках, мы наблюдаем внезапное увеличение потерь обучения (т. е. внезапное падение производительности), когда размер сетки обновляется до большого уровня, сопоставимого с различными точками обучения в одном пространственном направлении. Это может быть связано с реализацией B-сплайна в более высоких измерениях и требует дальнейшего изучения.

F KAN для специальных функций

Мы включили больше результатов в набор данных специальной функции (раздел 3.2). Рисунки F.2 и F.1 визуализируют минимальные KAN (при ограничении теста RMSE < 10⁻²) и лучшие KAN (с наименьшей потерей RMSE теста) для каждой задачи подгонки специальной функции.

Рисунок D.1: Границы Парето KAN и MLP для наборов данных Фейнмана.

В заключении в статье представлены рисунки
D.2: Best Feynman KANs
D.3: Minimal Feynman KANs
F.1: Best special KANs
F.2: Minimal special KANs
представляющие собой графики KAN по различным наборам данных, которые целесообразно изучить в оригинальной статье (всего рисунков 87).

Источник

Теги

ICO

Категория

Новости

Дата

7 нояб. 2024 г.

22.01.26 07:48 Kelvin Alfons

Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth. Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever. After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost. I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101
22.01.26 07:50 Kelvin Alfons

Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth. Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever. After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost. I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101
22.01.26 10:42 Tonerdomark

I got my money back from the Elon Musk scam. It cost me over 1 BTC and $55,000 in Dogecoin. Scammers vowed to double investments. Their sites seemed real. Fraud was tough to catch early. They hooked me with fast doubles in weeks or months. Videos showed Musk promising giveaways and gains. I bought in. I sent Bitcoin and Dogecoin in bits at first. Small sends worked. Then I wired my full savings. It vanished quick. No answers came. Bank account empty. Bills piled up. Loans covered rent and food. Sleep fled. Stress hit hard. Life crumbled. A friend spotted my trouble. He told of his scam loss last year. Same old plays. He pointed me to Sylvester Bryant, a recovery expert. Email Yt7cracker@gmail. com. WhatsApp +1 512 577 7957 or +44 7428 662701. Sylvester acted fast. He tracked blockchain trails. Dealt with exchanges. Outsmarted the scammers. In weeks, my Bitcoin came back. Even their phony profits too. Debts gone. Life back on track. Got hit? Contact him now.
22.01.26 19:25 Angela_Moore

Help to recover money from elon musk giveaway scam I got my money back from the Elon Musk scam. It cost me over 1 BTC and $55,000 in Dogecoin. Scammers vowed to double investments. Their sites seemed real. Fraud was tough to catch early. They hooked me with fast doubles in weeks or months. Videos showed Musk promising giveaways and gains. I bought in. I sent Bitcoin and Dogecoin in bits at first. Small sends worked. Then I wired my full savings. It vanished quick. No answers came. Bank account empty. Bills piled up. Loans covered rent and food. Sleep fled. Stress hit hard. Life crumbled. A friend spotted my trouble. He told of his scam loss last year. Same old plays. He pointed me to Sylvester Bryant, a recovery expert. Email Yt7cracker@gmail. com. WhatsApp +1 512 577 7957 or +44 7428 662701. Sylvester acted fast. He tracked blockchain trails. Dealt with exchanges. Outsmarted the scammers. In weeks, my Bitcoin came back. Even their phony profits too. Debts gone. Life back on track. Got hit? Contact him now.
23.01.26 07:35 Kelvin Alfons

Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth. Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever. After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost. I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101
23.01.26 07:35 Kelvin Alfons

Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth. Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever. After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost. I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101
26.01.26 10:36 alksnismareks

It all started when I decided to explore online trading as a way to grow my savings. Like many, I trusted what appeared to be a legitimate platform, only to find myself trapped in a nightmare. After making consistent trades and finally deciding to withdraw my profits, I was met with silence. My account was suddenly restricted—no warning, no explanation. Every attempt to contact the broker went unanswered or was met with vague, dismissive replies. For three long, agonizing months, I lived in uncertainty. I couldn’t sleep at night. I replayed every email, every transaction, wondering if I’d made a mistake. But deep down, I knew the truth: I hadn’t done anything wrong. The broker had simply decided to lock me out and keep my money. During that time, I felt completely powerless—like I was shouting into a void. The stress affected my health, my relationships, and my ability to focus on anything else. There were days I truly believed that $167,000 was gone forever, lost to the shadows of the unregulated online trading world. I even began to accept it as a painful lesson—one that would cost me dearly but might teach me to be more cautious in the future. But something inside me refused to surrender completely. That’s when I discovered TechY Force Cyber Retrieval. At first, I was cautious—after being scammed once, I didn’t want to fall victim again. But everything about TechY Force felt different. They were transparent from the start. No grand promises, no pressure tactics. Just clear, professional communication and a deep understanding of how these fraudulent brokers operate. Most importantly, they are a licensed specialist in binary options and forex fund recovery, which gave me the confidence to move forward. From our very first consultation, their team treated my case with urgency and empathy. They walked me through the entire process, explained the legal and technical avenues available, and assured me they would handle every detail. They collected documentation, analyzed transaction trails, and engaged directly with the payment processors and the broker using precise, strategic methods I never could have navigated on my own. What happened next was nothing short of miraculous. Within weeks, the broker—who had ignored me for months—began responding. And then, without any further drama or delays, my full $167,000 USD was returned to me. No deductions. No hidden fees. Just clean, complete recovery. The relief I felt was indescribable. It wasn’t just about the money—it was about reclaiming control, restoring trust, and proving that even in the face of deception, there are still good people who fight for what’s right. If you’ve been locked out of your trading account, scammed by a fake investment platform, or had your funds unjustly withheld, please know this: you are not alone, and your money may not be lost forever. Thanks to TechY Force Cyber Retrieval, I got my life back. Their expertise, integrity, and unwavering commitment turned my despair into deliverance. I cannot recommend them highly enough. To anyone reading this in distress: don’t give up. Reach out. Take that step. Because if someone like me—broken, doubtful, and nearly hopeless—can recover every dollar… so can you. WhatsApp them + 156 172 63 697 With heartfelt thanks and renewed hope, — A Recovered and Grateful Client
26.01.26 23:21 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
26.01.26 23:21 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
26.01.26 23:21 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.01.26 01:18 Kelvin Alfons

Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth. Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever. After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost. I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101
27.01.26 01:19 Kelvin Alfons

Hello everyone. I’d like to share my personal experience from one of the most challenging times in my life. I’m based in Sydney, Australia, and on November 13, 2025, I fell victim to a fraudulent cryptocurrency investment platform that promised substantial financial growth. Believing their claims, I invested a total of $220,000 with the expectation of earning solid returns. However, when I attempted to withdraw my funds, all communication abruptly stopped. My calls were ignored, my emails went unanswered, and I was left feeling completely powerless. Like many others, I had heard that Bitcoin transactions are impossible to trace, so I assumed my money was lost forever. After some time, I discovered information about GREAT WHIP RECOVERY CYBER SERVICES, a reputable digital asset recovery firm. I decided to reach out to them, and to my astonishment, they were able to help me recover the full amount I had lost. I’m sharing my story in the hope that it may help someone else who is going through a similar situation and looking for support. Their contact is, Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Email:[email protected] Call: +1(406)2729101
27.01.26 09:29 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.01.26 09:29 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.01.26 09:32 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
29.01.26 05:03 joyo

The digital world of cryptocurrency offers big chances, but it also hides tricky scams. Losing your crypto to fraud feels awful. It can leave you feeling lost and violated. This guide tells you what to do right away if a crypto scam has hit you. These steps can help you get funds back or stop more trouble. Knowing what to do fast can change everything,reach marie ([email protected] and whatsapp:+1 7127594675)
30.01.26 08:23 joseph67t

It's a joy to write this review. Since I began working with Marie at the beginning of 2018, the service has been outstanding. Hackers stole my monies, and I was frightened about how I would get them back. I didn't know where to begin, consequently it was a nightmare for me. But once my friend told me about ([email protected] and whatsap:+1 7127594675), things became simple for me. I'm glad she was able to get my bitcoin back so I could start trading on Binance again!
31.01.26 00:55 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
31.01.26 00:55 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
02.02.26 18:52 Christopherbelle

Sylvester Bryant is a top crypto recovery agent! Then I contacted them with my story that i have been scammed. It took time, yet my stolen crypto was recovered . Need help? Reach out to Sylvester on WhatsApp at +1 512 577 7957 or +44 7428 662701. Or email yt7cracker@gmail . com.
03.02.26 08:05 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
03.02.26 08:05 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
04.02.26 16:23 borutaralf

GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds. Email: [email protected] Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site Phone Call:+1(406)2729101
04.02.26 16:24 borutaralf

GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds. Email: [email protected] Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site Phone Call:+1(406)2729101
04.02.26 17:11 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
05.02.26 12:07 Thomas Muller

YOU CAN REACH OUT TO GREAT WHIP RECOVERY CYBER SERVICES FOR HELP TO RECOVER YOUR STOLEN BTC OR ETH BACK CALL:+1(406)2729101 I once fell victim to online investment scheme that cost me a devastating €254,000. I’m Thomas Muller from Berlin, Germany. The person I trusted turned out to be a fraud, and the moment I realized I’d been deceived, my entire world stopped. I immediately began searching for legitimate ways to recover my funds and hold the scammer accountable. During my search, I came across several testimonies of how Great Whip Recovery Cyber Services helped some people recover money they lost to cyber fraud, I contacted Great Whip Recovery Cyber Service team and provided all the evidence I had. Within about 36 hours, the experts traced the digital trail left by the fraudster, the individual was eventually tracked down and I recovered all my money back. You can contact them with, website https://greatwhiprecoveryc.wixsite.com/greatwhip-site text +1(406)2729101 email [email protected]
05.02.26 15:46 feliciabotezatu

Losing access to your cryptocurrency can be devastating—whether you’ve been scammed, hacked, or locked out due to a forgotten password. Many assume their digital assets are gone forever. But with the right expertise, recovery is not only possible—it’s our daily reality. At TECHY FORCE CYBER RETRIEVAL (TFCR), we’re a globally recognized, fully legitimate crypto recovery service dedicated to helping victims reclaim lost or stolen digital assets—safely, ethically, and effectively. Who We Are Backed by a team of certified blockchain forensic analysts, cybersecurity specialists, and ethical hackers, TFCR has recovered millions of dollars in Bitcoin, Ethereum, USDT, and other major cryptocurrencies for clients worldwide. We specialize in cases involving: - Investment scams and fake platforms - Wallet hacks and unauthorized transactions - Forgotten passwords, seed phrases, or corrupted backups - Inaccessible hardware or software wallets Our mission is clear: Help you recover what’s rightfully yours—with honesty, transparency, and proven results. How We Work 1. Confidential Case Review Share your situation with us—no cost, no obligation. We assess whether your case is recoverable based on transaction data, wallet details, and loss type. 2. Advanced Blockchain Forensics Using industry-leading tools, we trace your funds across blockchains, identify destination addresses, and determine if assets are held on exchanges or recoverable platforms—even after complex laundering attempts. 3. Custom Recovery Execution Depending on your case, we: - Reconstruct access to locked wallets using secure decryption methods - Engage with exchanges or payment processors to freeze or retrieve funds - Provide forensic reports to support legal or compliance actions - Negotiate with third parties when appropriate and safe 4. Secure Return & Prevention Advice Recovered assets go directly to a wallet you control. We also offer practical guidance to help you avoid future losses—because security starts after recovery. Why Choose TFCR? No Recovery, No Fee – You only pay upon successful retrieval Legitimate & Transparent – No upfront payments, no hidden costs Global Expertise – Proven success across 50+ countries Ethical Standards – All actions comply with cybersecurity and privacy best practices While crypto threats grow daily, so does our resolve. At TECHY FORCE CYBER RETRIEVAL, we don’t just track transactions—we restore trust, hope, and financial peace of mind. Don’t give up on your crypto. Act now—before critical evidence disappears. 📧 Email: [email protected] 🌐 Visit: Official https://techyforcecyberretrieval.com Website] 🕒 Available 24/7 for urgent cases Your crypto may be missing—but with TFCR, it’s never truly lost. ©️ 2026 TECHY FORCE CYBER RETRIEVAL — Trusted. Professional. Results-Driven.
05.02.26 15:52 harryjones5

How Can I Contact a Cryptocurrency Recovery Company? Visit iFORCE HACKER RECOVERY I realize how volatile and thrilling cryptocurrency can be. After joining a Telegram-based service, I made consistent profits for six months before unexpected faults deprived me of approximately $343,000. Withdrawal blunders, little help, and rising dread kept me stuck. I then discovered iForce Hacker Recovery from positive reviews. They replied swiftly, handled my issue professionally, and walked me through every step. My valuables were returned within a week, giving me back my confidence. I heartily recommend their dependable, professional aid services. Contact Info: Website address: htt p:// iforcehackers. co m. Email: iforcehk @ consultant .co m WhatsApp: +1 240 803-3706
06.02.26 14:44 feliciabotezatu

Losing access to your cryptocurrency can be devastating—whether you’ve been scammed, hacked, or locked out due to a forgotten password. Many assume their digital assets are gone forever. But with the right expertise, recovery is not only possible—it’s our daily reality. At TECHY FORCE CYBER RETRIEVAL (TFCR), we’re a globally recognized, fully legitimate crypto recovery service dedicated to helping victims reclaim lost or stolen digital assets—safely, ethically, and effectively. Who We Are Backed by a team of certified blockchain forensic analysts, cybersecurity specialists, and ethical hackers, TFCR has recovered millions of dollars in Bitcoin, Ethereum, USDT, and other major cryptocurrencies for clients worldwide. We specialize in cases involving: - Investment scams and fake platforms - Wallet hacks and unauthorized transactions - Forgotten passwords, seed phrases, or corrupted backups - Inaccessible hardware or software wallets Our mission is clear: Help you recover what’s rightfully yours—with honesty, transparency, and proven results. How We Work 1. Confidential Case Review Share your situation with us—no cost, no obligation. We assess whether your case is recoverable based on transaction data, wallet details, and loss type. 2. Advanced Blockchain Forensics Using industry-leading tools, we trace your funds across blockchains, identify destination addresses, and determine if assets are held on exchanges or recoverable platforms—even after complex laundering attempts. 3. Custom Recovery Execution Depending on your case, we: - Reconstruct access to locked wallets using secure decryption methods - Engage with exchanges or payment processors to freeze or retrieve funds - Provide forensic reports to support legal or compliance actions - Negotiate with third parties when appropriate and safe 4. Secure Return & Prevention Advice Recovered assets go directly to a wallet you control. We also offer practical guidance to help you avoid future losses—because security starts after recovery. Why Choose TFCR? No Recovery, No Fee – You only pay upon successful retrieval Legitimate & Transparent – No upfront payments, no hidden costs Global Expertise – Proven success across 50+ countries Ethical Standards – All actions comply with cybersecurity and privacy best practices While crypto threats grow daily, so does our resolve. At TECHY FORCE CYBER RETRIEVAL, we don’t just track transactions—we restore trust, hope, and financial peace of mind. Don’t give up on your crypto. Act now—before critical evidence disappears. Email: [email protected] Visit: Official https://techyforcecyberretrieval.com Website] Available 24/7 for urgent cases Your crypto may be missing—but with TFCR, it’s never truly lost. ©️ 2026 TECHY FORCE CYBER RETRIEVAL — Trusted. Professional. Results-Driven.
07.02.26 00:44 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
07.02.26 00:44 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
07.02.26 04:43 Matt Kegan

Reach out to SolidBlock Forensics if you want to get back your coins from fake crypto investment or your wallet was compromised and all your coins gone. SolidBlock Forensics provide deep ethical analysis and investigation that enables them to trace these schemes, and recover all your funds. Their services are professional and reliable. http://www.solidblockforensics.com
07.02.26 17:31 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
10.02.26 23:52 frankqq

It is a pleasure to write this review. Since I began working with Marie in early 2018, the service has been outstanding. My coins were stolen by hackers, and I was afraid I wouldn't be able to recover them. It was a nightmare for me because I didn't know where to start. But after my friend told me about [email protected] and whatsapp:+1 7127594675, things became simple for me. I'm glad she was able to get my bitcoin back so I could start trading again.
11.02.26 05:50 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
11.02.26 05:50 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
12.02.26 23:55 brouwerspatrick8

I’ve always believed that sustainability begins at home—not just in how we recycle or conserve energy, but in the very structures we live in. For years, I dreamed of building a zero-waste neighborhood where every house functions like a living ecosystem: solar-powered, water-wise, and crowned with rooftop greenhouses that feed families and filter air. It wasn’t just architecture—it was my vision for a quieter, cleaner future. To make it real, I turned to Bitcoin. Not as a speculative bet, but as a long-term store of value aligned with my values—decentralized, transparent, and independent of broken systems. Over seven years, I poured savings, side income, and relentless discipline into building a $680,000 crypto portfolio. Every coin had a purpose: permits, materials, and community partnerships. My dream had a balance sheet. Then, in one exhausted, distracted moment, it all collapsed. It was November 2025. I was juggling contractor delays, city inspections, and endless design revisions. My nerves were frayed, my coffee pot never empty. When a “Ledger Live Update” notification popped up, I didn’t think twice. The interface looked identical—same logo, same layout. I entered my credentials… and within seconds, the app disappeared. My wallet balance dropped to zero. I sat frozen. My stomach dropped. All that work—years of sacrifice—gone in a blink. The days that followed were dark. I scoured forums, filed reports, and replayed my mistake on loop. Guilt ate at me. How could I have been so careless? My greenhouse renderings sat untouched. My dream felt like a cruel joke. Just when I was ready to walk away, I stumbled upon a newsletter about green innovation. Tucked between articles on carbon-neutral cities and next-gen solar panels was a short feature on *Digital Light Solution*—a specialized team that helps victims of crypto theft recover stolen assets. Skeptical but desperate, I reached out. What followed wasn’t magic—but it was close to it. Their team treated my case with urgency and compassion. They traced the transaction trail, identified the laundering path, and worked with exchanges to freeze what they could. Within weeks, they’d recovered a significant portion of my funds—enough to restart. Today, I’m not just rebuilding my portfolio—I’m breaking ground on my prototype greenhouse. And every beam, every pane of glass, carries the lesson I learned: that even in our most vulnerable moments, there’s still light to be found. [email protected] Telegram ——digitallightsolution website https://digitallightsolution.com/ WHAT'S APP https://wa.link/989vlf
12.02.26 23:56 brouwerspatrick8

I’ve always believed that sustainability begins at home—not just in how we recycle or conserve energy, but in the very structures we live in. For years, I dreamed of building a zero-waste neighborhood where every house functions like a living ecosystem: solar-powered, water-wise, and crowned with rooftop greenhouses that feed families and filter air. It wasn’t just architecture—it was my vision for a quieter, cleaner future. To make it real, I turned to Bitcoin. Not as a speculative bet, but as a long-term store of value aligned with my values—decentralized, transparent, and independent of broken systems. Over seven years, I poured savings, side income, and relentless discipline into building a $680,000 crypto portfolio. Every coin had a purpose: permits, materials, and community partnerships. My dream had a balance sheet. Then, in one exhausted, distracted moment, it all collapsed. It was November 2025. I was juggling contractor delays, city inspections, and endless design revisions. My nerves were frayed, my coffee pot never empty. When a “Ledger Live Update” notification popped up, I didn’t think twice. The interface looked identical—same logo, same layout. I entered my credentials… and within seconds, the app disappeared. My wallet balance dropped to zero. I sat frozen. My stomach dropped. All that work—years of sacrifice—gone in a blink. The days that followed were dark. I scoured forums, filed reports, and replayed my mistake on loop. Guilt ate at me. How could I have been so careless? My greenhouse renderings sat untouched. My dream felt like a cruel joke. Just when I was ready to walk away, I stumbled upon a newsletter about green innovation. Tucked between articles on carbon-neutral cities and next-gen solar panels was a short feature on *Digital Light Solution*—a specialized team that helps victims of crypto theft recover stolen assets. Skeptical but desperate, I reached out. What followed wasn’t magic—but it was close to it. Their team treated my case with urgency and compassion. They traced the transaction trail, identified the laundering path, and worked with exchanges to freeze what they could. Within weeks, they’d recovered a significant portion of my funds—enough to restart. Today, I’m not just rebuilding my portfolio—I’m breaking ground on my prototype greenhouse. And every beam, every pane of glass, carries the lesson I learned: that even in our most vulnerable moments, there’s still light to be found. [email protected] Telegram ——digitallightsolution website https://digitallightsolution.com/ WHAT'S APP https://wa.link/989vlf
13.02.26 00:17 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
13.02.26 00:17 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
13.02.26 02:16 Ralf Boruta

GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds. Email: [email protected] Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site Phone Call:+1(406)2729101
13.02.26 02:16 Ralf Boruta

GREAT WHIP RECOVERY CYBER SERVICES TRUSTED EXPERTS IN ONLINE RECOVERY SOLUTIONS PHONE CALL:+1(406)2729101 I was unfortunately deceived and scammed out of $88,000 by someone I trusted to manage my funds during a transaction we carried out together. The experience left me deeply disappointed and hurt, realizing that someone could betray that level of trust without any remorse. Determined to seek justice and recover what was stolen, I began searching for legal assistance and came across numerous testimonials about GREAT WHIP RECOVERY CYBER SERVICES, a group known for helping victims recover lost funds. From what I learned, they have successfully assisted many people facing similar situations, returning stolen funds to their rightful owners in a remarkably short time. In my case, the GREAT WHIP RECOVERY CYBER SERVICES were able to recover my funds within just 48 hours, which was truly unbelievable. Even more reassuring was the fact that the scammer was identified, located, and eventually arrested by local authorities in his region. That outcome brought a great sense of relief and closure. I hope this information helps others who have lost their hard-earned money due to misplaced trust. If you’re in a similar situation, you can contact them through their info below to seek help in recovering your stolen funds. Email: [email protected] Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site Phone Call:+1(406)2729101
13.02.26 18:29 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
13.02.26 18:29 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
17.02.26 23:59 Lilyfox

These group of CYBER GURUS below helped my family in recovering stolen bitcoin by scammers and they also helped me in securing a university title in one of the best university in the world I'm saying a very big thank you to them contact them now ; [email protected] or WhatsApp +447476606228 -Recovery of funds from fake platform/BINARY TRADING - Retrieval of fraudulent funds - Bank Transfer service - BITCOIN TOP UP - Money, recovery from any country in the world - Change of university degrees - Spying of all social media account within - Sales of Blank ATM and Credit Cards - Sales of university Titles originals. - Clearing of bank debts - University title offer and so many others ... Despite all odds these internet gurus have proven themselves worthy to be called a professional Cyber genius ... once again i beat up my chest to confess that these group of cyber gurus are reliable and satisfactory with 100% reliability.....
18.02.26 00:01 Lilyfox

GENERAL HACKING AND CRYPTO RECOVERY SERVICES These group of CYBER GURUS below helped my family in recovering stolen bitcoin worth of $168,000 USD by scammers and they also helped me in securing a university title in one of the best university in the world I'm saying a very big thank you to them contact them now ; [email protected] or WhatsApp +447476606228 -Recovery of funds from fake platform/BINARY TRADING - Retrieval of fraudulent funds - Bank Transfer service - BITCOIN TOP UP - Money, recovery from any country in the world - Change of university degrees - Spying of all social media account within - Sales of Blank ATM and Credit Cards - Sales of university Titles originals. - Clearing of bank debts - University title offer and so many others ... Despite all odds these internet gurus have proven themselves worthy to be called a professional Cyber genius ... once again i beat up my chest to confess that these group of cyber gurus are reliable and satisfactory with 100% reliability.....
18.02.26 03:23 walterlindahi9

This past January, my world came crashing down. I lost nearly $42,000 of my hard-earned savings to a sophisticated Solana-based crypto scam. At first, it all seemed legitimate: sleek website, professional whitepaper, even glowing testimonials from “investors.” I’d done my homework, or so I thought. The promise of high returns in a volatile market felt like my ticket to financial freedom. For the first few months, everything appeared to be working. My portfolio showed steady gains. I remember checking my wallet balance daily, feeling a mix of pride and relief. I’ve cracked the code to building real wealth. Then, without warning, the platform vanished. Wallet addresses went dead. Support channels disappeared, and my funds were gone in an instant. The emotional fallout was worse than the financial loss. Sleepless nights became the norm. Anxiety gnawed at me constantly. I replayed every decision in my head, blaming myself for being naive. I vowed never to trust anyone again, not influencers, not experts, not even my own judgment. But giving up wasn’t an option. I owed it to myself and to my future to fight back. So I began digging. I scoured Reddit threads, filed reports with blockchain analytics firms, and even contacted local authorities (though they offered little help). The more I searched, the more overwhelmed I became, lost in a labyrinth of technical jargon, dead ends, and predatory recovery services asking for upfront fees. Then, through a survivor’s forum, I stumbled upon TechY Force Cyber Retrieval. Skeptical but desperate, I reached out. What set them apart wasn’t just their expertise; it was their empathy. They didn’t make wild promises. Instead, they walked me through how crypto tracing works, what success looks like, and what realistic timelines are. No pressure. No false hope. Within weeks, their forensic team identified transaction trails linked to the scam wallet. Using on-chain analysis and coordination with exchanges, they flagged suspicious activity and initiated recovery protocols. It wasn’t magic, but it was methodical, transparent, and grounded in real blockchain intelligence. Today, I’m cautiously optimistic. While not all funds have been recovered yet, TechY Force has already secured a significant portion and, more importantly, restored my sense of agency. I’m sleeping again. I’m healing. If you’ve been scammed, know this: you’re not alone, and you’re not foolish. Crypto fraud preys on hope, but that same hope can fuel your comeback. Don’t suffer in silence. Reach out. Ask questions. And never let a scammer steal your future along with your funds. WhatsApp +1(561) 726 3697 Mail. Techyforcecyberretrieval(@)consultant(.)com Telegram (@)TechCyberforc
22.02.26 03:48 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
22.02.26 03:49 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
22.02.26 18:58 Natasha Williams

I am Natasha Williams from Dallas. I want to share my testimony to encourage anyone who has ever fallen victim to a scam or fraud. Some time ago, I was defrauded by some fraudulent cryptocurrency investment organization online, I was a victim and I lost a huge amount of money, $382,000. I felt angry, disappointed and helpless but I refused to give up and stay calm. I came across this agency, GREAT WHIP RECOVERY CYBER SERVICES.. who helped people recover their money from scammers and the testimonies I saw were quite amazing. And I decided to contact them. I gathered every piece of evidence, chats, receipts, account details, and messages and reported the case to the agency, GREAT WHIP RECOVERY CYBER SERVICES. After 73hours of follow up and not losing faith, the fraudster was traced and held accountable and I recovered all my money back. I highly recommend, GREAT WHIP RECOVERY CYBER SERVICES agency if you have ever fallen victim to scammers, you can contact them. Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site email: [email protected] Call Line: +1(406)2729101
22.02.26 19:00 Natasha Williams

I am Natasha Williams from Dallas. I want to share my testimony to encourage anyone who has ever fallen victim to a scam or fraud. Some time ago, I was defrauded by some fraudulent cryptocurrency investment organization online, I was a victim and I lost a huge amount of money, $382,000. I felt angry, disappointed and helpless but I refused to give up and stay calm. I came across this agency, GREAT WHIP RECOVERY CYBER SERVICES.. who helped people recover their money from scammers and the testimonies I saw were quite amazing. And I decided to contact them. I gathered every piece of evidence, chats, receipts, account details, and messages and reported the case to the agency, GREAT WHIP RECOVERY CYBER SERVICES. After 73hours of follow up and not losing faith, the fraudster was traced and held accountable and I recovered all my money back. I highly recommend, GREAT WHIP RECOVERY CYBER SERVICES agency if you have ever fallen victim to scammers, you can contact them. Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site email: [email protected] Call Line: +1(406)2729101
23.02.26 23:26 chongfook

As cryptocurrencies continue to reshape global finance in 2026, the risks have never been higher. From sophisticated phishing campaigns to fake wallet apps and investment scams, millions of investors face the devastating reality of lost or stolen digital assets. When your crypto vanishes, panic sets in—and that's when fraudsters strike again, posing as "recovery experts" to exploit your vulnerability. CONTACTS US Techyforcecyberretrieval(@)consultant(.)com https(://)techyforcecyberretrieval(.)com But there's a legitimate path forward. TECHY FORCE CYBER RETRIEVAL stands as the industry's most trusted crypto recovery company, combining advanced blockchain forensics, global partnerships, and a client-centric approach to help victims reclaim what was stolen. --- Why Recovery Is Possible—With the Right Team Cryptocurrency's decentralized, pseudonymous nature makes asset recovery complex—but not impossible. The blockchain is transparent. Every transaction leaves a trail. The challenge isn't finding the funds—it's having the expertise to follow that trail through mixers, bridges, and exchange deposits before they disappear forever. That's where TECHY FORCE CYBER RETRIEVAL excels. --- Our Proven Recovery Framework We don't believe in shortcuts, false promises, or upfront fees. Our process is built on transparency, forensic precision, and real results. Here's how we work: 1. Case Intake & Initial Assessment You begin by submitting a detailed report: compromised wallet addresses, transaction IDs, timestamps, and any communication with scammers. Our intake team reviews your case within hours to determine immediate next steps. 2. Blockchain Forensic Analysis Our specialists deploy proprietary tracking tools to map the movement of your stolen assets across multiple blockchains. We identify laundering patterns, exchange deposit addresses, and potential freezing points—building a clear investigative roadmap. 3. Global Partner Coordination Through established relationships with regulated exchanges, DeFi protocols, and compliance teams worldwide, we initiate direct communication to flag suspicious transactions and request asset freezes where legally permissible. 4. Legal & Regulatory Engagement When necessary, we collaborate with legal partners and law enforcement agencies to strengthen recovery efforts—especially in cases involving large-scale hacks or organized fraud rings. 5. Recovery Execution & Fund Return Once assets are secured, they're transferred directly to a new, secure wallet of your choice. We never hold your funds. And critically, we operate on a success-only model. You pay nothing unless we recover your assets. 6. Post-Recovery Security Guidance Recovery is only half the battle. We provide personalized recommendations to secure your remaining holdings—from hardware wallet setup to phishing awareness training—so you can move forward with confidence. --- What Sets TECHY FORCE CYBER RETRIEVAL Apart While countless "recovery services" flood the internet, few deliver legitimate results. Here's why we're consistently rated the best crypto recovery company in 2026: - Zero Upfront Fees – We only succeed when you do. No hidden charges. No bait-and-switch tactics. - Advanced Blockchain Intelligence – Our forensic tools track assets across Bitcoin, Ethereum, Solana, and 50+ other networks. - Global Reach – Partnerships with exchanges and regulatory bodies in North America, Europe, and Asia maximize recovery odds. - Client-First Communication – Weekly updates. Clear timelines. No ghosting. - Proven Track Record – Hundreds of successful recoveries in 2025–2026, with millions returned to rightful owners. --- Emerging Trends in 2026: What Victims Need to Know The threat landscape evolves constantly. This year's biggest risks include: - AI-Powered Phishing: Scammers now use deepfake voice and video to impersonate support staff. - Cross-Chain Bridge Exploits: Funds moved between networks are increasingly targeted. - Fake Recovery Services: Fraudsters pose as legitimate firms—always verify credentials before sharing information. TECHY FORCE CYBER RETRIEVAL stays ahead of these threats, continuously updating our tools and strategies to protect and serve our clients. CONTACTS US Techyforcecyberretrieval(@)consultant(.)com https(://)techyforcecyberretrieval(.)com --- Your Next Step If you've lost crypto to a scam, hack, or forgotten credentials, don't let despair—or another fraudster—steal your second chance. TECHY FORCE CYBER RETRIEVAL is accessible, transparent, and ready to help. Reach out today. Let our experts assess your case—and show you that even in 2026, stolen crypto doesn't have to stay lost forever. — TECHY FORCE CYBER RETRIEVAL Advanced Forensics. Global Reach. Your Recovery.
24.02.26 15:31 [email protected]`

Like many others, I was drawn in by the allure of cryptocurrency and the promise of financial freedom. When I encountered a self-proclaimed "crypto guru" online, his confidence and flashy lifestyle convinced me that he held the key to success. Eager to learn, I parted with $15,000 for his exclusive course, believing it would grant me access to an elite trading group and lucrative market insights. Initially, my excitement was palpable; I truly thought I was on the verge of a breakthrough. However, that enthusiasm quickly curdled into dread. Once inside the group, the dynamic shifted from education to aggressive exploitation. Instead of genuine mentorship, members were relentlessly upsold on fake trading signals that yielded nothing but losses. The pressure escalated when we were encouraged to invest in a supposed "private pool," which required an additional, staggering access fee of $60,000. It was only as I began to notice glaring inconsistencies and a complete lack of real results among the members that the fog lifted. I realized I hadn't joined a community of traders; I had walked into a sophisticated trap designed specifically to prey on newcomers like myself. The realization that the promises of wealth and insider knowledge were nothing more than a façade left me feeling vulnerable, deceived, and financially devastated. The dream of easy returns had turned into a heavy burden of regret. Desperate for a solution and refusing to let the fraudsters win, I began searching for help. That is when I discovered DIGITAL LIGHT SOLUTION, a firm specializing in online fraud investigations. Reaching out to them was the turning point. Their team approached my case with professionalism and empathy, immediately understanding the complexity of the scam. They guided me through the investigation process, uncovering the layers of deception used by the "guru" and his network. Thanks to their expertise and relentless pursuit of justice, I was able to navigate the aftermath of this ordeal with clarity rather than confusion. While the experience was a harsh lesson, connecting with DIGITAL LIGHT SOLUTION restored my hope and proved that there are still allies ready to fight against online exploitation. If you find yourself in a similar situation, do not lose hope—seek professional help immediately. Contact them directly Website https://digitallightsolution.com/ Email — Digitallightsolution(At)qualityservice(DOT)com What's App — https://wa.link/989vlf
24.02.26 15:32 [email protected]`

Like many others, I was drawn in by the allure of cryptocurrency and the promise of financial freedom. When I encountered a self-proclaimed "crypto guru" online, his confidence and flashy lifestyle convinced me that he held the key to success. Eager to learn, I parted with $15,000 for his exclusive course, believing it would grant me access to an elite trading group and lucrative market insights. Initially, my excitement was palpable; I truly thought I was on the verge of a breakthrough. However, that enthusiasm quickly curdled into dread. Once inside the group, the dynamic shifted from education to aggressive exploitation. Instead of genuine mentorship, members were relentlessly upsold on fake trading signals that yielded nothing but losses. The pressure escalated when we were encouraged to invest in a supposed "private pool," which required an additional, staggering access fee of $60,000. It was only as I began to notice glaring inconsistencies and a complete lack of real results among the members that the fog lifted. I realized I hadn't joined a community of traders; I had walked into a sophisticated trap designed specifically to prey on newcomers like myself. The realization that the promises of wealth and insider knowledge were nothing more than a façade left me feeling vulnerable, deceived, and financially devastated. The dream of easy returns had turned into a heavy burden of regret. Desperate for a solution and refusing to let the fraudsters win, I began searching for help. That is when I discovered DIGITAL LIGHT SOLUTION, a firm specializing in online fraud investigations. Reaching out to them was the turning point. Their team approached my case with professionalism and empathy, immediately understanding the complexity of the scam. They guided me through the investigation process, uncovering the layers of deception used by the "guru" and his network. Thanks to their expertise and relentless pursuit of justice, I was able to navigate the aftermath of this ordeal with clarity rather than confusion. While the experience was a harsh lesson, connecting with DIGITAL LIGHT SOLUTION restored my hope and proved that there are still allies ready to fight against online exploitation. If you find yourself in a similar situation, do not lose hope—seek professional help immediately. Contact them directly Website https://digitallightsolution.com/ Email — Digitallightsolution(At)qualityservice(DOT)com What's App — https://wa.link/989vlf
26.02.26 16:29 michaeldavenport238

I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1
26.02.26 16:29 michaeldavenport238

I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance contact [email protected] and on Telegram OR Call Number +1 (336)390-6684 via email: [email protected] you can visit his website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.02.26 00:08 sanayoliver

I spend my days studying the mysteries of the universe, delving into black holes, quantum mechanics, and the nature of time itself. But apparently, the real black hole I should have been concerned about was my own memory. I encrypted my Bitcoin wallet to keep it as secure as possible. The problem? I promptly forgot the password. Classic, right? It didn't help that this wasn't just pocket change I was dealing with. No, I had $190,000 in Bitcoin sitting in that wallet, and my mind had decided to take a vacation, leaving me with absolutely no idea what that password was. The panic set in fast. My brain, which could solve some of the most complex physics equations, couldn't remember a 12-character password. It felt like my entire financial future was being sucked into a black hole, one I'd created myself. Desperate, I tried everything. I thought I could outsmart the system, using every trick I could think of. I tried variations of passwords I thought I might have used, analyzing them through the lens of my own behavioral patterns. I even resorted to good ol' brute force, typing random combinations for hours, hoping that maybe, just maybe, my subconscious would strike gold. Spoiler alert: it didn't. Each failed attempt made me feel more and more like a genius who'd locked themselves out of their own universe. In a final act of desperation, admitting that theoretical physics couldn't crack my own encryption, I contacted TechY Force Cyber Retrieval. From the moment I reached out, the difference was night and day. While I had been flailing in the dark, they approached my case with a precision that rivaled the calculations I do daily. They didn't promise miracles; they promised a methodical, advanced recovery process. Within a surprisingly short timeframe, they utilized specialized tools to bypass the mental block I couldn't overcome. When they finally recovered the wallet and confirmed the full $190,000 was intact and accessible, the relief was indescribable. It was as if I had pulled my financial future back from the event horizon just before it was lost forever. To anyone thinking they are too smart to lose their keys, or too logical to make such a mistake: don't wait until you are staring into the abyss. If you find yourself in a situation where your own memory has become your greatest enemy, trust the experts at TechY Force Cyber Retrieval. They turned my personal black hole into a success story, proving that sometimes, even the brightest minds need a little help to find the light. REACH OUT TO THEM ON MAIL [email protected]
27.02.26 02:04 elizabethmadison

My name is Elizabeth Madison currently living in New York. There was a time I felt completely broken. I had trusted a fraudulent bitcoin investment organization, who turned out to be a fraudster. I sent money, believing their sweet words and promises on the interest rate I will get back in return, only to realize later that I’ve been scammed. On the day of withdrawal there was no money in my account. The pain hit deep. I couldn’t sleep, I kept asking myself how I could have been so careless, meanwhile my mom was battling with a stroke and the expenses were too much. For days, I cried and blamed myself. The betrayal, the disappointment and my mom's health issues all of this stress made me want to give up on life. But one day, I decided that sitting in pain wouldn’t solve anything. I picked myself up and chose to fight for what I lost then I came across GREAT WHIP RECOVERY CYBER SERVICES and saw how he helped people recover their funds from online fraud. I emailed all the transactions and paperwork I had with the fraudulent organization and they helped me recover all my lost money in just five days. If you have ever fallen victim to scammers, contact GREAT WHIP RECOVERY CYBER SERVICES to help you recover every penny you have lost. (Text +1(406)2729101) (Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site) (Email [email protected])
27.02.26 02:04 elizabethmadison

My name is Elizabeth Madison currently living in New York. There was a time I felt completely broken. I had trusted a fraudulent bitcoin investment organization, who turned out to be a fraudster. I sent money, believing their sweet words and promises on the interest rate I will get back in return, only to realize later that I’ve been scammed. On the day of withdrawal there was no money in my account. The pain hit deep. I couldn’t sleep, I kept asking myself how I could have been so careless, meanwhile my mom was battling with a stroke and the expenses were too much. For days, I cried and blamed myself. The betrayal, the disappointment and my mom's health issues all of this stress made me want to give up on life. But one day, I decided that sitting in pain wouldn’t solve anything. I picked myself up and chose to fight for what I lost then I came across GREAT WHIP RECOVERY CYBER SERVICES and saw how he helped people recover their funds from online fraud. I emailed all the transactions and paperwork I had with the fraudulent organization and they helped me recover all my lost money in just five days. If you have ever fallen victim to scammers, contact GREAT WHIP RECOVERY CYBER SERVICES to help you recover every penny you have lost. (Text +1(406)2729101) (Website https://greatwhiprecoveryc.wixsite.com/greatwhip-site) (Email [email protected])
27.02.26 15:57 luciajessy3

Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
27.02.26 15:59 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.02.26 15:59 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.02.26 16:00 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
27.02.26 16:01 luciajessy3

Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
27.02.26 16:01 luciajessy3

Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
27.02.26 16:01 luciajessy3

Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
01.03.26 10:48 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
01.03.26 10:48 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
03.03.26 14:09 Thomas Muller

YOU CAN REACH OUT TO GREAT WHIP RECOVERY CYBER SERVICES FOR HELP TO RECOVER YOUR STOLEN BTC OR ETH BACK CALL:+1(406)2729101 I once fell victim to online investment scheme that cost me a devastating €254,000. I’m Thomas Muller from Berlin, Germany. The person I trusted turned out to be a fraud, and the moment I realized I’d been deceived, my entire world stopped. I immediately began searching for legitimate ways to recover my funds and hold the scammer accountable. During my search, I came across several testimonies of how Great Whip Recovery Cyber Services helped some people recover money they lost to cyber fraud, I contacted Great Whip Recovery Cyber Service team and provided all the evidence I had. Within about 36 hours, the experts traced the digital trail left by the fraudster, the individual was eventually tracked down and I recovered all my money back. You can contact them with, website https://greatwhiprecoveryc.wixsite.com/greatwhip-site text +1(406)2729101 email [email protected]
03.03.26 14:09 Thomas Muller

YOU CAN REACH OUT TO GREAT WHIP RECOVERY CYBER SERVICES FOR HELP TO RECOVER YOUR STOLEN BTC OR ETH BACK CALL:+1(406)2729101 I once fell victim to online investment scheme that cost me a devastating €254,000. I’m Thomas Muller from Berlin, Germany. The person I trusted turned out to be a fraud, and the moment I realized I’d been deceived, my entire world stopped. I immediately began searching for legitimate ways to recover my funds and hold the scammer accountable. During my search, I came across several testimonies of how Great Whip Recovery Cyber Services helped some people recover money they lost to cyber fraud, I contacted Great Whip Recovery Cyber Service team and provided all the evidence I had. Within about 36 hours, the experts traced the digital trail left by the fraudster, the individual was eventually tracked down and I recovered all my money back. You can contact them with, website https://greatwhiprecoveryc.wixsite.com/greatwhip-site text +1(406)2729101 email [email protected]
04.03.26 07:21 Jane4

I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .
04.03.26 07:22 Jane4

I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .
04.03.26 12:25 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
04.03.26 12:25 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. Contact: [email protected] You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact website: https://recovercapital.wixsite.com/capital-crypto-rec-1
06.03.26 13:36 CARL9090

In January, my life shifted in a way I never expected. I clicked a trading link given to me by someone I found on Telegram, believing it was legitimate. It looked professional. It felt secure. I trusted it. Until I tried to withdraw my money. Within seconds, everything was gone, transferred into a wallet claiming account without a trace. That was the moment the truth hit me: I had been scammed. The emotional fallout was brutal. For weeks, I couldn’t even speak about it. I thought people would judge me. I thought they’d say I should have known better. Then someone stepped in who changed everything Agent Jasmine Lopez ,She listened without judgment. She treated my fear as real and valid. She traced patterns, uncovered off-chain indicators, and identified wallet clusters linked to a larger scam network. She showed me that what happened wasn’t random it was organized and intentional. For the first time, I felt hope. Hearing that students, parents, and hardworking people had been targeted the same way made me realize this wasn’t stupidity. It was predation. We weren’t careless we were deliberately targeted and manipulated I’m still healing. The experience changed me. But it also reminded me that even in your darkest moment, there can be someone willing to shine a light. Contact her at [email protected] WHATSAPP +44 7478077894
07.03.26 07:46 Jane4

I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .
07.03.26 07:46 Jane4

I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .
07.03.26 08:39 Jane4

I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .
07.03.26 08:55 Jane4

I lost about $600k Bitcoin last year, I searched around and tried to work with some recovery firm unfortunately I was scammed as well. This happened for months until I came across [email protected] They came to my rescue and all my funds were recovered within few days I'm so happy right now .
07.03.26 09:40 Alena76

Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.
07.03.26 10:37 Alena76

Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.
07.03.26 10:37 Alena76

Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.
07.03.26 17:49 Natasha Williams

I am Natasha Williams from Dallas. I want to share my testimony to encourage anyone who has ever fallen victim to a scam or fraud. Some time ago, I was defrauded by some fraudulent cryptocurrency investment organization online, I was a victim and I lost a huge amount of money, $382,000. I felt angry, disappointed and helpless but I refused to give up and stay calm. I came across this agency, GREAT WHIP RECOVERY CYBER SERVICES.. who helped people recover their money from scammers and the testimonies I saw were quite amazing. And I decided to contact them. I gathered every piece of evidence, chats, receipts, account details, and messages and reported the case to the agency, GREAT WHIP RECOVERY CYBER SERVICES. After 73hours of follow up and not losing faith, the fraudster was traced and held accountable and I recovered all my money back. I highly recommend, GREAT WHIP RECOVERY CYBER SERVICES agency if you have ever fallen victim to scammers, you can contact them. Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site email: [email protected] Call Line: +1(406)2729101
07.03.26 20:10 ericbank61

I never thought I’d be the one writing one of these stories. You hear about crypto scams, hacks, and lost fortunes, and you think, “That’s for other people. The careless ones.” I was careful. Or so I believed. It started with a sophisticated phishing attack. An email that looked identical to a legitimate exchange notification, a link to “verify my wallet security,” and a moment of distracted panic. I clicked. Within hours, my life savings in Bitcoin—a sum I’d been accumulating for five years—vanished from my private wallet. The transaction hash was a cold, unfeeling tombstone on the blockchain. My stomach dropped into a void. I felt physically ill. The police filed a report, but their knowledge ended at the edge of traditional finance. The exchange offered sympathy but no solutions. I was adrift, utterly hopeless. After weeks of despair, scouring forums in the dead of night, I found a thread mentioning Mighty Hacker Recovery. The name sounded almost too bold, like something from a cheesy movie. But the testimonials were detailed, sober, and from people who sounded just like me: desperate, betrayed, and out of options. With nothing left to lose, I reached out. Their intake process was professional but guarded. They asked for transaction IDs, wallet addresses, and a detailed timeline—no promises, just facts. A consultant named Leo became my point of contact. He had a calm, analytical voice that cut through my panic. “We don’t hack *into* systems,” he explained. “We follow the digital trail. We analyze the attack vector, trace the flow of funds through the blockchain’s transparency, and identify the weak points in the scammer’s own security. Sometimes, it’s about speed and outmaneuvering them before they can launder the assets.” What followed was a tense, silent partnership. I provided every shred of information I had, while Leo’s team worked in the shadows. There were days of silence that felt like years. Then, an update: they’d traced my BTC to a mixing service, a tool scammers use to obfuscate the trail. Mighty Hacker Recovery used advanced blockchain forensic techniques to peel back those layers. They discovered the scammer had made a critical error—a small portion of the funds was sent to a KYC-compliant exchange wallet. That was the chink in the armor. Using the immutable evidence from the blockchain and legal pressure channels they’d established with certain international platforms, they initiated a recovery claim. The process was complex, involving digital affidavits and proof of illicit origin. Three weeks after my first desperate email, Leo called. “We’ve secured a freeze on the destination wallet. The exchange is cooperating. We’re initiating the reversal.” I didn’t dare believe it until I saw it. Two days later, my wallet balance updated. My Bitcoin, minus Mighty Hacker Recovery’s contingency fee, was back. The relief wasn’t euphoric; it was a deep, trembling exhaustion, like waking up from a nightmare. They didn’t perform magic. They applied intense expertise, relentless persistence, and an intricate understanding of both the blockchain’s weaknesses and a scammer’s psychology. They gave me back more than my crypto; they gave me back a sense of agency in a landscape designed to make victims feel powerless. If you’re reading this from your own private hell of loss, know this: the trail never truly disappears. You just need the right team to follow it. For me, that was Mighty Hacker Recovery.
07.03.26 22:44 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
07.03.26 22:44 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: Email: [email protected] Telegram: @Capitalcryptorecover Contact: [email protected] Call/Text: +1 (336) 390-6684 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
11.03.26 19:43 Michael Jensen

With the help and expertise of CapitalNode Analytics, i was able to get back my digital tokens from a fake investment platform. They are swift, precise and transparent in their operations.
12.03.26 15:04 Mike Franz

I recently ran into a serious issue with my cryptocurrency account that left me unable to access my bitcoin wallet. After several failed login attempts and repeated blocks from the system, I began to worry that I might lose access to my $415,000 permanently. Determined to fix the problem, After spending hours reading a review of GREAT WHIP RECOVERY CYBER SERVICES, on how they successfully assisted countless individuals in similar situations as mine. The process was stressful, but eventually the issue was resolved and I was able to regain access to my bitcoin wallet account. I’m immensely grateful to GREAT WHIP RECOVERY CYBER SERVICES for their incredible work, for those who need help, you can contact through the following channels: Phone Call: +1(406)2729101 Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Mail: [email protected]
12.03.26 15:05 Mike Franz

I recently ran into a serious issue with my cryptocurrency account that left me unable to access my bitcoin wallet. After several failed login attempts and repeated blocks from the system, I began to worry that I might lose access to my $415,000 permanently. Determined to fix the problem, After spending hours reading a review of GREAT WHIP RECOVERY CYBER SERVICES, on how they successfully assisted countless individuals in similar situations as mine. The process was stressful, but eventually the issue was resolved and I was able to regain access to my bitcoin wallet account. I’m immensely grateful to GREAT WHIP RECOVERY CYBER SERVICES for their incredible work, for those who need help, you can contact through the following channels: Phone Call: +1(406)2729101 Website: https://greatwhiprecoveryc.wixsite.com/greatwhip-site Mail: [email protected]
15.03.26 20:22 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
15.03.26 20:22 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
15.03.26 20:22 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
16.03.26 12:01 [email protected]

I would like to highly recommend TOP RECOVERY EXPERT, the best in cryptocurrency recovery. I want the world to know how exceptional their services are. For years, I faced a very difficult time after being scammed out of $453,000 in Ethereum. It was devastating to realize that someone could steal from me without remorse after I trusted them. Determined to recover my funds legally, I began searching for reliable help and came across TOP RECOVERY EXPERT, the most professional recovery service I have ever found. With their expertise and support, I was able to recover my entire Ethereum wallet. I now understand that while many investment opportunities can seem too good to be true, professional guidance can make all the difference. Thanks to TOP RECOVERY EXPERT, I have regained not only my assets ETH but also my peace of mind and happiness. Their dedication and professionalism have truly changed my life. I am now the happiest person I have ever been, all because of their help. If you have been a victim of a crypto scam, I strongly advise you to reach out to TOP RECOVERY EXPERT. Contact Information: Text/Call: +1 (346) 980-9102 Email: [email protected] For more information visit his website: https://toprecoveryexpert2.wixsite.com/consultant
16.03.26 13:20 luciajessy3

There are many recommendations online, but not all of them are trustworthy. Unfortunately, some so-called “recovery services” are scams themselves and may try to take advantage of people who have already lost money. If you’ve been scammed, be extremely cautious about anyone promising guaranteed recovery — especially if they ask for upfront fees. Always do thorough research, verify credentials, and consider reporting the incident to. Cyberrefundexperts {A} Consultant {.} Com , Stay alert and protect yourself.
16.03.26 13:20 luciajessy3

There are many recommendations online, but not all of them are trustworthy. Unfortunately, some so-called “recovery services” are scams themselves and may try to take advantage of people who have already lost money. If you’ve been scammed, be extremely cautious about anyone promising guaranteed recovery — especially if they ask for upfront fees. Always do thorough research, verify credentials, and consider reporting the incident to. Cyberrefundexperts @ Consultant . Com , Stay alert and protect yourself.
18.03.26 15:27 keithwilson9899

ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
18.03.26 15:27 keithwilson9899

ETHEREUM RECOVERY ASSISTANCE: CAPITAL CRYPTO RECOVER HELPED ME RECOVER $98,000 WORTH OF LOST ETH In cases of cryptocurrency scams, having accurate information and trusted support is essential. I would like to recommend Capital Crypto Recover Service, a professional team that specializes in assisting individuals with the recovery of lost or stolen Bitcoin and Ethereum (ETH). Their experienced experts are dedicated to helping victims of digital asset fraud by carefully analyzing each case, developing strategic recovery plans, Capital Crypto Recover Service knowledgeable team's primary goals are to satisfy clients and offer significant support and working diligently toward fund retrieval. The team is committed to providing reliable assistance and maintaining a high level of client satisfaction. Based on my assessment, their reputation professionalism and a strong commitment to their clients. If you have experienced a cryptocurrency loss, you can contacting them for further assistance Phone (Call/Text): +1 (336) 390-6684 Email: [email protected] Alternate Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
08:03 Alena76

Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.
08:04 Alena76

Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.
08:15 Alena76

Most people have been scammed severally and they give up on their funds I'm saying these because I was a victim too After loosing 745,000 USD I lose my mind until I read about COIN HACK RECOVERY I decided to contact the company on: [email protected] and I'm glad I made the decision not to give up. they helped me to recover all my lost funds within two days.