Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie

Прямой эфир

Русский

English

Войти / Регистрация

Cryptocurrencies: 10421 / Markets: 103611

Market Cap: $ 2 742 375 819 276 / 24h Vol: $ 77 684 398 354 / BTC Dominance: 61.644551118319%

Н Новости

[Перевод] KAN: Kolmogorov–Arnold Networks

Предлагаю вашему вниманию полный перевод статьи об алгоритме нейронной сети на основе теоремы Колмогорова Арнольда, опубликованной исследователями из Massachusetts Institute of Technology, California Institute of Technology, Northeastern University и The NSF Institute for Artificial Intelligence and Fundamental Interactions.

В настоящее время в на просторах интернета есть лишь посты на основе данной статьи с интригующими названиями типа: «Новый убийца нейросетей? Сеть Колмогорова Арнольда (KANs)» или «Исследователи разработали принципиально новую архитектуру нейросетей, которая работает лучше персептрона» и т. п. Для лучшего понимания это темы обратимся к первоисточнику ‑статье, опубликованной не так давно — в апреле 2024 года.

KAN: Kolmogorov–Arnold Networks
Ziming Liu,,Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljačić, Thomas Y. Hou,Max Tegmark
Massachusetts Institute of Technology
California Institute of Technology
Северо-Восточный университет
The NSF Institute for Artificial Intelligence and Fundamental Interactions

Аннотация

Вдохновленные теоремой Колмогорова-Арнольда, мы предлагаем сети Колмогорова-Арнольда (KAN) в качестве перспективных альтернатив многослойным персептронам (MLP). В то время как MLP имеют фиксированные функции активации на узлах («нейроны»), KAN имеют обучаемые функции активации на ребрах («веса»). KAN вообще не имеют линейных весов — каждый параметр веса заменен одномерной функцией, параметризованной как сплайн. Мы показываем, что это, казалось бы, простое изменение позволяет KAN превосходить MLP с точки зрения точности и интерпретируемости в задачах AI+Science небольшого масштаба. Что касается точности, меньшие KAN могут достигать сопоставимой или лучшей точности, чем большие MLP в задачах подгонки функций. Теоретически и эмпирически KAN обладают более быстрыми законами нейронного масштабирования, чем MLP. Что касается интерпретируемости, KAN можно наглядно визуализировать, и они могут легко взаимодействовать с пользователями. На двух примерах из математики и физики показано, что KAN являются полезными «коллегами», помогающими ученым (повторно) открывать математические и физические законы. Подводя итог, можно сказать, что KAN являются многообещающими альтернативами MLP, открывая возможности для дальнейшего улучшения современных моделей глубокого обучения, которые в значительной степени полагаются на MLP.

Рисунок 0.1: Многослойные персептроны (MLP) против сетей Колмогорова-Арнольда (KAN)

1. Введение

Многослойные персептроны (MLP) [1, 2, 3], также известные как полносвязанные нейронные сети прямого распространения, являются основополагающими строительными блоками современных моделей глубокого обучения. Важность MLP невозможно переоценить, поскольку они являются моделями по умолчанию в машинном обучении для аппроксимации нелинейных функций из-за их выразительной силы, гарантированной универсальной теоремой аппроксимации [3]. Однако являются ли MLP лучшими нелинейными регрессорами, которые мы можем построить? Несмотря на распространенное использование MLP, у них есть существенные недостатки. Например, в трансформерах [4] MLP потребляют почти все невстраиваемые параметры и, как правило, менее интерпретируемы (по сравнению со слоями внимания) без инструментов пост-анализа [5].

Мы предлагаем многообещающую альтернативу многослойным перцепторам, называемую сетями Колмогорова-Арнольда (KAN).

В то время как MLP вдохновлены теоремой универсальной аппроксимации, KAN вдохновлены теоремой Колмогорова-Арнольда о представлении (или теоремой о суперпозиции) [6, 7, 8]. Как и MLP, KAN имеют полностью связанные структуры. Однако, в то время как MLP размещают фиксированные функции активации на узлах («нейронах»), KAN размещают обучаемые функции активации на ребрах («весах»), как показано на рисунке 0.1. В результате KAN вообще не имеют линейных весовых матриц: вместо этого каждый весовой параметр заменяется обучаемой одномерной функцией, параметризованной как сплайн. Узлы KAN просто суммируют входящие сигналы без применения каких-либо нелинейностей. Можно было бы беспокоиться, что KAN безнадежно дороги, поскольку каждый весовой параметр MLP становится сплайновой функцией KAN. К счастью, KAN обычно допускают гораздо меньшие графы вычислений, чем MLP.

Неудивительно, что возможность использования теоремы Колмогорова-Арнольда о представлении (или теорема о суперпозиции) для построения нейронных сетей изучалась [9, 10, 11, 12, 13, 14, 15, 16]. Однако большая часть работы застряла на исходном представлении глубиной 2 и шириной (2n + 1) , и у многих не было возможности использовать более современные методы (например, обратное распространение) для обучения сетей. В [12] было исследовано представление глубиной 2 и шириной (2n + 1) с разрушением проклятия размерности, наблюдаемым как эмпирически, так и с помощью теории приближения, заданной композиционными структурами функции. Наш вклад заключается в обобщении исходного представления Колмогорова-Арнольда на произвольные ширины и глубины, оживлении и контекстуализации его в современном мире глубокого обучения, а также в использовании обширных эмпирических экспериментов для выявления его потенциала для AI+Science из-за его точности и интерпретируемости.

Несмотря на свою элегантную математическую интерпретацию, KAN — это не более чем комбинации сплайнов и MLP, использующие их сильные стороны и избегающие их слабых сторон. Сплайны точны для низкоразмерных функций, их легко настраивать локально и они способны переключаться между различными разрешениями. Однако сплайны имеют серьезную проблему проклятия размерности (curseofdimensionality - COD) из-за их неспособности использовать композиционные структуры. MLP, с другой стороны, меньше страдают от COD благодаря их обучению признакам, но менее точны, чем сплайны в низких размерностях, из-за их неспособности оптимизировать одномерные функции. Связь между MLP, использующими ReLU-k в качестве функций активации, и сплайнами была установлена в [17, 18]. Чтобы точно изучить функцию, модель должна не только изучить композиционную структуру (внешние степени свободы), но и хорошо аппроксимировать одномерные функции (внутренние степени свободы). KAN являются такими моделями, поскольку они имеют MLP снаружи и сплайны внутри. В результате KAN могут не только изучать признаки (благодаря их внешнему сходству с MLP), но и оптимизировать эти изученные признаки с большой точностью (благодаря их внутреннему сходству со сплайнами). Например, если задана функция высокой размерности

Рисунок 2.1: Предлагаемые нами сети Колмогорова-Арнольда названы в честь двух великих математиков прошлого времени, Андрея Колмогорова и Владимира Арнольда. Сети KAN математически обоснованы, точны и интерпретируемы.

сплайны не будут работать для больших N из-за COD; MLP потенциально могут изучить обобщенную аддитивную структуру, но они очень неэффективны для аппроксимации экспоненциальных и синусоидальных функций, скажем, с помощью активаций ReLU. Напротив, KAN могут изучить как композиционную структуру, так и одномерные функции довольно хорошо, поэтому превосходят MLP с большим отрывом (см. рисунок 3.1).

В этой статье мы будем использовать обширные численные эксперименты, чтобы показать, что KAN могут привести к улучшению точности и интерпретируемости по сравнению с MLP, по крайней мере, в мелкомасштабных задачах AI+Science. Организация статьи проиллюстрирована на рисунке 2.1. В разделе 2 мы представляем архитектуру KAN и ее математическую основу, вводим методы упрощения сети, чтобы сделать KAN интерпретируемыми, и вводим метод расширения сетки, чтобы сделать KAN более точными. В разделе 3 мы показываем, что KAN точнее MLP для подгонки данных: KAN могут победить проклятие размерности, когда в данных есть композиционная структура, достигая лучших законов масштабирования, чем MLP. Мы также демонстрируем потенциал KAN в решении PDE (решение уравнений в частных производных. см. 3.4. Прим пер.) на простом примере уравнения Пуассона. В разделе 4 мы показываем, что KAN интерпретируемы и могут использоваться для научных открытий. Мы используем два примера из математики (теория узлов) и физики (локализация Андерсона), чтобы продемонстрировать, что KAN могут быть полезными «коллегами» для ученых в (повторном) открытии математических и физических законов. Раздел 5 суммирует связанные работы. В разделе 6 мы завершаем обсуждением общих последствий и будущих направлений. Коды доступны по адресу https://github.com/KindXiaoming/pykan и также могут быть установлены с помощью pip install pykan.

2. Kolmogorov–Arnold Networks (KAN)

Многослойные персептроны (MLP) вдохновлены теоремой универсальной аппроксимации. Вместо этого мы сосредоточимся на теореме представления Колмогорова-Арнольда, которая может быть реализована новым типом нейронной сети, называемой сетями Колмогорова-Арнольда (KAN). Мы рассматриваем теорему Колмогорова-Арнольда в разделе 2.1, чтобы вдохновиться на разработку сетей Колмогорова-Арнольда в разделе 2.2. В разделе 2.3 мы даем теоретические гарантии выразительной силы KAN и их законов нейронного масштабирования, связывая их с существующими теориями аппроксимации и обобщения в литературе. В разделе 2.4 мы предлагаем метод расширения сетки, чтобы сделать KAN все более точными. В разделе 2.5 мы предлагаем методы упрощения, чтобы сделать KAN интерпретируемыми.

2.1 Теорема о представлении Колмогорова-Арнольда
Владимир Арнольд и Андрей Колмогоров установили, что если f — многомерная непрерывная функция на ограниченной области, то f можно записать как конечную композицию непрерывных функций

Рисунок 2.2: Слева: Обозначения активаций, проходящих через сеть. Справа: функция активации параметризована как B-сплайн, что позволяет переключаться между крупнозернистыми и мелкозернистыми сетками.

одной переменной и бинарной операции сложения. Более конкретно, для гладкой f :[0,1]^n → R

где $ϕ_{q,p}:[0,1]→ {\mathbb{R}}$ и $ϕ_q:{\mathbb{R}} → {\mathbb{R}}$ . В некотором смысле они показали, что единственной истинной многомерной функцией является сложение, поскольку любая другая функция может быть записана с использованием одномерных функций и суммы. Можно было бы наивно считать это отличной новостью для машинного обучения: изучение многомерной функции сводится к изучению полиномиального числа одномерных (1D) функций. Однако эти одномерные функции могут быть негладкими и даже фрактальными, поэтому они могут быть неизучаемыми на практике [19, 20]. Из-за этого патологического поведения теорема Колмогорова-Арнольда о представлении была фактически приговорена к смерти в машинном обучении, считаясь теоретически обоснованной, но практически бесполезной [19, 20].

Однако мы более оптимистичны относительно полезности теоремы Колмогорова-Арнольда для машинного обучения. Прежде всего, нам не нужно придерживаться исходного уравнения (2.1), которое имеет только двухслойные нелинейности и небольшое количество членов (2n+1) в скрытом слое: мы обобщим сеть до произвольной ширины и глубины. Во-вторых, большинство функций в науке и повседневной жизни часто являются гладкими и имеют разреженные композиционные структуры, что потенциально способствует гладким представлениям Колмогорова-Арнольда. Философия здесь близка к мышлению физиков, которых часто больше заботят типичные случаи, чем наихудшие. В конце концов, наш физический мир и задачи машинного обучения должны иметь структуры, чтобы сделать физику и машинное обучение полезными или вообще обобщаемыми [21].

2.2 Архитектура KAN

Предположим, у нас есть контролируемая задача обучения (обучение с учителем – прим пер.), состоящая из пар вход-выход $\{x_i, y_i\}$ , где мы хотим найти , такую, что y_i ≈ f(x_i) для всех точек данных. Уравнение (2.1) подразумевает, что мы достигли цели, если мы можем найти соответствующие одномерные функции $ϕ_{q,p}$ и Φ_q . Это вдохновляет нас на разработку нейронной сети, которая явно параметризует уравнение (2.1). Поскольку все функции, которые должны быть изучены, являются одномерными функциями, мы можем параметризовать каждую одномерную функцию как B-сплайновую кривую с обучаемыми коэффициентами локальных базисных функций B-сплайна (см. рисунок 2.2 справа). Теперь у нас есть прототип KAN, граф вычислений которого точно задан уравнением. (2.1) и проиллюстрирован на рисунке 0.1 (б) (с входной размерностью n = 2) , представляя собой двухслойную нейронную сеть с функциями активации, размещенными на ребрах вместо узлов (по узлам выполняется простое суммирование), и с шириной 2n + 1 в среднем слое.
Как уже упоминалось, такая сеть, как известно, слишком проста, чтобы аппроксимировать любую функцию произвольно хорошо на практике с помощью гладких сплайнов! Поэтому мы обобщаем нашу KAN, чтобы она была шире и глубже. Не сразу понятно, как сделать KAN глубже, поскольку представления Колмогорова-Арнольда соответствуют двухслойным KAN. Насколько нам известно, пока не существует «обобщенной» версии теоремы, которая соответствовала бы более глубоким KAN.
Прорыв происходит, когда мы замечаем аналогию между MLP и KAN. В MLP, как только мы определяем слой (состоящий из линейного преобразования и нелинейностей), мы можем накладывать больше слоев, чтобы сделать сеть глубже. Чтобы построить глубокие KAN, мы должны сначала ответить на вопрос: «Что такое слой KAN?» Оказывается, слой KAN с $n_{in}$ входами и $n_{out}$ выходами можно определить как матрицу 1D функций,

где функции $ϕ_{q,p}$ имеют обучаемые параметры, как подробно описано ниже.
В теореме Колмогова-Арнольда внутренние функции образуют слой KAN с $n_{in} = n$ и $n_{out} = 2n+1$ , а внешние функции образуют слой KAN с $n_{in} = 2n + 1$ и $n_{out} = 1$ . Таким образом, представления Колмогорова-Арнольда в уравнении (2.1) являются просто композициями двух слоев KAN. Теперь становится ясно, что значит иметь более глубокие представления Колмогорова-Арнольда: просто сложить больше слоев KAN!
Введём некоторые обозначения. Этот абзац будет немного техническим, но читатели могут обратиться к рисунку 2.2 (слева) для конкретного примера и интуитивного понимания. Форма KAN представлена целочисленным массивом,

де n_i — количество узлов в -м слое вычислительного графа.
Обозначим -й нейрон в -м слое как (l, i) , а значение активации (l, i) -нейрона как $x_{l,i}$ . Между слоем и слоем l+1 имеется $n_ln_{l+1}$ функций активации: функция активации, которая соединяет (l, i) и (l + 1, j) , обозначается как

Предварительная активация $ϕ_{l,j,i}$ это просто $x_{l,i}$ ; постактивация $ϕ_{l,j,i}$ обозначается как $\tilde{x}_{l,j,i} ≡ ϕ_{l,j,i} (x_l,i)$ . Значение активации нейрона (l+1, j) — это просто сумма всех входящих постактиваций:

В матричной форме это выглядит так:

где Φ_l — функциональная матрица, соответствующая -му слою KAN. Общая сеть KAN представляет собой композицию из слоев: при заданном входном векторе $x_0 ∈ {\mathbb{R}}^{n_0}$ выход KAN равен

Мы также можем переписать приведенное выше уравнение, чтобы сделать его более аналогичным уравнению (2.1), предположив, что выходная размерность n_L = 1 , и определив f(x) ≡ KAN(x) :

что довольно громоздко. Напротив, наша абстракция слоев KAN и их визуализации более чистые и интуитивные. Исходное представление Колмогорова-Арнольда (2.1) соответствует 2-слойной KAN с формой [n, 2n+1, 1] . Обратите внимание, что все операции дифференцируемы, поэтому мы можем обучать KAN с обратным распространением. Для сравнения, MLP можно записать как чередование аффинных преобразований W и нелинейностей σ:

Очевидно, что MLP обрабатывают линейные преобразования и нелинейности отдельно как W и σ, тогда как KAN обрабатывают их все вместе в . На рисунке 0.1 (c) и (d) мы визуализируем трехслойный MLP и трехслойный KAN, чтобы прояснить их различия.

Подробности реализации. Хотя уравнение слоя KAN (2.5) выглядит чрезвычайно простым, сделать его хорошо оптимизируемым — нетривиальная задача. Ключевые приемы:
(1) Остаточные функции активации (Residual activation functions). Мы включаем базисную функцию b(x) (аналогичную остаточным связям) так, что функция активации ϕ(x) является суммой базисной функции b(x) и сплайн-функции:

Мы устанавливаем

в большинстве случаев spline(x) параметризуется как линейная комбинация B-сплайнов, так что

являются обучаемыми (см. рисунок 2.2 для иллюстрации). В принципе и w_s избыточны, поскольку их можно поглотить в b(x) и spline(x) . Однако мы все равно включаем эти факторы (которые по умолчанию обучаемы), чтобы лучше контролировать общую величину функции активации.
(2) Инициализация масштабов. Каждая функция активации инициализируется так, чтобы иметь ws = 1 и spline(x)≈0 *. инициализируется в соответствии с инициализацией Ксавье (Xavier), которая использовалась для инициализации линейных слоев в MLP.
*Это делается путем построения коэффициентов B-сплайна c_i ∼N(0, σ^2) с малым σ, обычно мы устанавливаем σ = 0.1
(3) Обновление сеток сплайнов. Мы обновляем каждую сетку на лету в соответствии с ее входными активациями, чтобы решить проблему, когда сплайны определяются в ограниченных областях, но значения активации могут выходить за пределы фиксированной области во время обучения **.
** Другие возможности: (a) сетка обучаема с помощью градиентного спуска, например, [22]; (b) используйте нормализацию, чтобы входной диапазон был фиксированным. Сначала мы попробовали (b), но его производительность уступает нашему текущему подходу.

Количество параметров. Для простоты предположим имеется сеть

(1) с глубиной
(2) со слоями одинаковой ширины n_0 = n_1 = ··· = n_L = N ,
(3) с каждым сплайном порядка (обычно k = 3 ) на G интервалах (для G+1 точек сетки).
Тогда в общей сложности имеется O(N^2L(G + k)) ∼ O(N^2 LG) параметров. В отличие от этого, MLP с глубиной и шириной требует только O(N^2L) параметров, что, по-видимому, более эффективно, чем может быть. К счастью, для KAN обычно требуется гораздо меньшее число , чем для MLP, что не только экономит параметры, но и обеспечивает лучшее обобщение (см., например, рис. 3.1 и 3.3) и облегчает интерпретацию. Отметим, что для одномерных задач мы можем взять N = L = 1 , и сеть KAN в нашей реализации является ничем иным, как сплайновой аппроксимацией. Для более высоких измерений мы характеризуем обобщающее поведение KAN с помощью приведенной ниже теоремы.

2.3 Способности KAN к аппроксимации и законы масштабирования

Напомним, что в уравнении (2.1) двухслойное представление ширины (2n + 1) может быть негладким. Однако более глубокие представления могут обеспечить преимущества более плавных активаций. Например, функция с 4 переменными

может быть плавно представлена [4, 2, 1, 1] KAN, которая является 3-слойной, но может не допускать 2-слойной KAN с плавными активациями. Для облегчения аппроксимационного анализа мы по-прежнему предполагаем гладкость активаций, но позволяем представлениям быть произвольно широкими и глубокими, как в уравнении (2.7). Чтобы подчеркнуть зависимость нашей KAN от конечного набора точек сетки, мы используем Ф^G_l и $Ф^G_{l,i,j}$ ниже для замены обозначений Ф_l и $Ф_{l,i,j}$ , используемых в уравнении (2.5) и (2.6).

Теорема 2.1 (Теория приближений, КАТ). Пусть x = (x_1, x_2,··· , x_n) . Предположим, что функция допускает представление

как в уравнении (2.7), где каждый из $Ф_{l,i,j}$ является (k + 1) - раз непрерывно дифференцируемым. Тогда существует константа C, зависящая от f и ее представления, такая, что мы имеем следующую границу приближения в терминах размера сетки G: существуют B-сплайн-функции k-го порядка $Ф_{l,i,j}^G$ такие, что для любого мы имеем границу

Здесь мы принимаем обозначение C^m-нормы, измеряющей величину производных до порядка m:

Доказательство. Согласно классической теории одномерных B-сплайнов [23] и тому факту, что $Ф_{l,i,j}$ как непрерывные функции могут быть равномерно ограничены на ограниченной области, мы знаем, что существуют конечно-сеточные B-сплайновые функции $Ф_{l,i,j}^G$ такие, что для любого 0 ≤ m ≤ k,

с константой , не зависящей от . Мы фиксируем эти B-сплайновые аппроксимации. Следовательно, мы имеем, что остаток R_l , определенный через

удовлетворяет

с константой, не зависящей от . Наконец, обратите внимание:

мы знаем, что (2.15) выполняется.

Мы знаем, что асимптотически, при условии, что предположение в теореме 2.1 выполняется, KAN с конечным размером сетки могут хорошо аппроксимировать функцию с остаточной скоростью, независимой от размерности, тем самым преодолевая проклятие размерности! Это естественно, поскольку мы используем сплайны только для аппроксимации одномерных функций. В частности, при m = 0 мы восстанавливаем точность в норме L^∞ , что, в свою очередь, обеспечивает границу RMSE на конечной области, что дает показатель масштабирования k + 1 . Конечно, константа зависит от представления; следовательно, она будет зависеть от размерности. Мы оставим обсуждение зависимости константы от размерности в качестве будущей работы.
Заметим, что хотя теорема Колмогорова-Арнольда (2.1) соответствует представлению KAN с формой [d, 2d+1, 1] , ее функции не обязательно являются гладкими. С другой стороны, если мы можем идентифицировать гладкое представление (возможно, за счет дополнительных слоев или делая KAN шире, чем предписывает теория), то теорема 2.1 указывает, что мы можем победить проклятие размерности (COD). Это не должно вызывать удивления, поскольку мы можем по своей сути узнать структуру функции и сделать наше конечно-выборочное приближение KAN интерпретируемым.

Законы нейронного масштабирования: сравнение с другими теориями. Законы нейронного масштабирования — это явление, при котором потери теста уменьшаются с увеличением числа параметров модели, т. е. $ℓ ∝ N^{−α}$ , где — это RMSE теста, — это количество параметров, а — показатель масштабирования. Большее значение обещает большее улучшение за счет простого масштабирования модели. Для предсказания были предложены различные теории. Sharma & Kaplan [24] предполагают, что возникает из подгонки данных на входном многообразии внутренней размерности . Если класс функций модели представляет собой кусочно-полиномиальные функции порядка k (k = 1 for ReLU) , то стандартная теория аппроксимации подразумевает α = (k + 1)/d из теории аппроксимации. Эта граница страдает от проклятия размерности, поэтому исследователи искали другие границы, независимые от , используя композиционные структуры. В частности, Michaud и др. [25] рассмотрели вычислительные графы, которые включают только унарные (например, квадрат, синус, exp) и бинарные (+ и ×) операции, найдя α = (k + 1)/d^∗ = (k + 1)/2 , где d^∗ = 2 - максимальная арность. Poggio и др. [19] использовали идею композиционной разреженности и доказали, что для заданного класса функций W_m (функции, производные которых непрерывны до m-го порядка) требуется $N = O(ϵ^{-\frac2m})$ параметров для достижения ошибки ϵ, что эквивалентно $a = \frac m2$ . Наш подход, который предполагает существование гладких представлений Колмогорова-Арнольда, раскладывает высокоразмерную функцию на несколько одномерных функций, давая α = k+1 (где — кусочно-полиномиальный порядок сплайнов). Мы выбираем k = 3 кубических сплайна, так что α = 4 , что является наибольшим и лучшим показателем масштабирования по сравнению с другими работами. Мы покажем в разделе 3.1, что эта граница α = 4 на самом деле может быть достигнута эмпирически с помощью KAN, в то время как в предыдущей работе [25] сообщалось, что MLP имеют проблемы даже с насыщением более медленных границ (например, α = 1 ) и быстрым выходом на плато. Конечно, мы можем увеличить , чтобы соответствовать гладкости функций, но слишком большое может быть слишком осцилляторным, что приведет к проблемам оптимизации.

Сравнение KAT и UAT. Мощность полносвязанных нейронных сетей подтверждается универсальной теоремой аппроксимации (UAT), которая гласит, что при заданной функции и допуске погрешности ϵ > 0 двухслойная сеть с k > N(ϵ) нейронами может аппроксимировать функцию с точностью до погрешности . Однако UAT не гарантирует никаких ограничений на то, как N(ϵ) масштабируется с . Действительно, она страдает от COD, и было показано, что растет экспоненциально с d в некоторых случаях [21].

Рисунок 2.3: Мы можем сделать KAN более точными за счет расширения сетки (мелкозернистые сплайновые сетки). Вверху: динамика обучения KAN [2,5,1] ([2,1,1]). Обе модели демонстрируют лестницы на своих кривых потерь, т. е. потери внезапно падают, а затем выходят на плато после расширения сетки. Внизу слева: тест RMSE следует законам масштабирования в зависимости от размера сетки G. Внизу справа: время обучения благоприятно масштабируется с размером сетки G.

Разница между KAT и UAT является следствием того, что KAN используют преимущество изначально низкоразмерного представления функции, в то время как MLP этого не делают. В KAT мы подчеркиваем количественную оценку ошибки аппроксимации в композиционном пространстве. В литературе границы ошибки обобщения, учитывающие конечные выборки обучающих данных, для аналогичного пространства изучались для задач регрессии; см. [26, 27], а также специально для MLP с активациями ReLU [28]. С другой стороны, для общих функциональных пространств, таких как пространства Соболева или Бесова (Sobolev or Besov), нелинейная теория -widths [29, 30, 31] указывает, что мы никогда не сможем победить проклятие размерности, в то время как MLP с активациями ReLU могут достичь высокой скорости [32, 33, 34]. Этот факт снова мотивирует нас рассматривать функции композиционной структуры, как гораздо «более хорошие» функции, с которыми мы сталкиваемся на практике и в науке, чтобы преодолеть COD. По сравнению с MLP, мы можем использовать меньшую архитектуру на практике, поскольку мы изучаем общие нелинейные функции активации; см. также [28], где глубина ReLU MLP должна достигать по крайней мере log , чтобы иметь желаемую скорость, где — число выборок. Действительно, мы покажем, что KAN хорошо согласованы с символическими функциями, в то время как MLP — нет.

2.4 Для точности: Расширение сетки

В принципе, сплайн можно сделать произвольно точным для целевой функции, поскольку сетку можно сделать произвольно мелкозернистой. Эта хорошая особенность унаследована KAN. Напротив, MLP не имеют понятия «мелкозернистости». По общему признанию, увеличение ширины и глубины MLP может привести к улучшению производительности («законы нейронного масштабирования»). Однако эти законы нейронного масштабирования медленные (обсуждались в последнем разделе). Их также дорого получить, поскольку модели разных размеров обучаются независимо. Напротив, для KAN можно сначала обучить KAN с меньшим количеством параметров, а затем расширить ее до KAN с большим количеством параметров, просто сделав ее сетки сплайнов более мелкими, без необходимости переобучения более крупной модели с нуля.
Далее мы опишем, как выполнить расширение сетки (показано на рисунке 2.2 справа), что по сути является подгонкой нового мелкозернистого сплайна к старому крупнозернистому сплайну. Предположим, что мы хотим аппроксимировать 1D-функцию в ограниченной области [a, b] с помощью B-сплайнов порядка . Крупнозернистая сетка с интервалами G_1 имеет точки сетки в { $t_0 = a, t_1, t_2 ..., t_{G_1} = b$ }, что дополняется до
{ $t_{−k},··· ,t_{−1} ,t_0,··· ,t_{G_1}, t_{G_1+1},··· ,t_{G_1+k}$ }. Существует G_1 + k базисных функций B-сплайна, причем -й B-сплайн B_i(x) не равен нулю только на $[t_{−k+i}, t_{i+1}]$ (i = 0,··· ,G_1 + k − 1) . Тогда на грубой сетке выражается через линейную комбинацию этих базисных функций B-сплайнов

$f_{coarse}(x)= \sum_{i=0}^{G_1+k-1} c_iB_i(x)$ .

При наличии более мелкой сетки с интервалами G_2 , на мелкой сетке соответственно

$f_{fine}(x)= \sum_{j=0}^{G_2+k-1} c'_jB'_j(x)$ .

Параметры c′_j могут быть инициализированы из параметров c_i путем минимизации расстояния между $f_{fine}(x)$ и $f_{coarse}(x)$ (по некоторому распределению ):

который может быть реализован с помощью алгоритма наименьших квадратов. Мы выполняем расширение сетки для всех сплайнов в KAN независимо.

Игрушечный пример: ступенчатые кривые потерь. Мы используем игрушечный пример f(x, y) = exp(sin( πx ) + y^2 ) , чтобы продемонстрировать эффект расширения сетки. На рисунке 2.3 (слева вверху) мы показываем RMSE обучения и тестирования для KAN [2,5,1]. Количество точек сетки начинается с 3, увеличивается до большего значения каждые 200 шагов LBFGS, заканчивая 1000 точками сетки. Очевидно, что каждый раз, когда увеличивается тонкая зернистость, потери обучения падают быстрее, чем раньше (за исключением самой тонкой сетки с 1000 точками, где оптимизация перестает работать, вероятно, из-за плохих ландшафтов потерь). Однако потери теста сначала снижаются, а затем растут, отображая U-образную форму из-за компромисса смещения-дисперсии (недообучение против переобучения). Мы предполагаем, что оптимальные потери теста достигаются на пороге интерполяции, когда количество параметров соответствует количеству точек данных. Поскольку количество наблюдений в наших обучающих выборках равно 1000, а общее количество параметров KAN[2,5,1] равно 15 ( — число интервалов сетки), мы ожидаем, что порог интерполяции составит G = 1000/15 ≈ 67 , что примерно соответствует нашему экспериментально наблюдаемому значению G ∼ 50 .

Маленькие KAN лучше обобщают Это ли лучшая производительность теста, которую мы можем достичь? Обратите внимание, что синтетическая задача может быть представлена точно как KAN[2,1,1], поэтому мы обучаем KAN [2,1,1] и представляем динамику обучения на рисунке 2.3 вверху справа. Интересно, что он может достигать даже меньших потерь теста, чем KAN [2,5,1], с более четкими лестничными структурами, а порог интерполяции задерживается до большего размера сетки в результате меньшего количества параметров. Это подчеркивает тонкость выбора архитектур KAN. Если мы не знаем структуру задачи, как мы можем определить минимальную форму KAN? В разделе 2.5 мы предложим метод автоматического обнаружения такой минимальной архитектуры KAN с помощью регуляризации и обрезки.

Законы масштабирования: сравнение с теорией. Нас также интересует, как уменьшаются потери теста по мере увеличения числа параметров сетки. На рисунке 2.3 (внизу слева) [2,1,1] KAN масштабируется примерно как test $RMSE ∝ G^{−3}$ . Однако, согласно теореме 2.1, мы ожидали бы test $RMSE ∝ G^{−4}$ . Мы обнаружили, что ошибки по образцам неравномерны. Вероятно, это связано с граничными эффектами [25]. Фактически, есть несколько образцов, которые имеют значительно бо́льшие ошибки, чем другие, что замедляет общее масштабирование. Если мы вычислим квадратный корень из медианы (не среднего) квадратов потерь, мы получим масштабирование ближе к $G^{−4}$ . Несмотря на эту неоптимальность (вероятно, из-за оптимизации), KAN все еще имеют гораздо лучшие законы масштабирования, чем MLP, для подгонки данных (рисунок 3.1) и решения PDE (рисунок 3.3). Кроме того, время обучения выгодно масштабируется с числом точек сетки , как показано на рисунке 2.3 внизу справа*.
* При G = 1000 обучение значительно замедляется, что характерно для использования оптимизатора LBFGS с поиском по строке. Мы предполагаем, что ситуация с потерями становится плохой при G = 1000 , поэтому проводим поиск по строке, пытаясь найти оптимальный размер шага в максимальных итерациях без преждевременной остановки.

Внешние и внутренние степени свободы. Новая концепция, присущая KAN, — это различие между внешними и внутренними степенями свободы (параметрами). Вычислительный график того, как соединены узлы, представляет внешние степени свободы ("dofs"), в то время как точки сетки внутри функции активации являются внутренними степенями свободы. KAN выигрывают от того, что у них есть как внешние, так и внутренние степени свободы. Внешние степени свободы (которые также есть у MLP, но нет у сплайнов) отвечают за изучение композиционных структур нескольких переменных. Внутренние степени свободы (которые также есть у сплайнов, но нет у MLP) отвечают за изучение одномерных функций.

2.5 Для удобства интерпретации: Упрощение KAN и придание им интерактивности

Один из недостатков последнего подраздела заключается в том, что мы не знаем, как выбрать форму KAN, которая наилучшим образом соответствует структуре набора данных. Например, если мы знаем, что набор данных генерируется с помощью символической формулы f(x, y) = exp(sin(πx)+y^2) , то мы знаем, что [2,1,1] KAN может выразить эту функцию. Однако на практике мы не знаем информацию априори, поэтому было бы неплохо иметь подходы для автоматического определения этой формы. Идея состоит в том, чтобы начать с достаточно большой KAN и обучить ее с помощью регуляризации разреженности с последующей обрезкой. Мы покажем, что эти обрезанные KAN гораздо более интерпретируемы, чем необрезанные. Чтобы сделать KAN максимально интерпретируемыми, мы предлагаем несколько методов упрощения в разделе 2.5.1 и пример того, как пользователи могут взаимодействовать с KAN, чтобы сделать их более интерпретируемыми в разделе 2.5.2.

2.5.1 Методы упрощения

1. Разрежение (Sparsification). Для MLP используется регуляризация L1 линейных весов для поддержки разрежения. KAN могут адаптировать эту идею высокого уровня, но для этого нужны две модификации:
(1) В KAN нет линейного «веса». Линейные веса заменяются обучаемыми функциями активации, поэтому мы должны определить L1 norm этих функций активации.
(2) Мы обнаружили, что L1 недостаточно для разрежения KAN; вместо этого необходима дополнительная регуляризация энтропии (более подробную информацию см. в Приложении C).
Мы определяем норму L1 функции активации как ее среднюю величину по N_p входным данным, т. е.

Тогда для слоя KAN с $n_{in}$ количеством входов и $n_{out}$ количеством выходов мы определяем норму L1 как сумму норм L1 всех функций активации, т. е.

Кроме того, мы определяем энтропию как

Общая цель обучения $ℓ_{total}$ представляет собой потерю предсказания $ℓ_{pred}$ плюс L1 и энтропийную регуляризацию всех слоев KAN:

где µ_1, µ_2 — относительные величины, обычно устанавливаемые равными µ_1 = µ_2 = 1 , а λ управляет общей величиной регуляризации.

Рисунок 2.4: Пример того, как выполнить символическую регрессию с помощью KAN.

2. Визуализация. Когда мы визуализируем KAN, чтобы получить представление о величинах, мы устанавливаем прозрачность функции активации $ϕ_{l,i,j }$ пропорциональной tanh( $βA_{l,i,j}$ ), где β = 3 . Таким образом, функции с малой величиной кажутся затухшими, что позволяет нам сосредоточиться на важных.
3. Отсечение (Pruning). После обучения со штрафом за разрежение мы также можем захотеть отсечь сеть до меньшей подсети. Мы отсеиваем KAN на уровне узлов (а не на уровне границ). Для каждого узла (скажем, нейрона в слое ) мы определяем его входящие и исходящие баллы как

и считаем узел важным, если и входящие, и исходящие баллы больше порогового гиперпараметра $θ = 10^{−2}$ по умолчанию. Все неважные нейроны отсеиваются.
4. Символизация (Symbolification). В случаях, когда мы подозреваем, что некоторые функции активации на самом деле являются символическими (например, cos или log), мы предоставляем интерфейс для установки их в указанную символическую форму, где fix_symbolic (l, i, j, f) может установить активацию (l, i, j) в . Однако мы не можем просто установить функцию активации в качестве точной символической формулы, поскольку ее входы и выходы могут иметь сдвиги и масштабирования. Таким образом, мы получаем предактивации и постактивации из образцов и подгоняем аффинные параметры (a, b, c, d) таким образом, что y ≈ cf(ax+b)+d . Подгонка выполняется с помощью итеративного поиска сетки , и линейной регрессии. Помимо этих методов, мы предоставляем дополнительные инструменты, которые позволяют пользователям применять более детальный контроль к KAN, перечисленных в Приложении A.

2.5.2 Игрушечный пример: как пользователи могут взаимодействовать с KAN

Выше мы предложили ряд методов упрощения для KAN. Мы можем рассматривать эти варианты упрощения как кнопки, на которые можно нажать. Пользователь, взаимодействующий с этими кнопками, может решить, какую кнопку наиболее перспективно нажать следующей, чтобы сделать KAN более интерпретируемыми. Мы используем пример ниже, чтобы продемонстрировать, как пользователь может взаимодействовать с KAN, чтобы получить максимально интерпретируемые результаты. Давайте снова рассмотрим задачу регрессии

Имея данные точек (x_i, y_i, f_i), i = 1,2,··· ,N_p , гипотетический пользователь Алиса заинтересована в выяснении символической формулы. Этапы взаимодействия Алисы с KAN описаны ниже (проиллюстрированы на рисунке 2.4):
Шаг 1: Обучение с разрежением. Начиная с полностью связанной [2,5,1] KAN, обучение с регуляризацией разрежения может сделать ее довольно разреженной. 4 из 5 нейронов в скрытом слое кажутся бесполезными, поэтому мы хотим их отсечь.
Шаг 2: Обрезка (pruning). Видно, что автоматическая обрезка отбрасывает все скрытые нейроны, кроме последнего, оставляя [2,1,1] KAN. Функции активации, по-видимому, являются известными символическими функциями.
Шаг 3: Установка символических функций. Предполагая, что пользователь может правильно угадать эти символические формулы, глядя на график KAN, он может установить

В случае, если пользователь не имеет знаний в данной области или не имеет представления о том, какими символическими функциями могут быть эти функции активации, мы предоставляем функцию suggest_symbolic для предложения символических кандидатов.
Шаг 4: Дальнейшее обучение. После символизации всех функций активации в сети единственными оставшимися параметрами являются аффинные параметры. Мы продолжаем обучение этих аффинных параметров, и когда видим, что потери снижаются до машинной точности, мы знаем, что нашли правильное символьное выражение.
Шаг 5: Вывод символической формулы. Sympy используется для вычисления символической формулы выходного узла. Пользователь получает $1.0e^{1.0y^2+1.0sin(3.14x)}$ , что является истинным ответом (мы отобразили только два десятичных знака для ).
Замечание: Почему не символическая регрессия (SR)? Для этого примера разумно использовать символическую регрессию. Однако методы символической регрессии, как правило, хрупкие и их трудно отлаживать. Они либо возвращают успех, либо неудачу в конце, не выводя интерпретируемых промежуточных результатов. Напротив, KAN выполняют непрерывный поиск (с градиентным спуском) в функциональном пространстве, поэтому их результаты более непрерывны и, следовательно, более надежны. Более того, пользователи имеют бо́льший контроль над KAN по сравнению с SR из-за прозрачности KAN. То, как мы визуализируем KAN, похоже на демонстрацию «мозга» KAN пользователям, и пользователи могут выполнять «операцию» (отладку) на KAN. Этот уровень контроля обычно недоступен для SR. Мы покажем примеры этого в разделе 4.4. В более общем плане, когда целевая функция не является символической, символическая регрессия не сработает, но KAN все равно могут предоставить что-то значимое. Например, специальная функция (т.е. функция Бесселя Bessel function) не может быть изучена с помощью SR, если она не предоставлена заранее, но KAN могут использовать сплайны для ее численной аппроксимации в любом случае (см. рисунок 4.1 (d)).

3. KAN точны

В этом разделе мы демонстрируем, что KAN более эффективны для представления функций, чем MLP, в различных задачах (регрессия и решение PDE). При сравнении двух семейств моделей справедливо сравнивать как их точность (loss), так и их сложность (количество параметров). Мы покажем, что KAN демонстрируют более благоприятные границы Парето (Pareto Frontiers), чем MLP. Более того, в разделе 3.5 мы показываем, что KAN могут естественным образом работать в непрерывном обучении без катастрофического забывания.

Рисунок 3.1: Сравните KAN с MLP на пяти игрушечных примерах. KAN могут почти полностью соответствовать самому быстрому закону масштабирования, предсказанному нашей теорией (α = 4), в то время как MLP масштабируются медленно и быстро выходят на плато.

3.1 Игрушечные наборы данных

В разделе 2.3 наша теория предположила, что тест RMSE loss масштабируется как $ℓ ∝ N^{−4}$ с параметрами модели . Однако это основано на существовании представления Колмогорова-Арнольда. В качестве проверки здравомыслия мы строим пять примеров, которые, как мы знаем, имеют гладкие представления KA:
(1) f(x) = J_0(20x) , что является функцией Бесселя. Поскольку это одномерная функция, ее можно представить сплайном, который является [1,1] KAN.
(2) f(x,y) = exp(sin(πx) + y^2) . Мы знаем, что его можно точно представить как [2,1,1] KAN.
(3) f(x,y) = xy . Из рисунка 4.1 мы знаем, что его можно точно представить как [2,2,1] KAN.
(4) Пример высокой размерности $f(x_1…,x_{100})=exp⁡(\frac1{100} \sum_{i=1}^{100} sin^2(\frac{{\pi}x_i}2))$ , который можно представить с помощью [100,1,1] KAN
(5) Четырехмерный пример f (x_1 ,x_2 ,x_3 ,x_4 )=exp(1/2 (sin⁡(π(x_1^2+ x_2^2))+sin⁡(π(x_3^2+x_4^2 )))) который можно представить как [4,4,2,1] KAN.
Мы обучаем эти KAN, увеличивая точки сетки каждые 200 шагов, в общем покрывая G = {3,5,10,20,50,100,200,500,1000} . Мы обучаем MLP с различной глубиной и шириной в качестве базовых линий. И MLP, и KAN обучаются с LBFGS в общей сложности на 1800 шагов. Мы строим график тестового RMSE как функции количества параметров для KAN и MLP на рисунке 3.1, показывающий, что KAN имеют лучшие кривые масштабирования, чем MLP, особенно для примера с высокой размерностью. Для сравнения мы изобразим линии, предсказанные нашей теорией KAN, как красные пунктирные (α = k+1 = 4) , а линии, предсказанные Шармой и Капланом (Sharma & Kaplan) [24], как черные пунктирные (α = (k+1)/d = 4/d) . KAN представляют собой круто снижающиеся красные линии, в то время как MLP даже примерно не повторяют черные линии, и быстро выходят на плато. Мы также отмечаем, что в последнем примере 2-слойный KAN [4,9,1] ведет себя намного хуже, чем 3-слойный KAN (форма [4,2,2,1]). Это подчеркивает большую выразительную силу более глубоких KAN, что является тем же для MLP: более глубокие MLP обладают большей выразительной силой, чем более мелкие. Обратите внимание, что мы приняли ванильную настройку, где и KAN, и MLP обучаются с помощью LBFGS без расширенных методов, например, переключения между Adam и LBFGS или усиления [35]. Мы оставляем сравнение KAN и MLP в расширенных настройках для будущей работы.

3.2 Специальные функции

Одно предостережение относительно приведенных выше результатов заключается в том, что мы предполагаем знание «истинной» формы KAN. На практике мы не знаем о существовании представлений KA. Даже когда нам обещают, что такое представление KA существует, мы не знаем форму KAN априори. Специальные функции более чем от одной переменной являются такими случаями, потому что было бы (математически) удивительно, если бы многомерные специальные функции (например, функция Бесселя f(ν,x) = J_ν(x)) могли быть записаны в представлениях KA, включающих только одномерные функции и суммы).

Рисунок 3.2: Подгонка специальных функций. Мы показываем границу Парето KAN и MLP в плоскости, охватываемой числом параметров модели и потерей RMSE. Последовательно по всем специальным функциям KAN имеют лучшие границы Парето, чем MLP. Определения этих специальных функций приведены в Таблице 1

Ниже мы показываем, что:
(1) Возможно нахождение (приближенное) компактных KA-представлений специальных функций, раскрывающих новые математические свойства специальных функций с точки зрения представлений Колмогорова-Арнольда.
(2) KAN более эффективны и точны в представлении специальных функций, чем MLP.
Мы собрали 15 специальных функций, распространенных в математике и физике, сведенных в таблицу 1. Мы выбираем MLP с фиксированной шириной 5 или 100 и глубиной в $\{2,3,4,5,6\}$ . Мы запускаем KAN как с обрезкой, так и без нее. KAN без обрезки: Мы фиксируем форму KAN, ширина которого равна 5, а глубины развернуты в $\{{2,3,4,5,6}\}$ . KAN с обрезкой. Мы используем технику спарсификации (sparsification) ( $λ = 10^{-2}$ или $10^{-3}$ ) и обрезки, описанную в разделе 2.5.1, чтобы получить меньший KAN, обрезанный из KAN с фиксированной формой. Каждый KAN инициализируется для = 3, обучается с помощью LBFGS, с увеличением количества точек сетки каждые 200 шагов для покрытия $G = \{3,5,10,20,50,100,200\}$ . Для каждой комбинации гиперпараметров мы запускаем 3 случайных seeds.
Для каждого набора данных и каждого семейства моделей (KANs или MLPs) мы построили график границы Парето* в плоскости (количество параметров, RMSE), показанный на рисунке 3.2. Показано, что производительность KAN стабильно лучше, чем MLP, т. е. KAN может достичь меньших потерь при обучении/тестировании, чем MLP, при том же количестве параметров. Более того, в таблице 1 мы приводим (удивительно компактные) формы наших автооткрытых KAN для специальных функций. С одной стороны, интересно интерпретировать, что эти компактные представления означают с математической точки зрения (мы приводим иллюстрации KAN на рисунках F.1 и F.2 в Приложении F). С другой стороны, эти компактные представления подразумевают возможность разбиения высокоразмерной таблицы поиска на несколько одномерных таблиц поиска, что потенциально может сэкономить много памяти при (почти незначительных) затратах на выполнение нескольких дополнений во время вывода.
* Граница Парето определяется как соответствие, которое является оптимальным в том смысле, что никакое другое соответствие не является одновременно более простым и точным.

3.3 Наборы данных Feynman

Настройка в Разделе 3.1 - это когда мы четко знаем «истинные» формы KAN. Настройка в Разделе 3.2 — это когда мы четко не знаем «истинные» формы KAN. В этой части исследуется настройка, лежащая посередине:

Таблица 1: Специальные функции

Таблица 2 Фейнманов датасет

Учитывая структуру набора данных, мы можем построить KAN вручную, но мы не уверены, что они оптимальны. В этом режиме интересно сравнить KAN, созданные человеком, и KAN, обнаруженные автоматически с помощью обрезки (методы в разделе 2.5.1).

Набор данных Фейнмана. Набор данных Фейнмана собирает множество физических уравнений из учебников Фейнмана [36, 37]. Для нашей цели нас интересуют задачи из набора данных Feynman_no_units, которые имеют по крайней мере 2 переменные, поскольку одномерные задачи тривиальны для KAN (они упрощаются до 1D-сплайнов). Пример уравнения из набора данных Фейнмана — это формула сложения релятивистских скоростей

Набор данных может быть построен путем случайного выбора u_i ∈ (−1,1) , v_i ∈ (−1,1) и вычисления f_i = f(u_i, v_i) . При наличии множества кортежей (u_i, v_i, f_i) нейронная сеть обучается и стремится предсказать из и . Нас интересует (1) насколько хорошо нейронная сеть может работать на тестовых выборках; (2) насколько много мы можем узнать о структуре проблемы с помощью нейронных сетей.

Мы сравниваем четыре вида нейронных сетей:

(1) Сконструированный человеком KAN. Имея символическую формулу, мы переписываем ее в представлениях Колмогорова-Арнольда. Например, чтобы умножить два числа и , мы можем использовать тождество

$xy = \frac{(x+y)^2}4 - \frac{(x-y)^2}4$ ,

что соответствует [2,2,1] KAN. Сконструированные формы перечислены в «Форма KAN, сконструированная человеком» в Таблице 2.
(2) KAN без обрезки. Мы фиксируем форму KAN на ширине 5, а глубины увеличиваем до $\{2,3,4,5,6\}$ .
(3) KAN с обрезкой. Мы используем разрежение ( $λ = 10^{−2}$ или $10^{−3}$ ) и технику обрезки из раздела 2.5.1, чтобы получить меньший KAN из фиксированной формы KAN из (2).
(4) MLP с фиксированной шириной 5, глубинами, охватываемыми в $\{2,3,4,5,6\}$ , и активациями, выбранными из $\{Tanh, ReLU, SiLU\}$
Каждая KAN инициализируется с = 3, обучается с LBFGS, с увеличением числа точек сетки каждые 200 шагов для покрытия $G=\{{3,5,10,20,50,100,200}\}$ . Для каждой комбинации гиперпараметров мы пробуем 3 случайных начальных числа. Для каждого набора данных (уравнения) и каждого метода мы сообщаем результаты лучшей модели (минимальная форма KAN или наименьшие потери теста) по случайным начальным числам и глубинам в Таблице 2. Мы обнаружили, что MLP и KAN ведут себя в среднем сопоставимо. Для каждого набора данных и каждого семейства моделей (KAN или MLP) мы строим границу Парето на плоскости, охватываемой числом параметров и потерями RMSE, показанными на рисунке D.1 в Приложении D. Мы предполагаем, что наборы данных Фейнмана слишком просты, чтобы позволить KAN внести дальнейшие улучшения, в том смысле, что зависимость переменных обычно гладкая или монотонная, что контрастирует со сложностью специальных функций, которые часто демонстрируют колебательное поведение.

Автоматически найденные KAN меньше, чем построенные человеком. Мы сообщаем обрезанную (pruned) форму KAN в двух столбцах таблицы 2; в одном столбце - минимальная обрезанная форма KAN, которая может обеспечить приемлемые потери (т. е. RMSE теста меньше $10^{-2}$ ); в другом - обрезанная форма KAN, которая обеспечивает наименьшие потери теста. Для полноты картины мы визуализируем все 54 обрезанных KAN в приложении D (рис. D.2 и D.3). Интересно заметить, что автоматически найденные формы KAN (как для минимального, так и для лучшего) обычно меньше, чем наши человеческие конструкции. Это означает, что KA-представления могут быть более эффективными, чем мы себе представляем. В то же время это может затруднить интерпретацию, поскольку информация сжимается в меньшее пространство, чем нам удобно.
Рассмотрим, например, релятивистскую композицию скоростей $f(u, v) = \frac{u+v}{1+uv}$ . Наша конструкция довольно глубокая, поскольку мы предполагали, что умножение u,v будет использовать два слоя (см. рисунок 4.1 (a)), инверсия 1 + uv будет использовать один слой, а умножение u + v и 1/(1 + uv) будет использовать еще два слоя*, что в итоге дает 5 слоев (*Обратите внимание, что мы не можем использовать логарифмическую конструкцию для деления, поскольку и здесь могут быть отрицательными числами). Однако автоматически обнаруженные KAN имеют глубину всего 2 слоя! Оглядываясь назад, это на самом деле ожидаемо, если мы вспомним трюк с быстротой в теории относительности: определим две «быстроты» a ≡ arctanh и b ≡ arctanh . Релятивистская композиция скоростей — это простые сложения в пространстве быстроты, т.е. $\frac{u+v}{1+uv}$ , которые могут быть реализованы двухслойной KAN. Притворяясь, что мы не имеем понятия о быстроте в физике, мы могли бы потенциально обнаружить эту концепцию прямо из KAN без проб и ошибок символических манипуляций. Интерпретируемость KAN, которая может облегчить научное открытие, является основной темой в Разделе 4.

Рисунок 3.3: Пример PDE. Мы строим графики потерь L2 в квадрате и потерь H1 в квадрате между предсказанным решением и истинным решением. Первое и второе: динамика обучения потерь. Третье и четвертое: законы масштабирования потерь в зависимости от количества параметров. KAN сходятся быстрее, достигают меньших потерь и имеют более крутые законы масштабирования, чем MLP.

3.4 Решение уравнений в частных производных (partial differential equation PDE)

Мы рассматриваем уравнение Пуассона с нулевыми граничными данными Дирихле. Для Ω=[−1,1]^2 рассмотрим уравнение в частных производных

Рассмотрим данные f = −π^2(1 + 4y^2)sin(πx)sin(πy^2) + 2π sin(πx)cos(πy^2) , для которых u=sin(πx)sin(πy^2) является истинным решением. Мы используем структуру нейронных сетей, основанных на физике (PINN) [38, 39], чтобы решить это уравнение в частных производных, с функцией потерь, заданной как

где мы используем loss_i для обозначения внутренних потерь, дискретизированных и оцененных путем равномерной выборки из n_i точек z_i = (x_i, y_i) внутри области, и аналогично мы используем loss_b для обозначения граничных потерь, дискретизированных и оцененных путем равномерной выборки из n_b точек на границе, — гиперпараметр, уравновешивающий эффект двух членов.
Мы сравниваем архитектуру KAN с архитектурой MLP, используя те же гиперпараметры n_i = 10000 , n_b = 800 и α = 0,01 . Мы измеряем как ошибку L^2 norm, так и норму энергии ( H^1 ) и видим, что KAN достигает гораздо лучшего закона масштабирования с меньшей ошибкой, используя меньшие сети и меньшее количество параметров; см. рисунок 3.3. Двухслойная ширина – 10 KAN в 100 раз точнее, чем четырехслойная ширина – 100 MLP ( $10^{−7}$ против $10^{−5}$ MSE) и в 100 раз эффективнее по параметрам ( 10^2 против 10^4 параметров). Поэтому мы предполагаем, что KAN могут иметь потенциал служить хорошим представлением нейронной сети для сокращения моделей PDE. Однако мы хотим отметить, что наша реализация KAN обычно в 10 раз медленнее, чем MLP для обучения. То, что истина представляет собой символическую формулу, может быть несправедливым сравнением для MLP, поскольку KAN хороши для представления символических формул. В целом, KAN и MLP хороши для представления различных классов функций решений PDE, что требует детального будущего изучения для понимания их соответствующих границ.

3.5 Непрерывноe обучение

Катастрофическое забывание является серьезной проблемой в современном машинном обучении [40]. Когда человек справляется с задачей и переходит к другой задаче, он не забывает, как выполнять первую задачу. К сожалению, это не так для нейронных сетей. Когда нейронная сеть обучается по задаче 1, а затем переходит к обучению по задаче 2, сеть скоро забудет о том, как выполнять задачу 1.

Рисунок 3.4: Задача непрерывного обучения на игрушечных данных. Набор данных представляет собой задачу одномерной регрессии с 5 пиками Гаусса (верхний ряд). Данные вокруг каждого пика представляются последовательно (а не все сразу) в KAN и MLP. KAN (средний ряд) могут прекрасно избегать катастрофического забывания, в то время как MLP (нижний ряд) демонстрируют серьезное катастрофическое забывание.

Ключевое различие между искусственными нейронными сетями и человеческим мозгом заключается в том, что человеческий мозг имеет функционально различные модули, размещенные локально в пространстве. Когда изучается новая задача, реорганизация структуры происходит только в локальных регионах, ответственных за соответствующие навыки [41, 42], оставляя другие регионы нетронутыми. Большинство искусственных нейронных сетей, включая MLP, не имеют этого понятия локальности, что, вероятно, является причиной катастрофического забывания.
Мы показываем, что KAN обладают локальной пластичностью и могут избежать катастрофического забывания, используя локальность сплайнов. Идея проста: поскольку сплайновые базы локальны, выборка повлияет только на несколько близлежащих коэффициентов сплайна, оставляя далекие коэффициенты нетронутыми (что желательно, поскольку далекие регионы могут уже хранить информацию, которую мы хотим сохранить). Напротив, поскольку MLP обычно используют глобальные активации, например, ReLU/Tanh/SiLU и т. д., любое локальное изменение может неконтролируемо распространяться на далекие регионы, уничтожая хранящуюся там информацию.
Мы используем игрушечный пример для проверки этой интуиции. Задача одномерной регрессии состоит из 5 пиков Гаусса. Данные вокруг каждого пика представляются последовательно (а не все сразу) KAN и MLP, как показано на верхнем ряду рисунка 3.4. Прогнозы KAN и MLP после каждой фазы обучения показаны в среднем и нижнем рядах. Как и ожидалось, KAN ремоделирует только регионы, где присутствуют данные в текущей фазе, оставляя предыдущие регионы неизменными. Напротив, MLP ремоделирует весь регион после просмотра новых образцов данных, что приводит к катастрофическому забыванию.
Здесь мы просто представляем наши предварительные результаты на чрезвычайно простом примере, чтобы продемонстрировать, как можно было бы использовать локальность в KAN (благодаря параметризации сплайнов) для уменьшения катастрофического забывания. Однако остается неясным, может ли наш метод быть обобщен на более реалистичные установки, особенно в случаях с высокой размерностью, где неясно, как определить «локальность». В будущей работе мы также хотели бы изучить, как наш метод может быть связан и объединен с методами SOTA в непрерывном обучении [43, 44].

4. KAN интерпретируются

Мы хотим протестировать использование KAN не только на синтетических задачах (раздел 4.1 и 4.2), но и в реальных научных исследованиях. Мы демонстрируем, что KAN могут (пере)открывать как весьма нетривиальные отношения в теории узлов (раздел 4.3), так и границы фазовых переходов в физике конденсированного состояния (раздел 4.4). KAN потенциально могут стать базовой моделью для AI+Science благодаря своей точности (последний раздел) и интерпретируемости (этот раздел).

Figure 4.1: KAN интерпретируются для простых символических задач.

4.1 Наблюдаемые (контролируемые) наборы игрушечных данных

Сначала мы исследуем способность KAN выявлять композиционные структуры в символьных формулах. Шесть примеров приведены ниже, а их KAN визуализированы на рисунке 4.1. KAN способны выявить композиционные структуры, присутствующие в этих формулах, а также выучить правильные одномерные функции.
(a) Умножение f(x, y)=xy . KAN [2,5,1] обрезается до KAN [2,2,1]. Обученные функции активации являются линейной и квадратичной. Из графика вычислений видно, что способ вычисления основан на использовании 2xy = (x + y)^2 - (x^2 + y^2) .
(b) Деление положительных чисел f(x,y) = x/y . KAN [2,5,1] обрезается до KAN [2,1,1]. Обученные функции активации - это логарифмическая и экспоненциальная функции, а KAN вычисляет x/y , используя тождество x/y=exp(logx - logy) .
(c) Числовые в категориальные. Задача состоит в преобразовании вещественного числа в диапазоне [0,1] в его первую десятичную цифру (в виде одной точки), например, 0,0618 → [1,0,0,0,0, ···], 0,314 → [0,0,0,1,0, ···] . Обратите внимание, что функции активации обучаются как пики, расположенные вокруг соответствующих десятичных цифр.
(d) Специальная функция f(x,y) = exp(J_0(20x) + y^2) . Одно из ограничений символьной регрессии заключается в том, что она никогда не найдет правильную формулу специальной функции, если специальная функция не предоставлена в качестве предварительного знания. KAN могут обучаться специальным функциям - сильно волнистая функция Бесселя J_0(20x) обучается (численно) с помощью KAN.
(e) Фазовый переход f(x_1,x_2,x_3 )=tanh⁡(5(x_1^4+x_2^4+x_3^4-1)) . Фазовые переходы представляют большой интерес в физике, поэтому мы хотим, чтобы KAN могли обнаруживать фазовые переходы и определять правильные параметры порядка. Мы используем функцию tanh для моделирования поведения фазового перехода, а параметр порядка представляет собой комбинацию членов четвертой степени x_1, x_2, x_3 . Как зависимость четвертой степени, так и зависимость tanh появляются после обучения KAN. Это упрощенный случай локализационного фазового перехода, обсуждаемого в разделе 4.4.
(f) Более глубокие композиции $f(x_1,x_2,x_3,x_4)=\sqrt{(x_1-x_2)^2 + (x_3-x_4)^2}$ . Для вычисления этого нам понадобятся функция тождества, квадратная функция и квадратный корень, что требует как минимум трехслойного KAN. Действительно, мы обнаруживаем, что [4, 3, 3, 1] KAN может быть автоматически сокращен до [4, 2, 1, 1] KAN, что в точности соответствует ожидаемому нами графу вычислений.

Дополнительные примеры из набора данных Фейнмана и набора данных специальных функций представлены на рисунках D.2, D.3, F.1, F.2 в приложениях D и F.

4.2 Игрушечный набор данных для обучения без учителя

Часто научные открытия формулируются как контролируемые задачи обучения, т. е., имея входные переменные x_1, x_2,···, x_d и выходную переменную(ые) , мы хотим найти интерпретируемую функцию такую, что y ≈ f(x_1, x_2,··· , x_d) . Однако другой тип научного открытия может быть сформулирован как неконтролируемое обучение, т. е., имея набор переменных , мы хотим обнаружить структурную связь между переменными. В частности, мы хотим найти ненулевое f такое, что

Например, рассмотрим набор признаков (x_1, x_2, x_3) , который удовлетворяет $x_3 = exp(sin(\pi x_1)+x_2^2$ . Тогда допустимым является $f(x_1, x_2, x_3) = sin(\pi x_1)+x_2^2 - log(x_3) = 0$ , что подразумевает, что точки образуют двумерное подмногообразие, заданное f = 0 , а не заполняют все трехмерное пространство.
Если алгоритм решения неконтролируемой задачи может быть разработан, он будет иметь значительное преимущество перед контролируемой задачей, поскольку для него требуются только наборы признаков S = (x_1, x_2,··· , x_d) . С другой стороны, контролируемая задача пытается предсказать подмножества признаков с точки зрения других, т.е. она разбивает $S = S_{in} ∪ S_{out}$ на входные и выходные признаки обучаемой функции. Без экспертных знаний в данной области, которые могли бы посоветовать разбиение, существует 2^d - 2 возможностей, таких что $|S_{in}| > 0$ и $|S_{out}| > 0$ .
Этого экспоненциально большого пространства контролируемых проблем можно избежать, используя неконтролируемый подход. Этот неконтролируемый подход к обучению будет ценным для набора данных узлов в разделе 4.3. Команда Google Deepmind [45] вручную выбрала сигнатуру в качестве целевой переменной, в противном случае они столкнулись бы с этой комбинаторной проблемой, описанной выше. Здесь поднимается вопрос, можем ли мы вместо этого напрямую заняться неконтролируемым обучением. Мы представляем наш метод и игрушечный пример ниже.
Мы решаем проблему неконтролируемого обучения, превращая ее в проблему контролируемого обучения на всех признаках , не требуя выбора разбиения.
Основная идея состоит в том, чтобы изучить функцию f(x_1,..., x_d) = 0 , такую, что не является 0-функцией. Для этого, подобно контрастному обучению, мы определяем положительные образцы и отрицательные образцы: положительные образцы являются векторами признаков реальных данных. Отрицательные образцы создаются путем искажения признаков. Чтобы гарантировать, что общее распределение признаков для каждого топологического инварианта остается прежним, мы выполняем искажение признаков путем случайной перестановки каждого признака по всему обучающему набору. Теперь мы хотим обучить сеть так, чтобы $g(x_{real}) = 1$ и $g(x_{fake}) = 0$ , что превращает задачу в контролируемую задачу.
Однако помните, что изначально мы хотим, чтобы $f(x_{real}) = 0$ и $f(x_{fake})≠ 0$ . Мы можем добиться этого, имея g = σ ◦ f , где σ(x)=exp⁡(-x^2/(2w^2 )) - гауссова функция с малой шириной , которую можно удобно реализовать с помощью KAN с формой [...,1,1], последняя активация которой установлена как гауссова функция , а все предыдущие слои образуют . За исключением упомянутых выше изменений, все остальное для контролируемого обучения остается прежним.
Теперь мы продемонстрируем, что неконтролируемая парадигма работает для синтетического примера. Давайте рассмотрим 6D набор данных, где (x_1, x_2, x_3 ) — зависимые переменные, такие что x_3 = exp(sin(x_1) + x_2^2) ; (x4, x5) - зависимые переменные, причем x_5 = x_4^3 ; x₆ не зависит от других переменных.

Рисунок 4.2: Неконтролируемое обучение игрушечной задачи. KAN могут идентифицировать группы зависимых переменных, т.е. и в нашем случае.

Рисунок 4.2: Неконтролируемое обучение игрушечной задачи. KAN могут идентифицировать группы зависимых переменных, т.е. (x_1, x_2, x_3)

в нашем случае.

На рисунке 4.2 мы показываем, что для seed = 0 KAN раскрывает функциональную зависимость между x_1 , x_2 и x_3 ; для другого seed = 2024 KAN раскрывает функциональную зависимость между x_4 и x_5 . Наши предварительные результаты основаны на случайности (разные начальные значения) для обнаружения различных отношений; в будущем мы хотели бы исследовать более систематический и более контролируемый способ обнаружения полного набора отношений. Тем не менее, наш инструмент в его текущем состоянии может предоставить информацию для научных задач. Мы представляем наши результаты с набором данных узлов в разделе 4.3.

4.3 Применение к математике: теория узлов

Теория узлов — это предмет в низкоразмерной топологии, который проливает свет на топологические аспекты трех- и четырехмерных многообразий и имеет множество приложений, в том числе в биологии и топологических квантовых вычислениях. Математически узел является вложением S^1 в S^3 . Два узла и топологически эквивалентны, если один может быть деформирован в другой посредством деформации окружающего пространства S^3 , в этом случае мы пишем [K] = [K′] . Некоторые узлы топологически тривиальны, что означает, что их можно гладко деформировать в стандартную окружность. Узлы имеют множество деформационно-инвариантных особенностей f, называемых топологическими инвариантами, которые можно использовать для показа того, что два узла топологически неэквивалентны, [K] ≠ [K′] , если f(K) ≠ f(K′) . В некоторых случаях топологические инварианты имеют геометрическую природу. Например, гиперболический узел имеет дополнение узла S^3 \ , которое допускает каноническую гиперболическую метрику , такую что vol_g(K) является топологическим инвариантом, известным как гиперболический объем.
Другие топологические инварианты имеют алгебраическую природу, например, многочлен (polynomial) Джонса.
Учитывая фундаментальную природу узлов (knots) в математике и важность ее приложений, интересно изучить, может ли машинное обучение привести к новым результатам. Например, в [46] обучение с подкреплением использовалось для установления ленточности (ribbonness) определенных узлов, что исключило многие потенциальные контрпримеры к гладкой 4d гипотезе Пуанкаре.
Контролируемое обучение В [45] для получения новой теоремы, связывающей алгебраические и геометрические инварианты узлов принимали участие эксперты в предметной области, а также использовалось контролируемое обучение. В этом случае градиентная заметность определила ключевые инварианты для контролируемой проблемы, что привело экспертов в предметной области к выдвижению гипотезы, которая впоследствии была уточнена и доказана. Мы изучаем, может ли KAN достичь хороших интерпретируемых результатов по той же проблеме, которая предсказывает сигнатуру узла. Основные результаты, полученные при изучении набора данных по теории узлов, таковы:
(1) Используя методы сетевой атрибуции, они обнаружили, что подпись (signature) в основном зависит от меридионального расстояния (meridinal distance) (реальное µ_r , воображаемое µ_i ) и продольного расстояния .
(2) Учёные позже установили, что имеет высокую корреляцию с наклоном

$≡Re (\fracλμ)= \frac{λμ_r }{μ_r^2+μ_i^2}$ и вывели границу для |2σ - slope| . (2)

Рисунок 4.3: Набор данных об узлах, контролируемый режим. С помощью KAN мы заново открываем для себя результаты Deepmind о том, что сигнатура в основном зависит от перемещения по меридианам (действительная и мнимая части).

Таблица 3: В задаче классификации signature KAN может достичь большей точности, чем MLP, при гораздо меньшем количестве параметров. Вскоре после публикации нашего препринта профессор Ши Лаб из Технологического института Джорджии обнаружил, что для достижения точности 80 % достаточно MLP всего с 60 параметрами (результаты в общем доступе, но официально не опубликованы). Это хорошая новость для AI + Science, потому что это означает, что многие задачи AI + Science не так требовательны к вычислениям, как мы думаем (как с MLP, так и с KAN), а значит, многие новые научные открытия возможны даже на персональных ноутбуках.

Ниже мы покажем, что KAN не только повторно обнаруживает эти результаты с гораздо меньшими сетями и гораздо большей степенью автоматизации, но и представляет некоторые интересные новые результаты и идеи. Чтобы исследовать (1), мы рассматриваем 17 инвариантов узлов как входные данные, а сигнатуру - как выходные. Аналогично настройке в [45], сигнатуры (которые являются четными числами) кодируются как однократные векторы, и сети обучаются с cross-entropy loss. Мы обнаружили, что очень малая [17,1,14] KAN может достичь точности 81,6% (в то время как 4-слойная ширина 300 MLP Deepmind достигает точности 78%). Для [17,1,14] KAN ( = 3, = 3) имеется 200 параметров, в то время как для MLP $≈ 3 \times 10^5$ параметров, показанных в таблице 3. Примечательно, что KAN могут быть одновременно более точными и гораздо более эффективными по параметрам, чем MLP. С точки зрения интерпретируемости, мы шкалируем прозрачность каждой активации в зависимости от ее величины, так что сразу становится ясно, какие входные переменные важны, без необходимости атрибуции признаков (см. рис. 4.3 слева): сигнатура в основном зависит от $\mu_r$ , немного зависит от $\mu_i$ и $\lambda$ , а зависимость от других переменных невелика. Затем мы обучаем [3,1,14] KAN на трех важных переменных, получая точность теста 78,2%. Наши результаты имеют одно небольшое отличие от результатов работы [45]: они показывают, что сигнатура в основном зависит от $\mu_i$ , в то время как мы обнаруживаем, что сигнатура в основном зависит от $\mu_r$ . Это различие могло быть вызвано тонкими алгоритмическими решениями, но оно привело нас к проведению следующих экспериментов: (а) исследования абляции (ablation studies). Мы показываем, что $\mu_r$ вносит бо́льший вклад в точность, чем $\mu_i$ (см. рисунок 4.3): например, $\mu_r$ в одиночку может достичь 65,0% точности, в то время как $\mu_i$ в одиночку может достичь только 43,8% точности. (b) Мы находим символьную формулу (в таблице 4), в которой участвуют только $\mu_r$ и $\lambda$ , но точность теста составляет 77,8 %.
Чтобы исследовать (2), то есть получить символическую форму , мы формулируем проблему как задачу регрессии. Используя автосимвольную регрессию, представленную в разделе 2.5.1, мы можем преобразовать обученный KAN в символьные формулы.

Таблица 4: Символические формулы сигнатуры как функции меридионального сдвига µ (действительный µ_r, визуальный µ_i) и продольного сдвига λ. В [45] формула А была открыта учеными, вдохновленными результатами атрибуции нейронных сетей. Формулы B-F автоматически открываются KAN. KAN могут выбирать между простотой и точностью (B, C, D). Добавляя больше индуктивных смещений, KAN может открыть формулу E, которая не слишком отличается от формулы A. KAN также открыли формулу F, которая включает только две переменные (µ_r и λ) вместо всех трех переменных, с небольшой потерей точности.

Мы обучаем KAN с формами [3,1], [3,1,1], [3,2,1], соответствующие символьные формулы которых представлены в таблице 4 B-D. Очевидно, что при использовании более крупного KAN возрастает как точность, так и сложность. Таким образом, KAN предоставляют не просто одну символьную формулу, а целый фронтир формул Парето, компромисс между простотой и точностью. Однако KAN нуждаются в дополнительных индуктивных смещениях для дальнейшего упрощения этих уравнений, чтобы заново найти формулу из [45] (табл. 4 A). Мы протестировали два сценария: (1) в первом сценарии мы предполагаем, что формула истины имеет многомерное представление Pade (деление двух многомерных рядов Тейлора). Сначала мы обучаем [3,2,1], а затем подгоняем ее под представление Pade. В таблице 4 мы можем получить формулу E, которая имеет сходство с формулой Deepmind. (2) Мы предполагаем, что деление не очень интерпретируемо для KAN, поэтому мы обучаем два KAN (один для числителя, другой для знаменателя) и делим их вручную. Удивительно, но в итоге мы получаем формулу F (в табл. 4), в которой участвуют только $\mu_r$ и $\lambda$ , хотя $\mu_i$ также присутствует, но игнорируется KAN.
К настоящему времени мы заново открыли основные результаты из [45]. Примечательно, что KAN сделали это открытие очень интуитивным и удобным. Вместо того чтобы использовать методы атрибуции признаков (которые являются отличными методами), можно просто смотреть на визуализацию KAN. Более того, автоматическая символьная регрессия также значительно упрощает поиск символьных формул.
В следующей части мы предлагаем новую парадигму «ИИ для математики», не включенную в статью Deepmind, в которой мы стремимся использовать режим обучения KANs без контроля для обнаружения большего количества отношений (помимо сигнатур) в инвариантах узлов.

Обучение без учителя Как мы упоминали в разделе 4.2, обучение без учителя - это более перспективная настройка, поскольку она позволяет избежать ручного разделения входных и выходных переменных, которые имеют множество комбинаторных возможностей. В режиме обучения без контроля мы обрабатываем все 18 переменных (включая сигнатуру) как входные данные, чтобы они были одинаковыми. Данные узлов - это положительные выборки, и мы случайным образом перемешиваем объекты, чтобы получить отрицательные выборки. KAN обучен определять, принадлежит ли данный вектор признаков положительной выборке (1) или отрицательной выборке (0).
Мы вручную настроили активацию второго уровня как гауссову функцию с максимумом, центрированным на нуле, поэтому положительные выборки будут активироваться (около) нуля, неявно задавая соотношение между инвариантами узлов

$\sum_{i=1}^{18} g_i (x_i )=0$ ,

где x_i - обозначает признак (инвариант), а g_i - это соответствующая функция активации, которая может быть легко считана с диаграмм KAN. Мы обучаем KAN с $λ = \{10^{-2}, 10^{-3}\}$ , чтобы получить разреженную комбинацию входов, и seed = {0,1, ··· ,99}. Все 200 сетей можно сгруппировать в три кластера, а репрезентативные KAN показаны на рисунке 4.4. Эти три группы зависимых переменных:

Рисунок 4.4: Набор данных узлов, неконтролируемое обучение. С помощью KAN мы заново открываем три математических соотношения в наборе данных узлов.

(1) Первая группа зависимых переменных - это сигнатура, реальная часть меридионального расстояния и продольное расстояние (плюс еще две переменные, которые можно убрать из (3)). Это зависимость от сигнатуры, изученной выше, поэтому очень интересно видеть, что эта зависимость снова обнаруживается в режиме без контроля.
(2) Вторая группа переменных включает в себя объем $Cusp \ V$ , действительную часть меридиональной трансляции $\mu_r$ и продольную трансляцию . Все их активации выглядят как логарифмические функции (в чем можно убедиться с помощью подразумеваемого символьного функционала в разделе 2.5.1). Таким образом, отношение $-logV+log \mu_r + log \lambda = 0$ , что эквивалентно $V = \mu_r \lambda$ , что верно по определению. Однако обнадеживает то, что мы обнаруживаем это соотношение без каких-либо предварительных знаний.
(3) Третья группа переменных включает в себя действительную часть короткой геодезической (geodesic) g_r и радиус инъективности. Их активации выглядят качественно одинаково, но отличаются знаком минус, поэтому предполагается, что эти две переменные имеют линейную корреляцию. Мы построили двумерные скаттеры, обнаружив, что верхняя граница g_r , что также является хорошо известным соотношением [47].
Интересно, что неконтролируемый режим KAN может заново открыть несколько известных математических соотношений. Хорошая новость в том, что результаты, обнаруженные KAN, вероятно, надежны; плохая новость в том, что мы пока не открыли ничего нового. Стоит отметить, что мы выбрали неглубокую KAN для простой визуализации, но более глубокие KAN, вероятно, могут найти больше соотношений, если они существуют. Мы хотели бы исследовать, как обнаружить более сложные отношения с помощью более глубоких KAN в будущей работе.

4.4 Применение в физике: локализация Андерсона

Локализация Андерсона является фундаментальным явлением, при котором беспорядок в квантовой системе приводит к локализации электронных волновых функций, что приводит к прекращению любого транспорта [48]. В одно- и двух измерениях аргументы масштабирования показывают, что все электронные собственные состояния экспоненциально локализованы для бесконечно малого количества случайного беспорядка [49, 50]. Напротив, в трех измерениях критическая энергия образует фазовую границу, которая отделяет расширенные состояния от локализованных состояний, известную как край подвижности. Понимание этих краев подвижности имеет решающее значение для объяснения различных фундаментальных явлений, таких как переход металл-изолятор в твердых телах [51], а также эффекты локализации света в фотонных устройствах [52, 53, 54, 55, 56]. Поэтому необходимо разрабатывать микроскопические модели, которые демонстрируют края подвижности, чтобы обеспечить возможность детальных исследований. Разработка таких моделей часто более практична в более низких измерениях, где введение квазипериодичности вместо случайного беспорядка также может привести к краям подвижности, которые разделяют локализованные и расширенные фазы. Более того, экспериментальные реализации аналитических границ мобильности могут помочь разрешить спор о локализации во взаимодействующих системах [57, 58]. Действительно, несколько недавних исследований были сосредоточены на идентификации таких моделей и выводе точных аналитических выражений для их границ мобильности [59, 60, 61, 62, 63, 64, 65].
Здесь мы применяем KAN к числовым данным, полученным из квазипериодических моделей сильной связи, для извлечения их краев мобильности. В частности, мы рассматриваем три класса моделей: модель Mosaic (MM) [63], обобщенную модель Aubry-André (GAAM) [62] и модифицированную модель Aubry-André (MAAM) [60]. Для MM мы свидетельствуем о способности KAN точно извлекать край мобильности как одномерную функцию энергии. Для GAAM мы обнаруживаем, что формула, полученная из KAN, близко соответствует истинной. Для более сложной MAAM мы демонстрируем еще один пример символической интерпретируемости этой структуры. Пользователь может упростить сложное выражение, полученное из KAN (и соответствующих символических формул), с помощью «сотрудничества», когда исследователь генерирует гипотезы для получения лучшего соответствия (например, делая предположение о форме определенной функции активации), после чего KAN могут выполнять быструю проверку гипотез.
Для количественной оценки локализации состояний в этих моделях обычно используется обратное отношение участия (IPR). IPR для k-го собственного состояния, ψ⁽^k⁾, определяется как

где сумма пробегает индекс сайта (site index). Здесь мы используем связанную меру локализации – фрактальную размерность состояний, определяемую как

где – размер системы. D_k = 0(1) указывает на локализованные (расширенные) состояния.

Мозаичная модель (ММ) Сначала рассмотрим класс моделей сильной связи, определяемых гамильтонианом [63]

Рисунок 4.5: Результаты для модели Mosaic. Вверху: фазовая диаграмма. В середине и внизу: KAN могут получить как качественную интуицию (внизу), так и извлечь количественные результаты (в середине). $φ= \frac{1+{\sqrt{5}}}2$ - это золотое сечение,

где — связь ближайшего соседа, c_n(c^†n) — оператор уничтожения (рождения) в узле , а потенциальная энергия V_n определяется как

Чтобы ввести квазипериодичность, мы устанавливаем иррациональным (в частности, мы выбираем равным золотому сечению $φ= \frac{1+{\sqrt{5}}}2$ . — целое число, а квазипериодический потенциал возникает с интервалом . Спектр энергии (E) для этой модели в общем случае содержит протяженные и локализованные режимы, разделенные краем подвижности. Интересно, что здесь обнаружена уникальная особенность, заключающаяся в том, что края подвижности присутствуют для произвольно сильного квазипериодического потенциала (т. е. в системе всегда присутствуют протяженные состояния, которые сосуществуют с локализованными).
Границу мобильности можно описать как g(λ, E) ≡ λ − |f_κ(E)| = 0 . g(λ, E) > 0 и g(λ, E) < 0 соответствуют локализованной и расширенной фазам соответственно. Таким образом, изучение грани мобильности зависит от изучения «параметра порядка» . По общему признанию, эта проблема может быть решена многими другими теоретическими методами для этого класса моделей [63], но ниже мы покажем, что наша структура KAN готова и удобна для принятия предположений и индуктивных предубеждений от исследователей.
Предположим, что есть гипотетический пользователь Алиса, которая является докторантом по физике конденсированного состояния, и ей предоставлен [2,1] KAN в качестве помощника для выполнения задачи. Во-первых, она понимает, что это задача классификации, поэтому разумно задать функцию активации во втором слое как сигмоидную, используя функционал $fix\_symbolic$ . Во-вторых, она понимает, что изучение всей 2D-функции g(λ, E) не нужно, поскольку в конечном итоге ее интересует только λ = λ(E) , определяемая как g(λ, E) = 0 . При этом разумно предположить g(λ, E) = λ−h(E) = 0 . Алиса просто задает функцию активации как линейную, снова используя функционал $fix\_symbolic$ . Теперь Алиса обучает сеть KAN и получает ребро мобильности, как показано на рисунке 4.5. Алиса может получить как интуитивное качественное понимание (внизу), так и количественные результаты (в середине), которые хорошо соответствуют истине (вверху).

Таблица 5 Символьные формулы для двух систем GAAM и MAAM, истинных и открытых KAN.

Обобщенная модель Андре-Обри (GAAM) Далее мы рассмотрим класс моделей сильной связи, определяемых гамильтонианом [62]

где — это связь ближайших соседей, c_n(c_n^†) - оператор уничтожения (рождения) в узле n, а потенциальная энергия V_n задается как

которая является гладкой для α ∈ (−1,1) . Чтобы ввести квазипериодичность, мы снова устанавливаем иррациональным (в частности, мы выбираем как золотое сечение). Как и прежде, мы хотели бы получить выражение для границы подвижности. Для этих моделей граница подвижности задается выражением замкнутой формы [62, 64],

Мы случайным образом выбираем параметры модели: , и (устанавливая шкалу энергии = 1) и вычисляем собственные значения энергии, а также фрактальную размерность соответствующих собственных состояний, что формирует наш обучающий набор данных.
Здесь изучаемый «параметр порядка» («order parameter») равен g(α, E, λ, ϕ) = αE + 2(λ−1) , а ребро мобильности соответствует g = 0 . Давайте снова предположим, что Алиса хочет выяснить ребро мобильности, но у нее есть доступ только к данным IPR или фрактальной размерности, поэтому она решает использовать KAN, чтобы помочь себе с этой задачей. Алиса хочет, чтобы модель была как можно меньше, поэтому она может либо начать с большой модели и использовать автоматическую обрезку, чтобы получить маленькую модель, либо она может угадать разумную маленькую модель, основываясь на своем понимании сложности данной проблемы. В любом случае, давайте предположим, что она приходит к [4,2,1,1] KAN. Во-первых, она устанавливает последнюю активацию как сигмоидную, потому что это проблема классификации. Она обучает свою KAN с некоторой регуляризацией разреженности до точности 98,7% и визуализирует обученную KAN на рисунке 4.6 (a), шаг 1. Она замечает, что вообще не улавливается, что позволяет ей понять, что мобильность не зависит от (согласно уравнению (4.8)). Кроме того, она замечает, что почти все другие функции активации являются линейными или квадратичными, поэтому она включает автоматическую символьную привязку, ограничивая библиотеку только линейной или квадратичной. После этого она немедленно получает сеть, которая уже является символической (показано на рисунке 4.6 (a), шаг 2), с сопоставимой (даже немного лучшей) точностью 98,9%. Используя функционал $symbolic\_formula$ , Алиса удобно получает символическую форму , показанную в таблице 5 GAAM-KAN auto (строка три). Возможно, она хочет вычеркнуть некоторые малые члены и привязать коэффициент к малым целым числам, что приближает ее к истинному ответу.
Эта гипотетическая история для Алисы была бы совершенно другой, если бы она использовала метод символической регрессии. Если ей повезет, SR может вернуть точно правильную формулу. Однако в подавляющем большинстве случаев SR не возвращает полезных результатов, и Алиса не может «отладить» или взаимодействовать с лежащим в основе процессом символической регрессии. Кроме того, Алиса может чувствовать себя некомфортно/неопытно, предоставляя библиотеку символических терминов в качестве априорных знаний для SR до запуска SR. В отличие от этого в KAN, Алисе не нужно вводить какую-либо априорную информацию в KAN. Сначала она может получить некоторые подсказки, глядя на обученную KAN, и только затем ее работа — решить, какую гипотезу она хочет выдвинуть (например, «все активации линейны или квадратичны»), и реализовать свою гипотезу в KAN. Хотя KAN вряд ли вернут правильный ответ немедленно, KAN всегда вернут что-то полезное, и Алиса может сотрудничать с ней, чтобы уточнить результаты.

Модифицированная модель Andre-Aubry (MAAM) Последний класс моделей, которые мы рассматриваем, определяется гамильтонианом [60]

где — сила экспоненциально затухающей связи в пространстве, c_n(c_n^†) - оператор уничтожения (рождения) в узле , а потенциальная энергия V_n определяется выражением

Как и прежде, для введения квазипериодичности мы устанавливаем иррациональным (золотое сечение). Для этих моделей граница мобильности задается выражением замкнутой формы [60],

где мы определяем t_1 ≡ texp(−p) как силу прыжка ближайшего соседа, и устанавливаем t_1 = 1 в дальнейшем.

Предположим, что Алиса хочет выяснить мобильное преимущество для MAAM. Эта задача сложнее и требует больше человеческой мудрости. Как и в последнем примере, Алиса начинает с [4,2,1,1] KAN и обучает его, но получает точность около 75%, что меньше приемлемого. Затем она выбирает больший [4,3,1,1] KAN и успешно получает 98,4%, что приемлемо (рисунок 4.6 (b) шаг 1). Алиса замечает, что не улавливается KAN, что означает, что граничное значение мобильности не зависит от фазового фактора (согласно уравнению (4.11)). Если Алиса включит автоматическую символьную регрессию (используя большую библиотеку, состоящую из exp, tanh и т. д.), она получит сложную формулу в таблице 5 MAAM-KAN auto, которая имеет точность 97,1%. Однако, если Алиса захочет найти более простую символическую формулу, она захочет использовать ручной режим, в котором будет выполнять символическую привязку. До этого она обнаруживает, что [4,3,1,1] KAN после обучения может быть обрезана до [4,2,1,1], сохраняя при этом точность 97,7% (рисунок 4.6 (b)). Алиса может подумать, что все функции активации, за исключением тех, которые зависят от , являются линейными или квадратичными, и вручную привязать их к линейным или квадратичным с помощью $fix\_symbolic$ . После привязки и повторного обучения обновленная KAN показана на рисунке 4.6 (c) шаг 3, сохраняя точность 97,7%. С этого момента Алиса может сделать два разных выбора на основе своих предыдущих знаний. В одном случае Алиса могла догадаться, что зависимость от является cosh, поэтому она устанавливает активации как cosh-функцию. Она переобучает KAN и получает точность 96,9% (рисунок 4.6 (c) шаг 4A).

Рисунок 4.6: Сотрудничество человека и KAN для обнаружения границ мобильности GAAM и MAAM. Пользователь-человек может выбрать ленивый режим (используя автоматический режим) или более вовлеченный (используя ручной режим). Подробнее в тексте.

В другом случае Алиса не знает зависимости cosh от , поэтому она стремится к простоте и снова предполагает, что функции являются квадратичными. Она переобучает KAN и получает точность 95,4% (рисунок 4.6 (c) шаг 4B). Если бы она попробовала оба варианта, она бы поняла, что cosh лучше с точки зрения точности, а квадратичный лучше с точки зрения простоты. Формулы, соответствующие этим шагам, перечислены в таблице 5. Очевидно, что чем больше ручных операций выполняет Алиса, тем проще символическая формула (что немного жертвует точностью). У KAN есть «ручка», которую пользователь может настроить для компромисса между простотой и точностью (иногда простота может даже привести к лучшей точности, как в случае GAAM).

5. Похожие работы

Теорема Колмогорова-Арнольда и нейронные сети. Связь между теоремой Колмогорова-Арнольда (KAT) и нейронными сетями не нова в литературе [66, 67, 9, 10, 11, 12, 13, 14, 68, 69], но патологическое поведение внутренних функций делает KAT бесперспективным на практике [66]. Большинство этих предыдущих работ придерживаются исходных сетей с 2 слоями шириной (2n+1) , которые были ограничены по выразительной мощности, и многие из них даже предшествуют обратному распространению. Поэтому большинство исследований были построены на теориях с довольно ограниченными или искусственными игрушечными экспериментами. В более широком смысле KAN также в некоторой степени связаны с обобщенными аддитивными моделями (GAM) [70], графовыми нейронными сетями [71] и ядерными машинами [72]. Связи являются интригующими и фундаментальными, но могут выходить за рамки текущей статьи. Наш вклад заключается в обобщении сети Колмогорова до произвольной ширины и глубины, ее оживлении и контекстуализации в современном потоке глубокого обучения, а также в подчеркивании ее потенциальной роли в качестве базовой модели для AI + Science.
Законы нейронного масштабирования (Neural Scaling Laws NSL). NSL — это явления, в которых потери (losses behave) ведут себя как степенные законы в зависимости от размера модели, данных, вычислений и т. д. [73, 74, 75, 76, 24, 77, 78, 79]. Происхождение NSL все еще остается загадочным, но конкурирующие теории включают внутреннюю размерность [73], квантование задач [78], теорию ресурсов [79], случайные признаки [77], композиционную разреженность [66] и максимальность [25]. Эта статья вносит свой вклад в данное пространство, показывая, что высокоразмерная функция может неожиданно масштабироваться как одномерная функция (что является наилучшей возможной границей, на которую можно надеяться), если она имеет гладкое представление Колмогорова-Арнольда. Наша статья привносит новый оптимизм в законы нейронного масштабирования, поскольку она обещает самую быструю экспоненту масштабирования из когда-либо существовавших. В наших экспериментах мы показали, что этот быстрый закон нейронного масштабирования может быть достигнут на синтетических наборах данных, но необходимы будущие исследования, чтобы ответить на вопрос, достижимо ли это быстрое масштабирование для более сложных задач (например, языкового моделирования): существуют ли представления KA для общих задач? Если да, то находит ли наше обучение эти представления на практике?
Механистическая интерпретируемость (МИ). МИ — это новая область, которая направлена на механистическое понимание внутренней работы нейронных сетей [80, 81, 82, 83, 84, 85, 86, 87, 5]. Исследования МИ можно условно разделить на пассивные и активные исследования МИ. Большинство исследований МИ пассивны в том, что они сосредоточены на понимании существующих нейронных сетей, обученных стандартными методами. Активные исследования МИ пытаются достичь интерпретируемости путем проектирования внутренне интерпретируемых архитектур или разработки методов обучения для явного поощрения интерпретируемости [86, 87]. Наша работа относится ко второй категории, где модель и метод обучения по своей сути являются интерпретируемыми.
Обучаемые активации. Идея обучаемых активаций в нейронных сетях не нова в машинном обучении. Обучаемые функции активации изучаются дифференцируемым способом [88, 14, 89, 90] или ищутся дискретным способом [91]. Функция активации параметризуется как полиномы [88], сплайны [14, 92, 93], сигмоидальные линейные единицы [89] или нейронные сети [90]. KAN используют B-сплайны для параметризации своих функций активации. Мы также представляем наши предварительные результаты по обучаемым сетям активации (learnable activation networks LAN), свойства которых лежат между KAN и MLP, и их результаты приведены в Приложении B, чтобы сосредоточиться на KAN в основной статье.
Символическая регрессия. Существует множество готовых методов символической регрессии, основанных на генетических алгоритмах (Eureka [94], GPLearn [95], PySR [96]), методах на основе нейронных сетей (EQL [97], OccamNet [98]), методах, вдохновленных физикой (AI Feynman [36, 37]), и методах, основанных на обучении с подкреплением [99]. KAN больше всего похожи на методы на основе нейронных сетей, но отличаются от предыдущих работ тем, что наши функции активации непрерывно изучаются перед символическим привязкой, а не фиксируются вручную [94, 98].
Physics-Informed Neural Networks (PINN) и Physics-Informed Neural Operators (PINO). В подразделе 3.4 мы демонстрируем, что KAN могут заменить парадигму использования MLP для определения потерь PDE при решении PDE. Мы ссылаемся на Deep Ritz Method [100], PINN [38, 39, 101] для решения PDE и Fourier Neural Operator [102], PINO [103, 104, 105], DeepONet [106] для методов обучения операторов, изучающих карту решений. Существует потенциал для замены MLP на KAN во всех вышеупомянутых сетях.
ИИ для математики. Как мы видели в Подразделе 4.3, ИИ недавно был применен к нескольким проблемам в теории узлов, включая определение того, является ли узел неразвязанным (unknot) [107, 108] или ленточным узлом (ribbon) [46], а также предсказание инвариантов узлов и выявление связей между ними [109, 110, 111, 45]. Для обзора приложений науки о данных к наборам данных в математике и теоретической физике см., например, [112, 113], а для идей о том, как получить строгие результаты с помощью методов МО в этих областях, см. [114].

6 Обсуждения

В этом разделе мы обсуждаем ограничения KAN и будущие направления с точки зрения математической основы, алгоритмов и приложений.
Математические аспекты: Хотя мы представили предварительный математический анализ KAN (теорема 2.1), наше математическое понимание их все еще очень ограничено. Теорема о представлении Колмогорова-Арнольда была тщательно изучена в математике, но теорема соответствует KAN с формой [n, 2n + 1, 1] , которая является очень ограниченным подклассом KAN. Означает ли наш эмпирический успех с более глубокими KAN что-то фундаментальное в математике? Привлекательная обобщенная теорема Колмогорова-Арнольда могла бы определить «более глубокие» представления Колмогорова-Арнольда за пределами композиций глубины 2 и потенциально связать гладкость функций активации с глубиной. Гипотетически существуют функции, которые не могут быть представлены гладко (глубина 2) в исходных представлениях Колмогорова-Арнольда, но могут быть гладко представлены с глубиной 3 или выше. Можем ли мы использовать это понятие «глубины Колмогорова-Арнольда» для характеристики классов функций?
Алгоритмические аспекты: Мы обсуждаем следующее:
(1) Точность (Accuracy). Множественные варианты в архитектурном проектировании и обучении не полностью исследованы, поэтому альтернативы могут потенциально дополнительно повысить точность. Например, функции активации сплайна могут быть заменены радиальными базисными функциями или другими локальными ядрами. Могут использоваться стратегии адаптивной сетки.
(2) Эффективность. Одна из основных причин, по которой KAN работают медленно, заключается в том, что разные функции активации не могут использовать пакетные вычисления (большие данные через одну и ту же функцию). На самом деле, можно провести интерполяцию между одинаковыми функциями активации (MLP) и разными функциями активации (KAN), сгруппировав функции активации в несколько групп (“многоголовые”), где члены группы совместно используют одну и ту же функцию активации.
(3) Гибрид KAN и MLP. KAN имеют два основных отличия от MLP:
(i) функции активации находятся на ребрах, а не в узлах,
(ii) функции активации являются обучаемыми, а не фиксированными
Какое изменение более существенно для объяснения преимущества KAN? Мы представляем наши предварительные результаты в Приложении B, где мы изучаем модель, которая имеет (ii), т. е. функции активации обучаемы (как KAN), но не (i), т. е. функции активации находятся на узлах (как MLP). Более того, можно также построить другую модель с фиксированными активациями (как MLP), но на ребрах (как KAN).
(4) Адаптивность. Благодаря внутренней локальности базисных функций сплайнов мы можем ввести адаптивность в проектирование и обучение KAN для повышения как точности, так и эффективности: см. идею многоуровневого обучения, например, многосеточные методы, как в [115, 116], или доменно-зависимые базисные функции, например, многомасштабные методы, как в [117].
Аспекты применения: Мы представили некоторые предварительные доказательства того, что KAN более эффективны, чем MLP, в задачах, связанных с наукой, например, подгонка физических уравнений и решение PDE. Мы хотели бы применить KAN для решения уравнений Навье-Стокса, теории функционала плотности или любых других задач, которые можно сформулировать как регрессию или решение PDE. Мы также хотели бы применить KAN к задачам, связанным с машинным обучением, которые потребуют интеграции KAN в текущие архитектуры, например, трансформеры — можно предложить «кансформеры»(«kansformers»), которые заменяют MLP на KAN в трансформерах.
KAN как «языковая модель» для AI + Science: Причина, по которой большие языковые модели так преобразуют мир, заключается в том, что они полезны всем, кто владеет естественным языком. Язык науки — это функции. KAN состоят из интерпретируемых функций, поэтому, когда пользователь смотрит на KAN, это похоже на общение с ним с помощью языка функций.

Рисунок 6.1: Должен ли я использовать KAN или MLP?

Цель этого параграфа — продвижение парадигмы ИИ-ученый-сотрудничество (AI-Scientist-Collaboration), а не нашего конкретного инструмента KAN. Так же, как люди используют разные языки для общения, мы ожидаем, что в будущем KAN будут всего лишь одним из языков для AI + Science, хотя KAN будут одним из самых первых языков, которые позволят ИИ и человеку общаться. Однако, благодаря KAN, парадигма ИИ-ученый-сотрудничество никогда не была такой простой и удобной, что заставляет нас переосмыслить парадигму того, как мы хотим подходить к AI + Science: нам нужны ученые ИИ или нам нужен ИИ, который помогает ученым? Внутренняя сложность (полностью автоматизированных) ученых ИИ заключается в том, что трудно сделать человеческие предпочтения количественными, что кодифицировало бы человеческие предпочтения в цели ИИ. Фактически, ученые в разных областях могут по-разному относиться к тому, какие функции просты или интерпретируемы. В результате для ученых более желательно иметь ИИ, который может говорить на научном языке (функциях) и может удобно взаимодействовать с индуктивными предубеждениями отдельных ученых, чтобы адаптироваться к конкретной научной области.

Заключительный вывод: следует ли использовать KAN или MLP?
В настоящее время самым большим узким местом KAN является медленное обучение. KAN обычно в 10 раз медленнее MLP, учитывая то же количество параметров. Мы должны быть честны, что не пытались оптимизировать эффективность KAN, поэтому мы считаем медленное обучение KAN скорее инженерной проблемой, которую необходимо улучшить в будущем, а не фундаментальным ограничением. Если кто-то хочет быстро обучить модель, следует использовать MLP. Однако в других случаях KAN должны быть сопоставимы или лучше MLP, что делает их достойными попытки. Дерево решений на рисунке 6.1 может помочь решить, когда использовать KAN. Короче говоря, если вас волнует интерпретируемость и/или точность, а медленное обучение не является основной проблемой, мы предлагаем попробовать KAN, по крайней мере, для небольших задач AI+Science.

Признание

Мы хотели бы поблагодарить Mikail Khona, Tomaso Poggio, Pingchuan Ma, Rui Wang, Di Luo, Sara Beery, Catherine Liang, Yiping Lu, Nicholas H. Nelsen, Nikola Kovachki, Jonathan W. Siegel, Hongkai Zhao, Juncai He, Shi Lab (Humphrey Shi, Steven Walton, Chuanhao Yan) and Matthieu Darcy for fruitful discussion and constructive suggestions. Z.L., F.R., J.H., M.S. and M.T. are supported by IAIFI through NSF grant PHY-2019786.
Работа FR дополнительно поддерживается грантом NSF PHY-2210333 и стартапом от Northeastern University. У.В и Т.Х., поддерживаются грантом NSF DMS-2205590 и Choi Family Gift Fund. S. V. и M. S. выражают благодарность со стороны Многопрофильной исследовательской инициативы университета (MURI) U.S. Office of Naval Research (ONR) по гранту No N00014-20-1-2325 на устойчивые фотонные материалы с топологической защитой высшего порядка.

Ссылки

118 ссылок на источники

[1] Simon Haykin. Neural networks: a comprehensive foundation. Prentice Hall PTR, 1994.

[2] George Cybenko. Approximation by superpositions of a sigmoidal function. Mathematics of control, signals and systems, 2(4):303–314, 1989.

[3] Kurt Hornik, Maxwell Stinchcombe, and Halbert White. Multilayer feedforward networks are universal approximators. Neural networks, 2(5):359–366, 1989.

[4] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, 30, 2017.

[5] Hoagy Cunningham, Aidan Ewart, Logan Riggs, Robert Huben, and Lee Sharkey. Sparse autoencoders find highly interpretable features in language models. arXiv preprint arXiv:2309.08600, 2023.

[6] A.N. Kolmogorov. On the representation of continuous functions of several variables as superpositions of continuous functions of a smaller number of variables. Dokl. Akad. Nauk, 108(2), 1956.

[7] Andrei Nikolaevich Kolmogorov. On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition. In Doklady Akademii Nauk, volume 114, pages 953–956. Russian Academy of Sciences, 1957.

[8] Jürgen Braun and Michael Griebel. On a constructive proof of kolmogorov’s superposition theorem. Constructive approximation, 30:653–675, 2009.

[9] David A Sprecher and Sorin Draghici. Space-filling curves and kolmogorov superpositionbased neural networks. Neural Networks, 15(1):57–67, 2002.

[10] Mario Köppen. On the training of a kolmogorov network. In Artificial Neural Networks—ICANN 2002: International Conference Madrid, Spain, August 28–30, 2002 Proceedings 12, pages 474–479. Springer, 2002.

[11] Ji-Nan Lin and Rolf Unbehauen. On the realization of a kolmogorov network. Neural Computation, 5(1):18–20, 1993.

[12] Ming-Jun Lai and Zhaiming Shen. The kolmogorov superposition theorem can break the curse of dimensionality when approximating high dimensional functions. arXiv preprint arXiv:2112.09963, 2021.

[13] Pierre-Emmanuel Leni, Yohan D Fougerolle, and Frédéric Truchetet. The kolmogorov spline network for image processing. In Image Processing: Concepts, Methodologies, Tools, and Applications, pages 54–78. IGI Global, 2013.

[14] Daniele Fakhoury, Emanuele Fakhoury, and Hendrik Speleers. Exsplinet: An interpretable and expressive spline-based neural network. Neural Networks, 152:332–346, 2022.

[15] Hadrien Montanelli and Haizhao Yang. Error bounds for deep relu networks using the kolmogorov–arnold superposition theorem. Neural Networks, 129:1–6, 2020.

[16] Juncai He. On the optimal expressive power of relu dnns and its application in approximation with kolmogorov superposition theorem. arXiv preprint arXiv:2308.05509, 2023.

[17] Juncai He, Lin Li, Jinchao Xu, and Chunyue Zheng. Relu deep neural networks and linear finite elements. arXiv preprint arXiv:1807.03973, 2018.

[18] Juncai He and Jinchao Xu. Deep neural networks and finite elements of any order on arbitrary dimensions. arXiv preprint arXiv:2312.14276, 2023.

[19] Tomaso Poggio, Andrzej Banburski, and Qianli Liao. Theoretical issues in deep networks. Proceedings of the National Academy of Sciences, 117(48):30039–30045, 2020.

[20] Federico Girosi and Tomaso Poggio. Representation properties of networks: Kolmogorov’s theorem is irrelevant. Neural Computation, 1(4):465–469, 1989.

[21] Henry W Lin, Max Tegmark, and David Rolnick. Why does deep and cheap learning work so well? Journal of Statistical Physics, 168:1223–1247, 2017.

[22] Hongyi Xu, Funshing Sin, Yufeng Zhu, and Jernej Barbic. Nonlinear material design usingˇ principal stretches. ACM Transactions on Graphics (TOG), 34(4):1–11, 2015.

[23] Carl De Boor. A practical guide to splines, volume 27. springer-verlag New York, 1978.

[24] Utkarsh Sharma and Jared Kaplan. A neural scaling law from the dimension of the data manifold. arXiv preprint arXiv:2004.10802, 2020.

[25] Eric J Michaud, Ziming Liu, and Max Tegmark. Precision machine learning. Entropy, 25(1):175, 2023.

[26] Joel L Horowitz and Enno Mammen. Rate-optimal estimation for a general class of nonparametric regression models with unknown link functions. 2007.

[27] Michael Kohler and Sophie Langer. On the rate of convergence of fully connected deep neural network regression estimates. The Annals of Statistics, 49(4):2231–2249, 2021.

[28] Johannes Schmidt-Hieber. Nonparametric regression using deep neural networks with relu activation function. 2020.

[29] Ronald A DeVore, Ralph Howard, and Charles Micchelli. Optimal nonlinear approximation. Manuscripta mathematica, 63:469–478, 1989.

[30] Ronald A DeVore, George Kyriazis, Dany Leviatan, and Vladimir M Tikhomirov. Wavelet compression and nonlinear n-widths. Adv. Comput. Math., 1(2):197–214, 1993.

[31] Jonathan W Siegel. Sharp lower bounds on the manifold widths of sobolev and besov spaces. arXiv preprint arXiv:2402.04407, 2024.

[32] Dmitry Yarotsky. Error bounds for approximations with deep relu networks. Neural Networks, 94:103–114, 2017.

[33] Peter L Bartlett, Nick Harvey, Christopher Liaw, and Abbas Mehrabian. Nearly-tight vcdimension and pseudodimension bounds for piecewise linear neural networks. Journal of Machine Learning Research, 20(63):1–17, 2019.

[34] Jonathan W Siegel. Optimal approximation rates for deep relu neural networks on sobolev and besov spaces. Journal of Machine Learning Research, 24(357):1–52, 2023.

[35] Yongji Wang and Ching-Yao Lai. Multi-stage neural networks: Function approximator of machine precision. Journal of Computational Physics, page 112865, 2024.

[36] Silviu-Marian Udrescu and Max Tegmark. Ai feynman: A physics-inspired method for symbolic regression. Science Advances, 6(16):eaay2631, 2020.

[37] Silviu-Marian Udrescu, Andrew Tan, Jiahai Feng, Orisvaldo Neto, Tailin Wu, and Max Tegmark. Ai feynman 2.0: Pareto-optimal symbolic regression exploiting graph modularity. Advances in Neural Information Processing Systems, 33:4860–4871, 2020.

[38] Maziar Raissi, Paris Perdikaris, and George E Karniadakis. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378:686–707, 2019.

[39] George Em Karniadakis, Ioannis G Kevrekidis, Lu Lu, Paris Perdikaris, Sifan Wang, and Liu Yang. Physics-informed machine learning. Nature Reviews Physics, 3(6):422–440, 2021.

[40] Ronald Kemker, Marc McClure, Angelina Abitino, Tyler Hayes, and Christopher Kanan. Measuring catastrophic forgetting in neural networks. In Proceedings of the AAAI conference on artificial intelligence, volume 32, 2018.

[41] Bryan Kolb and Ian Q Whishaw. Brain plasticity and behavior. Annual review of psychology, 49(1):43–64, 1998.

[42] David Meunier, Renaud Lambiotte, and Edward T Bullmore. Modular and hierarchically modular organization of brain networks. Frontiers in neuroscience, 4:7572, 2010.

[43] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al. Overcoming catastrophic forgetting in neural networks. Proceedings of the national academy of sciences, 114(13):3521–3526, 2017.

[44] Aojun Lu, Tao Feng, Hangjie Yuan, Xiaotian Song, and Yanan Sun. Revisiting neural networks for continual learning: An architectural perspective, 2024.

[45] Alex Davies, Petar Velickoviˇ c, Lars Buesing, Sam Blackwell, Daniel Zheng, Nenad Tomašev,´ Richard Tanburn, Peter Battaglia, Charles Blundell, András Juhász, et al. Advancing mathematics by guiding human intuition with ai. Nature, 600(7887):70–74, 2021.

[46] Sergei Gukov, James Halverson, Ciprian Manolescu, and Fabian Ruehle. Searching for ribbons with machine learning, 2023.

[47] P. Petersen. Riemannian Geometry. Graduate Texts in Mathematics. Springer New York, 2006.

[48] Philip W Anderson. Absence of diffusion in certain random lattices. Physical review, 109(5):1492, 1958.

[49] David J Thouless. A relation between the density of states and range of localization for one dimensional random systems. Journal of Physics C: Solid State Physics, 5(1):77, 1972.

[50] Elihu Abrahams, PW Anderson, DC Licciardello, and TV Ramakrishnan. Scaling theory of localization: Absence of quantum diffusion in two dimensions. Physical Review Letters, 42(10):673, 1979.

[51] Ad Lagendijk, Bart van Tiggelen, and Diederik S Wiersma. Fifty years of anderson localization. Physics today, 62(8):24–29, 2009.

[52] Mordechai Segev, Yaron Silberberg, and Demetrios N Christodoulides. Anderson localization of light. Nature Photonics, 7(3):197–204, 2013.

[53] Z Valy Vardeny, Ajay Nahata, and Amit Agrawal. Optics of photonic quasicrystals. Nature photonics, 7(3):177–187, 2013.

[54] Sajeev John. Strong localization of photons in certain disordered dielectric superlattices. Physical review letters, 58(23):2486, 1987.

[55] Yoav Lahini, Rami Pugatch, Francesca Pozzi, Marc Sorel, Roberto Morandotti, Nir Davidson, and Yaron Silberberg. Observation of a localization transition in quasiperiodic photonic lattices. Physical review letters, 103(1):013901, 2009.

[56] Sachin Vaidya, Christina Jörg, Kyle Linn, Megan Goh, and Mikael C Rechtsman. Reentrant delocalization transition in one-dimensional photonic quasicrystals. Physical Review Research, 5(3):033170, 2023.

[57] Wojciech De Roeck, Francois Huveneers, Markus Müller, and Mauro Schiulaz. Absence of many-body mobility edges. Physical Review B, 93(1):014203, 2016.

[58] Xiaopeng Li, Sriram Ganeshan, JH Pixley, and S Das Sarma. Many-body localization and quantum nonergodicity in a model with a single-particle mobility edge. Physical review letters, 115(18):186601, 2015.

[59] Fangzhao Alex An, Karmela Padavic, Eric J Meier, Suraj Hegde, Sriram Ganeshan, JH Pixley,´ Smitha Vishveshwara, and Bryce Gadway. Interactions and mobility edges: Observing the generalized aubry-andré model. Physical review letters, 126(4):040603, 2021.

[60] J Biddle and S Das Sarma. Predicted mobility edges in one-dimensional incommensurate optical lattices: An exactly solvable model of anderson localization. Physical review letters, 104(7):070601, 2010.

[61] Alexander Duthie, Sthitadhi Roy, and David E Logan. Self-consistent theory of mobility edges in quasiperiodic chains. Physical Review B, 103(6):L060201, 2021.

[62] Sriram Ganeshan, JH Pixley, and S Das Sarma. Nearest neighbor tight binding models with an exact mobility edge in one dimension. Physical review letters, 114(14):146601, 2015.

[63] Yucheng Wang, Xu Xia, Long Zhang, Hepeng Yao, Shu Chen, Jiangong You, Qi Zhou, and Xiong-Jun Liu. One-dimensional quasiperiodic mosaic lattice with exact mobility edges. Physical Review Letters, 125(19):196604, 2020.

[64] Yucheng Wang, Xu Xia, Yongjian Wang, Zuohuan Zheng, and Xiong-Jun Liu. Duality between two generalized aubry-andré models with exact mobility edges. Physical Review B, 103(17):174205, 2021.

[65] Xin-Chi Zhou, Yongjian Wang, Ting-Fung Jeffrey Poon, Qi Zhou, and Xiong-Jun Liu. Exact new mobility edges between critical and localized states. Physical Review Letters, 131(17):176401, 2023.

[66] Tomaso Poggio. How deep sparse networks avoid the curse of dimensionality: Efficiently computable functions are compositionally sparse. CBMM Memo, 10:2022, 2022.

[67] Johannes Schmidt-Hieber. The kolmogorov–arnold representation theorem revisited. Neural networks, 137:119–126, 2021.

[68] Aysu Ismayilova and Vugar E Ismailov. On the kolmogorov neural networks. Neural Networks, page 106333, 2024.

[69] Michael Poluektov and Andrew Polar. A new iterative method for construction of the kolmogorov-arnold representation. arXiv preprint arXiv:2305.08194, 2023.

[70] Rishabh Agarwal, Levi Melnick, Nicholas Frosst, Xuezhou Zhang, Ben Lengerich, Rich Caruana, and Geoffrey E Hinton. Neural additive models: Interpretable machine learning with neural nets. Advances in neural information processing systems, 34:4699–4711, 2021.

[71] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Russ R Salakhutdinov, and Alexander J Smola. Deep sets. Advances in neural information processing systems, 30, 2017.

[72] Huan Song, Jayaraman J Thiagarajan, Prasanna Sattigeri, and Andreas Spanias. Optimizing kernel machines using deep learning. IEEE transactions on neural networks and learning systems, 29(11):5528–5540, 2018.

[73] Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.

[74] Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv preprint arXiv:2010.14701, 2020.

[75] Mitchell A Gordon, Kevin Duh, and Jared Kaplan. Data and parameter scaling laws for neural machine translation. In ACL Rolling Review - May 2021, 2021.

[76] Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Mostofa Ali Patwary, Yang Yang, and Yanqi Zhou. Deep learning scaling is predictable, empirically. arXiv preprint arXiv:1712.00409, 2017.

[77] Yasaman Bahri, Ethan Dyer, Jared Kaplan, Jaehoon Lee, and Utkarsh Sharma. Explaining neural scaling laws. arXiv preprint arXiv:2102.06701, 2021.

[78] Eric J Michaud, Ziming Liu, Uzay Girit, and Max Tegmark. The quantization model of neural scaling. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[79] Jinyeop Song, Ziming Liu, Max Tegmark, and Jeff Gore. A resource model for neural scaling law. arXiv preprint arXiv:2402.05164, 2024.

[80] Catherine Olsson, Nelson Elhage, Neel Nanda, Nicholas Joseph, Nova DasSarma, Tom Henighan, Ben Mann, Amanda Askell, Yuntao Bai, Anna Chen, et al. In-context learning and induction heads. arXiv preprint arXiv:2209.11895, 2022.

[81] Kevin Meng, David Bau, Alex Andonian, and Yonatan Belinkov. Locating and editing factual associations in gpt. Advances in Neural Information Processing Systems, 35:17359–17372, 2022.

[82] Kevin Ro Wang, Alexandre Variengien, Arthur Conmy, Buck Shlegeris, and Jacob Steinhardt. Interpretability in the wild: a circuit for indirect object identification in GPT-2 small. In The Eleventh International Conference on Learning Representations, 2023.

[83] Nelson Elhage, Tristan Hume, Catherine Olsson, Nicholas Schiefer, Tom Henighan, Shauna Kravec, Zac Hatfield-Dodds, Robert Lasenby, Dawn Drain, Carol Chen, et al. Toy models of superposition. arXiv preprint arXiv:2209.10652, 2022.

[84] Neel Nanda, Lawrence Chan, Tom Lieberum, Jess Smith, and Jacob Steinhardt. Progress measures for grokking via mechanistic interpretability. In The Eleventh International Conference on Learning Representations, 2023.

[85] Ziqian Zhong, Ziming Liu, Max Tegmark, and Jacob Andreas. The clock and the pizza: Two stories in mechanistic explanation of neural networks. In Thirty-seventh Conference on Neural Information Processing Systems, 2023.

[86] Ziming Liu, Eric Gan, and Max Tegmark. Seeing is believing: Brain-inspired modular training for mechanistic interpretability. Entropy, 26(1):41, 2023.

[87] Nelson Elhage, Tristan Hume, Catherine Olsson, Neel Nanda, Tom Henighan, Scott Johnston, Sheer ElShowk, Nicholas Joseph, Nova DasSarma, Ben Mann, Danny Hernandez, Amanda Askell, Kamal Ndousse, Andy Jones, Dawn Drain, Anna Chen, Yuntao Bai, Deep Ganguli, Liane Lovitt, Zac Hatfield-Dodds, Jackson Kernion, Tom Conerly, Shauna Kravec, Stanislav Fort, Saurav Kadavath, Josh Jacobson, Eli Tran-Johnson, Jared Kaplan, Jack Clark, Tom Brown, Sam McCandlish, Dario Amodei, and Christopher Olah. Softmax linear units. Transformer Circuits Thread, 2022. https://transformer-circuits.pub/2022/solu/index.html.

[88] Mohit Goyal, Rajan Goyal, and Brejesh Lall. Learning activation functions: A new paradigm for understanding neural networks. arXiv preprint arXiv:1906.09529, 2019.

[89] Prajit Ramachandran, Barret Zoph, and Quoc V Le. Searching for activation functions. arXiv preprint arXiv:1710.05941, 2017.

[90] Shijun Zhang, Zuowei Shen, and Haizhao Yang. Neural network architecture beyond width and depth. Advances in Neural Information Processing Systems, 35:5669–5681, 2022.

[91] Garrett Bingham and Risto Miikkulainen. Discovering parametric activation functions. Neural Networks, 148:48–65, 2022.

[92] Pakshal Bohra, Joaquim Campos, Harshit Gupta, Shayan Aziznejad, and Michael Unser. Learning activation functions in deep (spline) neural networks. IEEE Open Journal of Signal Processing, 1:295–309, 2020.

[93] Shayan Aziznejad and Michael Unser. Deep spline networks with control of lipschitz regularity. In ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages 3242–3246. IEEE, 2019.

[94] Renáta Dubcáková. Eureqa: software review. Genetic Programming and Evolvable Machines, 12:173–178, 2011.

[95] Gplearn. https://github.com/trevorstephens/gplearn. Accessed: 2024-04-19.

[96] Miles Cranmer. Interpretable machine learning for science with pysr and symbolicregression. jl. arXiv preprint arXiv:2305.01582, 2023.

[97] Georg Martius and Christoph H Lampert. Extrapolation and learning equations. arXiv preprint arXiv:1610.02995, 2016.

[98] Owen Dugan, Rumen Dangovski, Allan Costa, Samuel Kim, Pawan Goyal, Joseph Jacobson, and Marin Soljaciˇ c. Occamnet: A fast neural model for symbolic regression at scale.´ arXiv preprint arXiv:2007.10784, 2020.

[99] Terrell N. Mundhenk, Mikel Landajuela, Ruben Glatt, Claudio P. Santiago, Daniel faissol, and Brenden K. Petersen. Symbolic regression via deep reinforcement learning enhanced genetic programming seeding. In A. Beygelzimer, Y. Dauphin, P. Liang, and J. Wortman Vaughan, editors, Advances in Neural Information Processing Systems, 2021.

[100] Bing Yu et al. The deep ritz method: a deep learning-based numerical algorithm for solving variational problems. Communications in Mathematics and Statistics, 6(1):1–12, 2018.

[101] Junwoo Cho, Seungtae Nam, Hyunmo Yang, Seok-Bae Yun, Youngjoon Hong, and Eunbyung Park. Separable physics-informed neural networks. Advances in Neural Information Processing Systems, 36, 2024.

[102] Zongyi Li, Nikola Kovachki, Kamyar Azizzadenesheli, Burigede Liu, Kaushik Bhattacharya, Andrew Stuart, and Anima Anandkumar. Fourier neural operator for parametric partial differential equations. arXiv preprint arXiv:2010.08895, 2020.

[103] Zongyi Li, Hongkai Zheng, Nikola Kovachki, David Jin, Haoxuan Chen, Burigede Liu, Kamyar Azizzadenesheli, and Anima Anandkumar. Physics-informed neural operator for learning partial differential equations. ACM/JMS Journal of Data Science, 2021.

[104] Nikola Kovachki, Zongyi Li, Burigede Liu, Kamyar Azizzadenesheli, Kaushik Bhattacharya, Andrew Stuart, and Anima Anandkumar. Neural operator: Learning maps between function spaces with applications to pdes. Journal of Machine Learning Research, 24(89):1–97, 2023.

[105] Haydn Maust, Zongyi Li, Yixuan Wang, Daniel Leibovici, Oscar Bruno, Thomas Hou, and Anima Anandkumar. Fourier continuation for exact derivative computation in physicsinformed neural operators. arXiv preprint arXiv:2211.15960, 2022.

[106] Lu Lu, Pengzhan Jin, Guofei Pang, Zhongqiang Zhang, and George Em Karniadakis. Learning nonlinear operators via deeponet based on the universal approximation theorem of operators. Nature machine intelligence, 3(3):218–229, 2021.

[107] Sergei Gukov, James Halverson, Fabian Ruehle, and Piotr Sułkowski. Learning to Unknot. Mach. Learn. Sci. Tech., 2(2):025035, 2021.

[108] L. H. Kauffman, N. E. Russkikh, and I. A. Taimanov. Rectangular knot diagrams classification with deep learning, 2020.

[109] Mark C Hughes. A neural network approach to predicting and computing knot invariants.

Journal of Knot Theory and Its Ramifications, 29(03):2050005, 2020.

[110] Jessica Craven, Vishnu Jejjala, and Arjun Kar. Disentangling a deep learned volume formula. JHEP, 06:040, 2021.

[111] Jessica Craven, Mark Hughes, Vishnu Jejjala, and Arjun Kar. Illuminating new and known relations between knot invariants. 11 2022.

[112] Fabian Ruehle. Data science applications to string theory. Phys. Rept., 839:1–117, 2020.

[113] Y.H. He. Machine Learning in Pure Mathematics and Theoretical Physics. G - Reference,Information and Interdisciplinary Subjects Series. World Scientific, 2023.

[114] Sergei Gukov, James Halverson, and Fabian Ruehle. Rigor with machine learning from field theory to the poincaréconjecture. Nature Reviews Physics, 2024.

[115] Shumao Zhang, Pengchuan Zhang, and Thomas Y Hou. Multiscale invertible generative networks for high-dimensional bayesian inference. In International Conference on Machine Learning, pages 12632–12641. PMLR, 2021.

[116] Jinchao Xu and Ludmil Zikatanov. Algebraic multigrid methods. Acta Numerica, 26:591– 721, 2017.

[117] Yifan Chen, Thomas Y Hou, and Yixuan Wang. Exponentially convergent multiscale finite element method. Communications on Applied Mathematics and Computation, pages 1–17, 2023.

[118] Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, and Gordon Wetzstein. Implicit neural representations with periodic activation functions. Advances in neural information processing systems, 33:7462–7473, 2020.

Приложение
A Функциональные возможности KAN
Таблица 6 содержит общие функции, которые могут оказаться полезными для пользователей.

Таблица 6 Функциональные возможности KAN

B Обучаемые сети активации (LAN)
B.1 Архитектура
Помимо KAN, мы также предложили другой тип обучаемых сетей активации (learnable activation networks LAN), которые почти являются MLP, но с обучаемыми функциями активации, параметризованными как сплайны. KAN имеют два основных изменения по сравнению со стандартными MLP: (1) функции активации становятся обучаемыми, а не фиксированными; (2) функции активации размещаются на ребрах, а не в узлах. Чтобы разделить эти два фактора, мы также предлагаем обучаемые сети активации (LAN), которые имеют только обучаемые активации, но все еще в узлах, как показано на рисунке B.1.
Для LAN с шириной , глубиной L и числом точек сетки число параметров равно N^2L+NLG , где N^2L — число параметров для весовых матриц, а NLG — число параметров для активаций сплайнов, что приводит к небольшим накладным расходам в дополнение к MLP, поскольку обычно G ≪ N , поэтому NLG ≪ N^2L . LAN похожи на MLP, поэтому их можно инициализировать из предварительно обученных MLP и настраивать, разрешая обучаемые функции активации. Примером может служить использование LAN для улучшения SIREN, представленное в разделе B.3.

Сравнение LAN и KAN. Плюсы LAN

(1) LAN концептуально проще KAN. Они ближе к стандартным MLP (единственное изменение — функции активации становятся обучаемыми).
(2) LAN масштабируются лучше, чем KAN. LAN/KAN имеют обучаемые функции активации на узлах/ребрах соответственно. Таким образом, параметры активации в LAN/KAN масштабируются как N/N^2 , где — ширина модели.
Минусы локальных сетей:
(1) Локальные сети кажутся менее интерпретируемыми (матрицы весов трудно интерпретировать, как и в многослойных перцептронах);
(2) LAN также кажутся менее точными, чем KAN, но все еще более точными, чем MLP. Как и KAN, LAN также допускают расширение сетки, если функции активации LAN параметризованы сплайнами.

B.2 Результаты интерпретируемости локальной сети

Мы представляем предварительные результаты интерпретируемости LAN на рисунке B.2. С теми же примерами на рисунке 4.1, для которых KAN прекрасно интерпретируются, LAN кажутся гораздо менее интерпретируемыми из-за существования весовых матриц.

Рисунок B1: Обучение обучаемой активационной сети (LAN) на игрушечном примере f(x,y) = exp(sin(πx)+y2).

Рисунок B1: Обучение обучаемой активационной сети (LAN) на игрушечном примере f(x,y) = exp(sin(πx)+y²).

Рисунок B.2: LAN на синтетических примерах. LANне кажутся очень интерпретируемыми. Мы предполагаем, что матрицы весов оставляют слишком много степеней свободы.

Во-первых, весовые матрицы не так легко интерпретируемы, чем обучаемые функции активации. Во-вторых, весовые матрицы привносят слишком много степеней свободы, делая обучаемые функции активации слишком неограниченными. Наши предварительные результаты с LAN, по-видимому, подразумевают, что избавление от линейных весовых матриц (путем наличия обучаемых активаций на ребрах, как KAN) необходимо для интерпретируемости.

B.3 Подгонка изображений (LAN)

Неявные нейронные представления рассматривают изображения как двумерные функции f(x, y) , где значение пикселя является функцией двух координат пикселя и . Для сжатия изображения такое неявное нейронное представление (- нейронная сеть) может достичь впечатляющего сжатия параметров, сохраняя при этом почти исходное качество изображения. SIREN [118] предложил использовать MLP с периодическими функциями активации для соответствия функции . Естественно рассмотреть другие функции активации, которые разрешены в локальных сетях. Однако, поскольку мы инициализируем активации локальной сети так, чтобы они были плавными, а SIREN требует высокочастотных функций, локальная сеть работает медленно. Обратите внимание, что каждая функция активации в локальных сетях представляет собой сумму базовой функции и функции сплайна, т. е. ϕ(x) = b(x) + spline(x) , мы задаем b(x) синусоидальными функциями,

Рисунок B.3: Сеть SIREN (фиксированные синусоидальные активации) может быть адаптирована к локальным сетям (обучаемые активации) для улучшения представления изображений.

аналогично настройке, что и в SIREN, но пусть spline(x) будет обучаемым. Как для MLP, так и для LAN форма имеет вид [2,128,128,128,128,128,1].
Мы обучаем их с помощью оптимизатора Adam, размер batch4096, для 5000 шагов со скоростью обучения 10⁻³ и 5000 шагов со скоростью обучения 10⁻⁴. Как показано на рисунке B.3, LAN (оранжевый) может достичь более высокого PSNR, чем MLP (синий) из-за гибкости LAN для тонкой настройки функций активации. Мы показываем, что также возможно инициализировать LAN из MLP и дополнительно тонко настроить LAN (зеленый) для лучшего PSNR. Мы выбрали = 5 в наших экспериментах, поэтому дополнительное увеличение параметра составляет примерно $G/N = 5/128 ≈ 4\%$ по сравнению с исходными параметрами.

C Зависимость от гиперпараметров

Мы показываем влияние гиперпараметров на случай f(x, y) = exp(sin(πx) + y^2) на рисунке C.1. Чтобы получить интерпретируемый график, мы хотим, чтобы число активных функций активации было как можно меньше (в идеале 3).

(1) Нам нужен штраф энтропии, чтобы уменьшить количество активных функций активации. Без штрафа энтропии будет много дублирующих функций.
(2) Результаты могут зависеть от random seed. С некоторыми неудачными seed обрезанная сеть может быть больше, чем нужно.
(3) Общая сила штрафа эффективно контролирует разреженность.
(4) Число сетки G также имеет тонкое влияние на интерпретируемость. Когда слишком мало, поскольку каждая из функций активации не очень выразительна, сеть имеет тенденцию использовать стратегию ансамблирования, что затрудняет интерпретацию.
(5) Кусочно-полиномиальный порядок имеет только тонкое влияние на интерпретируемость. Однако он ведет себя немного как random seed, которые не демонстрируют никакой видимой закономерности в этом игрушечном примере.

Рисунок C.1: Влияние гиперпараметров на результаты интерпретируемости.

D Фейнман KAN

Мы приводим дополнительные результаты по набору данных Фейнмана (раздел 3.3). На рисунке D.1 показаны границы Парето KAN и MLP для каждого набора данных Фейнмана. На рисунках D.3 и D.2 визуализированы минимальные KAN (при ограничении теста RMSE < 10⁻²) и лучшие KAN (с наименьшими потерями теста RMSE) для каждой задачи подгонки уравнения Фейнмана.

E Примечание по размеру сетки

Для задач PDE и регрессии, когда мы выбираем данные обучения на равномерных сетках, мы наблюдаем внезапное увеличение потерь обучения (т. е. внезапное падение производительности), когда размер сетки обновляется до большого уровня, сопоставимого с различными точками обучения в одном пространственном направлении. Это может быть связано с реализацией B-сплайна в более высоких измерениях и требует дальнейшего изучения.

F KAN для специальных функций

Мы включили больше результатов в набор данных специальной функции (раздел 3.2). Рисунки F.2 и F.1 визуализируют минимальные KAN (при ограничении теста RMSE < 10⁻²) и лучшие KAN (с наименьшей потерей RMSE теста) для каждой задачи подгонки специальной функции.

Рисунок D.1: Границы Парето KAN и MLP для наборов данных Фейнмана.

В заключении в статье представлены рисунки
D.2: Best Feynman KANs
D.3: Minimal Feynman KANs
F.1: Best special KANs
F.2: Minimal special KANs
представляющие собой графики KAN по различным наборам данных, которые целесообразно изучить в оригинальной статье (всего рисунков 87).

Источник

Теги

ICO

Категория

Новости

Дата

7 нояб. 2024 г.

27.11.24 00:39 [email protected]

Although recovering lost or inaccessible Bitcoin can be difficult and unpleasant, it is frequently possible to get back access to one's digital assets with the correct help and direction. Regarding the subject at hand, the examination of Trust Geeks Hack Expert Website www://trustgeekshackexpert.com/ assistance after an error emphasizes how important specialized services may be in negotiating the difficulties of Bitcoin recovery. These providers possess the technical expertise and resources necessary to assess the situation, identify the root cause of the issue, and devise a tailored solution to retrieve the lost funds. By delving deeper into the specifics of Trust Geeks Hack Expert approach, we can gain valuable insights into the nuances of this process. Perhaps they leveraged advanced blockchain analysis tools to trace the transaction history and pinpoint the location of the missing Bitcoins. Or they may have collaborated with the relevant parties, such as exchanges or wallet providers, to facilitate the recovery process. Equally important is the level of personalized support and communication that Trust Geeks Hack Expert likely provided, guiding the affected individual through each step of the recovery effort and offering reassurance during what can be an anxious and uncertain time. The success of their efforts, as evidenced by the positive outcome, underscores the importance of seeking out reputable and experienced service providers when faced with a Bitcoin-related mishap, as they possess the specialized knowledge and resources to navigate these challenges and restore access to one's digital assets. Email.. [email protected]
27.11.24 09:10 Michal Novotny

The biggest issue with cryptocurrency is that it is unregulated, wh ich is why different people can come up with different fake stories all the time, and it is unfortunate that platforms like Facebook and others only care about the money they make from them through ads. I saw an ad on Facebook for Cointiger and fell into the scam, losing over $30,000. I reported it to Facebook, but they did nothing until I discovered deftrecoup . c o m from a crypto community; they retrieved approximately 95% of the total amount I lost.
01.12.24 17:21 KollanderMurdasanu

REACH OUT TO THEM WhatsApp + 156 172 63 697 Telegram (@)Techcyberforc We were in quite a bit of distress. The thrill of our crypto investments, which had once sparked excitement in our lives, was slowly turning into anxiety when my husband pointed out unusual withdrawal issues. At first, we brushed it off as minor glitches, but the situation escalated when we found ourselves facing login re-validation requests that essentially locked us out of our crypto wallet—despite entering the correct credentials. Frustrated and anxious, we sought advice from a few friends, only to hit a wall of uncertainty. Turning to the vast expanse of the internet felt daunting, but in doing so, we stumbled upon TECH CYBER FORCE RECOVERY. I approached them with a mix of skepticism and hope; after all, my understanding of these technical matters was quite limited. Yet, from our very first interaction, it was clear that they were the experts we desperately needed. They walked us through the intricacies of the recovery process, patiently explaining each mechanism—even if some of it went over my head, their reassurance was calming. Our responsibility was simple: to provide the correct information to prove our ownership of the crypto account, and thankfully, we remained on point in our responses. in a timely fashion, TECH CYBER FORCE RECOVERY delivered on their promises, addressing all our withdrawal and access issues exactly when they said they would. The relief we felt was immense, and the integrity they displayed made me confident in fully recommending their services. If you ever find yourself in a similar predicament with your crypto investments, I wholeheartedly suggest reaching out to them. You can connect with TECH CYBER FORCE RECOVERY through their contact details for assistance and valuable guidance. Remember, hope is only a reach away!
02.12.24 23:02 ytre89

Online crypto investment can seem like a promising opportunity, but it's crucial to recognize that there are no guarantees. My experience serves as a stark reminder of this reality. I was drawn in by the allure of high returns and the persuasive marketing tactics employed by various brokers. Their polished presentations and testimonials made it seem easy to profit from cryptocurrency trading. Everything appeared to be legitimate. I received enticing messages about the potential for substantial gains, and the brokers seemed knowledgeable and professional. Driven by excitement and the fear of missing out, I invested a significant amount of my savings. The promise of quick profits overshadowed the red flags I should have noticed. I trusted these brokers without conducting proper research, which was a major mistake. As time went on, I realized that the promised returns were nothing but illusions. My attempts to withdraw funds were met with endless excuses and delays. It became painfully clear that I had fallen victim. The reality hit hard: my hard-earned money was gone, I lost my peace of mind and sanity. In my desperation, I sought help from a company called DEFTRECOUP. That was the turning point for me as I had a good conversation and eventually filed a complaint via DEFTRECOUP COM. They were quite delicate and ensured I got out of the most difficult situation of my life in one piece.
04.12.24 22:24 andreygagloev

When I first heard about Bitcoin back in 2018, I was skeptical. The idea of a decentralized, digital currency seemed too good to be true. But I was intrigued as I learned more about the technology behind it and its potential. I started small, investing just a few hundred dollars, dipping my toes into the cryptocurrency waters. At first, it was exhilarating to watch the value of my investment grow exponentially. I felt like I was part of the future, an early adopter of this revolutionary new asset. But that euphoria was short-lived. One day, I logged into my digital wallet only to find it empty - my Bitcoin had vanished without a trace. It turned out that the online exchange I had trusted had been hacked, and my funds were stolen. I was devastated, both financially and emotionally. All the potential I had seen in Bitcoin was tainted by the harsh reality that with decentralization came a lack of regulation and oversight. My hard-earned money was gone, lost to the ether of the digital world. This experience taught me a painful lesson about the price of trust in the uncharted territory of cryptocurrency. While the technology holds incredible promise, the risks can be catastrophic if you don't approach it with extreme caution. My Bitcoin investment gamble had failed, and I was left to pick up the pieces, wiser but poorer for having placed my faith in the wrong hands. My sincere appreciation goes to MUYERN TRUST HACKER. You are my hero in recovering my lost funds. Send a direct m a i l ( muyerntrusted ( @ ) mail-me ( . )c o m ) or message on whats app : + 1 ( 4-4-0 ) ( 3 -3 -5 ) ( 0-2-0-5 )
12.12.24 00:35 amandagregory

HOW TO HIRE A HACKER TO RECOVER STOLEN BITCOIN WITH FASTFUND RECOVERY
12.12.24 00:35 amandagregory

HOW TO HIRE A HACKER TO RECOVER STOLEN BITCOIN WITH FASTFUND RECOVERY... A few months ago, I made a huge mistake. I invested in what seemed like a legitimate crypto opportunity, only to find out I’d been scammed. I lost a significant amount of money, and the scam platform vanished overnight. I felt completely lost.I had heard of Fastfund Recovery and decided to reach out, even though I was skeptical. From the first conversation, they made me feel heard and understood. They explained the recovery process clearly and kept me updated every step of the way.Within weeks, Fastfund Recovery successfully to recovered my lost funds—something I honestly didn’t think was possible. Their team was professional, transparent, and genuinely caring. I can’t thank them enough for turning a nightmare into a hopeful outcome. If you’re in a similar situation, don’t hesitate to contact them. They truly deliver on their promises. Gmail::: fastfundrecovery8(@)gmail com .....Whatsapp ::: 1::807::::500::::7554
19.12.24 17:07 rebeccabenjamin

USDT RECOVERY EXPERT REVIEWS DUNAMIS CYBER SOLUTION It's great to hear that you've found a way to recover your Bitcoin and achieve financial stability, but I urge you to be cautious with services like DUNAMIS CYBER SOLUTION Recovery." While it can be tempting to turn to these companies when you’re desperate to recover lost funds, many such services are scams, designed to exploit those in vulnerable situations. Always research thoroughly before engaging with any recovery service. In the world of cryptocurrency, security is crucial. To protect your assets, use strong passwords, enable two-factor authentication, and consider using cold wallets (offline storage) for long-term storage. If you do seek professional help, make sure the company is reputable and has positive, verifiable reviews from trusted sources. While it’s good that you found a solution, it’s also important to be aware of potential scams targeting cryptocurrency users. Stay informed about security practices, and make sure you take every step to safeguard your investments. If you need help with crypto security tips or to find trustworthy resources, feel free to ask! [email protected] +13433030545 [email protected]
24.12.24 08:33 dddana

Отличная подборка сервисов! Хотелось бы дополнить список рекомендацией: нажмите сюда - https://airbrush.com/background-remover. Этот инструмент отлично справляется с удалением фона, сохраняя при этом высокое качество изображения. Очень удобен для быстрого редактирования фото. Было бы здорово увидеть его в вашей статье!
27.12.24 00:21 swiftdream

I lost about $475,000.00 USD to a fake cryptocurrency trading platform a few weeks back after I got lured into the trading platform with the intent of earning a 15% profit daily trading on the platform. It was a hell of a time for me as I could hardly pay my bills and got me ruined financially. I had to confide in a close friend of mine who then introduced me to this crypto recovery team with the best recovery SWIFTDREAM i contacted them and they were able to completely recover my stolen digital assets with ease. Their service was superb, and my problems were solved in swift action, It only took them 48 hours to investigate and track down those scammers and my funds were returned to me. I strongly recommend this team to anyone going through a similar situation with their investment or fund theft to look up this team for the best appropriate solution to avoid losing huge funds to these scammers. Send complaint to Email: info [email protected]
31.12.24 04:53 Annette_Phillips

There are a lot of untrue recommendations and it's hard to tell who is legit. If you have lost crypto to scam expresshacker99@gmailcom is the best option I can bet on that cause I have seen lot of recommendations about them and I'm a witness on their capabilities. They will surely help out. Took me long to find them. The wonderful part is no upfront fee till crypto is recover successfully that's how genuine they are.
04.01.25 04:56 florencestella

THE BEST CERTIFIED CRYPTOCURRENCY RECOVERY EXPERT DUNAMIS CYBER SOLUTION
04.01.25 04:57 florencestella

THE BEST CERTIFIED CRYPTOCURRENCY RECOVERY EXPERT DUNAMIS CYBER SOLUTION It sounds like you went through a very frustrating experience with Cointrack, where your access to your own funds was unjustly restricted for months without clear communication or a solution. The extended periods of account freezes, lack of transparency, and vague customer support responses would make anyone anxious. It’s understandable that you suspected the issue could be related to your login activity, but it’s surprising that something as minor as using the same Wi-Fi network could trigger such severe restrictions. I’m glad to hear that DUNAMIS CYBER SOLUTION Recovery was able to help you get your account unlocked and resolve the issue. It’s unfortunate that you had to seek third-party assistance, but it’s a relief that the situation was eventually addressed. If you plan on using any platforms like this again, you might want to be extra cautious, especially when dealing with sensitive financial matters. And if you ever need to share your experience to help others avoid similar issues, feel free to reach out. It might be helpful for others to know about both the pitfalls and the eventual resolution through services like DUNAMIS CYBER SOLUTION Recovery. [email protected] +13433030545 [email protected]
06.01.25 19:09 michaeljordan15

We now live in a world where most business transactions are conducted through Bitcoin and cryptocurrency. With the rapid growth of digital currencies, everyone seems eager to get involved in Bitcoin and cryptocurrency investments. This surge in interest has unfortunately led to the rise of many fraudulent platforms designed to exploit unsuspecting individuals. People are often promised massive profits, only to lose huge sums of money when they realize the platform they invested in was a scam. contact with WhatsApp: +1 (443) 859 - 2886 Email @ digitaltechguard.com Telegram: digitaltechguardrecovery.com website link:: https://digitaltechguard.com This was exactly what happened to me five months ago. I was excited about the opportunity to invest in Bitcoin, hoping to earn a steady return of 20%. I found a platform that seemed legitimate and made my investment, eagerly anticipating the day when I would be able to withdraw my earnings. When the withdrawal day arrived, however, I encountered an issue. My bank account was not credited, despite seeing my balance and the supposed profits in my account on the platform. At first, I assumed it was just a technical glitch. I thought, "Maybe it’s a delay in the system, and everything will be sorted out soon." However, when I tried to contact customer support, the line was either disconnected or completely unresponsive. My doubts started to grow, but I wanted to give them the benefit of the doubt and waited throughout the day to see if the situation would resolve itself. But by the end of the day, I realized something was terribly wrong. I had been swindled, and my hard-earned money was gone. The realization hit me hard. I had fallen victim to one of the many fraudulent Bitcoin platforms that promise high returns and disappear once they have your money. I knew I had to act quickly to try and recover what I had lost. I started searching online for any possible solutions, reading reviews and recommendations from others who had faced similar situations. That’s when I came across many positive reviews about Digital Tech Guard Recovery. After reading about their success stories, I decided to reach out and use their services. I can honestly say that Digital Tech Guard Recovery exceeded all my expectations. Their team was professional, efficient, and transparent throughout the process. Within a short time, they helped me recover a significant portion of my lost funds, which I thought was impossible. I am incredibly grateful to Digital Tech Guard Recovery for their dedication and expertise in helping me get my money back. If you’ve been scammed like I was, don’t lose hope. There are solutions, and Digital Tech Guard Recovery is truly one of the best. Thank you, Digital Tech Guard Recovery! You guys are the best. Good luck to everyone trying to navigate this challenging space. Stay safe.
18.01.25 12:41 michaeldavenport218

I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance, contact [email protected] Capital Crypto Recover on Telegram OR Call Number +1 (336)390-6684 via email: [email protected]
18.01.25 12:41 michaeldavenport218

I was recently scammed out of $53,000 by a fraudulent Bitcoin investment scheme, which added significant stress to my already difficult health issues, as I was also facing cancer surgery expenses. Desperate to recover my funds, I spent hours researching and consulting other victims, which led me to discover the excellent reputation of Capital Crypto Recover, I came across a Google post It was only after spending many hours researching and asking other victims for advice that I discovered Capital Crypto Recovery’s stellar reputation. I decided to contact them because of their successful recovery record and encouraging client testimonials. I had no idea that this would be the pivotal moment in my fight against cryptocurrency theft. Thanks to their expert team, I was able to recover my lost cryptocurrency back. The process was intricate, but Capital Crypto Recovery's commitment to utilizing the latest technology ensured a successful outcome. I highly recommend their services to anyone who has fallen victim to cryptocurrency fraud. For assistance, contact [email protected] Capital Crypto Recover on Telegram OR Call Number +1 (336)390-6684 via email: [email protected]
20.01.25 15:39 patricialovick86

How To Recover Your Bitcoin Without Falling Victim To Scams: A Testimony Experience With Capital Crypto Recover Services, Contact Telegram: @Capitalcryptorecover Dear Everyone, I would like to take a moment to share my positive experience with Capital Crypto Recover Services. Initially, I was unsure if it would be possible to recover my stolen bitcoins. However, with their expertise and professionalism, I was able to fully recover my funds. Unfortunately, many individuals fall victim to scams in the cryptocurrency space, especially those involving fraudulent investment platforms. However, I advise caution, as not all recovery services are legitimate. I personally lost $273,000 worth of Bitcoin from my Binance account due to a deceptive platform. If you have suffered a similar loss, you may be considering crypto recovery, The Capital Crypto Recover is the most knowledgeable and effective Capital Crypto Recovery Services assisted me in recovering my stolen funds within 24 hours, after getting access to my wallet. Their service was not only prompt but also highly professional and effective, and many recovery services may not be trustworthy. Therefore, I highly recommend Capital Crypto Recover to you. i do always research and see reviews about their service, For assistance finding your misplaced cryptocurrency, get in touch with them, They do their jobs quickly and excellently, Stay safe and vigilant in the crypto world. You can reach them via email at [email protected] OR Call/Text Number +1 (336)390-6684 his contact: [email protected]
22.01.25 21:43 DoraJaimes23

Recovery expert. I lost my bitcoin to fake blockchain impostors on Facebook, they contacted me as blockchain official support and i fell stupidly for their mischievous act, this made them gain access into my blockchain wallet whereby 7.0938 btc was stolen from my wallet in total .I was almost in a comma and dumbfounded because this was all my savings i relied on . Then I made a research online and found a recovery expert , with the contact address- { RECOVERYHACKER101 (@) GMAIL . COM }... I wrote directly to the specialist explaining my loss. Hence, he helped me recover a significant part of my investment just after 2 days he helped me launch the recovery program , and the culprits were identified as well , all thanks to his expertise . I hope I have been able to help someone as well . Reach out to the recovery specialist to recover you lost funds from any form of online scam Thanks
23.01.25 02:36 [email protected]

After falling victim to a fraudulent Bitcoin mining scam, I found myself in a desperate situation. I had invested $50,000 into a cloud mining website called Miningpool, which turned out to be a complete scam. For months, I tried reaching out to the company, but I was unable to access my funds, and I quickly realized I had been taken for a ride. In my search for help, I came across TrustGeeks Hack Expert, a service that claimed to help people recover lost funds from crypto scams. Though skeptical at first, I decided to give them a try. Here’s my experience with their service.When I initially contacted TrustGeeks Hack Expert Email.. Trustgeekshackexpert{At}fastservice{Dot}com , I was understandably hesitant. Like many others, I had been tricked into believing my Bitcoin investments were legitimate, only to discover they were locked in a non-spendable wallet with no way of accessing them. However, after sharing my story and details about the scam, the team assured me they had handled similar cases and had the expertise to help. They requested basic information about my investment and began their investigation immediately. The recovery process was nothing short of professional. Unlike many other services that promise quick fixes but fail to deliver, TrustGeeks Hack Expert kept me informed at every stage. They regularly updated me on their progress and were completely transparent about the challenges they faced. There were moments when I wondered if the process would work, but the team’s professionalism and reassurance gave me hope. They were honest about the time it would take and did not make any unrealistic promises, which I truly appreciated. After several weeks of work, TrustGeeks Hack Expert successfully recovered not just my $50,000 investment, but also the so-called profits that had been locked away in the scam's non-spendable wallet. This was a huge relief, as I had resigned myself to the idea that I had lost everything. The entire recovery process was discreet and handled with the utmost care, ensuring that the scam company remained unaware of the recovery efforts, which helped prevent further complications. TeleGram iD. Trustgeekshackexpert & What's A p p +1 7 1 9 4 9 2 2 6 9 3
23.01.25 02:37 [email protected]

After falling victim to a fraudulent Bitcoin mining scam, I found myself in a desperate situation. I had invested $50,000 into a cloud mining website called Miningpool, which turned out to be a complete scam. For months, I tried reaching out to the company, but I was unable to access my funds, and I quickly realized I had been taken for a ride. In my search for help, I came across TrustGeeks Hack Expert, a service that claimed to help people recover lost funds from crypto scams. Though skeptical at first, I decided to give them a try. Here’s my experience with their service.When I initially contacted TrustGeeks Hack Expert Email.. Trustgeekshackexpert{At}fastservice{Dot}com , I was understandably hesitant. Like many others, I had been tricked into believing my Bitcoin investments were legitimate, only to discover they were locked in a non-spendable wallet with no way of accessing them. However, after sharing my story and details about the scam, the team assured me they had handled similar cases and had the expertise to help. They requested basic information about my investment and began their investigation immediately. The recovery process was nothing short of professional. Unlike many other services that promise quick fixes but fail to deliver, TrustGeeks Hack Expert kept me informed at every stage. They regularly updated me on their progress and were completely transparent about the challenges they faced. There were moments when I wondered if the process would work, but the team’s professionalism and reassurance gave me hope. They were honest about the time it would take and did not make any unrealistic promises, which I truly appreciated. After several weeks of work, TrustGeeks Hack Expert successfully recovered not just my $50,000 investment, but also the so-called profits that had been locked away in the scam's non-spendable wallet. This was a huge relief, as I had resigned myself to the idea that I had lost everything. The entire recovery process was discreet and handled with the utmost care, ensuring that the scam company remained unaware of the recovery efforts, which helped prevent further complications. TeleGram iD. Trustgeekshackexpert & What's A p p +1 7 1 9 4 9 2 2 6 9 3
23.01.25 14:20 nellymargaret

DUNAM CYBER SOLUTION BTC-ETH RECOVERY EXPERT
23.01.25 14:20 nellymargaret

DUNAM CYBER SOLUTION BTC-ETH RECOVERY EXPERT I had tried to secure my Bitcoin wallet, maybe a bit too aggressively, enabling every security feature imaginable: two-factor authentication, biometric verification, intricate passwords-the whole shebang. I wanted to make it impossible for anybody to get to my money. I tried to make this impregnable fortress of security and ended up locking myself out of my wallet with $700,000 in Bitcoin. It wasn't until I tried to access my wallet that I realized the trap I had set for myself. I was greeted with an endless series of security checks-passwords, codes, facial recognition, and more. I could remember parts of my multi-layered security setup but not enough to actually get in. In fact, my money was behind this digital fortress, and the more I tried to fix it, the worse it seemed to get. I kept tripping over my own layers of protection, unable to find a way back in. Panic quickly set in when I realized I had made it almost impossible for myself to access my own money. That is when I called DUNAMIS CYBER SOLUTION From that very first call, they reassured me that I wasn't the first person to make this kind of mistake and certainly wouldn't be the last. They listened attentively to my explanation and got to work straight away. Their team methodically began to untangle my overly complicated setup. Patience and expertise managed to crack each layer of security step by step until they had restored access to my wallet. [email protected] +13433030545 [email protected]
26.01.25 03:54 [email protected]

Losing access to my crypto wallet account was one of the most stressful experiences ever. After spending countless hours building up my portfolio, I suddenly found myself locked out of my account without access. To make matters worse, the email address I had linked to my wallet was no longer active. When I tried reaching out, I received an error message stating that the domain was no longer in use, leaving me in complete confusion and panic. It was as though everything I had worked so hard for was gone, and I had no idea how to get it back. The hardest part wasn’t just the loss of access it was the feeling of helplessness. Crypto transactions are often irreversible, and since my wallet held significant investments, the thought that my hard-earned money could be lost forever was incredibly disheartening. I spent hours scouring forums and searching for ways to recover my funds, but most of the advice seemed either too vague or too complicated to be of any real help. With no support from the wallet provider and my email account out of reach, I was left feeling like I had no way to fix the situation.That’s when I found out about Trust Geeks Hack Expert . I was hesitant at first, but after reading about their expertise in recovering lost crypto wallets, I decided to give them a try. I reached out to their team, and from the very beginning, they were professional, understanding, and empathetic to my situation. They quickly assured me that there was a way to recover my wallet, and they got to work immediately.Thanks to Trust Geeks Hack Expert , my wallet and funds were recovered, and I couldn’t be more grateful. The process wasn’t easy, but their team guided me through each step with precision and care. The sense of relief I felt when I regained access to my crypto wallet and saw my funds safely back in place was indescribable. If you find yourself in a similar situation, I highly recommend reaching out to Trust Geeks Hack Expert. contact Them through EMAIL: [email protected] + WEBSITE. HTTPS://TRUSTGEEKSHACKEXPERT.COM + TELE GRAM: TRUSTGEEKSHACKEXPERT
28.01.25 21:48 [email protected]

It’s unfortunate that many people have become victims of scams, and some are facing challenges accessing their Bitcoin wallets. However, there's excellent news! With Chris Wang, you can count on top-notch service that guarantees results in hacking. We have successfully helped both individuals and organizations recover lost files, passwords, funds, and more. If you need assistance, don’t hesitate—check out recoverypro247 on Google Mail! What specific methods does Chris Wang use to recover lost funds and passwords? Are there any guarantees regarding the success rate of the recovery services offered? What are the initial steps to begin the recovery process with recoverypro247? this things i tend to ask
02.02.25 20:53 Michael9090

I lost over $155,000 in an investment trading company last year; I was down because the company refused to let me make withdrawals and kept asking for more money…. My friend in the military introduced me to a recovery agent Crypto Assets Recovery with the email address [email protected] and he’s been really helpful, he made a successful recovery of 95% of my investment in less than 24 hours, I’m so grateful to him. If you are a victim of a binary scam and need to get your money back, please don’t hesitate to contact Crypto Assets Recovery in any of the information below. EMAIL: [email protected] WHATSAPP NUMBER : +18125892766
05.02.25 00:04 Jannetjeersten

TECH CYBER FORCE RECOVERY quickly took action, filing my case and working tirelessly on my behalf. Within just four days, I received the surprising news that my 40,000 CAD had been successfully refunded and deposited back into my bank account. I was overjoyed and relieved to see the money returned, especially after the stressful experience. Thanks to TECH CYBER FORCE RECOVERY’s professionalism and dedication, I was able to recover my funds. This experience taught me an important lesson about being cautious with online investments and the importance of seeking expert help when dealing with scams. I am truly grateful to EMAIL: support(@)techcyberforcerecovery(.)com OR WhatsApp: +.1.5.6.1.7.2.6.3.6.9.7 for their assistance, which allowed me to reclaim my money and end the holiday season on a much brighter note.
06.02.25 19:42 Marta Golomb

My name is Marta, and I’m sharing my experience in the hope that it might help others avoid a similar scam. A few weeks ago, I received an email that appeared to be from the "Department of Health and Human Services (DHS)." It claimed I was eligible for a $72,000 grant debit card, which seemed like an incredible opportunity. At first, I was skeptical, but the email looked so professional and convincing that I thought it might be real. The email instructed me to click on a link to claim the grant, and unfortunately, I followed through. I filled out some personal details, and then, unexpectedly, I was told I needed to pay a "processing fee" to finalize the grant. I was hesitant, but the urgency of the message pushed me to make the payment, believing it was a necessary step to receive the funds. Once the payment was made, things quickly went downhill. The website became unreachable, and I couldn’t get in touch with anyone from the supposed DHS. It soon became clear that I had been scammed. The email, which seemed so legitimate, had been a clever trick to steal my money.Devastated and unsure of what to do, I began searching for ways to recover my lost funds. That’s when I found Tech Cyber Force Recovery, a team of experts who specialize in tracing stolen money and assisting victims of online fraud. They were incredibly reassuring and quickly got to work on my case. After several days of investigation, they managed to track down the scammers and recover my funds. I can’t express how grateful I am for their help. Without Tech Cyber Force Recovery, I don’t know what I would have done. This experience has taught me a valuable lesson: online scams are more common than I realized, and the scammers behind them are incredibly skilled. They prey on people’s trust, making it easy to fall for their tricks. HOW CAN I RECOVER MY LOST BTC,USDT =Telegram= +1 561-726-36-97 =WhatsApp= +1 561-726-36-97
08.02.25 05:45 [email protected]

I'm incredibly grateful that I did enough research to recover my stolen cryptocurrency. When I first fell victim to a scam, I felt hopeless and lost, unsure if I'd ever see my funds again. A few months ago, I was approached by someone on Telegram who claimed to have a lucrative investment opportunity in cryptocurrencies. They promised huge returns and played on my emotions, making it seem like a can't-miss chance. I was so eager to make my money grow that I didn't fully vet the situation, and unfortunately, I ended up falling for the scam. They guided me to invest a significant amount of money, and soon after, I realized I had been duped. The scammers blocked me, and my funds were gone. I felt devastated. All of my savings had been wiped out in what seemed like an instant, and the feeling of being taken advantage of was crushing. I spent days researching how to recover my stolen cryptocurrency but found the process to be overwhelming and complicated. I was starting to lose hope when I came across Trust Geeks Hack Expert. At first, I was skeptical about reaching out to a cryptocurrency recovery company, but after reading testimonials and researching their reputation, I decided to give them a try. I contacted Trust Geeks Hack Expert Website: www://trustgeekshackexpert.com/, and I was immediately reassured by their professionalism and expertise. They took the time to listen to my situation, and they were honest about what could and could not be done. What stood out to me was their deep understanding of cryptocurrency fraud and the recovery process. They were able to track down the scammers and initiate the recovery of my stolen funds, step by step. Thanks to Trust Geeks Hack Expert, I was able to get back a significant portion of the cryptocurrency I had lost. Their team was responsive, transparent, and diligent in their efforts. I was kept informed throughout the entire process, and they made sure I felt supported every step of the way. I truly can't thank them enough for their dedication and for restoring my faith in the possibility of recovery after such a devastating loss. I will definitely recommend Trust Geeks Hack Expert to anyone who has fallen victim to a cryptocurrency scam. TeleGram: Trustgeekshackexpert & what's A p p +1 7 1 9 4 9 2 2 6 9 3
08.02.25 05:46 [email protected]

I'm incredibly grateful that I did enough research to recover my stolen cryptocurrency. When I first fell victim to a scam, I felt hopeless and lost, unsure if I'd ever see my funds again. A few months ago, I was approached by someone on Telegram who claimed to have a lucrative investment opportunity in cryptocurrencies. They promised huge returns and played on my emotions, making it seem like a can't-miss chance. I was so eager to make my money grow that I didn't fully vet the situation, and unfortunately, I ended up falling for the scam. They guided me to invest a significant amount of money, and soon after, I realized I had been duped. The scammers blocked me, and my funds were gone. I felt devastated. All of my savings had been wiped out in what seemed like an instant, and the feeling of being taken advantage of was crushing. I spent days researching how to recover my stolen cryptocurrency but found the process to be overwhelming and complicated. I was starting to lose hope when I came across Trust Geeks Hack Expert. At first, I was skeptical about reaching out to a cryptocurrency recovery company, but after reading testimonials and researching their reputation, I decided to give them a try. I contacted Trust Geeks Hack Expert Website: www://trustgeekshackexpert.com/, and I was immediately reassured by their professionalism and expertise. They took the time to listen to my situation, and they were honest about what could and could not be done. What stood out to me was their deep understanding of cryptocurrency fraud and the recovery process. They were able to track down the scammers and initiate the recovery of my stolen funds, step by step. Thanks to Trust Geeks Hack Expert, I was able to get back a significant portion of the cryptocurrency I had lost. Their team was responsive, transparent, and diligent in their efforts. I was kept informed throughout the entire process, and they made sure I felt supported every step of the way. I truly can't thank them enough for their dedication and for restoring my faith in the possibility of recovery after such a devastating loss. I will definitely recommend Trust Geeks Hack Expert to anyone who has fallen victim to a cryptocurrency scam. TeleGram: Trustgeekshackexpert & what's A p p +1 7 1 9 4 9 2 2 6 9 3
10.02.25 21:22 sulabhakuchchal

W.W.W.techcyberforcerecovery.com MAIL. [email protected] My name is sulabha kuchchal, and I’m from Mumbai. A few months ago, I faced a nightmare scenario that many in the crypto world fear: I lost access to my $60,000 wallet after a malware attack. The hacker gained control of my private keys, and I was unable to access my funds. Panic set in immediately as I realized the magnitude of the situation. Like anyone in my shoes, I felt completely helpless. But luckily, a friend recommended TECH CYBER FORCE RECOVERY, and it turned out to be the best advice I could have gotten. From the moment I reached out to TECH CYBER FORCE RECOVERY, I felt a sense of relief.
11.02.25 04:24 heyemiliohutchinson

I invested substantially in Bitcoin, believing it would secure my future. For a while, things seemed to be going well. The market fluctuated, but I was confident my investment would pay off. But catastrophe struck without warning. I lost access to my Bitcoin holdings as a result of several technical issues and inadequate security measures. Every coin in my wallet suddenly disappeared, leaving me with an overpowering sense of grief. The emotional impact of this loss was far greater than I had imagined. I spiraled into despair, feeling as though my dreams of financial independence were crushed. I was on the verge of giving up when I came across Assets_Recovery_Crusader. Being willing to give them a chance, I had nothing left to lose. They listened to my narrative and took the time to comprehend the particulars of my circumstance, rather than treating me like a case number. They worked diligently, using their advanced recovery techniques and deep understanding of blockchain technology to track down my lost Bitcoin. Assets_Recovery_Crusader rebuilt my trust in the bitcoin space. The financial impact had a significant emotional toll, but I was able to get past it thanks to Assets_Recovery_Crusader’s proficiency and persistence. For proper talks, reach out to them via TELEGRAM : Assets_Recovery_Crusader EMAIL: [email protected]
11.02.25 22:46 jimmybrown

HIRE A HACKE DUNAMIS CYBER SOLUTION
11.02.25 22:46 jimmybrown

HIRE A HACKE DUNAMIS CYBER SOLUTIONI was just hours away from sealing the biggest real estate deal of my life- the kind of deal that would make one feel like a financial genius. It was the dream property, and all I had to do was transfer my $450,000 Bitcoin deposit. Simple, right? Wrong. I pulled up my crypto wallet, ready to finalize the transfer, and access was denied. No big deal. Maybe I mistyped the password. I tried again. Access denied. Panic started seeping in. I switched devices. Rebooted my system. I entered every password I had ever used since the dawn of time, including my childhood nickname and my favorite pizza topping. Still. Nothing. This wasn't a glitch. This was a full-scale disaster. The seller was waiting; my real estate agent was waiting. And my money? Trapped in a digital vault I suddenly had no key to. Every worst-case scenario flooded my head: Had I been hacked? Did I lock myself out? Was this some kind of cosmic payback for every time I blew off software updates? Just about the time I was getting comfortable in my new identity as the guy who almost bought a house, I remembered that a friend, a crypto lawyer-once said something to me about a recovery service. I called him with the urgency of a man dangling off a cliff. The moment I said what happened, he cut me off: "Email DUNAMIS CYBER SOLUTION Recovery. Now." I didn't ask questions. I dialed quicker than I'd ever dialed in my life. From the second they answered, I knew I was with the pros. There was no hemming, no hawing; this team must have handled its fair share of this particular type of nightmare. They talked me through the process, asked the right questions, and went to work like surgeons in a digital operating room. Minutes felt like hours. I was at DEFCON 1, stress-wise. I paced and stared at my phone, wondering if it was time to move into a cave because, at this rate, homeownership was not looking good. Then—the call came: "We got it." I just about collapsed with relief. My funds were safe. My wallet was unlocked. The Bitcoin was transferred just in time, and I signed the contract with literal seconds to spare. And that night, almost lost to the tech catastrophe of the century in that house, I made a couple of vows: never underestimate proper wallet management and always keep DUNAMIS CYBER SOLUTION Recovery on speed dial. [email protected] +13433030545
13.02.25 14:45 aoifewalsh130

TELEGRAM: u/BestwebwizardRecovery EMAIL: [email protected] WEBSITE: https://bestwebwizrecovery.com/ The money I invested was meant for something incredibly important—my wedding. After months of saving, I had finally accumulated enough to make the day truly special. Wanting to grow this fund, I came across a crypto site called Abcfxb.pro, which promised daily returns through “AI crypto arbitrage trading.” They claimed they could deliver 1% returns on my investment every day, and I saw this as an opportunity to multiply my savings quickly. I thought it was the perfect way to ensure I’d have enough to cover all the wedding expenses. For the first few days, everything seemed perfect. I saw the promised returns and was able to withdraw money without any issues. It felt like a legitimate opportunity, and I was excited as my wedding fund grew. However, things took a turn when I tried to withdraw again. The site claimed that my account balance had fallen below their liquidity requirement and asked me to deposit more funds to proceed. Reluctantly, I deposited more money, believing it was just a minor issue. But the situation only worsened. I was then told that my withdrawal would take 50 days due to “blockchain congestion.” I wasn’t too concerned at first, thinking it was just a delay. But after 50 days, I still hadn’t received my funds, and they gave me the same excuse. Desperate, I contacted the site again, only to be informed that I would need to pay a 15% fee for “technical support” from the “Federal Reserve’s blockchain regulator” before I could withdraw my money. By now, I realized I had fallen victim to a scam. As I researched further, I found that others had been scammed in the same way, and the scammers had moved to another site with nearly the same layout. It was then that I came across a review from another victim, who explained how Best Web Wizard Recovery had helped him recover his lost funds. Desperate for a solution, I reached out to Best Web Wizard Recovery. To my relief, they responded quickly and professionally. Within six hours, they had successfully recovered my full investment. I was beyond grateful, especially since the money had been intended for my wedding. Thanks to their help, I was able to not only get my money back but also go ahead with my wedding as planned. It was a day I will always cherish, and I owe it to Best Web Wizard Recovery for helping me make it a reality. I highly recommend their services to anyone who has fallen victim to a crypto scam.
13.02.25 16:50 andytom798

I lost $210,000 worth of Bitcoin to a group of fake blockchain impostors on Red note, a Chinese app. They contacted me, pretending to be official blockchain support, and I was misled into believing they were legitimate. At the time, I had been saving up in Bitcoin, hoping to take advantage of the rising market. The scammers were convincing, and I made the mistake of trusting them with access to my blockchain wallet. To my shock and disbelief, they stole a total of $10,000 worth of Bitcoin from my wallet. It was devastating, as this amount represented all of my hard-earned savings. I was in utter disbelief, feeling foolish for falling for their deceptive tactics. I felt lost, as though everything I had worked towards was taken from me in an instant. Thankfully, my uncle suggested I reach out to an expert in cryptocurrency recovery. After doing some research online, I came across CYBERPOINT RECOVERY COMPANY. I was hesitant at first, but their positive reviews gave me some hope. I decided to contact them directly and explained my situation, including the amount I had lost and how the scammers had gained access to my account. To my relief, the team at CYBERPOINT RECOVERY responded quickly and assured me they could help. They launched a detailed recovery program, using advanced tools and techniques to trace the stolen Bitcoin. Within a matter of days, they successfully recovered my full $210,000 worth of Bitcoin, and they even identified the individuals behind the scam. Their expertise and professionalism made a huge difference, and I was incredibly grateful for their support. If you find yourself in a similar situation, I highly recommend reaching out to Cyber Constable Intelligence. They helped me recover my funds when I thought all hope was lost. Whether you’ve lost money to scammers or any other form of online fraud, they have the knowledge and resources to help you get your funds back. Don’t give up there are experts who can help you reclaim what you’ve lost. I’m sharing my story to hopefully guide others who are going through something similar. Here's Their Info Below ([email protected]) or W.H.A.T.S.A.P.P:+1.7.6.0.9.2.3.7.4.0.7
13.02.25 16:52 birenderkumar20101

I was able to reclaim my lost Bitcoin assets worth of $480,99 which i had lost to the scam company known as Capitalix fx a scam company pretending to be an investment platform which alot of people including myself have lost their funds to, sadly not all would be fortunate enough to retrieve back their funds like I did but if you’re reading this today then you’re already a step closer towards regaining your lost digital assets, CYBERPOINT RECOVERY COMPANY successfully retrieved back my funds in less than of 48hours after I sought for their help to get back my funds. This experience has taught me the importance of carrying out my due diligence before embracing any financial opportunity presented to me and while risk taking may be a part of the journey, some risks are not worth taking and never again will I involve myself with any online financial investment. It’s only right that we seek for external intervention and support of a higher knowledge system when it comes to digital assets recovery, Get in contact today with the team to get started on Email: ([email protected])
13.02.25 17:37 eunice49954

Agent Jasmine Lopez focuses on recovering stolen cryptocurrency, particularly USDT. She is well-known for helping victims of digital asset theft. Her reputation arises from successful recoveries that have allowed many to regain their lost funds. I witnessed this when $122,000 was taken from me. Thanks to Ms. Lopez's skills, I recovered the entire amount in just 24 hours. Her prompt response and effective methods relieved my financial burden. Ms. Lopez’s commitment to helping others is evident. She is always available to offer solutions to those facing similar problems. For assistance, she can be reached via email at recoveryfundprovider@gmail . com or contacted directly on WhatsApp and text at +44 - 7366 445035. Her Instagram handle is recoveryfundprovider.
14.02.25 02:50 Vladimir876

I was able to reclaim my lost Bitcoin assets worth of $480,99 which i had lost to the scam company known as Capitalix fx a scam company pretending to be an investment platform which alot of people including myself have lost their funds to, sadly not all would be fortunate enough to retrieve back their funds like I did but if you’re reading this today then you’re already a step closer towards regaining your lost digital assets, CYBERPOINT RECOVERY COMPANY successfully retrieved back my funds in less than of 48hours after I sought for their help to get back my funds. This experience has taught me the importance of carrying out my due diligence before embracing any financial opportunity presented to me and while risk taking may be a part of the journey, some risks are not worth taking and never again will I involve myself with any online financial investment. It’s only right that we seek for external intervention and support of a higher knowledge system when it comes to digital assets recovery, Get in contact today with the team to get started on Email: ([email protected]) or W.H.A.T.S.A.P.P:+1.7.6.0.9.2.3.7.4.0.7
14.02.25 02:56 christophadelbert3

Я был в полном смятении, когда потерял все свои сбережения, инвестируя в криптовалюту. Со мной связалась онлайн женщина по электронной почте, выдавая себя за менеджера по работе с клиентами банка, которая сказала мне, что я могу удвоить свои сбережения, инвестируя в криптовалюту. Я никогда не думал, что это будет мошенничество, и я потеряю все. Это продолжалось неделями, пока я не понял, что меня обманули. Вся надежда была потеряна, я был опустошен и разорен, к счастью для меня, я наткнулся на статью в моем местном бюллетене о CYBERPUNK RECOVERY Bitcoin Recovery. Я связался с ними и предоставил всю информацию по моему делу. Я был поражен тем, как быстро они вернули мои криптовалютные средства и смогли отследить этих мошенников. Я действительно благодарен за их услуги и рекомендую CYBERPUNK RECOVERY всем, кому нужно вернуть свои средства. Настоятельно рекомендую вам связаться с CYBERPUNK, если вы потеряли свои биткойны USDT или ETH из-за инвестиций в биткойны Электронная почта: ([email protected]) W.h.a.t.s.A.p.p (+.1.7.6.0.9.2.3.7.4.0.7)
14.02.25 02:56 christophadelbert3

I was in total dismay when I lost my entire savings investing in cryptocurrency, I was contacted online by a lady through email pretending to be an account manager of a bank, who told me I could make double my savings through cryptocurrency investment, I never imagined it would be a scam and I was going to lose everything. It went on for weeks until I realized that I have been scammed. All hope was lost, I was devastated and broke, fortunately for me, I came across an article on my local bulletin about CYBERPUNK RECOVERY Bitcoin Recovery, I contacted them and provided all the information regarding my case, I was amazed at how quickly they recovered my cryptocurrency funds and was able to trace down those scammers. I’m truly grateful for their service and I recommend CYBERPUNK RECOVERY to everyone who needs to recover their funds urge you to contact CYBERPUNK if you have lost your bitcoin USDT or ETH through bitcoin investment Email: ([email protected]) WhatsApp (+17609237407)
14.02.25 15:33 prelogmilivoj

I never imagined I would find myself in a situation where I was scammed out of such a significant amount of money, but it happened. I became a victim of a fake online donation project that cost me over $30,000. It all started innocently enough when I was searching for assistance after a devastating fire incident in California. While looking for support, I came across an advertisement that seemed to offer donations for fire victims. The ad appeared legitimate, and I reached out to the project manager to inquire about how to receive the donations. The manager was very convincing and insisted that in order to qualify for the donations, I needed to pay $30,000 upfront. In return, I was promised $1 million in donations. It sounded a bit too good to be true, but in my desperate situation, I made the mistake of believing it. The thought of receiving a substantial amount of help to rebuild after the fire clouded my judgment, and I went ahead and sent the money. However, after transferring the funds, the promised donations never arrived, and the manager disappeared. That’s when I realized I had been scammed. Feeling lost, helpless, and completely betrayed, I tried everything I could to contact the scammer, but all my efforts were in vain. Desperation led me to search for help online, hoping to find a way to recover my money and potentially track down the scammer. That’s when I stumbled upon several testimonies from others who had fallen victim to similar scams and had been helped by a company called Tech Cyber Force Recovery. I reached out to them immediately, providing all the details of the scam and the information I had gathered. To my immense relief, the experts at Tech Cyber Force Recovery acted swiftly. Within just 27 hours, they were able to locate the scammer and initiate the recovery process. Not only did they help me recover the $30,000 I had lost, but the most satisfying part was that the scammer was apprehended by local authorities in their region. Thanks to Tech Cyber Force Recovery, I was able to get my money back and hold the scammer accountable for their actions. I am incredibly grateful for their professionalism, expertise, and dedication to helping victims like me. If you have fallen victim to a scam or fraudulent activity, I highly recommend contacting Tech Cyber Force Recovery. They provide swift and efficient recovery assistance, and I can confidently say they made all the difference in my situation. ☎☎ 1️⃣5️⃣6️⃣1️⃣7️⃣2️⃣6️⃣3️⃣6️⃣9️⃣7️⃣ ☎☎ 📩 1️⃣5️⃣6️⃣1️⃣7️⃣2️⃣6️⃣3️⃣6️⃣9️⃣7️⃣ 📩
14.02.25 22:12 eunice49954

Agent Jasmine Lopez focuses on recovering stolen cryptocurrency, particularly USDT. She is well-known for helping victims of digital asset theft. Her reputation arises from successful recoveries that have allowed many to regain their lost funds. I witnessed this when $122,000 was taken from me. Thanks to Ms. Lopez's skills, I recovered the entire amount in just 24 hours. Her prompt response and effective methods relieved my financial burden. Ms. Lopez’s commitment to helping others is evident. She is always available to offer solutions to those facing similar problems. For assistance, she can be reached via email at recoveryfundprovider@gmail . com or contacted directly on WhatsApp and text at +44 - 7366 445035. Her Instagram handle is recoveryfundprovider.
15.02.25 02:51 Michelle Lynn

Living in Los Angeles, I never imagined I’d face such a difficult chapter in my life. At the time, my wife was pregnant, and we were both excited about starting a family. I fell victim to a series of scams, losing over $170,000 in total. Just when I thought things couldn’t get worse, I received a call from someone who promised to help me recover my losses. Desperate to fix the situation, I went along with it, hoping for a breakthrough. But it turned out to be another scam. However, most of the options I found either seemed dubious or offered no real guarantees. That’s when I came across Cyber Constable Intelligence. It was a company recommended in a Facebook community The team worked tirelessly on my case, and after some time, they successfully recovered 99% of my investment. Although I didn’t recover everything, the 99% recovery was a huge relief They also educated me on how to better protect my digital Asset Here's Their Website Info www cyberconstableintelligence com
15.02.25 02:51 Michelle Lynn

Living in Los Angeles, I never imagined I’d face such a difficult chapter in my life. At the time, my wife was pregnant, and we were both excited about starting a family. I fell victim to a series of scams, losing over $170,000 in total. Just when I thought things couldn’t get worse, I received a call from someone who promised to help me recover my losses. Desperate to fix the situation, I went along with it, hoping for a breakthrough. But it turned out to be another scam. However, most of the options I found either seemed dubious or offered no real guarantees. That’s when I came across Cyber Constable Intelligence. It was a company recommended in a Facebook community The team worked tirelessly on my case, and after some time, they successfully recovered 99% of my investment. Although I didn’t recover everything, the 99% recovery was a huge relief They also educated me on how to better protect my digital Asset Here's Their Website Info www cyberconstableintelligence com, WhatsApp Info: 1 (252) 378-7611
16.02.25 01:01 Peter

I fell victim to a crypto scam and lost a significant amount of money. What are the most effective strategies to recover my funds? I've heard about legal actions, contacting authorities, and hiring recovery experts, but I'm not sure where to start. Can you provide some guidance on the best ways to recover money lost in a crypto scam? Well if this is you, [email protected] gat you covered get in touch and thank me later
16.02.25 20:06 eunice49954

Agent Lopez specializes in recovering stolen cryptocurrencies, especially Bitcoin/USDT. She has built a strong reputation for helping victims reclaim their lost funds. A personal example highlights her effectiveness: I lost $111,000 and, thanks to her prompt action, I recovered it all within 24 hours. Her dedication and skills eased my financial stress. She is always ready to assist others with similar issues. For help, she can be reached by email at Recoveryfundprovider@gmail. com or contact her through WhatsApp at +44 736 644 5035. Her Insta is recoveryfundprovider.
18.02.25 19:35 donovancristina

Now, I’m that person sharing my success story on LinkedIn, telling others about the amazing team at TECH CYBER FORCE RECOVERY who literally saved my financial life. I’ve also become that guy who proudly shares advice like “Always back up your wallet, and if you don’t have TECH CYBER FORCE RECOVERY on speed dial.” So, a big thank you to TECH CYBER FORCE RECOVERY if I ever get a chance to meet the team, I might just offer to buy them a drink. They’ve earned it. FOR CRYPTO HIRING WEBSITE WWW://techcyberforcerecovery.com WHATSAPP : ⏩ wa.me/15617263697
18.02.25 22:13 keithphillip671

WhatsApp +44,7,4,9,3,5,1,3,3,8,5 Telegram @Franciscohack The day my son uncovered the truth—that the man I entrusted my hopes of wealth and companionship with through a cryptocurrency platform was a cunning scammer was the day my world crumbled. The staggering realization that I had been swindled out of 150,000.00 Euro worth of Bitcoin left me in a state of profound despair. As a 73-year-old grappling with loneliness, I had sought solace in what I believed to be a genuine connection, only to find deceit and betrayal. Countless sleepless nights were spent in tears, mourning not only the financial devastation but also the crushing blow to my trust. Attempts to verify the authenticity of our interactions were met with hostility, further deepening my sense of isolation. Through the loss it was my son who became my beacon of resilience. He took upon himself the arduous task of tracing the scam and seeking justice on my behalf. Through meticulous effort and determination, he unearthed {F R A N C I S C O H A C K}, renowned for their expertise in recovering funds lost to cryptocurrency scams. Entrusting them with screenshots and evidence of the fraudulent transactions, my son initiated the journey to reclaim what had been callously taken from me. {F R A N C I S C O H A C K} approached our plight with empathy and unwavering professionalism, immediately instilling a sense of confidence in their abilities. Despite my initial skepticism, their transparent communication and methodical approach reassured us throughout the recovery process. Regular updates on their progress and insights into their strategies provided much-needed reassurance and kept our hopes alive amid the uncertainty. Their commitment to transparency and client welfare was evident in every interaction, fostering a sense of partnership rather than mere service. Miraculously, in what felt like an eternity but was actually an impressively brief period, {F R A N C I S C O H A C K} delivered the astonishing news—I had recovered the entire 150,000.00 Euro worth of stolen Bitcoin. The flood of relief and disbelief was overwhelming, marking not just the restitution of financial losses but the restoration of my faith in justice. {F R A N C I S C O H A C K} proficiency in navigating the intricate landscape of blockchain technology and online fraud was nothing short of extraordinary. Their dedication to securing justice and restoring client confidence set them apart as more than just experts—they were steadfast allies in a fight against digital deceit. What resonated deeply with me {F R A N C I S C O H A C K} integrity and compassion. Despite the monumental recovery, they maintained transparency regarding their fees and ensured fairness in all dealings. Their proactive guidance on cybersecurity measures further underscored their commitment to safeguarding clients from future threats. It was clear that their mission extended beyond recovery—it encompassed education, prevention, and genuine advocacy for those ensnared by cyber fraud. ([email protected]) fills me with profound gratitude. They not only rescued my financial security but also provided invaluable emotional support during a time of profound vulnerability. To anyone navigating the aftermath of cryptocurrency fraud, I wholeheartedly endorse {F R A N C I S C O H A C K}. They epitomize integrity, expertise, and unwavering dedication to their clients' well-being. My experience with {F R A N C I S C O H A C K} transcended mere recovery—it was a transformative journey of resilience, restoration, and renewed hope in the face of adversity.
21.02.25 07:42 daniel231101

I never thought I would fall victim to a crypto scam until I was convinced of a crypto investment scam that saw me lose all my entire assets worth $487,000 to a crypto investment manager who convinced me I could earn more from my investment. I thought it was all gone for good but I kept looking for ways to get back my stolen crypto assets and finally came across Ethical Hack Recovery, a crypto recovery/spying company that has been very successful in the recovery of crypto for many other victims of crypto scams and people who lost access to their crypto. I’m truly grateful for their help as I was able to recover my stolen crypto assets and get my life back together. I highly recommend their services EMAIL ETHICALHACKERS009 AT @GMAIL DOT COM whatsapp +14106350697
21.02.25 21:38 eunice49954

Jasmine Lopez specializes in recovering stolen cryptocurrencies, especially ETH/USDT. She has built a strong reputation for helping victims reclaim their lost funds. A personal example highlights her effectiveness: I lost $111,000 and, thanks to her prompt action, I recovered it all within 24 hours. Her dedication and skills eased my financial stress. She is always ready to assist others with similar issues. For help, she can be reached by email at Recoveryfundprovider@gmail. com or contact her through WhatsApp at +44 736 644 5035. Her Insta is recoveryfundprovider.
22.02.25 18:01 benluna0991

Mark Zuckerberg. That’s the name I was introduced to when I first encountered the cryptocurrency mining platform, WHATS Invest. A person claiming to be Zuckerberg himself reached out to me, saying that he was personally backing the platform to help investors like me earn passive income. At first, I was skeptical—after all, how often do you get a direct connection to one of the world’s most famous tech entrepreneurs? But this individual seemed convincing and assured me that many people were already seeing substantial returns on their investments. He promised me a great opportunity to secure my financial future, so I decided to take the plunge and invest $10,000 into WHATS Invest. They told me that I could expect to see significant returns in just a few months, with payouts of at least $1,500 or more each month. I was excited, believing this would be my way out of financial struggles. However, as time passed, things didn’t go according to plan. Months went by, and I received very little communication. When I finally did receive a payout, it was nowhere near the $1,500 I was promised. Instead, I received just $200, barely 13% of what I had expected. Frustrated, I contacted the support team, but the responses were vague and unhelpful. No clear answers or solutions were offered, and my trust in the platform quickly started to erode. It became painfully clear that I wasn’t going to get anywhere with WHATS Invest, and I began to worry that my $10,000 might be lost for good. That's when I discovered Certified Recovery Services. Desperate to recover my funds, I decided to reach out to them for help. In just 24 hours, they worked tirelessly to recover the majority of my funds, successfully retrieving $8,500 85% of my initial investment. I couldn’t believe how quickly and efficiently they worked to get my money back. I’m extremely grateful for Certified Recovery Servicer's fast and professional service. Without them, I would have been left with a significant loss, and I would have had no idea how to move forward. If you find yourself in a similar situation with WHATS Invest or any other platform that isn’t delivering as promised, I highly recommend reaching out to Certified Recovery Services They were a lifesaver for me, helping me recover nearly all of my funds. It's reassuring to know that trustworthy services like this exist to help people when things go wrong. They also specialize in recovering money lost to online scams, so if you’ve fallen victim to such a scam, don’t hesitate to contact Certified Recovery Services they can help! Here's Their Info Below: WhatsApp: +1(740)258‑1417 mail: [email protected], [email protected] Website info; https://certifiedrecoveryservices.com
23.02.25 22:00 eunice49954

Jasmine Lopez specializes in recovering stolen cryptocurrencies, especially ETH/USDT. She has built a strong reputation for helping victims reclaim their lost funds. A personal example highlights her effectiveness: I lost $111,000 and, thanks to her prompt action, I recovered it all within 24 hours. Her dedication and skills eased my financial stress. She is always ready to assist others with similar issues. For help, she can be reached by email at Recoveryfundprovider@gmail. com or contact her through WhatsApp at +44 736 644 5035. Her Insta is recoveryfundprovider.
24.02.25 06:36 ANDREW DAVIS

RECOVER YOUR SCAMMED FUNDS AND CRYPTOCURRENCY VIA SPOTLIGHT RECOVERY Professional hackers at Spotlight Recovery provide services for compromised devices, accounts, and websites as well as for recovering stolen bitcoin and money from scams. They finish their work safely and quickly. Their order has been fulfilled since day one, and the victim will never be conscious of the outside entrance. Very few even attempt to give critical information, look into network security, or discreetly discuss personal issues. The Spotlight Recovery Crew helped me recover $264,000 that was stolen from my corporate bitcoin wallet, and I appreciate them giving me further details on the unidentified people. In the event that you have been defrauded of your hard-earned cash or bitcoins, contact SPOTLIGHT RECOVERY CREW at Contact: [email protected]
24.02.25 07:19 maggie4567

Jasmine Lopez specializes in recovering stolen cryptocurrencies, especially ETH/USDT. She has built a strong reputation for helping victims reclaim their lost funds. A personal example highlights her effectiveness: I lost $111,000 and, thanks to her prompt action, I recovered it all within 24 hours. Her dedication and skills eased my financial stress. She is always ready to assist others with similar issues. For help, she can be reached by email at Recoveryfundprovider@gmail. com or contact her through WhatsApp at +44 736 644 5035. Her Insta is recoveryfundprovider.
24.02.25 07:19 maggie4567

Jasmine Lopez specializes in recovering stolen cryptocurrencies, especially ETH/USDT. She has built a strong reputation for helping victims reclaim their lost funds. A personal example highlights her effectiveness: I lost $111,000 and, thanks to her prompt action, I recovered it all within 24 hours. Her dedication and skills eased my financial stress. She is always ready to assist others with similar issues. For help, she can be reached by email at Recoveryfundprovider@gmail. com or contact her through WhatsApp at +44 736 644 5035. Her Insta is recoveryfundprovider.
24.02.25 07:19 maggie4567

Jasmine Lopez specializes in recovering stolen cryptocurrencies, especially ETH/USDT. She has built a strong reputation for helping victims reclaim their lost funds. A personal example highlights her effectiveness: I lost $111,000 and, thanks to her prompt action, I recovered it all within 24 hours. Her dedication and skills eased my financial stress. She is always ready to assist others with similar issues. For help, she can be reached by email at Recoveryfundprovider@gmail. com or contact her through WhatsApp at +44 736 644 5035. Her Insta is recoveryfundprovider.
27.02.25 12:46 monikaguttmacher

Weddings are supposed to be magical, but the months leading up to mine were anything but. Already, wedding planning was a high-stress, sleep-deprived whirlwind: endless details to manage, from venue deposits and guest lists to dress fittings and vendor contracts. But nothing-and I mean, nothing-compared to the panic that washed over me when I realized that somehow, I had lost access to my Bitcoin wallet-with $600,000 inside. It happened in the worst possible way. In between juggling my to-do lists and trying to keep my sanity intact, I lost my seed phrase. I went through my apartment like a tornado, flipping through notebooks, checking every email, every file-nothing. I sat there in stunned silence, heart pounding, trying to process the fact that my entire savings, my security, and my financial future might have just vanished. In utter despair, I vented to my bridesmaid's group chat for some sympathetic words from the girls. Instead, one casually threw out a name that would change everything in a second: "Have you ever heard of Tech Cyber Force Recovery? They recovered Bitcoin for my cousin. You should call them." I had never heard of them before, but at that moment, I would have tried anything. I immediately looked them up, scoured reviews, and found story after story of people just like me—people who thought they had lost everything, only for Tech Cyber Force Recovery to pull off the impossible. That was all the convincing I needed. From the very first call, I knew I was in good hands. Their team was calm, professional, and incredibly knowledgeable. They explained the recovery process in a way that made sense, even through my stress-fogged brain. Every step of the way, they kept me informed, reassured me, and made me feel like this nightmare actually had a solution. And then, just a few days later, I got the message: "We have recovered your Bitcoin." (EMAIL. support @ tech cyber force recovery . com) OR WHATSAPP (+1 56 17 26 36 97) I could hardly believe my eyes: Six. Hundred. Thousand. Dollars. In my hands again. I let out my longest breath ever and almost cried, relieved. It felt like I woke up from a bad dream, but it was real, and Tech Cyber Force Recovery had done it. Because of them, I walked down the aisle not just as a bride, but as someone who had dodged financial catastrophe. Instead of spending my honeymoon stressing over lost funds, I got to actually enjoy it—knowing that my wallet, and my future, were secure. Would I refer to them? In a heartbeat. If you ever find yourself in that situation, please don't freak out, just call Tech Cyber Force Recovery. They really are the real deal.
03.03.25 09:35 emiliar

- [url=https://amongus3d.pro/]Among Us 3D[/url] - A 3D version of the popular social deduction game, enhancing the gameplay experience.
03.03.25 09:35 emiliar

<a href="https://howtodateanentity.org/">How to Date An Entity (And Stay Alive)</a> - A psychological dating sim that combines romance with existential horror and government conspiracies.
03.03.25 09:36 emiliar

[PoE 2 Planner](https://poe2planner.org/) - A free online skill tree planner for Path of Exile 2, helping players optimize their character builds.
03.03.25 09:36 emiliar

[How to Date An Entity (And Stay Alive)] - A psychological dating sim that combines romance with existential horror and government conspiracies.
03.03.25 09:37 emiliar

[[How to Date An Entity (And Stay Alive)]] - A psychological dating sim that combines romance with existential horror and government conspiracies.
07.03.25 15:18 Ariduk

BEST LINK FOR RECOVERY SCAM ON TRADING INVESTMENT AND OTHERS TROUBLESHOOT? Welcome To General Hacking Techniques Service known as DHACKERS. Year 2025 we are active and best in what we do, as we give Solution to every problem concerning Web3 INTERNET activities, we guide you right to a positive fund Recovery e.t.c. Question From Most of Our Client, HOW POSSIBLE AND TIME WILL IT TAKE TO RECOVERY LOST OR SCAM FUND? Our Answer. Yes is 89.9% possible and how long it takes your Fund to be recovered depend on you. The fact is there are lot of fake binary investment companies out their, same a lot fake recovery companies and agents too. CAUTION 1). Make sure you ask one or two questions concerning the service and how they render there recovery services. 2) Do not give out your scammed details to any agent or hacker when you are not yet ready to recover back your fund. 3) do not make any payment when you are not sure of the service if you are to make one. (4) We discovered that most of this fake hacker or agent do give us scam details, playing the victim, because they can afford the service charge. 5) As long you have your scam details with you, you can recover your fund back anytime any-day with the right channel. Contact us from our Front Desk. [email protected] For advice and services, our standby Guru email. [email protected] [email protected] List of Service. ▶️Binary Recovery ▶️Data Recovery ▶️University Result Upgraded ▶️Clear your Internet Blunder and controversy ➡️Increase your Credit Score ➡️Wiping of Criminal Records ➡️Social Media Hack ➡️Blank ATM Card ➡️Load and wipe ➡️Phone Hacking ➡️Private Key Reset etc. For quick response. Email [email protected] Border us with your jobs and allow us give you positive result with our hacking skills. All Right Reserved (c)2025
08.03.25 04:42 andreassenhedda

If you’ve fallen victim to online scammers who have deceived you into investing your hard-earned money through fraudulent Bitcoin schemes, know that you're not alone. Countless individuals have been misled by scammers using various tactics to swindle money through deceptive investment platforms or promises of high returns. These scams often come in the form of fake cryptocurrency investments, Ponzi schemes, or phishing scams designed to steal your Bitcoin and other assets. Unfortunately, many victims suffer not only financial loss but also the psychological toll of realizing they’ve been taken advantage of. In some cases, scammers go even further, threatening legal consequences or using intimidation to keep victims silent. However, all hope is not lost. There are ways to recover your funds and potentially even bring those responsible to justice. One promising resource that can assist in reclaiming lost funds is Lee Ultimate Hacker, a trusted platform designed to help victims of online fraud. This service specializes in helping individuals who have been scammed through cryptocurrency investments or similar schemes. The platform’s expertise can help you navigate the process of recovering your money, giving you a chance to fight back against those who’ve wronged you. To begin the recovery process, it’s important to gather any proof of payment or transaction history involving the scammers. This evidence is crucial in tracing the flow of funds and identifying the scam operation behind it. Once you have collected your documentation, you can reach out to Lee Ultimate Hacker via LEEULTIMATEHACKER @ AOL . COM or wh@tsapp +1 (715) 314 - 9248 for assistance. They offer professional services to investigate fraudulent schemes, track Bitcoin transactions, and work to reverse fraudulent transfers. The recovery process can be complex and requires expert knowledge of blockchain technology and financial investigations, but with the help of a dedicated team, you’ll have a better chance of seeing your funds returned. In addition to helping you recover your assets, Lee Ultimate Hacker also works towards identifying the scammers and reporting them to the appropriate authorities. They understand the urgency of halting these fraudsters before they can victimize others. With their assistance, you not only increase the chances of recovering your funds but also play a part in holding cybercriminals accountable. If you've been affected by Bitcoin scams or other fraudulent online activities, reaching out to a service like Lee Ultimate Hacker can provide hope and a clear path forward. Their team can guide you through the recovery process, offering expert support while you take steps to reclaim what you’ve lost. It’s time to take action and work toward reclaiming your hard-earned money.
08.03.25 18:20 Diegolola514gmail.com

[email protected]
08.03.25 18:23 faridasumadi

WEBSITE W.W.W.techcyberforcerecovery.com WHATSAPP +1 561.726.36.97 EMAIL [email protected] I Thought I Was Too Smart to Be Scammed, Until I Was. I'm an attorney, so precision and caution are second nature to me. My life is one of airtight contracts and triple-checking every single detail. I'm the one people come to for counsel. But none of that counted for anything on the day I lost $750,000 in Bitcoin to a scam. It started with what seemed like a normal email, polished, professional, with the same logo as my cryptocurrency exchange's support team. I was between client meetings, juggling calls and drafting agreements, when it arrived. The email warned of "suspicious activity" on my account. My heart pounding, I reacted reflexively. I clicked on the link. I entered my login credentials. I verified my wallet address. The reality hit me like a blow to the chest. My balance was zero seconds later. The screen went dim as horror roiled in my stomach. The Bitcoin I had worked so hard to accumulate over the years, stored for my retirement and my children's future, was gone. I felt embarrassed. Lawyers are supposed to outwit criminals, not get preyed on by them. Mortified, I asked a client, a cybersecurity specialist, for advice, expecting criticism. But he just suggested TECH CYBER FORCE RECOVERY. He assured me that they dealt with delicate situations like mine. I was confident from the first call that I was in good hands. They treated me with empathy and discretion by their staff, no patronizing lectures. They understood the sensitive nature of my business and assured me of complete confidentiality. Their forensic experts dove into blockchain analysis with attention to detail that rivaled my own legal work. They tracked the stolen money through a complex network of offshore wallets and cryptocurrency tumblers tech jargon that appeared right out of a spy thriller. Once they had identified the thieves, they initiated a blockchain reversal process, a cutting-edge method I was not even aware was possible. Three weeks of suffering later, my Bitcoin was back. Every Satoshi counted for. I sat in front of my desk, looking at the refilled balance, tears withheld. TECH CYBER FORCE RECOVERY not only restored my assets, they provided legal-grade documentation that empowered me to bring charges against the scammers. Today, I share my story with colleagues as a warning. Even the best minds get it. But when they do, it is nice to know the Wizards have your back.
09.03.25 17:22 Wayne707

‎Scammers have ruined the forex trading market, they have deceived many people with their fake promises on high returns. I learnt my lesson the hard way. I only pity people who still consider investing with them. Please try and make your researches, you will definitely come across better and reliable forex trading agencies that would help you yield profit and not ripping off your money. Also, if your money has been ripped-off by these scammers, you can report to a regulated crypto investigative unit who make use of software to get money back. If you encounter with some issue make sure you contact ( [email protected] ) they're recovery expert and a very professional one at that. ‎
10.03.25 18:18 springwilli

RECLAIM MY LOSSES REVIEWS HIRE DUNAMIS CYBER SOLUTIONI have always taken a security-first approach with my Bitcoin. That's why I put my hardware wallet in a fireproof safe-because you never know. Turned out I should have been even more paranoid. A few months ago, a fire took hold in my house. I lost nearly everything: the electronics, furniture, irreplaceable memorabilia. But when I dug through the remains, there it was: my Ledger hardware wallet, somehow intact. I held it up like some sort of post-apocalyptic movie scene, thinking, "At least my Bitcoin survived." But then, fate was not quite done with me: when I powered it on, it showed no signs of life whatsoever. The heat had fried the internal chip, and all I had was a melted, lifeless brick. That's when I realized my entire $680,000 in Bitcoin was trapped inside. At first, I told myself: "There has to be a way." From forensic data recovery to DIY repair tricks, everything I could conceivably Google, I researched. I considered buying an identical Ledger device and swapping components: spoiler, not a good idea unless you are an electrical engineer. Nothing worked. Every expert I contacted had the same answer: "Your Bitcoin is gone." I refused to accept that. That's when I found DUNAMIS CYBER SOLUTION I was skeptical, to say the least. If the manufacturer couldn't help me, how would they? At that point, I had no other choice but to try them. The first call I made, I immediately knew I was dealing with pros: no absurd promises, no giving of hopes, just explanation of their entire process with clarity-from advanced forensic techniques to secure data reconstruction. I mailed them my charred wallet, still half expecting a miracle to be impossible. Four days later, an email arrived. The subject line? "We have good news." They had successfully extracted my seed phrase and restored every single Bitcoin. I couldn't believe it. I had gone from losing everything to recovering $680,000 worth of crypto in just days. If your hardware wallet is damaged, dead, or seems irreparable, please do not give up. Just call DUNAMIS CYBER SOLUTION. They really did pull off some sort of high-stakes rescue operation on my behalf, and believe me, it was the stuff of legend. [email protected] +13433030545
10.03.25 20:19 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected]
10.03.25 20:19 wendytaylor015

My name is Wendy Taylor, I'm from Los Angeles, i want to announce to you Viewer how Capital Crypto Recover help me to restore my Lost Bitcoin, I invested with a Crypto broker without proper research to know what I was hoarding my hard-earned money into scammers, i lost access to my crypto wallet or had your funds stolen? Don’t worry Capital Crypto Recover is here to help you recover your cryptocurrency with cutting-edge technical expertise, With years of experience in the crypto world, Capital Crypto Recover employs the best latest tools and ethical hacking techniques to help you recover lost assets, unlock hacked accounts, Whether it’s a forgotten password, Capital Crypto Recover has the expertise to help you get your crypto back. a security company service that has a 100% success rate in the recovery of crypto assets, i lost wallet and hacked accounts. I provided them the information they requested and they began their investigation. To my surprise, Capital Crypto Recover was able to trace and recover my crypto assets successfully within 24hours. Thank you for your service in helping me recover my $647,734 worth of crypto funds and I highly recommend their recovery services, they are reliable and a trusted company to any individuals looking to recover lost money. Contact email [email protected] OR Telegram @Capitalcryptorecover Call/Text Number +1 (336)390-6684 his contact: [email protected]
11.03.25 13:35 cristydavis101

Не обманывайтесь различными свидетельствами в Интернете, которые, скорее всего, неверны. Я использовал несколько вариантов восстановления, которые в конце концов меня разочаровали, но должен признаться, что CYBERPOINT RECOVERY, который я в конечном итоге нашел, является лучшим из всех. Лучше потратить время на поиски надежного профессионала, который поможет вам вернуть украденные или потерянные криптовалюты, такие как биткойны, чем стать жертвой других хакеров-любителей, которые не справятся с этой работой. ([email protected]) — самый надежный и подлинный эксперт по блокчейн-технологиям, с которым вы можете работать, чтобы вернуть то, что вы потеряли из-за мошенников. Они помогли мне встать на ноги, и я очень благодарен за это. Свяжитесь с ними по электронной почте сегодня, чтобы как можно скорее вернуть потерянные монеты… W.H.A.T.S.A.P.P:+1.7.6.0.9.2.3.7.4.0.7
11.03.25 13:36 cristydavis101

Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the CYBERPOINT RECOVERY I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ([email protected]) is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP… W.H.A.T.S.A.P.P:+1.7.6.0.9.2.3.7.4.0.7
11.03.25 16:23 dannywilliams

HOW DO I RECOVER MY STOLEN ETH HIRE OPTIMUM HACKERS RECOVERY
11.03.25 16:23 dannywilliams

HOW DO I RECOVER MY STOLEN ETH HIRE OPTIMUM HACKERS RECOVERY "I am incredibly thankful to Optimum Hackers Recovery for their amazing work in retrieving my stolen Ethereum. After falling victim to a fake investment platform, I felt hopeless. Their team was professional, responsive, and dedicated, guiding me through every step of the recovery process. Thanks to their expertise, I was able to recover my funds and regain my peace of mind. I highly recommend their services to anyone who has faced similar challenges!" E.M.A.I.L [email protected] W.h.a.t.s.a.p.p: +1.2.5.6.2.5.6.8.6.3.6.
11.03.25 16:25 ricciordonez

I recovered my lost money, and I can't stop stressing how much DUNENECTARWEBEXPERT has transformed my life. Suppose you're involved in any investment or review platform for potential gains. In that case, I highly recommend contacting DUNENECTARWEBEXPERT via Telegram to verify their legitimacy because they will continue to ask you for deposits until you are financially and emotionally devastated. Don't fall for these investment scams; please reach out to DUNENECTARWEBEXPERT via Telegram to help you recover your lost money and crypto assets from these crooks. Email: support AT dunenectarwebexpert DOT com Website: https://dunenectarwebexpert.com/ Telegram: dunenectarwebexpert
12.03.25 05:35 cholevasaca

As the senior teacher at Greenfield Academy, I wanted to share our ordeal with TECH CYBER FORCE RECOVERY after our school was targeted by a malicious virus attack that withdrew a significant amount of money from our bank account. A third-party virus infiltrated our system and accessed our financial accounts, resulting in a USD 50,000 withdrawal. This attack left us in a state of shock and panic, as it posed a serious threat to our school's financial stability. Upon realizing what had happened, we immediately contacted TECH CYBER FORCE RECOVERY for help. Their team responded promptly and began investigating the situation. They worked tirelessly to track down the virus, analyze its behavior, and understand how it had bypassed our security measures. Most importantly, they focused on recovering the funds that had been stolen from our bank account. Thanks to TECH CYBER FORCE RECOVERY's quick and expert intervention, they were able to successfully recover all the funds that had been withdrawn. Their team worked closely with our bank and utilized advanced recovery methods to ensure the full amount was returned to our account. We were incredibly relieved to see the stolen funds restored, and their efforts prevented any further financial loss. I am incredibly grateful for TECH CYBER FORCE RECOVERY's professionalism, expertise, and swift action in helping us recover the stolen funds. Their team not only managed to undo the damage caused by the virus but also ensured that our financial security was restored. I highly recommend their services to any organization dealing with similar cyberattacks, as their team truly went above and beyond to resolve the issue and protect our assets. CONTACTING THEM TECH CYBER FORCE RECOVERY EMAIL. [email protected]
14.03.25 21:40 adelfinalongo

I had the worst experience of my life when the unthinkable happened and my valued Bitcoin wallet disappeared , I was literally lost and was convinced I’m never getting it back , but all thanks to LEE ULTIMATE HACKER the experienced and ethical hacker on the web and PI they were able to retrieve and help me recover my Bitcoin wallet. This highly skilled team of cyber expertise came to my rescue with their deep technical knowledge and cutting-edge tools to trace cryptocurrency and private investigative prowess they were rapid to pin point the exact location of my missing Bitcoin, LEE ULTIMATE HACKER extracted my crypto with modern technology, transparency and guidance on each step they took, keeping me on the loop and reassuring me that all will be well: contact LEE ULTIMATE HACKER via LEEULTIMATEHACKER @ AOL . COM telegram: LEEULTIMATE wh@tsapp +1 (715) 314 - 9248 for all your cryptocurrency problems and you’ll have a prompt and sure solution.
15.03.25 00:29 irenmroma

CRYPTOCURRENCY RECOVERY FIRM DUNAMIS CYBER SOLUTION
15.03.25 00:29 irenmroma

CRYPTOCURRENCY RECOVERY FIRM DUNAMIS CYBER SOLUTIONIn 2025, I never imagined I would fall victim to a phishing scam, but that’s exactly what happened to me. As a graphic designer in California, I spend a lot of time online and thought I was pretty savvy when it came to spotting potential scams. But one day, I received an email that seemed to be from my bank, Wells Fargo. It looked official and warned me about suspicious activity on my account. The message instructed me to click a link and verify my account details to prevent further issues. Trusting it was legitimate, I followed the instructions and entered my personal banking information.Unfortunately, it was a trap. The email wasn’t from my bank at all. It was from a hacker who had gained access to my sensitive information. Soon after, I noticed a significant withdrawal of $2,300 from my account. Panicked, I contacted Wells Fargo immediately, but despite their efforts, they weren’t able to recover the lost funds. I felt helpless and frustrated, unsure of what to do next.That’s when I heard about DUNAMIS CYBER SOLUTION. Desperate for help, I reached out to their team, and they quickly got to work. They began by investigating the scam and managed to track the hacker’s IP address. They didn’t stop there they worked directly with Wells Fargo to share the findings and helped them investigate further.Thanks to their expertise and fast action,DUNAMIS CYBER SOLUTION was able to facilitate the recovery of $1,800. While I didn’t get the full $2,300 back, I was incredibly grateful for their efforts. It felt like a weight had been lifted, knowing that some of my money had been recovered.This experience taught me an important lesson about online security and the dangers of phishing scams. I was lucky to find DUNAMIS CYBER SOLUTION, and I’m thankful for their support in helping me get back a significant portion of what I lost. Their professionalism and dedication made a stressful situation much more manageable, and I now know how crucial it is to be vigilant and seek help when dealing with online fraud. [email protected] +13433030545
15.03.25 14:34 spencerwerner

It wasn’t an easy process, and it required patience, but the team’s dedication, attention to detail, and methodical approach paid off. I felt an overwhelming sense of relief and gratitude. What had once seemed like a permanent loss was now being reversed, thanks to the help of Tech Cyber Force Recovery. Not only did the recovery restore my financial situation, but it also restored my sense of trust and confidence. I had almost given up hope, but now, with my funds recovered, I feel like I can move forward. I’ve learned valuable lessons from this experience, and I’m more cautious about my financial decisions in the future. What began as a desperate search on Red Note turned into a life-changing recovery. Thanks to Tech Cyber Force Recovery, I now feel more hopeful about my financial future, with the knowledge that recovery is possible. telegram (@)techcyberforc texts (+1 5.6.1.7.2.6.3.6.9.7)
17.03.25 02:30 [email protected]

"Work smart and not hard" that's these scammers' slogan. They lure you with promises of luxury and lifetime riches without you doing anything besides investing in their investment schemes, and if you ever fall prey, they will siphon you of every penny dry. I fell victim to it, but was fortunate to be helped by the best recovery expert (TRUST GEEKS HACK EXPERT). They are more than just recovery specialists; they are allies in the fight against online fraud. Trust their expertise and let them guide you towards reclaiming control over your financial future.for assistance, visit website https://trustgeekshackexpert.com/ Wh@t's A p p +1-7-1-9-4-9-2-2-6-9-3 <> E mail: Trustgeekshackexpert{@}fastservice{.}com
17.03.25 12:20 browne

When trying to recover lost cryptocurrency, it is important to enlist the assistance of recovery specialists who have knowledge in monitoring and evaluating digital assets, as they are better equipped to navigate the complex digital currency market and locate any stolen assets. As a result, I advise you to get in touch with forensic asset firm. Email: [email protected]
17.03.25 13:14 vinnypraise

SPEAK WITH A LICENSED ALPHA KEY BTC/USDT RECOVERY HACKER As of right now, ALPHA KEY RECOVERY is the only authorized and genuine recovery hacker that I will recommend to anyone in the world for a very good reason. I can't express how grateful I am to them for helping me overcome my depression; they are truly a blessing in disguise. If you have any data recovery concerns, you should contact ALPHA KEY RECOVERY.
17.03.25 13:14 vinnypraise

SPEAK WITH A LICENSED ALPHA KEY BTC/USDT RECOVERY HACKER As of right now, ALPHA KEY RECOVERY is the only authorized and genuine recovery hacker that I will recommend to anyone in the world for a very good reason. I can't express how grateful I am to them for helping me overcome my depression; they are truly a blessing in disguise. If you have any data recovery concerns, you should contact ALPHA KEY RECOVERY.
17.03.25 15:23 Charlesagrimes

Running the small business was hard enough in itself without having to suffer such stress as loss of access to a Bitcoin wallet. I had put $532,000 into Bitcoin for my business in case of emergencies, but one day, the wallet was nowhere to be seen. I had trusted it to my friend while he managed my financials, little knowing he would prove less than trustworthy. I couldn't envision the gut-wrenching feeling coupled with a great feeling of folly for having placed so much trust in someone else's hands. I could not believe my eyes to see that all of my digital fortune was gone. Literally, every second of my busy day froze in disbelief as I tried to conceive the loss. I remembered the hours I had put into building my business, securing my investments, and planning for the future. Now, I was staring at an empty wallet that once held my safety net. This hit me hard-not only had I lost $532,000, but the betrayal hurt further because it came from someone I considered reliable. The emotional toll was huge, and this financial hit could cripple my business. In the midst of my despair, I knew I had to act fast. I went online, searching everywhere for a solution through which I could get back in control of my finances. That is where I came across Digital resolution services. I knew them for recovery related to lost crypto, but also somehow skeptical. At that point, it looked like I had nothing left to lose. I reached out, and with our very first conversation, I gained the impression that they did understand my situation. Their team was nothing short of extraordinary. They approached my case with professionalism and empathy, meticulously explaining the recovery process in clear, simple terms that alleviated some of my anxiety. They set realistic expectations while promising to do everything possible to retrieve my funds. Over the next several weeks, they worked tirelessly, employing advanced blockchain forensic techniques and sophisticated tracking tools that I’d never even heard of before. It kept me informed with constant updates and gave me hope in this desperate time. Finally, it came-the day Digital resolution services recovered my lost Bitcoin. Relief overwhelmed me, and it wasn't all about the money but control and self-trust in my financial future. This experience taught me the most valuable lesson: never lose control over your own financial security and never put blind trust in anyone. With Digital resolution services, I recovered not only my $532,000 but also learned how to protect my assets better in the future. Contact Digital Resolution Services: Email: digitalresolutionservices (@) myself. c o m WhatsApp: +1 (361) 260-8628 Stay protected Charles agrimes
18.03.25 23:49 lindaspringer311

My name is Linda Springer, and I am part of an ultra-high-net-worth family in the United Kingdom. Managing our wealth has always been a top priority, and I’ve always looked for opportunities to grow and diversify our investments. When I was introduced to an offshore banking investment program called Market Fund, it seemed like the perfect opportunity to enhance our portfolio. The program promised impressive returns, and with professional advisors and seemingly legitimate documentation, I felt confident that it was a secure investment. However, my trust in Market Fund quickly proved to be misplaced. Initially, everything seemed to go smoothly. Reports showed strong growth, and I was reassured by the continuous updates from the program’s advisors. But when I tried to withdraw my funds, everything took a sharp turn. The Market Fund website became unresponsive, and all my attempts to reach the advisors through emails and phone calls went unanswered. It was then that I realized I had fallen victim to a scam, and the £60,000 I had invested was gone. Feeling devastated and unsure of what to do next, I turned to a friend I had met at a club called The Vault. During one of our conversations, Alex, a fellow club-goer, mentioned how Rapid Digital Recovery had helped them recover funds from a similar fraudulent scheme. Intrigued by their success story, I decided to reach out to Rapid Digital Recovery....Whatsapp: +1 4 14 80 71 4 85.. hoping they could help me recover my money as well. From the moment I contacted them, the team at Rapid Digital Recovery took immediate action. They began investigating the scam and used advanced technology to trace the origins of Market Fund. Through their efforts, they uncovered a network of fake websites and shell companies that had been designed to deceive investors like myself. Thanks to their persistence and expertise, Rapid Digital Recovery successfully recovered the £60,000 I had lost.....Email: rapid digital recovery (@) execs. com.. Not only did they restore my financial security, but they also exposed the fraudulent operation behind Market Fund, preventing others from falling victim to the same scam. While the experience was incredibly stressful, it served as an important reminder of the need for due diligence and professional oversight when dealing with offshore investments. I am incredibly grateful to Rapid Digital Recovery for their support, expertise, and determination in recovering my funds. Telegram: h t t p s: // t. me /Rapiddigitalrecovery1
20.03.25 17:21 katherineingram

Dr. Katherine Ingram
20.03.25 17:21 katherineingram

CRYPTOCURRENCY RECOVERY FIRM \ FOLKWIN EXPERT RECOVERY. I, Dr. Katherine Ingram, had always been committed to giving my best to my patients in Melbourne, Australia. But everything changed when I was suddenly hit with a medical malpractice lawsuit. The stress and anxiety that came with the legal battle left me feeling overwhelmed, and I was desperate for a solution. In my search for help, I found "MedLegal Solutions," a firm that promised a quick and easy resolution for just $27,000 AUD. They assured me they would handle everything swiftly, easing my burden. Desperate to resolve the situation, I handed over the money, trusting them to take care of the rest. However, as the weeks turned into months, I heard nothing. Calls went unanswered, emails went ignored, and I began to feel more and more helpless. It became clear that something was wrong, and I realized I had been deceived. The more I tried to contact them, the more I found myself being ignored. I soon understood that I was much deeper than I had initially feared. That’s when I turned to Folkwin Expert Recovery for help. From the moment I contacted them, they sprang into action. They immediately began investigating MedLegal Solutions and quickly uncovered a massive web of deceit. It turned out that MedLegal Solutions wasn’t just an incompetent firm; it was part of an elaborate scam. They were operating under multiple false identities across Sydney, Brisbane, and regional Victoria, targeting vulnerable individuals like myself. Folkwin Expert Recovery didn’t just uncover the fraud, they took it one step further. They worked tirelessly with authorities in Melbourne to track down and dismantle the fraudulent operation. They didn’t rest until MedLegal Solutions was shut down for good, ensuring that no one else would fall victim to their schemes. Thanks to their expert recovery efforts, I was able to recover every single cent of my $27,000.This entire ordeal was a wake-up call for me. It was a difficult and stressful time, but ultimately, I came out victorious. Thanks to Folkwin Expert Recovery, not only did I get my money back, but I also found peace knowing that MedLegal Solutions was no longer in business and that their fraudulent operation had been dismantled. It was a painful lesson, but in the end, my finances were intact, and I could move forward with a sense of closure. FOLKWIN EXPERT RECOVERY DETAILS\\ Telegram: @Folkwin_expert_recovery Or Email: Folkwinexpertrecovery(@)tech-center DOT com Regards, Dr. Katherine Ingram.
20.03.25 19:34 ysabelbristol

I am YSABEL, a medical student living with my grandmother. For the past few years, I’ve been diligently saving my grandmother’s money to ensure she has a comfortable and secure future. I invested over $40,000 into an online platform, which promised significant returns. After completing several steps, they told me that to withdraw the money, I needed to make another payment of $73,000. As a medical student, my time is already stretched thin, and managing my grandmother’s finances on top of my studies was overwhelming. That's when a costudent, who had gone through a similar experience, recommended MUYERN TRUST HACKER. Initially, I was skeptical. After all, how could anyone help me recover the money I had already lost to such a sophisticated scam? But after reaching out to them, I quickly realized I was in good hands. From the very first conversation, the team at MUYERN TRUST HACKER was professional, compassionate, and knowledgeable. They understood the gravity of my situation and took the time to thoroughly review all the details of my case. They explained the recovery process clearly, step by step, and assured me that they would work tirelessly to help recover the funds I had lost. Their expertise in dealing with online fraud was evident, and for the first time in weeks, I felt a sense of hope that I could regain control over this situation. The recovery process wasn’t immediate, and there were moments of uncertainty, but MUYERN TRUST HACKER remained dedicated and persistent. As someone who has been working hard to save and protect my grandmother’s money, it was devastating to feel like I might lose everything to a scam. But MUYERN TRUST HACKER gave me the support, expertise, and guidance I needed to recover what was lost. I’m deeply grateful for their help, and I now have a renewed sense of hope that I can protect my grandmother’s future. If you find yourself in a similar situation, feeling trapped and overwhelmed by a fraudulent company, I highly recommend MUYERN TRUST HACKER. (Whats A p p at + 1 (440) (335) (0205) Their team provides real solutions, and their professionalism and dedication were a lifeline for me during a very difficult time. Thanks to them, I feel confident that I can move forward and continue to protect my grandmother’s savings. Alternatively, contact their tele gram also if you need immediate attention at muyerntrusthackertech.
21.03.25 21:19 carmenbeechum643

(Telegram: https:// t. me/Pro_ Wizard_ Gilbert_ Recovery) Email (pro wizard gilbert recovery (@) engineer. com) I never imagined I would fall victim to a cryptocurrency scam, but that's exactly what happened. My name is [Carmen Beechum, and I invested $500,000 into what | believed was a legitimate trading platform. Everything appeared professional-the website was well-designed, customer service was responsive, and my trading account even showed promising returns.It all seemed too good to be false.However, when I attempted to withdraw my funds, I was met with endless delays and excuses. First, they claimed there were technical issues, then they needed additional verification, and finally, they requested a release fee before processing my withdrawal. Despite complying with their demands, my account was eventually frozen, and all communication from the platform ceased. That's when reality hit me—l had been scammed out of half a million dollars. Desperate to find a way to recover my money, I searched online for solutions. That's when I came across PRO WIZARD GIlBERT RECOVERY, a company dedicated to helping victims of online financial fraud. At first, I was skeptical-after all, I had already been deceived once, and the last thing I wanted was to fall for another scam. But after speaking with their team and reviewing their success stories, I decided to take a chance.Their experts immediately got to work, using advanced blockchain forensics and investigative tools to trace my stolen funds. WhatsApp: +1 (920) 408‑1234 They identified the fraudulent wallets where my money had been transferred and collaborated with financial institutions and law enforcement agencies to take action. Thanks to their persistence and expertise, they were able to freeze the scammers' accounts and successfully recover my $500,000. What seemed like a devastating loss turned into a remarkable recovery. I am incredibly grateful to PRO WIZARD GIlBERT RECOVERY for not only retrieving my funds but also restoring my peace of mind. My experience serves as a warning to others-always be cautious with online investments, but if you ever become a victim, know that recovery is possible with the right experts on your side.
22.03.25 14:13 [email protected]

The glow of RGB lights still haunts me. There I was, mid-stream, hyping up a Fortnite squad when an email pretending to be a sponsorship opportunity with the subject line "ENERGY DRINK COLLAB!!! *" appeared on my second monitor. I clicked— big mistake. By the time my chat spammed "*SCAM ALERT" in neon caps, a trojan had already ghosted my Bitcoin wallet, $320,000 gone, poof, like a noob disconnecting mid-game. My facecam caught the exact moment my soul left my body: jaw open, headset tilted, the background of anime posters judging me silently. The VOD blew up. Of course, it did. Pandemonium erupted. Donation alerts became panic emojis. My mods DM'd links to "HOW TO FIX CRYPTO THEFT" amidst banning trolls. My wallet? A barren wasteland. My DMs? A cemetery of "*F"s and crypto-bros pitching recovery scams. Then, a lifeline—a chatter named *xX_Cryptosolution_69 typed, "TRUST GEEKS HACK EXPERT. THEY CLAPPED A HACKER FOR MY DOGE ONCE." Desperate, I Googled them mid-stream, muting to scream into a pillow. TRUST GEEKS HACK EXPERT team responded like NPCs scripted for heroics. “Send us the malware file,” they said. “**And your wallet logs. We’ll handle the rest.” For 12 days, they reverse-engineered the trojan, dissecting its code like speed runners cracking a glitch. The virus, it turned out, was a knockoff ransomware dubbed “Crypto rush” (its dev had left a “HACK THE PLANET!!” Easter egg in the code, cringe). TRUST GEEKS HACK EXPERT squad traced its path, resurrecting private keys from registry fragments and backup clouds I’d forgotten existed. The return stream was record-breaking. I rebooted my rig, wallet restored, and titled the stream "HOW I UNBRICKED $320K (AND MY CAREER)." Chatters donated Bitcoin out of solidarity, and schadenfreude. Even my rival streamer, DrL33tGamer, raided me with 10k viewers. TRUST GEEKS HACK EXPERT? They viewed anonymously and left a sub with the message: "GG EZ. These internet Gandalfs didn't just fix a hack—they authored the greatest plot twist in my online existence. Now, my new website, Stream Vault, runs on a server guarded like Fort Knox, and I vet sponsors like the CIA. That fake energy drink company? Its domain now points to a Rickroll. If your crypto gets pawned by a script kiddie, skip the rage quit. Ping the TRUST GEEKS. They're the ultimate cheat code for catastrophe. Just maybe have a malware scanner in closer proximity than your energy drinks next time. (CONTACT SERVICE ) Email, Trustgeekshackexpert[At]fastservice[Dot]com Telegram, Trustgeekshackexpert Email, [email protected] Website, www://trustgeekshackexpert.com
23.03.25 12:24 maryjul75

There are not many reviews about free crypto recovery fixed but the ones that exist are mostly positive. I have no idea how that is possible, but it is clear that they are fabricated. However, there are also negative reviews – and I highly recommend paying attention to them. These are real people describing their unfortunate experiences with this scam. It’s the same story as always – fraudsters create a fake website to con people out of money. Nothing new but look no more and contact FASTRECOVERYAGENT These types of scams are everywhere. If you have already lost money to scammers i mean any type be it sending to scammers account , or if you have a case about stolen bitcoin , usdt, or any type of cryptocurrency whatsoever just reach out to www.fastrecoveryagent.com, i really owe this group of recovery expert because they saved me after bad investment with a fake broker, i literally owe them my life as they saved me from some bunch of scammers, but see how life is , i got every cent of my investment back with the profit , reach out to to them today and tell them from Mary because i promise them i will tell the whole world when the recovery is complete, and here i go after i got my recovered assets thats why im doing what i promised. do not fall for another scam. contact the,m today!!!!
23.03.25 22:01 joaneldnde

The ground trembled like a nervous intern on espresso shots. One minute, I was monitoring my geothermal Bitcoin miners, humming in harmony with Iceland's most unpredictable volcano. Next? An eruption painted the sky gray with ash, raining destruction like an out-of-control blockchain fork. Power cables flickered out. Servers turned into abstract-art pieces. And my wallet with $460,000 worth of mining revenue fried faster than a motherboard in a tidal wave of lava. I was knee-deep in volcanic mud, clutching the charred wallet, wondering if the universe had a vendetta against renewable energy. For weeks, I’d played geothermal gambler, harnessing Earth’s anger to mine crypto. Now, Mother Nature had countered with a literal power move. My wallet’s backups? Corrupted by ash-clogged drives. My cold storage? Warmer than a freshly erupted fissure. Even the volcanologists on my team shrugged. “We predict lava, not ledger errors,” one said, handing me a business card signed at the edges. “Try these Cyber Constable Intelligence. They’ve fixed crypto in weird places.” Cyber Constable Intelligence phoned on the first ring. Cyber Constable Intelligence saved not just crypto. They demonstrated that even the fury of nature cannot surpass human tenacity. My operation now operates robustly, excavating coins with Earth's anger and a backup generator sufficient to run a small glacier. The volcano? Still grumbling. My wallet? Locked inside a fireproof safe, as irony bites sharper than an Icelandic winter. If your crypto somehow gets smothered beneath the pyroclastic ash of life, skip the freak-out. Call the Cybers. They'll dig through lava streams until your cash bubbles up to the surface. Just maybe set up your rigs a few miles closer to the crater next time. If you’re facing a similar problem I highly recommend contacting Cyber Constable Intelligence 📞 WhatsApp:+1 (2 5 2 ) 3 7 8 7 6 1 1 🌐 Website: www cyberconstableintelligence.com 📩 Telegram: https://t.me/cyberconstable
23.03.25 22:18 [email protected]

A few months ago, I stumbled upon a post about a cryptocurrency investment platform that I thought was a good idea for me to invest in crypto, I didn’t realize I was being catfished by the cryptocurrency investment manager who promised me huge returns on my investment. I lost my capital of $170,000 and interest without receiving any profits in return, I was devastated And I realized I had been scammed out of my cryptocurrency. I felt hopeless and didn’t know where to turn. i searched everywhere for a solution and That’s when my friend introduced me to a Crypto recovery platform Trust Geeks Hack Expert. At first, I was skeptical—after all, I had just been scammed—but Trust Geeks Hack Expert professionalism and transparency reassured me. They took the time to analyze my case, track my lost funds, and guide me through the recovery process. To my amazement, they successfully retrieved my stolen crypto! I can’t express how grateful I am to Trust Geeks Hack Expert team. Their expertise and dedication gave me a second chance. If you’ve been a victim of a crypto scam, don’t lose hope—Trust Geeks Hack Expert. is the real deal! for assistance, Email: [email protected] (TeleGram:: Trustgeekshackexpert) & what's A p p +1 7 1 9 4 9 2 2 6 9 3
24.03.25 10:03 Diegolola514gmail.com

"I am incredibly grateful to Sylvester Bryant for his exceptional expertise and assistance in recovering my USDC funds, which were lost to a phishing scam. Thanks to his diligent efforts, he successfully retrieved €480,000 worth of USDC that I thought was gone forever. If you or anyone you know has fallen victim to a similar situation, I highly recommend reaching out to Sylvester for professional assistance. You can contact him via email at Yt7cracker@gmail. com or through WhatsApp/text message at +1 512 577 7957. He is truly a reliable and skilled professional in recovering assets from online scams."
25.03.25 18:06 maryjul75

Fast Agent Recovery is a consulting firm that specializes in the recovery of assets from financial fraud. We know how to recover your funds and we have helped thousands of scam victims from around the world to recover their money. If you are a victim of Binary Options fraud, Forex fraud, Bitcoin fraud, Dating scams or one of the many other the online fraudulent practices that permeate the internet then file a complaint on www.fastrecoveryagent,.com to get an assessment if we can help you get your money back too. File a complaint: https://www.fastrecoveryagent.com/
27.03.25 01:52 debrapavon89

The moment my cold storage device flatlined, erasing $385,000 in Bitcoin I’d saved to launch a chain of zero-waste cafés, I became a ghost haunting my own life. I scrolled through forums until my eyes were streaming, trawling through threads filled with such mouthfuls as "irreversible blockchain entropy" and "cryptographic oblivion A Reddit thread finally revealed to me Cyber Constable Intelligence I reached out, the team at Cyber Constable Intelligence took immediate action. They began tracing the fraudulent car auction site and thoroughly investigating the scam. To my relief, after several weeks of hard work, Cyber Constable Intelligence successfully tracked down the scammers and recovered the full $385,000 I had lost. Their hard work allowed me to move on from this unfortunate experience, I highly recommend their services to anyone who has been affected by online fraud Reach out to their Info below WhatsApp: 1 252378-7611 Website info; www.cyberconstableintelligence.com
30.03.25 03:25 orrinharber

The ad on X (formerly Twitter) popped up on my timeline one lazy Sunday afternoon. It was flashy, bold, and impossible to ignore. The headline read, “ONCE-IN-A-LIFETIME COMEDY EXTRAVAGANZA!” with a dazzling graphic of a stage lit up in neon lights. The caption said: “Kevin Hart, Ali Wong, Dave Chappelle, and a MYSTERY LEGENDARY COMEDIAN live in Vegas! Limited VIP tickets available. Don’t miss out!” The post had thousands of likes, retweets, and comments like, “This is going to be epic!” and “Already got my ticket!” It even had a blue checkmark next to the account name, which made it seem legit. I clicked the link, and it took me to a sleek website with a countdown timer and a list of sold-out ticket tiers. The only option left was a $125,000 VIP package, which promised front-row seats, backstage access, and a meet-and-greet with the comedians. I hesitated for a moment, but the fear of missing out got the better of me. I thought, When will I ever get a chance like this again? So, I entered my credit card details and hit “Purchase.” The confirmation email came through instantly, and I felt a rush of excitement. Little did I know, I’d just fallen for one of the most elaborate scams I’d ever encountered. Looking back, I should’ve noticed the red flags the overly pushy tone of the ad, the lack of reviews for the event, and the fact that no official accounts from the comedians promoted it. But in the moment, it all seemed so real.I had been swept up by the flashy ad, the excitement of the event, and the FOMO (fear of missing out) that made it seem like an opportunity I couldn’t let slip by. Everything about the ad screamed “exclusive” and “once-in-a-lifetime,” which was enough to convince me to take the plunge. Yet, as time went on and I tried to follow up on the event, I found there was no trace of it anywhere. There were no details, no event pages, and no mention from the comedians themselves. My heart sank as I realized I had been scammed.Thankfully, GRAYWARE TECH SERVICES helped me get my money back, but the experience was a hard lesson in online scams. I’ll never forget that ad on X the one that cost me $125,000 and a whole lot of pride. I learned the importance of being cautious online, checking for reviews, and looking for signs of authenticity before jumping into anything that seems too good to be true.You can reach GRAYWARE TECH SERVICES on web at ( https://graywaretechservices.com/ ) also on Mail: ([email protected])
30.03.25 06:22 grace111

I recommend Marie ([email protected] and WhatsApp: +1 7127594675) for recovering lost or stolen bitcoin, USDT, or any other cryptocurrency from fraudulent investment sites because they are very knowledgeable in the industry and will reimburse all of your money. I can say with confidence that she was the only one who was able to credit my account with $52,760 of the money that had gone missing, based on my prior transactions with them. She was the only one who could. Since they are the only ones that can fully return your missing funds to your account without any deductions, I sincerely appreciate their job and am recommending her to you today.
31.03.25 11:00 maryjul75

Fast Agent Recovery is a consulting firm that specializes in the recovery of assets from financial fraud. We know how to recover your funds and we have helped thousands of scam victims from around the world to recover their money. If you are a victim of Binary Options fraud, Forex fraud, Bitcoin fraud, Dating scams or one of the many other the online fraudulent practices that permeate the internet then file a complaint on www.fastrecoveryagent,.com to get an assessment if we can help you get your money back too. File a complaint: https://www.fastrecoveryagent.com/