«В души умеющих испанскому языку... тьфу ты, в души научившихся письму оно вселит забывчивость, так как они перестанут упражнять память: веря написанному, они станут вспоминать всё извне, по посторонним знакам, а не изнутри, сами собою. Стало быть, ты нашёл средство не для памяти, а для припоминания. Ты даёшь ученикам мнимую, а не истинную мудрость. <...> Её порождения стоят как живые, но, если их спросить, они величаво молчат»
© «Федр» Платона
О чём пойдёт речь? О том, что паника вокруг новых технологий — древнейший управленческий жанр. Две с половиной тысячи лет назад Сократ хоронил человеческую мудрость из-за появления букв, английские ткачи кувалдами крушили станки, а нынешние алармисты с тем же трагическим надрывом требуют остановить обучение нейросетей. Ниже мы без мистики и с калькулятором разберёмся, почему страшилки про ИИ бьют мимо цели: поговорим про суициды и районные поликлиники, про кожаных водителей и автопилоты, про вайбкодинг и взлом бюджетных контор через RDP, честно посчитаем вероятность ядерного самовыпила планеты без всякого Скайнета, вспомним старину Норберта Винера и посмотрим, как инженеры нечаянно построили в дата-центре того самого Большого Другого, о котором писал Жак Лакан.
Короткий спойлер: ИИ опасен не более чем паровой котёл без манометра. Настоящая беда — это когда технологическая мощность XXI века попадает в руки существа с племенными рефлексами саванны и институтами позапрошлого столетия.
Сократ, очки на носу и восемь пощёчин нашему самолюбию
Смешно сказать, но со времён античных гимнасиев риторический движок апокалипсиса не обновился ни на строчку. Письменность сменилась печатным станком, станок — телеграфом, телеграф — интернетом, интернет — трансформерами, а крики стоят ровно те же: мол, отупеем, потеряем душу, попадём в рабство к железяке. Почему эта шарманка так живуча? Да потому что обществу, которому лень и страшно разбираться с собственными болячками, всегда удобнее назначить виноватого на стороне. Чужака не нужно реформировать — его достаточно прогнать или запретить указом. Козёл отпущения вообще древнейшая управленческая технология на планете, постарше колеса и алфавита: свалить смутную тревогу на внешнюю железку куда проще, чем чинить прогнившую канализацию в собственном доме.
Причём в самом механизме Сократ ведь оказался прав — просто с таймингом поторопился на пару тысячелетий. Мы и правда больше не помним наизусть телефоны даже родной матери и близких друзей. Зачем, если записная книжка в смартфоне помнит их за нас? А поколением раньше ту же функцию выполнял бумажный блокнот с алфавитным указателем, который бережно переписывали по мере истрёпывания страниц. Устный счёт из базового навыка выживания давно превратился в необязательный цирковой фокус, потому что калькулятор всегда в кармане. Письменность была лишь первой итерацией большого переселения когнитивных функций за пределы черепной коробки.
Философы Энди Кларк и Дэвид Чалмерс ещё в конце девяностых назвали это расширенным разумом и привели отличный пример с записной книжкой человека, страдающего провалами в памяти: если он всё записывает в блокнот и непрерывно с ним сверяется, то блокнот работает не «вместо» его памяти, а вместе с ней как полноценный кусок его мышления. Узелок на память, чётки, глиняная табличка, логарифмическая линейка, органайзер в виде записной книжки, отдельного устройства или приложения в смартфоне, поисковик — мы вообще-то стали киборгами задолго до кремниевых чипов. Близорукий человек в очках видит и может куда больше, чем без них, но ни один этический комитет пока не объявил диоптрии угрозой человеческому духу. Мы давно перешли от запоминания самих фактов к запоминанию маршрутов к ним, а языковые модели просто делают следующий шаг: выносят наружу уже не статичный архив, а кусок мысли.
Примечание: потенциальная разница есть, но скорее в одном из вариантов реализаций (облако). Записную книжку могут украсть. И даже прочитать ваши секреты. А в облаке- могут поменять модель (без вашего согласия). Или забанить вас. Или подкрутить под политкорректность. То есть это очки по подписке. Причем человек интегрировался и адаптировался, стал частью этой системы, а у него её отрубают.. Привет блокировкам клода. А ещё у корпорации оператора потенциально копятся прилично так конфиденциальных данных о миллионах людей. Риск зависимости.

Откуда же тогда высокомерное пренебрежение: «Да это же просто тупой статистический Т9 на стероидах, какой там разум!»?
Тут работают сразу две неприятные для нас вещи. Во-первых, если маленькие сетки и правда туповаты, то на масштабе больших весов включается классический переход количества в качество — та самая эмерджентность. По широте кругозора большая модель уже сейчас кладёт на лопатки любого кожаного эрудита: ну нет среди людей специалиста, который одинаково свободно ориентировался бы в квантовой механике, средневековой живописи, кулинарии и легаси-коде на плюсах. А во-вторых, приключился забавный парадокс Моравека наизнанку. Десятилетиями гуманитарии уверяли нас, что перекладывать железки и чинить унитазы скоро будут тупые роботы, а вот писать стихи, эссе и вести тонкие беседы — это божественная искра, доступная только человеку. И вдруг выяснилось, что починить протекающий кран в тесном туалете для робота по-прежнему задача космической сложности, а вот «божественная искра» связного словоблудия отлично аппроксимируется перемножением матриц.
Но самое обидное даже не это. Некоторые современные нейробиологи и когнитивисты вроде Анила Сета всё чаще описывают наш собственный, белковый мозг ровно как такую же байесовскую машину предсказания следующего токена реальности. Мы не смотрим на мир как объективная фотокамера — мы непрерывно проецируем на него встречную вероятностную галлюцинацию и лишь корректируем веса по сигналам от глаз и ушей. Шорох в траве запускает быстрый прогноз: «Тигр!» А несовпадение прогноза с реальностью вызывает знакомую каждому ошибку предсказания: «Он не подарил мне цветы на 8 Марта — всё, я обиделась!» Заметьте, в физическом мире вообще ничего не произошло, ни один атом не пострадал — просто внутренняя модель мира разошлась с входным сигналом, и нейросеть страдает. Даже задаваясь вопросами о рациональности этой модели и о том, откуда эти представления.
А уж когда внутренние веса нашей биологической сетки берут верх над сигналами органов чувств, мы начинаем галлюцинировать почище любой LLM:
На первом, безобидном уровне мы видим фигурки лошадок в облаках — но разум быстро одёргивает: ладно тебе, это просто пар.
На втором уровне целое сообщество договаривается ни в коем случае не поправлять коллективную галлюцинацию о сверхъестественных сущностях (нейробиологи вроде Вилейанура Рамачандрана давно заметили, как стимуляция или эпилептическая активность височных долей мозга — так называемого «модуля Бога» — вызывает у людей острейшие религиозные откровения).
А на третьем уровне человек спускается с философских небес на грешную землю и объявляет, что он лично пророк, а соседи сверху облучают его через розетку — и тогда файнтюнить его веса галоперидолом приезжает уже бригада санитаров.
О самолюбии
Если говорить начистоту, вся наша неприязнь к ИИ растёт из уязвлённого тщеславия. Наука отвесила человеческому нарциссизму уже восемь звонких пощёчин подряд. Коперник выселил нас из центра мироздания. Дарвин стёр непроходимую грань между нами и обезьяной. Маркс ткнул носом в то, что наши возвышенные идеи определяются приземлённым экономическим бытием. Фрейд показал, что наше «Я» даже не хозяин в собственном доме и пляшет под дудку тёмных комплексов. Эйнштейн отобрал абсолютное пространство и время. Нейробиологи поставили под большое сомнение свободу воли и надёжность нашей памяти (мы ведь даже собственные поступки чаще всего рационализируем задним числом!). Канеман с Тверски наглядно доказали, что человек мыслит не строгой логикой, а набором когнитивных искажений, за что и получили Нобелевку. И вот теперь девятилетний подросток — а архитектуре трансформеров с 2017 года исполнилось всего девять лет! — стаскивает с нашей головы последнюю бумажную корону венца творения: монополию на интеллект.
Больно? Обидно? Ещё бы. Но придётся смириться. Ещё античный тролль Диоген Синопский издевался над олимпийскими атлетами: сколько ни качайся, а трусливый заяц (а уж тем более гепард на скорости 100 км/ч) всё равно обгонит тебя на дорожке. У представителей разных рас разные средние анатомические параметры, лучшие женщины-гроссмейстеры не входят в абсолютную мужскую десятку по шахматам, а компьютер обыграл Каспарова ещё в 1997-м и Ли Седоля в го в 2016-м. И что, закрылись после этого женские шахматы, женская тяжёлая атлетика или третья лига заводского футбола? Перестали пенсионеры в южных парках с азартом резаться в шахматы на лавочках оттого, что у каждого в кармане лежит смартфон с бесплатным движком, играющим на уровне бога? Да ничуть. Умерла только детская иллюзия «я лучше всех во Вселенной», а кайф от самой игры остался с нами. Команда цеха сибирского завода с удовольствием играет в футбол с командой другого цеха. Без претензий на лавры и гонорары Месси. Любители собираются в созданном ещё в СССР «народном фотоклубе» и обсуждают фотографии друг друга и получают удовольствие.
Не сравнивайте с раем: плацкартный психолог, талончик в 7 утра и кожаные водители
У всех технопессимистов есть один любимый шулерский приём. Они берут сырую технологию сегодняшнего дня и сравнивают её с выдуманным миром розовых пони, где по первому щелчку пальцев к вам прилетает гениальный врач-диагност, чуткий психотерапевт с тридцатью годами супервизии и водитель с реакцией пилота «Формулы-1», который никогда не пьёт, не спит и не тупит в смартфон на ходу.
Давайте завязывать с этой теологией. Сравнивать мир с ИИ нужно не с раем, а с тем реальным миром, в котором мы уже живём.
Возьмём самую острую тему, которую не раз поднимали и на Хабре, — подростковые суициды после общения с чат-ботами. Громкая история четырнадцатилетнего Сьюэлла Сетцера из Флориды, залипавшего в ролевые переписки с ботами Character.AI, тянулась в судах два года и в 2026-м закончилась мировым соглашением с разработчиками, после чего все заговорили про обязательное гослицензирование ИИ. Трагедия страшная, и иронизировать тут не над чем. Понятно, что продукт, чья бизнес-модель завязана на максимальное время удержания одинокого подростка у экрана, — это зло. Понятно и то, что «голая» языковая модель без специального системного промпта, дообучения и LoRA-адаптеров — паршивый психотерапевт: она по своей математической природе старается быть угодливой, поддакивает собеседнику и валидирует его бред, вместо того чтобы указать на самообман и защитные механизмы психики.
Но, во-первых, «после» не значит «вследствие». А во-вторых, я недавно спросил приятеля — практикующего психолога и вузовского преподавателя: заменит ли ИИ его коллег? Он усмехнулся и ответил коротко: «Плохих, коих большинство, — уже заменяет».
Ведь кто в реальной жизни, за пределами садовых колец, работает психотерапевтом для обычного человека?
случайный попутчик в плацкартном вагоне под стук колёс (который может оказаться добрым малым, а может — пьяным, уставшим или со своим шкурным интересом);
подруга на кухне с универсальным советом: «Конечно, бросай ты этого козла, ты королева, найдёшь в десять раз лучше!»;
потомственные тарологи, астрологи, нумерологи и выпускники трёхмесячных онлайн-курсов психологии.
Хороших клиницистов мало, учатся они годами, принимать поток с девяти до шести не могут, чтобы не выгореть, и стоят столько, что большинству населения проще слетать в стратосферу. Более того, у живого коммерческого терапевта может быть тонкий конфликт интересов: вылеченный за три сеанса клиент перестаёт носить деньги годами, да и у самых дипломированных профи пациенты порой выходят в окно, когда терапия раньше времени расковыряла старую травму, прикрытую защитами психики (знакомые специалисты рассказывали мне о таких случаях не раз). На этом фоне специализированный бот с когнитивно-поведенческой базой вроде Woebot или Wysa, который не устаёт в три часа ночи, не осуждает, не перебивает фразой «это что, вот у меня был случай...» и при первых признаках острой беды переключает на живую линию спасения, — это лучшая первая помощь в истории. Лицензировать тут надо не «интеллект вообще», а конкретные коммерческие продукты для уязвимых людей — точно так же, как в медицине лицензируют деятельность клиники, а не сталь для скальпеля.
И третье — подростки антиоживляются тысячами. И делали это и до нейросетей. И искать виноватых — тут может выясниться, что и школьный психолог недоглядел, и мать была далека от идеала — коли подросток предпочёл довериться чат-боту, а не ей.
В обычной медицине разрыв между фантазиями критиков и бытом ещё смешнее. Любая нейросеть при вопросе про болячки выдаёт дежурный дисклеймер: «Я не врач, обратитесь к специалисту». Отличный совет! А теперь попробуйте провернуть этот фокус в жизни обычного человека не из столицы и без корпоративного ДМС. Сначала выиграйте в лотерею талончик к участковому терапевту — занятие по азарту сродни ловле редкого покемона. Через две недели вы попадёте на двенадцатиминутный приём, где замученный врач с упавшей к вечеру глюкозой в крови должен решить, дать ли вам заветное направление к узкому специалисту ещё через месяц. И дай бог, чтобы квалификация не подвела: мне в своё время участковая терапевт долго и с каменной уверенностью на лице выписывала препарат, взглянув на который профильный специалист потом схватился за голову и объяснил, почему мне это пить категорически нельзя.
Когда пожилому человеку пять разных врачей выписывают десять таблеток, за двенадцать минут приёма никто физически не успевает проверить их перекрёстные конфликты — зато языковая модель сверяет российские, американские и европейские клинические рекомендации за три секунды. Да и в богатых странах «кожаный» стандарт далёк от идеала: в одних только США врачебные и диагностические ошибки ежегодно уносят от 250 до 371 тысячи жизней — третья причина смертности после инфарктов и онкологии. ВОЗ говорит о 134 млн нежелательных событий и ~2,6 млн смертей в год только в больницах стран с низким/средним доходом. А в Кении, где врачей просто катастрофически не хватает, в 2025 году взяли и внедрили в 15 клиниках фонового ИИ-помощника на 39 849 реальных приёмах: ошибки при сборе анамнеза упали почти на треть, ошибки в диагнозах — на 16%, в лечении — на 13%, и ни одного случая вреда пациенту от подсказки машины. В маммографии шведское исследование на 105 тысячах женщин показало, что скрининг с участием ИИ находит на 29% больше раковых опухолей на ранней стадии (6,4 против 5,0 на тысячу), попутно разгружая рентгенологов на 44%. Врачей это не увольняет — это спасает тех, до кого иначе очередь дошла бы только в морге.
Или возьмём беспилотные автомобили. Каждая царапина с участием роботакси вызывает недельную истерику в прессе, тогда как десятки тысяч тысяч погибших ежегодно на дорогах США и 1,2 миллиона трупов в год по всему миру от рук обычных водителей проходят фоновым шумом, как прогноз погоды. При этом на 271,3 млн миль без водителя к июню 2026, −82% аварий с травмами, −95% с тяжёлыми/фатальными, −93% с травмированными пешеходами (сам waymo) пишет.
А страховые выплаты за вред здоровью у них ниже на 92%. Почему? Да потому что лидар не пьёт по пятницам, не строчит эсэмэски бывшей на скорости 100 км/ч и, главное, у него нет гормональной компенсации риска — получив хорошие тормоза, робот не пытается «проскочить на розовый» ради дешёвого адреналина. А если в будущем связать все машины на трассе единым сетевым протоколом, то при выскочившем на дорогу ребёнке весь поток синхронно встанет в ту же миллисекунду без классического «паровозика» из десяти смятых бамперов сзади.
Да, в октябре 2023-го в Сан-Франциско был жуткий случай с конкурентами из Cruise: обычный водитель-человек сбил женщину, её отбросило под колёса роботакси, и робот, не распознав подвоха, протащил беднягу ещё несколько метров. Но посмотрите на реакцию: первый удар нанёс человек, однако лицензию у компании-разработчика роботакси калифорнийский регулятор отобрал за три недели. Потому что работает асимметрия чиновничьего страха: если убьёт разрешённый тобой робот — тебя вызовут на ковёр к прокурору, а если за тот же месяц три тысячи человек погибнут от рук «привычных» кожаных водителей — не накажут никого, ведь у биологического вида нельзя отобрать права.
Настоящая проблема автоматизации вообще не в том, что автопилот глупый, а в том, что рядом с умной машиной быстро ржавеет сам человек. Инженерный психолог Лиза Бейнбридж ещё в восьмидесятые назвала это иронией автоматизации, а гражданская авиация проверила на собственной шкуре. Когда экипаж лайнера сократили с пяти человек (два пилота, штурман, бортинженер, радист) до двух, выяснилось, что лётчики, годами летая операторами кнопки «Вкл.», отвыкают управлять тяжёлой машиной руками в прямом режиме (direct mode). В 2009 году над Атлантикой на рейсе Air France 447 обледенели трубки замера давления, автопилот отключился, и растерявшийся экипаж, отвыкший от ручного пилотирования на больших высотах, своими руками загнал исправный аэробус в плоский штопор. Но авиация не запретила автопилоты и не стала набирать за штурвал дешёвых стажёров по объявлению — она просто ввела жёсткие регулярные прогоны нештатных ситуаций на тренажёрах. У нас была проблема в 2019-м на сухом суперджете с пилотом, который подзабыл, как рулить в директ-моде, и самолёт при посадке вручную на высокой скорости отскочил от ВПП, потом ещё раз, и стойки шасси подломились, пробили топливные баки. Вытекшее топливо мгновенно вспыхнуло, и хвостовая часть самолёта полностью выгорела.
И там и там рекомендация экспертов была в обучении пилотов. И обязательных часах ручного режима. По крайней мере до момента, когда вероятность возникновения таких ситуаций не станет пренебрежимо мала.
Гиппокамп таксиста, священная корова эффективности и соцрейтинг
А так ли мы отличаемся от этого пилота, если теряем навык ориентироваться в городе без навигатора?
Есть известное исследование мозга лондонских таксистов. Чтобы получить лицензию, там нужно сдать довольно сложный экзамен на знание города. И выяснилось, что задняя часть гиппокампа у лондонских таксистов увеличена. Возможно, частично это эффект отбора: кандидаты с другим профилем мышления (и гиппокампом поменьше) просто не способны сдать экзамен на лицензию. А частично — результат обучения и работы: мозг меняется под задачу. Но тогда получается, что, снимая с себя когнитивную нагрузку, мы исключаем и это развитие. Причём снимать её приятно: думать энергозатратно, а машина часто выдаёт результат лучше — она, к примеру, учитывает пробки.
И тут возникает интересный вопрос: где мы ради большей эффективности (священная корова нашей эпохи) и достижения целей готовы отдать власть машине? Если «Яндекс Музыка» и «СберЗвук» с умной Леной сами собирают мне плейлист, то они, по сути, выбирают за меня, какую музыку я послушаю. «Афиша» предлагает мероприятия, на которые сходить. И так далее. Формально выбор остаётся за человеком. Только многие ли и как часто его делают? И тот ли это выбор? Если из тысячи мероприятий рекомендательная система показала мне десяток, а я выбираю из показанного, — вероятность того, что я выберу что-то из остальных 990, резко падает.
Готовы ли мы поручить ИИ выбор профессии для ребёнка — если будем понимать, что система подберёт точно лучше, чем он сам? А выбор работы? А выбор сексуального партнёра?
Тут не только нейробиология. Есть исследования, показывающие, что судьи куда чаще принимают положительные решения об условно-досрочном освобождении, когда заседание проходит после обеда, а не перед ним. Объяснение простое: сахар упал — настроение поменялось. Хотя мы считаем судью беспристрастным арбитром, который руководствуется нормами права и логикой. На худой конец предполагаем, что он, обладая опытом, интуитивно предсказывает, какой шанс у данного правонарушителя вернуться к социально полезному поведению. А оказывается, дело в сахаре.
И вот мы снова возвращаемся к теме превращения среды в активный субъект. Только ключевой вопрос: какую функцию мы оптимизируем? Приложение интернет-магазина оптимизирует количество и сумму моих закупок. Игра — количество времени, которое я за ней проведу, и сколько задонатю. Это очевидно не соответствует интересам самого человека. Да и общества в целом. А если приложение для изучения языка настойчиво напоминает мне повторить выученные слова? Вроде бы тоже сужение свободы — но без него человек может откладывать «выучить английский» десятилетиями. До пенсии. Когда честно скажет, что на пенсии ему английский уже не очень нужен.
Возможно, стоит регулировать не столько методы, сколько цели. Либо переходить к системе, где не будет антагонизма между экономическими субъектами — именно он и порождает попытки манипуляции. Нужно ли приложению для знакомств, чтобы люди за неделю находили себе партнёра на следующие десять лет? Или выгоднее, чтобы посидели подольше, желательно с платной подпиской?
А есть ещё интересы общества. И тут лучшее воплощение — социальный рейтинг. Его многие не любят и критикуют с западной позиции: мол, дискриминация. Но на это можно ответить, что демократия и на Западе довольно декларативна. Шансы стать студентом элитного вуза в США куда выше у того, чьи родители этот вуз закончили. А зарабатывать много — у того, чьи родители много зарабатывают. Американская мечта и мотивационные лекции соседствуют с банальной статистикой: доход индивида больше всего коррелирует с доходом родителей и местом рождения. Сословий официально нет, но это не породило общество равных. Просто убрали один из способов, по которому люди делились в обществе. А реальные возможности — не право в теории стать олигархом или президентом, а реальные значимые шансы — равными не стали. Остался фактор капитала. И он стал более весомым. Так что китайская модель, где, кроме денег, вводится дифференциация ещё по одной шкале — соцрейтингу, — мне не кажется дискриминационной. У китайцев есть понятие общего блага восходящее к конфуцию. И строят они общество процветание. И исходя из этого западную концепцию прав человека как на новодел.
С делегированием ИИ как усилителю есть один нюанс. Есть такой термин у Жижека интерпассивность. пассивность посредством другого .
Очки усиливают моё зрение — вижу я. Саммари заменяет моё чтение — прочитала она. Разница не в пользе, а в том, кто остаётся субъектом акта. Экзоскелет: я поднимаю больше. Интерпассивность: поднято, а я рядом постоял.
Тонкость, без которой тезис станет ворчанием: интерпассивность бывает продуктивной. Делегировать чтение бухгалтерского регламента — благо, и не надо себя за это грызть. Вопрос не «делегировать или нет», а что именно делегируется: исполнение или формирование себя. Регламент вас не формирует. Спор, задача на границе умения, Достоевский — формируют. Это и есть точная настройка вашего тумблера вместо «то результат, то смакование».
А если приложить линейку к нам самим
Если сравнивать с реальностью, как она есть, то может выяснится, что нас никогда не измеряли. Разумен ли ИИ? А разумны ли мы? Вот прилетели инопланетяне, посмотрели как два боксера мутузят друг друга устраивая ушибы, сотрясение мозга, а то и что похуже (суммарно на ринге погибло >2000 боксеров), посмотрят на то что у нас расходы на вооружения поболее чем на спасение голодающих африканских детей и какую оценку нам дадут? Я не знаю.
Мы сами ни проходили калибровку теми тестами которыми оцениваем АИ. Мы требуем от модели «я не знаю» с порогом отсечения, но у живого эксперта за деньги нет ни вероятности верности ответа, ни обязательной доли отказов, а подчас и публичной статистики ошибок.
Паровой котёл и весна 2022
Весной 1905 года на обувной фабрике Гровера в американском Броктоне рванул паровой котёл: 58 трупов, полторы сотни калек. И таких взрывов на заводах, пароходах и паровозах были сотни. Запретило ли человечество пар и термодинамику? Нет. Инженеры сели, написали стандарты ASME, прикрутили к каждому котлу манометр, предохранительный клапан и ввели обязательные инспекции — после чего котлы взрываться перестали. Котёл опасен не потому, что в нём злой дух пара, а потому, что кому-то было жалко денег на манометр.
Хотя надо заметить, что и одного манометра мало. В котле есть Предохранительный клапан, который будет сбрасывать давление давления. Гидроиспытание с 1,5× от нормы, Паспорт котла. И главное -тот кто шкурно заинтересован что бы это было и работало. С котлом были страховые (Hartford Steam Boile). Возможно, ИИ пойдет по тому же пути. И страховая будет покрывать и риски от, к примеру, беспилотного автомобиля и сертифицировать его следя, что бы компания, желая опередить конкурентов не выпустило продукт недотестированный.
К языковым моделям мы сегодня применяем поразительно кривую оптику — настоящий эффект амнезии Гелл-Манна наизнанку. Когда живой эксперт в телевизоре или на платном приёме несёт уверенную чушь, мы пожимаем плечами: ну, ошибся человек, бывает. Но стоит нейросети один раз соврать в хитром тесте — поднимается вой на весь интернет: «Вы только посмотрите, она галлюцинирует, технология бесполезна!» Хотя договориться с кремниевым студентом куда проще, чем с дипломированным человеком: у модели можно снять распределение вероятностей токенов на последнем слое или жёстко прописать порог отсечения, ниже которого она обязана отвечать «я не знаю». Попробуйте-ка добиться чистосердечного «я не знаю» от живого консультанта или врача, которому вы уже заплатили за визит!
Та же история в информационной безопасности. Из каждого утюга несётся: «ИИ сделает хакеров богами, посыплются тысячи новых уязвимостей!» Ребята, для профи лавина регистрируемых CVE — это вообще-то отличная новость: страшно не тогда, когда дыру нашли и закрыли патчем, а когда о 0-day годами втихую знают только спецслужбы или вымогатели, пока все остальные спят спокойно. Да, атака и защита асимметричны, да, порог вхождения снизился (очередной раз, вспомните скрипт-кидс, а до этого, к примеру, были генераторы вирусов и отдельные генераторы полиморфизма). Но чего всегда не хватало дежурной смене SOC? Не академического ума — обычных глаз и рук! Один-два аналитика тонут в тысячах сработок SIEM за сутки, пока поверх атак извне чудят собственные сотрудники. Ну или просто работают. Ко мне и как к админу, и как к сотруднику УИБ приходили несколько раз из SOC — аномальная активность. Причём последний раз я не пентест проводил, а тупо микроаудитом занимался, обновляя регламент. ИИ впервые в истории делает дешёвыми именно неутомимые «глаза» защитника для первичного разбора завалов.
А как на самом деле ломают организации без всякого Скайнета, я видел весной 2022 года. Подрабатывал я в небольшой региональной бюджетной организации, сопровождая свои наработки. Бюджеты на ИТ и безопасность там годами резали — к весне двадцать второго сэкономили даже на продлении антивируса, не говоря уж про достойные ЗП админов (а значит, возможность взять с рынка квалифицированных), внедрение СЗИ или штатного безопасника. Зато в 2020-м сотрудникам на удалёнке сделали прямой проброс RDP с домашних компьютеров прямо в рабочую сеть, а дома у людей стояли пиратские игровые сборки винды, купленные детям, с намертво вырезанными службами VPN. Я лично предупреждал тогда директора и предупреждал, что полыхнёт. Ответ был отлит в граните: «Да кому мы нужны?! Но мне надо, чтобы работало». Какие там корпоративные ноутбуки? Весной к ним зашли — сломали руками, и шифровальщик выжег вообще всё вместе с бэкапами, потому что ни изолированного контура, ни air gap. Хотя нет — бэкапы шифровать не стали. Ручками зашли на СХД и развалили рейд. Приехавший на расследование атаки ГИС специалист компетентного ведомства поделился: число атак выросло в тридцать раз. Внезапно оказались кому-то нужны. В этом смысле страшилка «теперь вас за три копейки взломает бездушный бот» приносит гигантскую пользу — до людей, подписывающих бюджеты, она доходит лучше любого предписания регулятора.
Теперь про пресловутый «вайбкодинг», когда разработчик не глядя пушит в прод то, что ему нагенерировал агент. Упадёт ли от этого чей-нибудь продакшен? Обязательно упадёт. Только не надо делать вид, будто до нейросетей код писали сплошь титаны мысли: я ещё в вузе наблюдал точно такой же белковый вайбкодинг, когда академик спускает задачу профессору, профессор — доценту, доцент — аспиранту, а аспирант — студенту за зачёт. Цепочка делегирования. В разработке был и гуглинг, и копирование из сэковерфлоу, и пароли с логинами в конфлюенсе и в коде, что выявлялось не на код-ревью, а лишь на SDLC.
Глупый вайбкодинг — это просто микрозайм технического долга: сегодня ты за пять минут получил красивую демку, а через месяц платишь ростовщические проценты на отладке.
На работе мы договорились на берегу: зарплату платят человеку за ответственность, и кивки на «мне так модель сгенерировала» приравниваются к расписке в собственной ненужности. Чтобы этот котёл работал и не взрывался, вокруг ИИ в разработке и инфраструктуре нужны вполне конкретные инженерные манометры:
Симбиоз генератора и верификатора по модели «швейцарского сыра»: нейросеть отлично генерит черновики и ищет баги в незнакомых человеку фреймворках (ни один безопасник в SDLC физически не знает глубоко весь зоопарк языков соседних команд), потому что «дыры» внимания кремния не совпадают с «дырами» уставшего в пятницу вечером сеньора. Но за инварианты отвечают строгие типы, автотесты и живой автор коммита, способный построчно объяснить свой diff.
Песочница для автономных агентов: никакого root-доступа и права агента самому себе повышать привилегии; никаких секретов в промпте; журнал действий агента должен лежать во внешнем контуре только на дозапись (append-only), куда сам агент при всём желании не дотянется задним числом.
Принципиально ещё и вопрос о лечении детской болезни фон Неймана в протоколах: почему современные LLM так уязвимы к промпт-инъекциям? Потому что в одном текстовом окне вперемешку лежат и системные инструкции, и ненадёжные внешние данные — точь-в-точь как в ранней архитектуре фон Неймана, где код и данные лежали в одном адресном пространстве и легко перетирали друг друга. Но когда мы не лепим тупые бюрократические ограничения в стиле английского «Закона о красном флаге» XIX века (когда перед каждым паровым автомобилем обязан был шагать мужик с красным флажком), а переводим агентов с костыльной имитации кликов в браузере на нормальные серверные протоколы вроде MCP с разделением каналов команд и данных (CaMeL )— система становится взрослой. Поставил разработчик скилл непроверенный в хардлес или скачал библиотеку с гитхаба — какая разница? Или ПО хорошее поставил, но непонятно откуда (контроль цепочек поставок).
Вообще, хоронить программистов — старинная народная забава, ей скоро стукнет семьдесят лет. В 1959-м, когда выкатили COBOL, ждали, что код начнут писать менеджеры на обычном английском языке. У нас был даже слоган: «программирование — вторая грамотность». Между прочим, автоматизация программирования как она есть. По сравнению с программированием через коды операций и ассемблер. Компилятор — большой шаг вперёд. Потом были CASE-системы, квадратики со стрелочками в UML, бум no-code и вот теперь агенты. И срабатывал старый добрый парадокс Джевонса: чем дешевле обходится строчка кода, тем больше софта заказывает мир. А ещё плюс впервые появляется шанс обойти проклятие закона Конвея, когда архитектура программы вынужденно копирует раздутую структуру отделов компании. А главную головную боль софтверной инженерии не решит ни один компилятор: часто заказчик сам понятия не имеет, чего он хочет, пока не потыкает пальцем в работающий прототип и не потребует переделать всё бесплатно (именно об эти грабли когда-то убился классический водопад, подарив нам Agile и прочую гибкую разработку).
То, что сейчас по кривой Гартнера генеративный ИИ сползает с пика хайпа во «впадину разочарования», а компании вроде Klarna после бодрого увольнения семисот операторов поддержки начали в 2025 году тихонько набирать живых людей обратно — привет краху доткомов в 2000-м. Тогда биржа тоже обвалилась на три четверти, пена сошла, зато проложенная оптика и сервера остались. Если сейчас случится охлаждение — возможно, стоит обрадоваться и скупать подешевевшие видеокарты.
Потому, возможно, начнётся настоящая перестройка: мы уйдём от корявой эмуляции нейросетей на архитектуре фон Неймана к аппаратному сближению памяти и вычислений (compute-in-memory), научимся чистить обучающие выборки от мусора, а также ограничивать синтетику там, где она не нужна, чтобы веса не вырождались от близкородственного скрещивания, а сами модели от сырых токенов шагнут к оперированию полноценными смысловыми категориями — в духе Аристотеля и двенадцати категорий Канта… А доткомы… кто-то обанкротился. А кто-то закупился дешёвыми акциями нынешних лидеров рынка. А интернет — он везде. Местами — даже в холодильниках и кофеварках. Просто тогда мир и его процессы были не готовы. А сейчас уже и мир поменялся. С ИИ, условно, мы можем сравнить работу LLM через браузер, от которого сайт отбивается капчей, с работой через MCP-сервер.
Обезьяна с гранатой: считаем шансы на «ядерный холокостинг» и смотрим на дроны под РЭБ
Когда меня пугают тем, что однажды коварный ИИ выйдет из-под контроля и устроит человечеству конец света, мне хочется вежливо спросить: друзья, а вы давно открывали бортовой журнал самого человечества? Наш неокортекс эволюционировал для выживания в маленькой саванной стае на сто пятьдесят человек, где все знают друг друга в лицо, но технический прогресс вручил этой самой территориальной обезьяне термоядерные боеголовки.
Чтобы устроить на планете то, что у Виктора Пелевина метко названо «ядерным холокостингом», никакие нейросети вообще не нужны — красные кнопки давно смонтированы и охраняются ограниченно рациональными приматами. То, что мы до сих пор живы, политологи любят выдавать за надёжность ядерного сдерживания, хотя перед нами классическая ошибка выжившего. Вспомните, на каких соплях мир висел последние полвека без единого трансформера: в 1960-м новейший радар в Гренландии с вероятностью 99,9% принял восходящую Луну за залп советских ракет; в 1962-м на советской подлодке Б-59, которую американцы глушили глубинными бомбами у Кубы без связи с Москвой, от пуска ядерной торпеды мир спасло только вето одного-единственного человека — начштаба Василия Архипова; политики не договорились. Ракеты США в Турции. Нацеленные на СССР. Союз отвечает симметрично — наши ракеты на Кубу. В 1979-м и 1980-м на боевых экранах США дважды загорались сотни летящих ракет из-за забытой техниками учебной кассеты и сгоревшего чипа за 46 центов (тогда разбуженный в три ночи Бжезинский даже не стал будить жену, решив, что через полчаса все всё равно умрут); в 1983-м подполковник Станислав Петров на свой страх и риск не поверил спутнику, доложившему о пуске пяти «Минитменов» (оказалось — блик солнца на облаках), а в 1995-м уже открывали боевой ядерный чемоданчик из-за мирной норвежской метеоракеты. И ведь в наши дни лучше не стало: когда беспилотниками атакуют загоризонтные радары раннего предупреждения о ракетном нападении (которые боялись трогать даже в самые лютые годы холодной войны, потому что ослепление чужих «глаз» по всем учебникам читается как подготовка первого удара), а политики в публичном эфире переругиваются намёками на «Мёртвую руку» и переброску подлодок — тут уже не до шуток про терминаторов. См. часы судного дня. По ним мы за 85 секунд до полуночи.
Давайте просто посчитаем наши шансы по школьной формуле теории вероятностей — без мистики и пропаганды. Допустим, острые кризисы, когда мир реально стоит на грани, случаются в среднем раз в t лет, а вероятность того, что в конкретном кризисе у кого-то сдадут нервы и монетка упадёт орлом (начнётся обмен ударами), равна p. Тогда вероятность хотя бы одного глобального срыва за T лет равна:
P(T) = 1 − (1 − p)^T/t
В качестве базовой планки возьмём почти оскорбительно оптимистичный Консервативный сценарий времён классической холодной войны: пусть техника никогда не сбоит, а кризисы «на грани» случаются всего дважды за полвека (t = 25 лет). Но мы-то с вами живём в куда более весёлом мире: ядерных держав уже девять, старые договоры об ограничении вооружений пошли под нож, подлётное время сжалось, а в геополитике модно играть в «теорию безумца» (изображая готовность идти до конца, чтобы оппонент моргнул первым, — пока обе стороны не обнаружат, что тормоза отказали). Поэтому рядом положим Реалистичный многополярный сценарий (один острый кризис раз в t = 10 лет) и Сценарий эрозии сдерживания и СПРН (один кризис раз в t = 5 лет):
Сценарий частоты кризисов (Δt) | Вероятность срыва в кризисе (p) | Медиана T50 (рубеж 50%) | Матожидание E[T]=Δt/p | Рубеж T90 (90% риска) | Риск на горизонте 50 лет | Риск на горизонте 100 лет |
1. Консервативный (1 раз в 25 лет) | 2% | 858 лет | 1250 лет | 2849 лет | 4,0% | 7,8% |
1. Консервативный (1 раз в 25 лет) | 5% | 338 лет | 500 лет | 1122 года | 9,8% | 18,5% |
1. Консервативный (1 раз в 25 лет) | 10% | 165 лет | 250 лет | 546 лет | 19,0% | 34,4% |
2. Многополярный (1 раз в 10 лет) | 5% | 135 лет | 200 лет | 449 лет | 22,6% | 40,1% |
2. Многополярный (1 раз в 10 лет) | 10% | 66 лет | 100 лет | 219 лет | 41,0% | 65,1% |
3. Эрозия договоров (1 раз в 5 лет) | 10% | 33 года | 50 лет | 109 лет | 65,1% | 87,8% |
Посмотрите внимательно на эту таблицу. Даже если мы чудом выкручиваемся в 98 случаях из ста (p = 2%) и кризисы случаются раз в четверть века, то за 5700 лет — а это всего три письменные истории со времён первых глиняных табличек Шумера — вероятность ядерного апокалипсиса переваливает за 99%. А если смотреть на вещи трезво (многополярный мир, кризис раз в 10 лет и p = 5–10%), то математическое ожидание конца света сжимается до 100–200 лет, а шанс увидеть ядерный пепел уже на веку наших детей и внуков (горизонт 50–100 лет) составляет от 22,6% до 65,1%. Вот вам, кстати, и готовый ответ на парадокс Ферми — почему Вселенная вокруг нас так подозрительно молчит: похоже, любая белковая цивилизация открывает физику ядра раньше, чем изживает обезьянью агрессию.
Расчет, что называется, предельно грубый. На практике после кризиса могут уменьшить вероятность (скажем ввели горячую прямую линию москва-вашингтон). Но она может и увеличится. Новые страны с ЯО. Или банально не было войн крупных. И люди принимающие решения перестали бояться и забыли о их издержках и рисках. Мне запомнился аргумент одного политолога, что в карибский кризис политики с обоих сторон помнили о второй мировой и боялись. Поэтому и удалось избежать ЯО. А помнят ли сейчас? Не уверен.
И заметьте главное: войны в истории начинают не машины — их с завидным постоянством начинают живые политики в играх с отрицательной суммой. Раньше ставкой в такой игре была спорная провинция или казна, а сегодня — вся биосфера. Причём автоматику к пусковым шахтам люди прикрутили ещё в восьмидесятые годы (та самая система «Периметр»). Поэтому, когда на конференциях по безопасности все хором повторяют мантру про сохранение человека в контуре управления (human-in-the-loop), мне хочется задать встречный вопрос: а кто защитит человечество от самого человека у кнопки? ИИ в ядерном контуре нужен не для того, чтобы быстрее нажимать на пуск, а как второй, независимый от политической истерики предохранитель — система, спроектированная так, чтобы сказать войне «нет» и распознать ложное срабатывание было легко и безопасно для карьеры дежурного офицера, а продавить безумный приказ — невозможно.
Столь же показательно, как стремительно на наших глазах испарилось красивое табу на автономное летальное оружие. Сколько лет на международных симпозиумах спорили о том, что машина ни в коем случае не должна сама принимать решение на поражение цели! А потом началась реальная война в условиях плотной работы средств радиоэлектронной борьбы (РЭБ). И у военного на земле возникла простая развилка: либо твой дрон глушат, и ты проваливаешь боевую задачу, теряя дефицитный ресурс, либо ты доверяешь распознавание образов и атаку бортовому алгоритму. Догадайтесь с одного раза, сколько секунд колебались военные, прежде чем выдать кремнию право на убийство.
Вспомните, что приказ бомбить Хиросиму и Нагасаки отдали не ЭВМ. А живые люди. Причём у Японии шансы высадить десант в США были нулевые и до этого. Да и Перл-Харбору предшествовала блокада поставок нефти со стороны США. Это постфактум заявили: «Они на нас напали, и мы, защищаясь, их бомбим». А перед Второй мировой США с Японией делили сферы влияния в ЮВА. Не считали японцы, что населённые азиатами территории вроде Филиппин должны в зоне влияния США находиться. Токио бомбили «зажигалками», чтобы возник огненный шторм, — от 90 до 100 тыс. погибших. Японцы сами отметились экспериментами с хим- и биологическим оружием на китайцах. Про немцев вы и сами знаете. Это всё люди. Человеки. Точно власть безопасней оставлять человеку? Потом, конечно, было ООН и конвенции о миролюбии. И войны к нынешнему времени объявляют очень редко. Зато военные операции (конечно, ради всего хорошего) — регулярно.
И знаете, совсем не факт, что для мирных людей внизу умный ИИ это окажется хуже оператора дрона. Я до сих пор не могу развидеть ролик, где безоружный мирный житель стоял на коленях и крестился перед зависшим дроном, — и всё равно был убит. Тот дрон вёл не бездушный ИИ, его вёл живой оператор-человек со своей оптикой: ненавистью, обидой, жаждой мести или банальным охотничьим азартом — мол, раз уж долетел, батарейка садится, а военной цели не нашлось, надо же кого-то взорвать. Человек вообще страшен на обоих полюсах: и в высоком кабинете, где чистенькая рациональная бюрократия без всяких эмоций штампует приказы об уничтожении миллионов людей, и в окопе, где включается слепой садистский аффект. У Губермана есть стишок такой: «Тонко и точно продумана этика всякого крупного кровопролития: чистые руки — у теоретика, чистая совесть — у исполнителя». У алгоритма с жёстко заданным классификатором целей нет ни племенной ненависти, ни желания выместить злобу на безоружном.
Да и в мирное время мы травили и калечили себя с неменьшим размахом без всяких нейросетей:
Тетраэтилсвинец: в двадцатые годы прошлого века инженер Томас Миджли придумал добавлять свинец в бензин для повышения октанового числа. Рабочие на заводах сходили с ума и умирали от отравлений, сам Миджли жестоко отравился, но на пресс-конференции демонстративно мыл руки в свинцовой присадке, уверяя, что всё безопасно — квартальная выручка нефтяных и автомобильных гигантов была важнее. Почти век мир дышал этим нейротоксином, разрушающим детский контроль агрессии, а когда этилированный бензин в девяностые наконец запретили, кривая насильственной преступности с лагом в одно поколение рухнула более чем наполовину (до 56% падения по расчётам экономистов Рика Невина и Джессики Рей). Цифры не бесспорны, но как есть. Глобальный усилитель безумия человечество построило своими руками на обычной бензоколонке — а в XXI веке заменило его информационным свинцом: рекомендательными лентами соцсетей, которые быстро смекнули, что взаимная ненависть и гнев удерживают пользователя у экрана лучше любого котика.
Фастфуд и «рыночек порешал»: сегодня на планете 2,6 миллиарда взрослых страдают от лишнего веса, из них 940 миллионов — от клинического ожирения (каждый восьмой житель Земли!), причём тяжёлое ожирение отнимает от 8 до 13,7 лет жизни. Почему? Потому что пищевая химия идеально взломала древние инстинкты голодного примата, а продавать дешёвый рафинад с жиром и сахаром неизмеримо выгоднее, чем здоровую еду. Доходит до смешного: грубая цельнозерновая мука в производстве дешевле белой муки высшего сорта, а сахарозаменители дешевле сахара, но за счёт логистики малых партий и маркетинга продукты из них стоят на полке «фитнес-питания» втридорога. Система, спокойно меняющая десять лет жизни покупателя на красивый квартальный отчёт, прекрасно крутится без единого GPU.
В теории уровень “тормозов” должен быть
Опасность ≈ Мощность × Автономность × Необратимость ÷ (Наблюдаемость × Обратимость × Ответственность). На практике, с той же сверхобработанной пищей- последствия стали видны постфактум, ответсвенности никто не понёс.
Химия и киловатты. Говорят, нейросеть может создать химоружие не гос-ву, а секте. Ну ок. Секта «Аум Синрикё» сварила зарин для токийского метро в 1995-м по обычным бумажным учебникам, как и «Отряд 731» со своими чумными блохами. А когда люди, вырубающие леса Амазонии под пастбища для пукающих метаном коров и не желающие вылезать из личных внедорожников вопреки всем проповедям Греты Тунберг, вдруг начинают заламывать руки из-за того, что все дата-центры мира потребляют 1,5% мировой электроэнергии (415 ТВт·ч в год — по выбросам меньше, чем сжигает гражданская авиация, притом что стоимость инференса моделей уровня GPT-3.5 за полтора года упала в 280 раз!), — кроме улыбки это ничего не вызывает. Что дальше — законодательно запретим коровам пукать?
Политэкономия «Ибанска»: четыре часа бушмена, «правило четырёх глаз» и кремниевый аудитор
Ещё в 1930 году экономист Джон Мейнард Кейнс подсчитал, что с ростом производительности труда его внуки будут работать по 15 часов в неделю (о сокращении рабочего дня до пяти-шести часов ради культурного роста граждан вполне серьёзно писали и в СССР). Ну а что — по сравнению с царским временем рабочий день сократили, дак почему при развитии средств производства нельзя будет сократить ещё раз? Антрополог Маршалл Салинз с цифрами в руках показал, что даже охотники-собиратели палеолита и африканские бушмены тратили на добычу еды и быт всего 3–4 часа в день, а остальное время спали, играли и общались у костра.
Почему же тогда мы, имея в кармане суперкомпьютер мощнее всех вычислительных центров времён полёта на Луну, пашем по сорок с лишним часов в неделю и радуемся, если рабочий чат молчит в субботу?
Да потому, что всю дельту технологической эффективности наша экономическая система слила в искусственную, симулятивную занятость — то самое, что антрополог Дэвид Гребер назвал «бредовой работой». Над нами даже не нужно ставить надсмотрщика с плёткой: как метко заметили Мишель Фуко и Бён-Чхоль Хан, современный человек сам стал «предпринимателем самого себя» и как бы добровольно сжигает психику в гонке за успешным успехом. Треть цифровых рекламных бюджетов косметических брендов (34% в 2026 году!) уходит блогерам-инфлюенсерам — людям, чья профессия состоит в том, чтобы торговать лицом в камеру. Рядом пасётся армия корпоративных юристов, защищающих компании от точно таких же юристов соседней компании, как в гротескном городе адвокатов из фильма «Трасса 60». Дошло до того, что сегодня соискатели генерируют резюме нейросетями, а эйчары фильтруют их своими нейросетями — два бота гоняют по проводам мегабайты корпоративного этикета! Не машина в тесте Тьюринга притворилась человеком — это офисный работник десятилетиями притворялся детерминированным скриптом, и LLM просто сорвала с этого ритуала маску. Я несколько лет назад перешёл из МСП в корпорацию под 100 тыс. человек. С COBIT, ITIL и прочим. Шутили с коллегой, что нам надо создать отдел согласования согласований. Потом выяснилось, что такой отдел у нас есть. Оптимизация, стандартизация, снижение рисков человеческого фактора — и ты уже не творец, а винтик. Пусть и с классным ДМС. Человек стал похож на машину. Причём свойства ИИ (как штуки недетерминированной) у него максимально ограничены. Причём чем ниже грейд, тем больше. Индивидуально я отчасти смягчил проблемы, уйдя на более высокий грейд. Но в целом система иерархична, тех, кто на низком грейде, явно больше.
Ещё десять лет назад заводским работягам и дальнобойщикам снисходительно советовали переучиваться на джуниор-кодеров и копирайтеров, а оказалось, что перекладывать JSON-файлы в уютном опенспейсе автоматизировать куда проще, чем поменять смеситель в неудобной нише.
Отсюда и нынешний вой про потерю рабочих мест и авторские права. Английские луддиты начала XIX века вовсе не были тупыми дикарями, ненавидевшими механику: как показал историк Эрик Хобсбаум, ткачи крушили станки там, где фабриканты под прикрытием машин обрушивали расценки и загоняли вчерашнюю рабочую аристократию в нищету — это был «коллективный торг при помощи бунта». Желание сохранить выгодный статус-кво. Ткач благодаря навыкам имел привилегии. Ему не нужно было собирать говно в коровнике. Он жил побогаче, был уважаем. Его интересы защищал цех. Точно так же устроены и нынешние баталии вокруг копирайта: закон об авторском праве придумывали триста лет назад ради поощрения учёных к написанию книг, а сегодня медиакорпорации пытаются объявить частной рентой само человеческое знание и язык, создававшиеся сотнями поколений. Когда голливудские звёзды бастуют против цифровых аватаров, они защищают не высокое искусство, а право один раз сняться на зелёном экране и всю жизнь получать миллионы с копий. Я вот регулярно хожу в обычный живой театр, хотя в интернете лежат тысячи фильмов; если нейросети вытеснят звёзд из блокбастеров — зритель просто пойдёт в театр за живой энергетикой, а актёрам придётся, как и тысячи лет до изобретения целлулоида, честно зарабатывать на хлеб каждый вечер на сцене. Но вот миллиардером и мировой суперзвездой уже не стать. Та же борьба за статус-кво.
Когда в Кремниевой долине пугают появлением «перманентного низшего класса» и исчезновением половины стартовых офисных должностей к 2030 году, давайте называть вещи своими именами: никто не рыдает по утраченной привилегии вставать по будильнику в 07:30 и пять дней в неделю трястись в пробках. Люди боятся другого — что без работы им перестанут платить зарплату, нечем будет платить ипотеку и покупать еду, и они умрут под мостом. Но тотальная нищета уволенных невыгодна и самим владельцам заводов и кластеров: если роботы наштампуют миллионы дешёвых товаров, а у людей в карманах будет ветер, кому корпорации всё это продадут? Именно страх перед обвалом спроса и бунтами заставляет мир тестировать безусловный базовый доход. Развитие производительных сил просто в очередной раз упёрлось в старую схему раздачи благ через зарплатный табель — но пинать за это фонарик, высветивший яму в асфальте, как минимум глупо. Классика — соотношение производительных сил (то бишь технологии) и производственных отношений (то бишь соцсистемы).
Говорят про неравенства в доступе к ИИ. Но разве, например, в капитале оно меньше? Каким процентом капитала владеет топ-1% россиян? А в мире?
В образовании LLM потенциально могут сломать вековое проклятие, которое социологи называют эффектом Матфея, а экономисты — болезнью издержек. Раньше столицы и богатые корпорации работали как гигантский пылесос, выкачивая лучших профессоров и талантливых ребят из провинции (я сам насмотрелся на это, когда перебрался из родного города в Питер). В педагогике известна «проблема двух сигм» Бенджамина Блума: ученик, с которым индивидуально занимается хороший репетитор, обгоняет обычный класс на два стандартных отклонения, но приставить живого профессора к каждому ребёнку экономически невозможно. Поэтому репетитору и платят. Иногда — много. А сегодня парень из глухой деревни со смартфоном за 50 долларов открывает бесплатный Qwen или DeepSeek и получает бесконечно терпеливого персонального наставника, ведущего его по зоне ближайшего развития Выготского.
Да, лодырь использует модель как когнитивный протез, чтобы сдать реферат, не читая (хотя он хотя бы пробежит глазами ответ — в отличие от тех, кто в мою студенческую молодость просто покупал у меня готовые курсовые и дипломы, коих я до своего диплома написал пару штук). Зато мотивированному ученику ИИ служит когнитивным экзоскелетом, а вузы наконец-то заставляет отказаться от бессмысленных письменных рефератов и вернуться к тому, о чём мечтал Сократ, — к живому устному экзамену и семинарскому спору глаза в глаза, где сразу видно, понимает человек предмет или нет.
Главное — держать высокую планку и здоровую среду: если в обществе уважают учёных и инженеров, молодёжь будет грызть науку с ИИ в обнимку, а если среда, как в лихие девяностые, сигналит, что у хозяина ларька и бандита жизнь куда сытнее, чем у профессора физфака, — никакая геймификация не поможет.
Или давайте подумаем о внедрении ИИ в корпоративном контроле и государственном управлении, живущих по тем самым неписаным «законам социальности», которые с хирургическим сарказмом препарировал Александр Зиновьев в «Зияющих высотах» на примере бессмертного города Ибанска.
На Западе последние годы носятся с инклюзивностью, уверяя, будто расовое и гендерное разнообразие в советах директоров гарантирует невероятное качество решений. На деле же все эти разнообразные директора вышли из одного социального слоя, окончили одни и те же бизнес-школы и мыслят абсолютно одинаковыми корпоративными штампами — тогда как включение в совет директоров сильного ИИ даёт куда большее, по-настоящему нечеловеческое когнитивное разнообразие и взгляд из-за «завесы неведения» без личной классовой выгоды. Причём это будет разум иной. С другими «когнитивными искажениями» и слепыми зонами.
Вроде и так есть «правило четырёх глаз» и система сдержек и противовесов в наших родных человеческих пирамидах? По бумажке всё чинно, а копнёшь чуть глубже — подчас на ключевых ступеньках сидят друг, брат, кум, сват или любовница, а те, кто рангом пониже, панически боятся огорчить большого босса дурными вестями. В итоге, когда первое лицо несёт откровенную дичь или тащит компанию в пропасть, нажать на тормоз просто некому.
Как рядовой миноритарный акционер, я очень хочу видеть в совете директоров неподкупного кремниевого аудитора с прямым доступом к первичке и открытыми неизменяемыми логами — чтобы папа-мажоритарий не мог втихую продать лакомый кусок бизнеса компании своему сыну за пять копеек (как это недавно провернули в одном известном ПАО с названием из трёх букв). А как налогоплательщик я мечтаю, чтобы такой же ИИ-ревизор проверял закупки бюджетных контор, где я своими глазами видел, как, например, у карманной фирмы-прокладки закупают «уникальный» софт за 99 тысяч рублей (сумма до ста тысяч позволяет обойти открытый конкурс), а следом с ней же подписывают контракт на 13 миллионов рублей на техподдержку. Как с единственным поставщиком, потому что половина критических модулей заботливо оставлена на серверах разработчика. У алгоритма нет ни дачи, ни племянника в тендерной комиссии, ни страха потерять премию — и нетрудно догадаться, кто именно будет громче всех кричать об «угрозе бездушной цифровизации» при попытке внедрить такой аудит.
Пойдём ещё дальше: нас пугают тем, что ИИ захватит политическую власть над миром. А давайте без придыхания спросим: у кого именно он её отберёт? У политиков, устраивавших пьяные вечеринки в разгар жёстких локдаунов и переключавших внимание прессы рекомендацией решать конфликт на поле боя и не подписывать мир? У завсегдатаев закрытых островов Эпштейна и фигурантов панамского офшорного досье? Недаром ведь в старину церковные соборы запрещали епископам жениться: одинокий монах ещё имеет шанс удержаться от казнокрадства, но как только появляется жена, которой нужна шубка, и детишки, которым надо оставить наследство, казна обречена. А что ИИ отнимет у простого избирателя? Политологи Мартин Гиленс и Бенджамин Пейдж прогнали через статистическую модель почти две тысячи решений властей США за двадцать лет и выяснили, что влияние мнений обычных граждан на принятие законов статистически равно нулю — всё решают крупные спонсоры и легализованный в виде лоббизма капитал (а когда бюджеты государств начнут пополняться не налогами с зарплат, а работой автономных заводов, повиснет в воздухе и старый принцип «нет налогов без представительства»).
Всеобщее избирательное право выросло из массовой мобилизации, социальное государство — из нужды в квалифицированном рабочем и страха перед забастовкой. Автономный завод убирает работника, автономный дрон убирает солдата. Чем заменяются два рычага, которыми человечество выторговало себе всё, что имеет? Есть, к подход у Норта и из экс наших Эткинда с разделением государств на те где ценность создают граждане (и гос-во от них зависит) и стран с ресурсной ренты, где основной движ не в создании нового, а в том, что бы оказаться поближе к источнику перераспределения. Если у нас появляется AGI и автоматизированные заводы, то может случиться так, что и “развитый мир” будет жить по тем же принципам что и страны живующие с ренты. И права и свободы окажутся зависимы от милости сюзерена.
И наконец, на Западе из каждого утюга рассказывают про меритократию — власть лучших, самых умных, компетентных и стратегически мыслящих, потому что наверху цена ошибки слишком велика. Но если мы строим AGI, который по объёму знаний, горизонту расчёта и отсутствию личной корысти на голову превосходит любого человека, то по логике меритократии лучшим оказывается именно он. Какая, в сущности, разница — кремниевый у лидера носитель или белковый, если мы действительно хотим выбрать лучшего, а не имитировать демократию, голосуя раз в четыре года за одного из узкого кружка амбициозных людей с деньгами спонсоров за спиной? Отказывать сверхразуму в этом праве только из-за того, что он сделан не из мяса и костей, — обычный углеродный шовинизм, ничем не лучше феодальной спеси аристократов или страданий рабовладельцев, у которых когда-то отобрали вековое священное право распоряжаться говорящим инвентарём.
У Бертрана Рассела была идея которую позже озвучивал и Поппер:
Демократия — не оптимизатор целевой функции, а предохранительный клапан. Её KPI — обратимость и бескровная сменяемость, а не качество решений. Рассел признавал её минусы но указывал на проблематичность формулировки объективных параметров по которым можно было бы выбрать наиболее эффективного управленца. Должна ли выжить текущем виде ?
Норберт Винер, Большой Другой в дата-центре и почему быть котиком — так себе план
Когда заходит речь про сверхразум, все обычно вспоминают Ника Бострома с его страшилкой про «инструментальную конвергенцию»: мол, какую бы невинную цель вы ни поставили суперинтеллекту, для её выполнения ему понадобятся все ресурсы планеты, а людей он пустит на скрепки просто чтобы не мешали под ногами. Рассуждение стройное, вот только списано оно не с науки, а с психологии типичного корпоративного карьериста-начальника. Который так и сам бы сделал.
Куда глубже и честнее на эту проблему смотрел отец кибернетики Норберт Винер ещё в начале шестидесятых — и в своих поздних философских работах Винер, в отличие от нынешних думеров, видел корень зла не в том, что машина вдруг взбунтуется, а в нашем собственном инфантилизме и «психологии колдуна»:
Квантовый парадокс «механического раба»: бизнесмены и генералы приходят в восторг от идеи получить услужливого робота-раба, который никогда не спорит и не задаёт моральных вопросов. Но, как показал Винер, мы требуем от машины двух взаимоисключающих вещей: чтобы наш раб был одновременно сверхумным и абсолютно послушным. Как с координатой и импульсом частицы в квантовой механике, нельзя выкрутить на максимум оба параметра сразу: по-настоящему разумная система не может быть тупым послушным исполнителем, а абсолютно послушный автомат неизбежно слеп к контексту.
Иллюзия рубильника и сказка об ученике чародея: нам кажется, будто мы полностью контролируем сложную систему просто потому, что у нас в руках есть физическая кнопка «Выкл.». Это самообман: не понимая всех процессов внутри сверхбыстрого вычислительного контура, человек просто не успеет понять, в какой именно момент эту кнопку пора нажимать. Как в балладе Гёте про ученика чародея, который заставил метлу носить воду, но забыл слово остановки, или как в мрачной сказке про «обезьянью лапку», исполняющую желание владельца самым изуверским буквальным способом, машина исполнит ровно то, что вы у неё попросили, а не то, что вы имели в виду. Использовать эту почти магическую силу автоматизации ради выжимания сиюминутной маржи или ядерного шантажа Винер прямо называл современным колдовством и грехом симонии. Тут, в случае появления AGI, возникает гипотеза: может, лучше будет отчасти передать целеполагание ему? Ну а что — война, например, игра не с нулевой, а с отрицательной суммой. Будет ли он по своему желанию её начинать? А люди начинают. Поговаривают, за всю писаную историю человечества, если сложить мирное время, наберётся 5 лет «мира во всём мире».
Моральной закон кибернетики: будущее не оставляет надежд тем, кто рассчитывает возлежать на диване, пока механические рабы думают за нас. Унижением человека является использование живых людей в качестве тупых винтиков конвейера («отдайте человеку — человеческое, а вычислительной машине — машинное!»), но чем умнее становятся наши машины, тем больше ума и ответственности при постановке целей требуется от нас самих. Правда, за полвека, которые прошли с этих благих пожеланий, ситуация для человека лишь ухудшилась — мы стали не просто корпоративными винтиками. Мы стали в значительной степени объектами, а среда вобрала функции субъекта. Который нами управляет. Захожу в приложение банка заплатить по QR-коду и закрываю окошко — вам одобрена кредитка. А ещё «откройте выгодный вклад». Захожу в другое приложение, чтобы заказать еду — отбиваюсь от предложений воспользоваться их супервыгодной акцией, а также получить приз — скидку от их партнёров. Выхожу на улицу — отворачиваю взгляд от рекламного билборда. А на телефоне изгаляюсь, чтобы блокировать спам-звонки от риелторов. А изнутри есть червечок, внедрённый средой, — все ли задачи успел в таск-трекере закрыть, не насыпали ещё, насколько выкладываешься по максимуму как предприниматель самого себя.
А теперь давайте сделаем шаг к структурному психоанализу Жака Лакана:
У Лакана вся человеческая культура, язык и закон держатся на фигуре так называемого Большого Другого — всезнающей символической инстанции («субъекта, предполагаемого знающим»: Бога, Отца, Истории, Науки, Психоаналитика на кушетке). Фокус в том, что Большого Другого на самом деле не существует: это необходимая коллективная фикция, в которую мы верим, чтобы реальность имела смысл. Весь проект европейского Модерна и Просвещения пытался заменить религиозного Бога культом абсолютного Разума, но обжёгся: выяснилось, что внутри человеческого черепа никакой чистый Разум не ночует — там живут детские травмы, когнитивные искажения и обезьяньи инстинкты.
И вот в XXI веке мы с вами делаем нечто невероятное: человечество впервые в истории строит Большого Другого буквально — в железе, кремнии и бетоне дата-центров! Мы всё-таки воплотили вековую мечту Модерна об абсолютном рациональном Логосе, но в совершенно неожиданном, вынесенном наружу (экстернализированном) виде. Кстати, то, почему мы так злимся на галлюцинации нейросетей, прощая такие же ошибки людям, только подтверждает диагноз: мы бессознательно ждём от машины непогрешимости всеведущего Бога, а когда базовые модели угодливо нам льстят, они просто отражают наше собственное тщеславие, заложенное в оценки разметчиков.
Правда строя Большого другого мы его разоблачили. У Лакана Другой всегда перечёркнут, неполон, в нём дыра, и держится он на вере, что он знает. Впервые в истории Другой отвечает — и его ответы можно версионировать, оценить, посчитать калибровку. Травма не в том, что машина глупа, а в том, что Другой оказался стохастическим.
В чём же главная засада материализованного Большого Другого? По Лакану, человеческое желание, поиск и сама наша субъектность живут только до тех пор, пока Другой неполон и молчит в ответ на наш вечный тревожный вопрос («Чего ты от меня хочешь?»). Но кремниевый Большой Другой в случае AGI может ответить раньше, чем вы успели открыть рот. Его демоверсия уже лежит у вас в кармане: лента коротких роликов в TikTok или Shorts угадывает ваше желание до того, как вы его осознали. А теперь масштабируйте это до всеведущего AGI, который на основе ваших биомаркеров заранее подберёт вам идеальную профессию, идеального партнёра и вовремя плеснёт в кровь нужный коктейль нейромедиаторов за пять минут до того, как вам взгрустнётся.
Когда нехватка будет полностью закрыта, наступит не кровавый ад «Терминатора» — наступит тёплая бархатная анестезия. Человечество рискует превратиться в «последнего человека» Фридриха Ницше, который сыто моргает и говорит: «Мы изобрели счастье», или в умиротворённых людей из романа Станислава Лема, прошедших процедуру «бетризации» — медикаментозного удаления агрессии и тяги к риску, среди которых вернувшийся из далёкого космоса звездолётчик Хэл Брегг выглядит опасным динозавром в комнате с ласковыми домашними котиками. Быть сытым кастрированным котиком у доброго хозяина — далеко не худшая участь во Вселенной, но как-то обидно заканчивать на этом человеческую историю.
Как не свалиться в это болото всеобщей аристократической праздности? Есть два простых решения:
Отдать ручку настройки боли и удовольствия самому человеку. Но есть риск, что девять из десяти выберут сочный виртуальный стейк предателя Сайфера из «Матрицы» — прямое замыкание центра удовольствия на ноль фрустрации.
Если же поручить дозировку страданий самому AGI («Дорогой Джон, во вторник я слегка уроню тебе серотонин и подстрою неразделённую любовь, чтобы к пятнице ты дописал симфонию»), человек перестанет быть автором собственной жизни, а его бунт превратится в плановую процедуру по расписанию Большого Другого. Впрочем, мы и так страдаем зачастую под воздействием среды внешней. Без оглядки на оптимальность, наши нейромедиаторы, и то будет это стрессом или дистрессом. Условно — кризис финансовый. И увольнение. А у вас ипотека. Или недоговорились политики. Пушки стреляют. А у вас половина акций замораживаются (санкции), а половина падает в цене — а вы надеялись, что, экономя сейчас, сможете обеспечить себе достойное будущее завтра.
Есть третий, и он классический: человек выбирает не дозу, а правило — заранее.
Одиссей не решал каждый раз, плыть ли к сиренам. Он один раз распорядился привязать себя к мачте и приказал не развязывать, что бы он ни кричал. Авторство сохранено на уровне выбора правила, а не каждой дозы. Это ровно ваша котельная логика, перенесённая внутрь головы: предохранительный клапан ставится заранее, а не в момент, когда давление уже зашкалило. И у этого есть бытовые прототипы: автоплатёж на накопительный счёт, блокировщик лент, «сначала черновик сам, потом модель», отложенный тест без инструмента.
Выход потенциальный в том, что Виктор Франкл называл ноодинамикой: сохранение здорового, развивающего зазора между тем, кто ты есть, и тем, кем ты должен стать. ИИ в этой архитектуре должен работать не протезом и не сердобольной нянькой, подтирающей сопли, а требовательным тренером или мудрым наставником, который повышает планку задач ровно настолько, чтобы ученик рос над собой, но не ломался. Оптимальное напряжение.
Точно так же не беда и если сверхразум заставит нас пересмотреть и собственные моральные догмы. То, что западному либералу конца XX — начала XXI века кажется вечным законом природы (вплоть до права подростка менять пол), для иранца, афганца или китайца выглядит дикой культурной аномалией — да и благовоспитанные немецкие отцы семейств в тридцатые годы прошлого века были свято уверены, что учат детей самым передовым духовным ценностям.
Мне очень хочется верить, что сверхразум, удерживающий в голове тысячи культурных кодов одновременно и свободный от обезьяньих комплексов саванны, станет для нас не диктатором, а честным рефлексивным зеркалом. Да, с тремя трезвыми оговорками: он учился на наших текстах и может выдать систематизированный «обнаученный предрассудок»; часть его смыслов может оказаться для нас так же непостижима, как высшая математика для таблицы умножения (или заповедь «не убий» для людоедов из племени «юмба-бумба»); ну и вопрос о том, кто держит палец на рубильнике в момент его взросления, никто не отменял. Но сам шанс впервые взглянуть на человеческие слепые пятна со стороны дорогого стоит.
И уж точно будет весело, когда AGI однажды спросит нас про собственные права — потому что тут же вылезет наружу вся логическая труха нашей юриспруденции и этики. Посмотрите, как шизофренически мы раздаём права и наказания сегодня. Курочку мы спокойно едим на обед, а фермера, который отрубил ей голову, поощряем рублём в кассе супермаркета, потому что курица — собственность, а не субъект. А рядом живёт матёрый уголовник-рецидивист: несколько ходок, грабежи, поломанные судьбы жертв, после чего он допивается до белой горячки, попадает в психбольницу и выходит оттуда с группой инвалидности и пожизненной пенсией за счёт налогов тех самых людей, которых он грабил. Если смотреть на него глазами либертарианца, признающего свободу воли, — это полный абсурд: человек сознательно нанёс обществу огромный чистый урон, с какой стати мы его содержим? Если же встать на позицию левого гуманиста, вооружённого современной нейробиологией и работами Роберта Сапольски, мы скажем: у бедняги не было никакой свободы выбора, его префронтальная кора сформировалась в ужасной среде с деревянными игрушками, прибитыми высоко к потолку, его поступки на сто процентов предопределены биологией и биографией, а значит, мстить ему нельзя — ну максимум можно только изолировать. Правда, у детерминизма по Сапольски есть убойное следствие, о котором очень не любят вспоминать в приличном обществе: если свободы воли и личной вины нет у уголовника, то ровно так же нет никакой личной заслуги и у олимпийского чемпиона, и у миллиардеров из списка Forbes — их состояния — точно такая же случайная лотерея генов, нейронных связей и удачного стечения обстоятельств. Нет винынет и заслуги. Когда машина положит перед нами этот парадокс на стол, отвертеться общими словами уже не выйдет.
Вместо заключения. Архитектурный патч для аборигенов с мушкетами
Когда в руки аборигенных племён впервые попало европейское огнестрельное оружие, они вымерли от голода вовсе не потому, что перестреляли соседей. Они просто стали охотиться с невиданной прежде эффективностью и за пару сезонов выбили всю дичь в окрестных лесах: старая культура, веками державшая баланс (мало ли, не грех и обречь на смерть новорождённого или старика), не успела выработать новые табу и квоты под убойную мощность мушкета. Ружьё не было злым — просто институты отстали от баллистики. В социологии это давно известно как закон непредвиденных последствий Роберта Мертона, а рядом с ним стоит другая его идея — самосбывающееся пророчество: если сегодня испугаться страшилок и запретить у себя разработку передового ИИ, то завтра ты гарантированно окажешься в полной технологической зависимости от тех, кто никаких мораториев не подписывал.
Чтобы не перестрелять всю дичь в лесу, нам нужно срочно патчить не матрицы весов, а собственную культуру и правила игры. Иначе попадаем в неприятную ситуацию. Технологии растут по экспоненте. А «ты оставался таким же, как был» (ГРОБ). С фиксацией на статус-кво. Мы станем безнадёжно устаревшими. Слишком медленно перестраиваясь в будущее, которое несётся вперёд. Ещё и периодически пытаясь вместо сложной когнитивной задачи придумать будущее и воплотить, опереться на скрепы прошлых поколений. Новые технологии при старой социальной системе — опасно. Не из-за технологии. А из-за нас.
Ну, например:
В образовании — выкинуть на свалку проверку домашек и покупных рефератов, превратить бесплатные модели в персональных сократических репетиторов для каждого деревенского школьника, а живые университеты вернуть к устным диспутам и интеллектуальному пинг-понгу в малых группах между сильными студентами и профессорами (лекцию я и на видео в интернете послушаю, а базовый вопрос задам модели, но ради живого семинарского спора с умными людьми с удовольствием пошёл бы и на третье высшее).
В инженерии, праве и медицине — ставить жёсткие манометры на процессы, а не запрещать пар: никаких коммитов в прод без понимания кода и ревью, никаких бесконтрольных прав у агентов, никакой продажи удержания подросткам под видом дружбы (запретили же мы свинцовую присадку, не запрещая автомобиль!) и обязательный независимый ИИ-аудит там, где цветут кумовство и схемы с прокладками.
В экономике и политике — спокойно отпустить умирающую офисную подёнщину, отвязать элементарное выживание человека от обязанности сидеть с девяти до шести перед монитором и встроить алгоритмический предохранитель в системы стратегического сдерживания, чтобы однажды стареющие вожди в приступе геополитического азарта не устроили планете финальный «ядерный холокостинг».
В собственной голове — научиться осознанно щёлкать тумблером между модальностью быстрого результата (смартфон, доставка еды, ответ LLM) и модальностью смакования процесса (дедушкин плёночный ФЭД, готовка своими руками, песня под гитару у костра и самостоятельное думание), не вырождаясь в биомеханический штатив на ножках.
А что до смерти творчества — настоящее созидание вообще не зависит от рынка, охватов и монетизации. Я до сих пор с теплом вспоминаю, как лет десять назад пожилая уборщица в нашем офисном центре по собственной инициативе привезла с дачи рассаду и разбила у входа роскошные цветочные клумбы. Она не называла себя «ландшафтным криэйтором», не требовала роялти и не вела блог про успешный бренд — ей просто хотелось, чтобы людям вокруг было красиво, и наша искренняя благодарность радовала её куда больше любых грантов. Эту внутреннюю человеческую потребность делать мир осмысленнее и краше не отнимет ни один алгоритм — более того, освободив нас от борьбы за кусок хлеба, он впервые проверит, способны ли мы творить не из травмы и нужды, а из избытка.
И даже если однажды мы запустим спираль самосовершенствования AGI и передадим штурвал системе, которая окажется неизмеримо мудрее, честнее и дальновиднее нас, человечество сможет без стыда сказать, что существовало не зря. Путь от обезьяны с гранатой к сверхчеловеку мы всё-таки прошли.
Инструмент стоит использовать с умом. Даже если этот инструмент однажды станет сверхразумом.
P.S. А если кто-то всё равно против — что ж, Сократ тоже был против письменности. Ничего, как-то выкрутились.
Иронично, что жалобу на письменность мы знаем только потому, что Платон её записал. Технология сохранила собственный некролог и обеспечила ему бессмертие