Отчет с GPT Party, или что Далай-Лама сказал Давиду Яну

В эти выходные в Silicon Valley прошла парти на 400 человек под названием GPT-Party, из которых все 400 человек говорили по-русски (когда ведущий спросил кто не говорит, никто не поднял руку).

На парти выступали основатели ИИ компаний (от Давида Яна (Abbyy) до менее известных стартапщиков), русские венчурные капиталисты (Давыдов, Шойфот, Орешкин), украинские венчурные капиталисты (Сорока) , а также креаторы контента (Алекс Кролл). Креаторы говорили, что из-за ChatGPT всех инженеров выгонят с работы и останутся только бармены и креаторы контента.

Парти проходило в акселераторе Plug and Play. Бизнес-мужчины были в джинсах, женщины в вечерних платьях с вырезами на бедрах и на каблуках. Среди них были например реалторши, которые надеялись, что ИИ поможет им продавать дома. Было много гламурных блондинок из маркетинга, что контрастировало с женщинами в хозяйственном магазине Lowe's неподалеку (если кто не знает, Silicon Valley населена преимущественно индусками, китаянками и мексиканками).

Под конец самый богатый человек на парти (Давид Ян) посягнул на проблему сознания. В качестве показателя прогресса ИИ в этой области Давид Ян приводил решение компьютером задачек, в которых нужно ставить себя на место других людей. Типа (это не задачка Яна, а мой аналог приведенных им задачек):

"Вася проводит часы за игровой консолью и из-за этого приносит двойки из школы. После каждой двойки папа прячет консоль в гараж, но иногда увозит ее себе на работу. После очередной двойки Вася не обнаружил у себя в комнате консоль. Что он подумал и где стал ее искать?"

Потом задача усложняется, добавляется "Что подумал папа, увидев Васю лихорадочно разбирающего ящики в гараже?" Следущая задача: "Что подумала мама, увидевшая сына гоняющегося за папой с молотком?" итд - 10 уровней задач такого рода, где нужно описать, что думают другие люди.

Для таких задач нужно ощущение собственного "я"? Да ладно! Их решение ничего не доказывает. Наверное, с помощью таких задач можно проверять прогресс выздоровления человека после черепно-мозговой травмы, но не наличие сознания у компьютера.

Последним аргументом у Давида Яна было то, что Далай-Лама в этом году не отрицал возможность сознания у компьютера, а раньше отрицал. Типа выставил условия, при выполнении которых священнослужитель признает существовавания сознания у конструкции из плат GPU и софтвера. Какие условия - Давид не сказал, а обещал поделиться при личном общении после презентации.

К сожалению, чтобы этот аргумент работал, Далай-Лама должен быть для слушателя авторитетом. Причем авторитетом не в религиозных вопросах типа "сколько тибетских демонов уместится на кончике пальца Будды", а в вопросах научных, о наблюдаемом.

Ведь существование собственного "я" - вещь наблюдаемая. Каждый из нас ощущает "я здесь и сейчас вижу окружающий мир". Конечно можно написать программу, которая печатает printf ("Hello, я здесь и сейчас вижу окружающий мир"), но такой программой убеждать народ еще труднее, чем ссылкой на Далай-Ламу.

Вполне возможно, что феномен сознания когда-нибудь исследуют, и он окажется чем-то, что не воспроизводимо кучей D-триггеров и комбинационной логики, к которым сводится любая компьютерная система (процессоры, GPU, систолические массивы нейроускорителей) с софтвером (цепочками инструкций в памяти) любой сложности.

Примерно так же, как древние греки не могли с помощью костра воспроизвести термоядерную реакцию на Солнце, так как это было за пределами известной им физики. Мы ничем не лучше древних греков в области сознания, но не надо по этому поводу комплексовать. Инженерия - это искусство возможного, и теперь мы разберем возможное.

А что в эту же субботу происходило в России?

Вы будете удивлены, но в России тоже происходила парти, тоже на 400 человек и тоже на тему искуственного интеллекта, хотя слова "искуственный интеллект" там не произносились. В 18 вузах России и Беларуси в субботу происходило третье занятие Школы Синтеза Цифровых Схем, тема занятия была "Конечные автоматы", а самый известный конечный автомат - "Китайская комната" - имеет прямое отношение к проблеме сознания в искуственном интеллекте

Что такое "Китайская комната"? Я писал об этом несколько лет назад:

В 1980-м году один из критиков искуственного интеллекта Джон Сирл (John Searle) выдвинул элегантный аргумент, получивший название «китайская комната».

Предположим, что в будущем появилась версия программы «Элиза» [прим: это древний ChatGPT 1960-х годов], говорящая на китайском языке настолько хорошо, что китайцы не смогли бы отличить компьютер от человека. Теперь предположим, что некто переписал бы эту программу в толстенную книгу с механическими инструкциями для человека – если видишь иероглиф A и до этого видел иероглиф B, то вытащи из ящика иероглиф C. Теперь посадим некоего человека, не знающего китайский язык, в закрытую комнату с этой книгой и будем просовывать ему под дверью таблички с иероглифами, содержащими вопросы на китайском. Следуя механическим инструкциям из книги, человек будет находить в ящике и просовывать обратно другие таблички с иероглифами. С точки зрения внешнего наблюдателя, комната будет «понимать» и «разговаривать» на китайском. Но кто же является носителем этого разума? Ведь исполнитель не понимает китайский?

Джон МакКарти и другие ветераны искуственного интеллекта тут же заявили, что разум и даже сознание проявится в «виртуальной личности» или в «процессе», осуществляемой в этой комнате. Одним из элегантных аргументов против Джона Сирла выдвинули философы Пол и Патриция Чёрчлэнд (Paul and Patricia Churchland).

Как мы знаем из физики, утверждали Чйрчлэнды, свет – это электромагнитная волна. Предположим, что некий скептик начнет двигать рукой магнит, не увидит света и начанет утверждать, что свет невозможен. На самом деле, чтобы получить свет, необходимо махать магнитом со скоростью 450 миллиардов взмахов в секунду. Так и разумное сознание, утверждали Чёрчлэнды, возникнет в «китайской комнате», если исполнитель будет достаточно проворен.

Интересно, что украинский фантаст Анатолий Днепров описал аналог “Китайской комнаты” еще в 1950-е годы в рассказе «Игра».

Я для своих собственных лекций и материалов придумал пример, в котором finite state machine (FSM) в ответ на последовательность из любого количества иероглифов «медведь» и «дерево», с завершающим иероглифом «наука» — выдает последовательность иероглифов «Сибирь». Это простейшая «китайская комната»:

Вот ее диаграмма состояний:

Из этой диаграммы можно построить схему и реализовать ее на плате с ПЛИС - микросхемой реконфигурируемой логики, без процессора. Именно этим и занимались участники российкой Школы Синтеза Цифровых Схем в субботу. Например вот эти девушки из Волгоградского кластера Школы Синтеза реализовали конечные автоматы на платах Terasic DE2-115 с ПЛИС IntelFPGA Cyclone IV:

Больше всего участников Школы Синтеза в Московском Энергетическом Институте - на первых занятиях их было до 36 человек в трех комнатах, также много в Саратове - 25, потом идут МИЭТ и питерский ИТМО, дальше другие вузы. Изначально записалось 650 человек, на первое занятие пришло в реале 250 и 150 в онлайне, на второе занятие пришло тоже около 400, на третье спустилось ниже 400. Вероятно, когда пойдет микроархитектура, в том числе для аппаратных ускорителей ML, количество еще упадет. Занятия будут продолжаться до апреля, после чего для оставшихся сильнейших пройдет хакатон по проектированию процессоров.

Для того, чтобы упражнения не были слишком абстрактными, мы привязали конечные автоматы к управлению объектами видеоигры со спрайтами, в которой управляемая кнопками торпеда поражает движущуюся цель. Студенты модифицировали код игры на языке описания аппаратуры SystemVerilog, вводили новые объекты, меняли их скорость, поведение и изображение.

Все это делалось не с помощью программы, а с помощью реконфигурируемого железа, то есть люди, которые тренировались на таких упражнениях, смогут стать разработчиками микросхем для смартфонов, ускорителей машинного обучения, сетевых чипов. Такие же упражнения на FPGA платах с синтезом описаний на SystemVerilog и выводом графики прямо из ПЛИС на экран есть в студенческих проектах курса 6.111 в Массачуссетском Технологическом Институте:

Студенты на Школе Синтеза Цифровых Схем будут тренироваться не только на ПЛИС/FPGA, но попробуют и проектирование фиксированных микросхем ASIC, используя открытый софт под названием Open Road. Его используют например для платформы Caravel - совместного проекта Google и eFabless, который позволяет исследователям и даже студентам изготавливать свои собственные чипы на фабрике:

На Chat-GPT в Саннивейл я подумал:

А почему бы не попробовать российcкий опыт в Области Сан-Францисского Залива?

В принципе такого типа образования здесь навалом, больше чем в любой другой точке планеты. Помимо Беркли и Стенфорда, где зародилось современное проектирование и RISC-архитектуры (Хеннесси в Стенфорде, Паттерсон в Беркли), здесь также находятся штаб-квартиры Synopsys и Cadence, двух главных производителей софтвера для автоматизации проектирования микросхем, а также штаб-квартиры двух главных производителей FPGA: Xilinx (сейчас часть AMD) и Altera (сейчас часть Intel-а).

Тем не менее у меня дома завал FPGA плат и я готов провести ознакомительную сессию в духе российской Школы Синтеза Цифровых Схем для интересующихся. Возможно это поможет кому-нибудь в профориентации.

Такая сессия также может помочь трем группам потенциальных участников:

1. Программистам, которым хочется понять принципы работы железа. Не в виде научпопа (который часто устанавливает неверную картину как это все работает), а в виде практических упражнений. Из которых софтверный человек может четко понять например откуда берется тактовая частота (нет, это не количество действий, действий можете быть как несколько в одном такте, так и действие на протяжении нескольких тактов).

2. Разработчикам систем из софтвера и хардвера, чтобы расширить кругозор: можно ли ускорить какой-то алгоритм с помощью добавления к микроконтроллеру FPGA или даже создания гетерогенной системы из процессорных ядер и кастомных ускорителей?

3. Инвесторам, которым хочется понять, как работают хардверные стартапы. Тот же Давид Ян говорил, что перед инвестициями в ресторанный бизнес он попробовал поработать месяц поваром и официантом, чтобы понять такой бизнес.
   
   В микроэлектронике, EDA и semiconductor IP это тоже работает - если к вам прийдет фаундер и начнет грузить про новый процессор, как он уроет ARM и NVidia, вы можете хитро прищуриться и попросить его показать отчет о критическом пути от Synopsys STA и сколько тактов занимает CoreMark ("и без tightly coupled memory, пожалуйста, только на кэше") - а потом смотреть как фаундер извивается, как уж на сковородке.

А пока такого мероприятия в Долине нет - можно регистрироваться и смотреть российскую Школу Синтеза, в программе которой ближе к Новому году появится и проектирование процессоров: