Ученые обнаружили биологические отголоски в мощных моделях преобразователей ИИ

Ученые обнаружили биологические отголоски в мощных моделях преобразователей ИИ

Электронные нейронные сети, одна из ключевых концепций в исследованиях искусственного интеллекта, с самого начала своего существования черпали вдохновение в биологических нейронах, о чем свидетельствует их название. Новые исследования показали, что влиятельная архитектура преобразователей ИИ также имеет неожиданные параллели с нейробиологией человека.

В совместном исследовании ученые предполагают, что биологические сети астроцитов и нейронов могут имитировать основные вычисления преобразователей. Или наоборот. Результаты совместного исследования, проведенного Массачусетским технологическим институтом, Лабораторией искусственного интеллекта MIT-IBM Watson и Гарвардской медицинской школой, опубликованы на этой неделе в журнале Proceedings of the National Academy of Sciences.

Астроцитарно-нейронные сети - это сети клеток в мозге, состоящие из двух типов клеток: астроцитов и нейронов. Астроциты - это клетки, которые поддерживают и регулируют работу нейронов - клеток мозга, посылающих и принимающих электрические импульсы. Их деятельность, по сути, является мышлением. Астроциты и нейроны общаются друг с другом с помощью химических веществ, электричества и прикосновений.

С другой стороны, ИИ-преобразователи - впервые представленные в 2017 году - являются одной из базовых технологий, лежащих в основе генеративных систем типа ChatGPT. Собственно, отсюда и буква Т (Transformer) в слове GPT. В отличие от нейронных сетей, которые обрабатывают входные данные последовательно, преобразователи могут напрямую обращаться ко всем входным данным с помощью механизма, называемого самовниманием. Это позволяет им изучать сложные зависимости в таких данных, как текст.

ИИ теперь может воспроизводить музыку, читая мысли

Исследователи сосредоточили свое внимание на трехсторонних синапсах - узлах, где астроциты образуют связи между нейроном, посылающим сигналы (пресинаптическим нейроном), и нейроном, принимающим сигналы (постсинаптическим нейроном).

С помощью математического моделирования они продемонстрировали, как интеграция астроцитами сигналов во времени может обеспечить необходимую пространственную и временную память для самовнимания. Их модели также показывают, что биологический преобразователь может быть построен на основе кальциевой сигнализации между астроцитами и нейронами. TL;DR, это исследование объясняет, как создать органический преобразователь.

Астроциты, остававшиеся электрически молчаливыми на протяжении более чем столетия записей мозга, являются одной из самых многочисленных, но малоизученных клеток мозга, - сказал MIT Константинос Мичмизос, доцент факультета информатики Ратгерского университета. Потенциал раскрытия вычислительной мощи второй половины нашего мозга огромен.

Гипотеза опирается на появившиеся данные о том, что астроциты играют активную роль в обработке информации, в отличие от ранее предполагавшихся функций по поддержанию жизнедеятельности. Она также описывает биологическую основу преобразователей, которые могут превосходить традиционные нейронные сети в решении таких задач, как генерация связного текста.

Предложенные биологические преобразователи могут дать новое представление о человеческом познании, если будут подтверждены экспериментально. Однако между человеком и моделями-преобразователями, требовательными к объему данных, остается значительный разрыв. В то время как преобразователи требуют огромных наборов обучающих данных, человеческий мозг органично преобразует опыт в язык при скромном энергетическом бюджете.

Несмотря на то, что связи между нейронауками и искусственным интеллектом позволяют понять всю сложность нашего разума, постижение его остается сложнейшей задачей. Биологические связи представляют собой лишь одну из частей головоломки - раскрытие хитросплетений человеческого интеллекта требует постоянных усилий в рамках различных дисциплин. Как нейронная биология достигает этого волшебства, остается глубочайшей загадкой для науки.