Новое открытие в области нейробиологии: природа тоже занимается оптимизацией нейросетей с помощью прунинга

Способ повышения эффективности искусственных нейросетей путем удаления лишних межнейронных связей, имеющих после обучения близкие к нулю значения весов (так называемый прунинг) неожиданно оказался одним из способов настройки и обучения равным образом для их биологических "собратьев".

В недавно опубликованной в Nature Communications статье рассказывается о последних результатах исследования группой ученых из австрийского Института Науки и Технологий перестроек межнейронных связей при обучении. Они изучали, как так называемые пирамидальные нейроны в гиппокампе учатся настраивать связи межу собой итак, что бы обрабатывать входящую информацию наиболее эффективным образом. Вплоть до последнего времени была популярна теория, что млекопитающие рождаются с минимальным количеством связей между нейронами в головном мозгу, а потом, по мере взросления, постепенно их образовывают в процессе обучения. Но реальность, по чрезвычайной мере, для пирамидальных нейронов гиппокампа, оказалась практически прямо противоположной. Но, давайте обо всем по порядку.

Гиппокамп служит для сортировки приходящей из коры головного мозга информации и определения той ее составляющей, которую имеет смысл запомнить. Изначально информация поступает в него, главным образом, из так называемой энторинальной коры (Entorhinal cortrex), расположенной в височной доле головного мозга. Указанный участок коры играет ключевую роль в навигации и ориентации в пространстве. Из него информация поступают в зубчатую извилину (Dentate gyrus), в которой происходит предобработка информации, в частности, определяется, насколько поступившая данные является новой по отношению к уже "виденной" мозгом. Наконец, данные доходит до весьма важного района гиппокампа, имеющего название CA3.

Это очень сложно устроенная область с большим количеством пирамидальных нейронов с густыми дендритными ветвями. Данная структура участвует в кодировании новых эпизодических воспоминаний. В ее функции входит так же сопровождение ассоциативной памяти. Область CA3 считается ключевым узлом для процесса обработки паттернов, позволяющим находить в них как общие, так и отличительные признаки. Благодаря обширным рекуррентным межнейронным связям внутри области CA3 она может формировать устойчивые ансамбли нейронной активности, которые кодируют конкретные эпизоды из жизни животного и места, которые оно уже посещало. Это позволяет данному району гиппокампа восстанавливать целостные воспоминания даже по частичным и фрагментарным входным данным.

Наконец, после обработки в области CA3, информация поступает в область CA1, ответственную за обучение и память. Она играет решающую роль в формировании итоговых воспоминаний, отправляя уже обработанную и разложенную по полочкам информацию в другие области мозга. Вся эта конструкция в общем и целом называется трисинаптическая сеть (Trisynaptic circuit) гиппокампа.

Как показали исследования авторов статьи, межнейронные связи в рекуррентной сети пирамидных нейронов области CA3 сразу после рождения мышонка выглядят почти полностью хаотичными, с практически случайными межнейронными связями. Но по мере его развития большая часть связей исчезает в результате их целенаправленного подавления, и около через полтора - два месяца формат стабилизируется с количеством связей на уровне в некоторое количество раз меньшем того, который наблюдался при рождении. Меняется и характер отклика нейронов, если изначально они, обычно, бурно возбуждались даже от слабого сигнала, поступившего на какой-то из их синапсов, то теперь они реагируют в достаточной степени редко и избирательно, активно откликаясь лишь на определенные сочетания сигналов, поступающих на вход.

Как показали дополнительные исследования, количество связей уменьшается именно из-за подавления "лишних" аксонов, а суммарная длина дендритов по мере взросления мышей даже росла. Другими словами - повысилась избирательность передачи информации между нейронами, усилилась их специализация. В целом и целом это похоже на дополнительную настройку нейросети после ее первичного обучения путем удаления малоинформативных связей, которая нередко применяется для ускорения работы, уменьшения объема памяти и понижения итогового энергопотребления "кремниевых" нейросетей.