В Курчатовском институте создали новый метод самообучения нейросетей

Ученые Курчатовского комплекса НБИКС-природоподобных технологий разработали алгоритм обучения спайковых нейронных сетей в динамической среде. Исследования помогут в создании биоподобных устройств, способных к самообучению в режиме реального времени при взаимодействии с окружающим миром. Результаты работы опубликованы в журнале Neural Networks:

Стремительное развитие сложных цифровых технологий требует новых вычислительных средств с повышенной производительностью и низким энергопотреблением. Ими могут стать нейроморфные микропроцессоры, работа которых основана на принципах действия человеческого мозга.

Развитие нейроморфных вычислительных систем требует разработки для них специальных алгоритмов анализа данных. Чтобы обеспечить гибкую реакцию на различные внешние стимулы, нужно реализовать процесс самообучения непосредственно на нейроморфном устройстве.

При этом нейросети, для которых предназначены нейроморфные устройства, импульсные: информация в них кодируется только наличием или отсутствием импульсов-спайков в каждый момент времени.

В Курчатовском институте предложили использовать для создания модели импульсной нейронной сети алгоритмы обучения с подкреплением (Reinforcement Learning, RL). При использовании RL-алгоритмов система обучается практически как человек — методом проб и ошибок. Главный принцип — "запоминание" правильного действия за счет его подкрепления.

"Современный уровень нейроморфных вычислительных устройств позволяет реализовать алгоритмы анализа данных с уже готовыми, заранее настроенными моделями импульсных сетей. Пример такого устройства — цифровой нейропроцессор “Алтай”, созданный компанией “Мотив-НТ”, — рассказывает Роман Рыбка, начальник группы нейроморфных алгоритмов Курчатовского комплекса НБИКС-природоподобных технологий. — Однако для реализации обучения непосредственно на устройстве требуются новые технологические решения. Одно из них — использование в качестве соединений между нейронами в импульсной нейронной сети мемристоров. Аналогично синапсам, соединяющим нейроны в живых нервных сетях, они способны изменять электрическое сопротивление в зависимости от проходящего по ним тока. Этот биоподобный механизм обеспечивает пластичность импульсных нейронных сетей, необходимую для их обучения".

Ученые смогли не только разработать алгоритм обучения, но и предсказать возможность его аппаратного исполнения, то есть подобрать необходимые материалы и другие технологические решения.

По словам Романа Рыбки, в перспективе нейроморфные системы с мемристивными синапсами смогут обучаться в процессе работы, в режиме реального времени. В частности, это необходимо для создания нейроморфных управляющих систем — например, для беспилотного транспорта или нейропротезов.