`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Нейросети позаимствовали механизм долгосрочной памяти у человеческих нейронов

+11
голос

В журнале PLOS One трое исследователей из Льежского университета (Бельгия) сообщили о разработке нового искусственного нейрона, в котором они воплотили режимы работы, свойственные нейронам человека.

Анализ временных рядов, который позволяет предсказывать будущие события на основании прошлых, является особенно перспективой областью применения методов машинного обучения. Для этого в последние годы были специально созданы так называемые рекуррентные нейронные сети (RNN). Они оснащены памятью, которая позволяет сохранять информацию для правильной обработки временных рядов. Однако RNN сложны в обучении, кроме того ёмкость их памяти накладывает ограничения на глубину запоминаемой информации.

Напротив, человеческие нейроны способны хранить информацию практически бесконечно, благодаря механизму бистабильности. Он позволяет нейронам стабилизироваться в одном из двух состояний на основании бесконечной истории прохождения через них электрических токов. Иными словами, за счёт этого нейроны мозга могут хранить бит (двоичное значение) информации как угодно долго.

Бельгийским исследователям удалось встроить подобную бистабильность в сконструированный ими искусственный нейрон — Bistable Recurrent Cell (BRC), который затем был интегрирован в рекуррентную нейросеть.

Такое усовершенствование позволило рекуррентным сетям изучить временные отношения на более, чем 1000 временных шагах (классические методы обычно терпят неудачу уже после 100 временных шагов).

Трое учёных продолжают свои исследования в этой области, в частности, рассчитывают улучшить память RNN, способствуя возникновению в ней точек равновесия.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+11
голос

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT