Пределы памяти рекуррентных нейронных сетей со стиранием устаревшей информации

Исследуются возможности рекуррентных нейронных сетей с управляемыми синапсами со стиранием устаревшей информации. Решается задача оценки емкости памяти этих сетей. Отмечается, что для ее решения из-за специфики правил запоминания информации известные методы не пригодны. Они не ориентированы на оценку запоминания длинных последовательностей совокупностей единичных образов. В них не принимается во внимание предельный суммарный вес синапсов, активно используемых в качестве элементов памяти, не учитывается зависимость емкости памяти от функций ослабления сигналов в сети. Рассматривается новый метод оценки емкости памяти рекуррентных нейронных сетей, обрабатывающих информацию в реальном масштабе времени. Приводится спиральная структура сети на уровне нейросетевых каналов. Получено аналитическое выражение, связывающее емкость памяти таких сетей с их параметрами. В качестве этих параметров выступают число нейронов и предельно достижимый суммарный вес синапсов сети, средние значения функций ослабления расходящихся и сходящихся в сети единичных образов и другие. Показано, что предельные оценки емкости памяти рекуррентных нейронных сетей выше, чем считалось ранее. На один синапс может приходиться больше двух бит информации. Сформулированы рекомендации по совершенствованию рекуррентных нейронных сетей. В качестве элементов долговременной памяти предлагается использовать только те синапсы, которые связывают нейроны, обеспечивающие встречное продвижение единичных образов в сети.

• Осипов В.Ю.

• Общий отдел

• Технические науки. Промышленность
• Физико-математические науки
• Естественные науки