История нейронных сетей - Устройство нейронных сетей
На заре развития электронно-вычислительной техники в середине ХХ века среди ученых и конструкторов еще не существовало единого мнения ок том, как должна быть реализована и по какому принципу работать типовая электронно-вычислительная машина. Это сейчас мы с Вами изучаем в курсах Основ информатики архитектуру машины фон Неймана, по которой построены практически все существующие сегодня компьютеры. При этом в тех же учебниках ни слова не говорится о том, что в те же годы были предложены принципиально иные архитектуры и принципы действия компьютеров. Одна из таких схем получила название нейросетевого компьютера, или просто нейросети.
Первый интерес к нейросетям был обусловлен пионерской работой МакКаллока и Питса, изданной в 1943 году, где предлагалась схема компьютера, основанного на аналогии с работой человеческого мозга. Они создали упрощенную модель нервной клетки - Нейрон. Мозг человека состоит из белого и серого веществ: белое - это тела нейронов, а серое - это соединительная ткань между нейронами, или Аксоны и дендриты. Мозг состоит примерно из 1011 нейронов, связанных между собой. Каждый нейрон получает информацию через свои дендриты, а передает ее дальше только через единственных аксон, разветвляющийся на конце на тысячи Синапсов.
Простейший нейрон может иметь до 10000 дендритов, принимающих сигналы от других клеток. Таким образом, мозг содержит примерно 1015 взаимосвязей. Если учесть, что любой нейрофизиологический процесс активизирует сразу множество нейронов, то можно представить себе то количество информации или сигналов, которое возникает в мозгу.
Нейроны взаимодействуют посредством серий импульсов, длящихся несколько миллисекунд, каждый импульс представляет собой частотный сигнал с частотой от нескольких единиц до сотен герц. Это невообразимо медленно по сравнению с современными компьютерами, но в тоже время человеческий мозг гораздо быстрее машины может обрабатывать аналоговую информацию, как-то: узнавать изображения, чувствовать вкус, узнавать звуки, читать чужой почерк, оперировать качественными параметрами. Все это реализуется посредством сети нейронов, соединенных между собой синапсами. Другими словами, мозг --это система из параллельных процессоров, работающая гораздо эффективнее, чем популярные сейчас последовательные вычисления.
Кстати говоря, недавно в одном из журналов я читал, что технология последовательных вычислений подошла к пределу своих технических возможностей, и в настоящее время остро стоит проблема развития методов параллельного программирования и создания параллельных компьютеров. Так что, может быть, нейросети являются только очередным шагом в этом направлении.
Устройство нейронных сетей
Искусственным нейроном называется простой элемент, сначала вычисляющий взвешенную сумму V входных величин XI :
.
Здесь N - размерность пространства входных сигналов.
Затем полученная сумма сравнивается с пороговой величиной W0, вслед за чем вступает в действие нелинейная функция активации f. Коэффициенты WI во взвешенной сумме обычно называют Синаптическими коэффициентами Или Весами. Саму же взвешенную сумму V мы будем называть потенциалом нейрона I. Выходной сигнал тогда имеет вид f(V).
Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале. В этом случае мы говорим о Расширенном входном пространстве: нейрон с N-мерным входом имеет N+1 весовой коэффициент. Если ввести в уравнение пороговую величину W0, то оно перепишется так:
.
В зависимости от способа преобразования сигнала и характера активации возникают различные виды нейронных структур. Существуют Детерминированные нейроны, Когда активизирующая функция однозначно вычисляет выход по входу, и Вероятностные нейроны, Состояние которых в момент t есть случайная функция потенциала и состояния в момент t-1. Я знаком только с детерминированными нейронами, поэтому далее я буду говорить только о них.
Функции активации
В искусственных нейронах могут быть различные функции активации, но и в используемых мной программах, и в известной литературе указаны только следующие виды функций:
Линейная: выходной сигнал нейрона равен его потенциалу,
Пороговая: нейрон выбирает решение из двух вариантов: активен / неактивен,
Многопороговая: выходной сигнал может принимать одно из q значений, определяемых (q-1) порогом внутри предельных значений.
Сигмоидная: рассматриваются два вида сигмоидных функций:
С выходными значениями в промежутке [0,1] и
С выходными значениями в промежутке [-1,1].
Рис. 2
Коэффициент b определяет Крутизну Сигмоида. Поскольку сигмоидная функция является гладким отображением (-,) на (-1,1), то крутизну можно учесть через величины весов и порогов, и без ограничения общности можно полагать ее равной единице. Графические изображения простейшего нейрона и виды функций с их графиками приведены на рис. 2.
Похожие статьи
-
Язык описания нейронных сетей предназначен для хранения сетей на диске. Следует отметить, что в отличии от таких компонентов, как предобработчик входных...
-
Повторитель (repeater) Усиливает сигнал сетевого кабеля, который затухает на расстоянии более 100 м. Он работает на физическом уровне стека протоколов,...
-
Впервые последовательное описание конструирования нейронных с Етей из элементов было предложено в книге А. Н. Горбаня [65]. Однако за прошедшее время...
-
Устройства СРЕ практически объединяют в общем случае в единое целое локальные сети помещения пользователя с глобальными сетями, соединяющими конечных...
-
История развития персональных компьютеров - Устройство персонального компьютера
Как был изобретен компьютер. Слово "компьютер" означает "вычислитель", т. е. устройство для вычислений. Потребность в автоматизации обработки данных, в...
-
С помощью вкладки "Управление доступом" устанавливается способ управления доступом к общим ресурсам. Имеются два варианта: управление на уровне...
-
История развития сети Интернет - Компьютерные сети
1969 г. Рождение ARPAnet Леонард Клейнрок рядом с первым интерфейсным процессором сообщений (коммутатором пакетов) Леонард Клейнрок -- один из авторов...
-
Описание устройства, технические характеристики, необходимое программное обеспечение в ООО "ЖБК №9" Чтобы не потратить деньги на оборудование,...
-
Исходя из рисунка 2.1.1 и технического задания видно, что: - Требуется подключить три компьютера на три рабочих места в приемной; - Один компьютер...
-
История развития сети Internet - Возникновение, современное состояние и развитие Internet
В 1961 году Defence Advanced Research Agensy (DARPA) по заданию министерства обороны США приступило к проекту по созданию экспериментальной сети передачи...
-
Расчет потребного числа отдельных устройств автовокзала Расчет числа билетных касс Число билетных касс должно обеспечивать полное и своевременное...
-
Сетевая топология - Сеть абонентского доступа
Под сетевой топологией принято понимать способ описания конфигурации сети, схему расположения и соединения сетевых устройств. Существует множество...
-
Описание нейронных сетей - Функциональные модели универсального нейрокомпьютера
В первой части этой главы описана система построения сетей из элементов. Описаны прямое и обратное функционирование сетей и составляющих их элементов....
-
Основные правила техники безопасности при работе с волоконно-оптическими устройствами При работе с оптическим кабелем и другим волоконно-оптическим...
-
Самым важным свойством нейронных сетей является их способность обучаться на основе данных окружающей среды и в результате обучения повышать свою...
-
Несмотря на большое разнообразие вариантов нейронных сетей, все они имеют общие черты. Так, все они, так же, как и мозг человека, состоят из большого...
-
Сети - Устройство персонального компьютера
Под сетью подразумевается два и более компьютеров объединенных в сеть в целях обмены информации и совместного управления ресурсами. Различают локальные и...
-
История и основные парадигмы Следующий виток развития информационных технологий находится вне области настольных компьютеров. В парадигме Интернета Вещей...
-
История сети ИНТЕРНЕТ, Региональные компьютерные сети и Интернет - Глобальная сеть Интернет
В 1961 году Defense Advanced Research Agency (DARPA) по заданию министерства обороны США приступило к проекту по созданию экспериментальной сети передачи...
-
История функционального программирования - Основные свойства функциональных языков программирования
Широко известно, что теоретические основы императивного программирования были заложены еще в 30-х годах XX века учеными Аланом Тьюрингом и Джоном фон...
-
Из рисунка 2.1.2 и технического задания видно, что: Требуется обеспечить выходом в сеть все квартиры, в том числе беспроводным. Логичнее всего установить...
-
D-триггер (от английского DELAY) называют информационным триггером, также триггером задержки. D - триггер бывает только синхронным. Он может управляться...
-
Как уже отмечалось в разделе "Различимость входных данных" числовые сигналы рекомендуется масштабировать и сдвигать так, чтобы весь диапазон значений...
-
Блок накопителя импульсного входа (Pulse Input Totalizer Block) предоставляет функция накопления расхода, дополняющую блок канала импульсного входа...
-
Шина - это кабель, состоящий из множества проводников. По одной группе проводников - шине данных передается обрабатываемая информация, по другой - шине...
-
Защита сетей - Защита информации в компьютерных сетях
В последнее время корпоративные сети все чаще включаются в Интернет или даже используют его в качестве своей основы. Учитывая то, какой урон может...
-
Классификация компьютерных сетей - Теоретические основы информационных процессов и систем
Для классификации компьютерных сетей используются разные признаки, выбор которых заключается в том, чтобы выделить из существующего многообразия такие,...
-
Топология звезда - Проектирование учебной локальной вычислительной сети
Звезда - это топология с явно выделенным центром, к которому подключаются все остальные абоненты. Весь обмен информацией идет исключительно через...
-
Звуковая карта для компьютера - Звуковая карта. Устройство, назначение ремонт
Звуковая карта - неотъемлемый атрибут мультимедийного компьютера. Раньше, когда ПК были древними и жутко медленными, звуковую карту для компьютера...
-
Обзор сетей передачи данных, Определение локальных сетей - Сеть абонентского доступа
Определение локальных сетей Способов и средств обмена информацией за последнее время предложено множество: от простейшего переноса файлов с помощью...
-
Компьютеры появились очень давно в нашем мире, но только в последнее время их начали так усиленно использовать во многих отраслях человеческой жизни. Еще...
-
Значение параметра для State, Статуса Выполнения, Команды, метода и свойства метода упомянуты ниже для быстрой ссылки. Таблица 47.1 PUSH блок Функция...
-
Написать программу на С++ моделирующую двухслойную нейронную сеть структуры согласно варианту, указанному в таблице 4. Таблица 4 Варианты заданий для...
-
Выход в Internet, Некоторые полезные программы - Глобальная сеть Интернет
Для работы в Internet нужно, прежде всего, установить связь по IP протоколу с организацией, предоставляющей услуги работы в глобальной компьютерной сети...
-
Блоки памяти являются одними из основных компонентов, применяемых для реализации различных вычислительных устройств. Если для создания вычислительного...
-
Поскольку в точке ветвления не происходит преобразования сигнала, то константа Липшица для нее равна единице. Сумматор Производная суммы по любому из...
-
Поколения, Первое поколение - Развитие истории ЭВМ
На протяжении 50 лет появилось, сменяя друг друга, несколько поколений ЭВМ. Бурное развитие ВТ во всем мире определяется только за счет передовых...
-
Уже пакетный режим в своем развитом варианте требует разделения процессорного времени между выполнением нескольких программ. Необходимость в разделении...
-
Документирование сети Ведение документирования сети дает сетевому администратору целый ряд преимуществ. Документирование сети служит: инструментом для...
-
Концентраторы - Построение локальных сетей по стандартам физического и канального уровней
Основные и дополнительные функции концентраторов Практически во всех современных технологиях локальных сетей определено устройство, которое имеет...
История нейронных сетей - Устройство нейронных сетей