Реферат: Нейронные сети

РЕФЕРАТ

на тему«Нейронные сети»

Содержание

Введение

1. Свойстваискусственных нейронных сетей

2. Искусственныенейронные сети и экспертные системы

3. Основы искусственных нейронныхсетей

Вывод

Введение

Что такое искусственныенейронные сети? Что они могут делать? Как они работают? Как их можноиспользовать? Эти и множество подобных вопросов задают специалисты из разныхобластей. Найти вразумительный ответ нелегко. Университетских курсов мало,семинары слишком дороги, а соответствующая литература слишком обширна испециализированна. Готовящиеся к печати превосходные книги могут обескуражитьначинающих. Часто написанные на техническом жаргоне, многие из них предполагаютсвободное владение разделами высшей математики, редко используемыми в другихобластях.

Все важные понятияформулируются сначала обычным языком. Математические выкладки используются,если они делают изложение более ясным. В конце глав помещены сложные выводы идоказательства, а также приводятся ссылки на другие работы. Эти ссылкисоставляют обширную библиографию важнейших работ в областях, связанных сискусственными нейронными сетями. Такой многоуровневый подход не толькопредоставляет читателю обзор по искусственным нейронным сетям, но такжепозволяет заинтересованным лицам серьезнее и глубже изучить предмет.

После двух десятилетийпочти полного забвения интерес к искусственным нейронным сетям быстро вырос запоследние несколько лет. Специалисты из таких далеких областей, как техническоеконструирование, философия, физиология и психология, заинтригованывозможностями, предоставляемыми этой технологией, и ищут приложения им внутрисвоих дисциплин.

Это возрождениеинтереса было вызвано как теоретическими, так и прикладными достижениями.Неожиданно открылись возможности использования вычислений в сферах, до этогоотносящихся лишь к области человеческого интеллекта, возможности созданиямашин, способность которых учиться и запоминать удивительным образом напоминаетмыслительные процессы человека, и наполнения новым значительным содержаниемкритиковавшегося термина «искусственный интеллект».

1. Свойстваискусственных нейронных сетей

Искусственные нейронныесети индуцированы биологией, так как они состоят из элементов, функциональныевозможности которых аналогичны большинству элементарных функций биологическогонейрона. Эти элементы затем организуются по способу, который можетсоответствовать (или не соответствовать) анатомии мозга. Несмотря на такоеповерхностное сходство, искусственные нейронные сети демонстрируют удивительноечисло свойств присущих мозгу. Например, они обучаются на основе опыта, обобщаютпредыдущие прецеденты на новые случаи и извлекают существенные свойства изпоступающей информации, содержащей излишние данные.

Несмотря на такоефункциональное сходство, даже самый оптимистичный их защитник не предположит,что в скором будущем искусственные нейронные сети будут дублировать функциичеловеческого мозга. Реальный «интеллект», демонстрируемый самыми сложныминейронными сетями, находится ниже уровня дождевого червя, и энтузиазм долженбыть умерен в соответствии с современными реалиями. Однако равным образом было быневерным игнорировать удивительное сходство в функционировании некоторыхнейронных сетей с человеческим мозгом. Эти возможности, как бы они ни былиограничены сегодня, наводят на мысль, что глубокое проникновение в человеческийинтеллект, а также множество революционных приложений, могут быть не за горами.

Обучение

Искусственные нейронныесети могут менять свое поведение в зависимости от внешней среды. Этот фактор вбольшей степени, чем любой другой, ответствен за тот интерес, который онивызывают. После предъявления входных сигналов (возможно, вместе с требуемымивыходами) они самонастраиваются, чтобы обеспечивать требуемую реакцию. Былоразработано множество обучающих алгоритмов, каждый со своими сильными и слабымисторонами.

Обобщение

Отклик сети после обученияможет быть до некоторой степени нечувствителен к небольшим изменениям входныхсигналов. Эта внутренне присущая способность видеть образ сквозь шум иискажения жизненно важна для распознавания образов в реальном мире. Онапозволяет преодолеть требование строгой точности, предъявляемое обычнымкомпьютером, и открывает путь к системе, которая может иметь дело с темнесовершенным миром, в котором мы живем. Важно отметить, что искусственнаянейронная сеть делает обобщения автоматически благодаря своей структуре, а не спомощью использования «человеческого интеллекта» в форме специально написанныхкомпьютерных программ.

Абстрагирование

Некоторые изискусственных нейронных сетей обладают способностью извлекать сущность извходных сигналов. Например, сеть может быть обучена на последовательностьискаженных версий буквы «А». После соответствующего обучения предъявлениетакого искаженного примера приведет к тому, что сеть породит букву совершеннойформы. В некотором смысле она научится порождать то, что никогда не видела.

Эта способностьизвлекать идеальное из несовершенных входов ставит интересные философскиевопросы. Она напоминает концепцию идеалов, выдвинутую Платоном в его«Республике». Во всяком случае способность извлекать идеальные прототипыявляется у людей весьма ценным качеством.

Применимость

Искусственные нейронныесети не являются панацеей. Они, очевидно, не годятся для выполнения такихзадач, как начисление заработной платы. Похоже, однако, что им будет отдаватьсяпредпочтение в большом классе задач распознавания образов, с которыми плохо иливообще не справляются обычные компьютеры.

2. Искусственныенейронные сети и экспертные системы

В последние годы надискусственными нейронными сетями доминировали логические исимвольно-операционные дисциплины. Например, широко пропагандировалисьэкспертные системы, у которых имеется много заметных успехов, так же, как инеудач. Кое-кто говорит, что искусственные нейронные сети заменят собойсовременный искусственный интеллект, но многое свидетельствует о том, что онибудут существовать, объединяясь в системах, где каждый подход используется длярешения тех задач, с которыми он лучше справляется.

Эта точка зренияподкрепляется тем, как люди функционируют в нашем мире. Распознавание образовотвечает за активность, требующую быстрой реакции. Так как действия совершаютсябыстро и бессознательно, то этот способ функционирования важен для выживания вовраждебном окружении. Вообразите только, что было бы, если бы наши предкивынуждены были обдумывать свою реакцию на прыгнувшего хищника?

Когда наша системараспознавания образов не в состоянии дать адекватную интерпретацию, вопроспередается в высшие отделы мозга. Они могут запросить добавочную информацию изаймут больше времени, но качество полученных в результате решений может бытьвыше.

Можно представить себеискусственную систему, подражающую такому разделению труда. Искусственнаянейронная сеть реагировала бы в большинстве случаев подходящим образом навнешнюю среду. Так как такие сети способны указывать доверительный уровенькаждого решения, то сеть «знает, что она не знает» и передает данный случай дляразрешения экспертной системе. Решения, принимаемые на этом более высокомуровне, были бы конкретными и логичными, но они могут нуждаться в сборедополнительных фактов для получения окончательного заключения. Комбинация двухсистем была бы более мощной, чем каждая из систем в отдельности, следуя приэтом высокоэффективной модели, даваемой биологической эволюцией.

Соображениянадежности

Прежде чемискусственные нейронные сети можно будет использовать там, где поставлены накарту человеческая жизнь или ценное имущество, должны быть решены вопросы,относящиеся к их надежности.

Подобно людям,структуру мозга которых они копируют, искусственные нейронные сети сохраняют вопределенной мере непредсказуемость. Единственный способ точно знать выходсостоит в испытании всех возможных входных сигналов. В большой сети такаяполная проверка практически неосуществима и должны использоватьсястатистические методы для оценки функционирования. В некоторых случаях этонедопустимо. Например, что является допустимым уровнем ошибок для сети,управляющей системой космической обороны? Большинство людей скажет, любаяошибка недопустима, так как ведет к огромному числу жертв и разрушений. Это отношениене меняется от того обстоятельства, что человек в подобной ситуации также можетдопускать ошибки.

Проблема возникаетиз-за допущения полной безошибочности компьютеров. Так как искусственныенейронные сети иногда будут совершать ошибки даже при правильномфункционировании, то, как ощущается многими, это ведет к ненадежности –качеству, которое мы считаем недопустимым для наших машин.

Сходная трудностьзаключается в неспособности традиционных искусственных нейронных сетей«объяснить», как они решают задачу. Внутреннее представление,получающееся в результате обучения, часто настолько сложно, что его невозможнопроанализировать, за исключением самых простых случаев. Это напоминает нашунеспособность объяснить, как мы узнаем человека, несмотря на различие врасстоянии, угле, освещении и на прошедшие годы. Экспертная система можетпроследить процесс своих рассуждений в обратном порядке, так что человек можетпроверить ее на разумность. Сообщалось о встраивании этой способности вискусственные нейронные сети, что может существенно повлиять на приемлемостьэтих систем.

3. Основы искусственныхнейронных сетей

Искусственные нейронныесети чрезвычайно разнообразны по своим конфигурациям. Несмотря на такоеразнообразие, сетевые парадигмы имеют много общего.

Биологический прототип

Развитие искусственныхнейронных сетей вдохновляется биологией. То есть рассматривая сетевыеконфигурации и алгоритмы, исследователи мыслят их в терминах организациимозговой деятельности. Но на этом аналогия может и закончиться. Наши знания оработе мозга столь ограничены, что мало бы нашлось руководящих ориентиров длятех, кто стал бы ему подражать. Поэтому разработчикам сетей приходится выходитьза пределы современных биологических знаний в поисках структур, способныхвыполнять полезные функции. Во многих случаях это приводит к необходимостиотказа от биологического правдоподобия, мозг становится просто метафорой, исоздаются сети, невозможные в живой материи или требующие неправдоподобнобольших допущений об анатомии и функционировании мозга.

Несмотря на то, чтосвязь с биологией слаба и зачастую несущественна, искусственные нейронные сетипродолжают сравниваться с мозгом. Их функционирование часто напоминаетчеловеческое познание, поэтому трудно избежать этой аналогии. К сожалению, такиесравнения неплодотворны и создают неоправданные ожидания, неизбежно ведущие кразочарованию. Исследовательский энтузиазм, основанный на ложных надеждах,может испариться, столкнувшись с суровой действительностью, как это уже однаждыбыло в шестидесятые годы, и многообещающая область снова придет в упадок, еслине будет соблюдаться необходимая сдержанность.

Несмотря на сделанныепредупреждения, полезно все же знать кое-что о нервной системе млекопитающих,так как она успешно решает задачи, к выполнению которых лишь стремятсяискусственные системы. Последующее обсуждение весьма кратко. Приложение Асодержит более обширное (но ни в коем случае не полное) рассмотрение нервнойсистемы млекопитающих для тех, кто хочет узнать больше об этом восхитительномпредмете.

Нервная системачеловека, построенная из элементов, называемых нейронами, имеет ошеломляющуюсложность. Около 1011 нейронов участвуют в примерно 1015передающих связях, имеющих длину метр и более. Каждый нейрон обладает многимикачествами, общими с другими элементами тела, но его уникальной способностьюявляется прием, обработка и передача электрохимических сигналов по нервнымпутям, которые образуют коммуникационную систему мозга.

/>

Рис. 1.1. Биологический нейрон

На рис. 1.1показана структура пары типичных биологических нейронов. Дендриты идут от теланервной клетки к другим нейронам, где они принимают сигналы в точкахсоединения, называемых синапсами. Принятые синапсом входные сигналы подводятсяк телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудитьнейрон, другие – воспрепятствовать его возбуждению. Когда суммарное возбуждениев теле нейрона превышает некоторый порог, нейрон возбуждается, посылая поаксону сигнал другим нейронам. У этой основной функциональной схемы многоусложнений и исключений, тем не менее большинство искусственных нейронных сетеймоделируют лишь эти простые свойства.

Искусственныйнейрон

Искусственный нейронимитирует в первом приближении свойства биологического нейрона. На входискусственного нейрона поступает некоторое множество сигналов, каждый изкоторых является выходом другого нейрона. Каждый вход умножается насоответствующий вес, аналогичный синаптической силе, и все произведениясуммируются, определяя уровень активации нейрона.

На рис. 1.2представлена модель, реализующая эту идею. Хотя сетевые парадигмы весьмаразнообразны, в основе почти всех их лежит эта конфигурация. Здесь множествовходных сигналов, обозначенных x1,x2,…,xn, поступает наискусственный нейрон. Эти входные сигналы, в совокупности обозначаемые векторомX, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждыйсигнал умножается на соответствующий вес w1,w2,…,wn, и поступает насуммирующий блок, обозначенный Σ.Каждый вес соответствует «силе» одной биологической синаптической связи.(Множество весов в совокупности обозначается вектором W.) Суммирующий блок,соответствующий телу биологического элемента, складывает взвешенные входыалгебраически, создавая выход, который мы будем называть NET.В векторных обозначениях это может быть компактно записано следующим образом:

NET = XW.

Активационныефункции

Сигнал NETдалее, как правило, преобразуется активационной функцией F и дает выходнойнейронный сигнал OUT. Активационнаяфункция может быть обычной линейной функцией

OUT = K(NET),

где К – постоянная,пороговой функции

OUT=1, еслиNET>T,  OUT =0 в остальных случаях,

где Т – некотораяпостоянная пороговая величина, или же функцией, более точно моделирующейнелинейную передаточную характеристику биологического нейрона и представляющейнейронной сети большие возможности.

/>

Рис. 1.3 Искусственный нейрон с активационной функцией

На рис. 1.3 блок,обозначенный F, принимает сигнал NETи выдает сигнал OUT. Если блок Fсужает диапазон изменения величины NETтак, что при любых значениях NETзначения OUT принадлежат некоторомуконечному интервалу, то F называется «сжимающей» функцией. В качестве«сжимающей» функции часто используется логистическая или «сигмоидальная»(S-образная) функция, показанная на рис. 1.4а. Эта функция математическивыражается как F(x)= 1/(1 + е-x).Таким образом,

/>.

По аналогии сэлектронными системами активационную функцию можно считать нелинейнойусилительной характеристикой искусственного нейрона. Коэффициент усилениявычисляется как отношение приращения величины OUTк вызвавшему его небольшому приращению величины NET.Он выражается наклоном кривой при определенном уровне возбуждения и изменяетсяот малых значений при больших отрицательных возбуждениях (кривая почтигоризонтальна) до максимального значения при нулевом возбуждении и сновауменьшается, когда возбуждение становится большим положительным. Гроссберг(1973) обнаружил, что подобная нелинейная характеристика решает поставленную имдилемму шумового насыщения. Каким образом одна и та же сеть может обрабатыватькак слабые, так и сильные сигналы? Слабые сигналы нуждаются в большом сетевомусилении, чтобы дать пригодный к использованию выходной сигнал. Однакоусилительные каскады с большими коэффициентами усиления могут привести кнасыщению выхода шумами усилителей (случайными флуктуациями), которыеприсутствуют в любой физически реализованной сети. Сильные входные сигналы всвою очередь также будут приводить к насыщению усилительных каскадов, исключаявозможность полезного использования выхода. Центральная область логистическойфункции, имеющая большой коэффициент усиления, решает проблему обработки слабыхсигналов, в то время как области с падающим усилением на положительном иотрицательном концах подходят для больших возбуждений. Таким образом, нейронфункционирует с большим усилением в широком диапазоне уровня входного сигнала.

/>.

/>

Рис. 1.4а. Сигмоидальная логистическая функция

Другой широкоиспользуемой активационной функцией является гиперболический тангенс. По формеона сходна с логистической функцией и часто используется биологами в качествематематической модели активации нервной клетки. В качестве активационнойфункции искусственной нейронной сети она записывается следующим образом:

OUT = th(x).

/>

Рис. 1.4б. Функция гиперболического тангенса

Подобно логистическойфункции гиперболический тангенс является S-образной функцией, но он симметриченотносительно начала координат, и в точке NET= 0 значение выходного сигнала OUTравно нулю (см. рис. 1.4б). В отличие от логистической функции гиперболическийтангенс принимает значения различных знаков, что оказывается выгодным для рядасетей

Рассмотренная простаямодель искусственного нейрона игнорирует многие свойства своего биологическогодвойника. Например, она не принимает во внимание задержки во времени, которыевоздействуют на динамику системы. Входные сигналы сразу же порождают выходнойсигнал. И, что более важно, она не учитывает воздействий функции частотноймодуляции или синхронизирующей функции биологического нейрона, которые рядисследователей считают решающими.

Несмотря на этиограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильнонапоминающие биологическую систему. Только время и исследования смогут ответитьна вопрос, являются ли подобные совпадения случайными или следствием того, чтов модели верно схвачены важнейшие черты биологического нейрона.

искусственная нейронная сеть

Вывод

Искусственные нейронныесети являются важным расширением понятия вычисления. Они обещают созданиеавтоматов, выполняющих функции, бывшие ранее исключительной прерогативойчеловека. Машины могут выполнять скучные, монотонные и опасные задания, и сразвитием технологии возникнут совершенно новые приложения.

Теория искусственныхнейронных сетей развивается стремительно, но в настоящее время онанедостаточна, чтобы быть опорой для наиболее оптимистических проектов. Вретроспективе видно, что теория развивалась быстрее, чем предсказывалипессимисты, но медленнее, чем надеялись оптимисты, – типичная ситуация.Сегодняшний взрыв интереса привлек к нейронным сетям тысячи исследователей.Резонно ожидать быстрого роста нашего понимания искусственных нейронных сетей,ведущего к более совершенным сетевым парадигмам и множеству прикладныхвозможностей.