Історія розвитку нейронних мереж

Людей завжди цікавило їх власне мислення. Це думання мозку про себе самого є, можливо, відмінною рисою людини. Є безліч роздумів про природу мислення, що тягнуться від духовних до анатомічних. Обговорення цього питання, що протікало в гарячих спорах філософів і теологів з фізіологами і анатомами, принесло мало користь, оскільки сам предмет досить важкий для вивчення. Ті, хто спирався на самоаналіз і роздум, дійшли висновків, що не відповідають рівню суворості фізичних наук. Експериментатори ж знайшли, що мозок важкий для спостереження і ставить в тупик своєю організацією. Коротше кажучи, могутні методи наукового дослідження, що змінили наш погляд на фізичну реальність, виявилися безсилими в розумінні самої людини.

Нейробіологи і нейроанатоми досягли значного прогресу. Старанно вивчаючи структуру і функції нервової системи людини, вони багато що зрозуміли в "електропроводці" мозку, але мало дізналися про його функціонування. У процесі накопичення ними знань з'ясувалося, що мозок має приголомшуючу складність. Сотні мільярдів нейронів, кожний з яких сполучений з сотнями або тисячами інших, утворюють систему, що далеко перевершує наші самі сміливі мрії про суперкомп'ютери. Проте мозок поступово видає свої секрети в процесі одного з самих напружених і честолюбних досліджень в історії людства.

Краще розуміння функціонування нейрона і картини його зв'язків дозволило дослідникам створити математичні моделі для перевірки своїх теорій. Експерименти тепер можуть проводитись на цифрових комп'ютерах без залучення людини або тварин, що вирішує багато практичних і морально-етичних проблем. У перших же роботах з'ясувалося, що ці моделі не тільки повторюють функції мозку, але і здатні виконувати функції, що мають свою власну цінність. Тому виникли і залишаються в цей час дві взаємно збагачуючі один одного цілі нейронного моделювання: перша зрозуміти функціонування нервової системи людини на рівні фізіології і психології і друга створити обчислювальні системи (штучні нейронні мережі), що виконують функції, схожі з функціями мозку.

Паралельно з прогресом в нейроанатомії і нейрофізіології психологами були створені моделі людського навчання. Однією з таких моделей, найбільш плідною, що виявилася, була модель Д. Хеба, який в 1949 р. запропонував закон навчання, що був стартовою точкою для алгоритмів навчання штучних нейронних мереж. Доповнений сьогодні множиною інших методів він продемонстрував вченим того часу, як мережа нейронів може навчатися.

У п'ятдесяті і шістдесяті роки група дослідників, об'єднавши ці біологічні і фізіологічні підходи, створила перші штучні нейронні мережі. Виконані спочатку як електронні мережі, вони були пізніше перенесені в більш гнучку середу комп'ютерного моделювання, що збереглася і в цей час. Перші успіхи викликали вибух активності і оптимізму. Мінський, Розенблат, Уїдроу і інші розробили мережі, що складаються з одного прошарку штучних нейронів. Названі перцептронами, вони були використані для такого широкого класу задач, як прогноз погоди, аналіз електрокардіограм і штучний зір. Протягом деякого часу здавалося, що ключ до інтелекту знайдений і відтворення людського мозку є лише питанням конструювання досить великої мережі.

Але ця ілюзія скоро розсіялася. Мережі не могли вирішувати задачі, зовні схожі з тими, які вони успішно вирішували. З цих нез'ясовних невдач почався період інтенсивного аналізу. Мінський, використовуючи точні математичні методи, суворо довів ряд теорем, що відносяться до функціонування мереж.

Його дослідження привели до написання книги [4], в якій він разом з Пайпертом довів, що одношарові мережі, що використовувались в той час, теоретично нездатні вирішувати багато простих задач, в тому числі реалізувати функцію "Виключаюче АБО". Мінський також не був оптимістичний відносно потенційно можливого тут прогресу:

Перцептрон заслуговує вивчення, незважаючи на жорсткі обмеження (і навіть завдяки їм). У нього багато привабливих властивостей: лінійність, цікава теорема про навчання, простота моделі паралельних обчислень. Немає підстав вважати, що ці достоїнства зберігатимуться при переході до багатошарових систем. Проте ми вважаємо важливою задачею для дослідження підкріплення (або спростування) нашого інтуїтивного переконання, що такий перехід безплідний.

Можливо, буде відкрита якась могутня теорема про збіжність або знайдена глибока причина невдач дати цікаву "теорему навчання" для багатошарових машин ([4], с.231-232).

Блиск і суворість аргументації Мінського, а також його престиж породили величезне довір'я до книги її висновки були незаперечливими. Розчаровані дослідники залишили поле досліджень заради більш перспективних областей, а уряди перерозподілили свої субсидії, і штучні нейронні мережі були забуті майже на два десятиріччя.

Проте декілька найбільш наполегливих вчених, таких як Кохонен, Гросберг, Андерсон продовжили дослідження. Нарівні з поганим фінансуванням і недостатньою оцінкою ряд дослідників мали труднощі з публікаціями. Тому дослідження, опубліковані в сімдесяті і на початку вісімдесятих років, розкидані в масі різних журналів, деякі з яких маловідомі. Поступово з'явився теоретичний фундамент, на основі якого сьогодні конструюються найбільш могутні багатошарові мережі. Оцінка Мінського виявилася зайво песимістичної, багато які з поставлених в його книзі задач вирішуються зараз мережами за допомогою стандартних процедур.

За останні декілька років теорія стала застосовуватися в прикладних областях і з'явилися нові корпорації, що займаються комерційним використанням цієї технології. Наростання наукової активності носило вибуховий характер. У 1987 р. було проведено чотири великих наради зі штучних нейронних мереж і опубліковано понад 500 наукових повідомлень феноменальна швидкість зростання.

Урок, який можна витягнути з цієї історії, виражається законом Кларка, висуненим письменником і вченим Артуром Кларком. У ньому затверджується, що, якщо великий шановний вчений говорить, що щось може бути виконане, то він майже завжди правий. Якщо ж вчений говорить, що це не може бути виконане, то він майже завжди не правий. Історія науки є літописом помилок і часткових істин. Те, що сьогодні не зазнає сумнівів, завтра відкидається. Некритичне сприйняття "фактів" незалежно від їх джерела може паралізувати науковий пошук. З одного боку, блискуча наукова робота Мінського затримала розвиток штучних нейронних мереж. Немає сумнівів, однак, в тому, що область постраждала внаслідок необґрунтованого оптимізму і відсутності достатньої теоретичної бази. І можливо, що шок, викликаний книгою "Перцептрони", забезпечив необхідний для дозрівання цієї наукової області період.

Вивченню людського мозку - тисячі років. З появою сучасної електроніки, почались спроби апаратного відтворення процесу мислення. Перший крок був зроблений у 1943 р. З виходом статті нейрофізіолога Уоррена Маккалоха (Warren McCulloch) і математика Уолтера Піттса (Walter Pitts) про роботу штучних нейронів і представлення моделі нейронної мережі на електричних схемах.

В 1949 р. опублікована книга Дональда Хебба (Donald Hebb) "Організація поведінки". В ній досліджена проблематика налаштування синаптичних зв'язків.

В 1950-х рр. з'являються програмні моделі штучних нейромереж. Перші роботи провів Натаніел Рочестер (Nathanial Rochester) з дослідної лабораторії IBM. І хоча пізніші реалізації були успішними, його модель зазнала невдачі, оскільки бурхливий зріст традиційних обчислень залишив у затінку нейронні дослідження.

В 1956 р. Дартмутський дослідний проект з штучного інтелекту забезпечив підйом штучного інтелекту, зокрема нейронних мереж. Стимулювання досліджень штучного інтелекту розгалузилось в двох напрямках: промислові застосування систем штучного інтелекту (експертні системи) та моделювання мозку.

В 1958 р. Джон фон Нейман (John fon Neumann) запропонував імітацію простих функцій нейронів з використанням телеграфної передачі або вакуумних трубок.

В 1959 р. Бернард Відров (Bernard Widrow) та Марсіан Хофф (Marcian Hoff) розробили моделі ADALINE та MADALINE (Множинні Адаптивні Лінійні Елементи (Multiple ADAptive LINear Elements)). MADALINE діяла, як адаптивний фільтр, що усував відлуння на телефонних лініях. Ця нейромережа досі в комерційному використанні.

Нейробіолог Френк Розенблатт (Frank Rosenblatt) почав роботу над перцептроном. Одношаровий перцептрон був збудований апаратно і вважається класичною нейромережею. На той час перцептрон використовувався у класифікації множини вхідних сигналів у один з двох класів. На жаль, одношаровий перцептрон був обмеженим і зазнав критиці у 1969 р., у книзі Марвіна Мінскі (Marvin Minsky) та Сеймура Пейперта (Seymour Papert) "Перцептрони".

Ранні успіхи, були підставою того, що люди перебільшили потенціал нейронних мереж, зокрема в світлі обмеженої на ті часи електроніки. Надмірне сподівання, яке квітнуло у академічному та технічному світах, заразило загальну літературу цього часу. Побоювання у тому, як ефект "мислячої машини" відіб'ється на людині весь час підігрівався письменниками, зокрема серія книг Азімова про роботів показала наслідки на моральних цінностях людини, у випадку спроможності інтелектуальних роботів виконувати функції людини.

Ці побоювання, об'єднані з невиконаними обіцянками викликали множину розчарувань фахівців, які критикували дослідження нейронних мереж. Результатом було припинення більшості фінансування. Цей період спаду продовжувався до 80-х років.

У 1982 р. відновлення інтересу спричинило декілька подій. Джон Хопфілд (John Hopfield) представив статтю до національної Академії Наук США. Підхід Хопфілда створював докорінно нові підходи до моделювання.

У той самий час у Кіото (Японія) відбулась Об'єднана американо-японська конференція по нейронних мережах, які оголосили досягненням п'ятої генерації. Американські періодичні видання підняли цю історію, акцентуючи, що США можуть залишитись позаду, що привело до зросту фінансування в галузі нейромереж.

З 1985 р. Американський Інститут Фізики розпочав щорічні зустрічі - "Нейронні мережі для обчислень".

В 1989 р. на зустрічі "Нейронні мережі для оборони" Бернард Відров повідомив аудиторії про початок четвертої світової війни, де полем бою є світові ринки та виробництва.

У 1990 р. Департамент програм інноваційних досліджень захисту малого бізнесу назвав 16 основних та 13 додаткових тем, де потрібне та можливе використання нейронних мереж.

Сьогодні, обговорення нейронних мереж відбуваються скрізь. Перспектива їх використання видається досить яскравою, в світлі вирішення нетрадиційних проблем і є ключем до цілої технології. На даний час більшість розробок нейронних мереж принципово працюючі, але можуть існувати процесорні обмеження. Дослідження скеровані на програмні та апаратні реалізації нейромереж. Компанії працюють над створенням трьох типів нейрочіпів: цифрових, аналогових та оптичних, що обіцяють бути хвилею близького майбутнього.