Ryszard
TADEUSIEWICZ
Spis treści
rzedmowa i
Wprowadzenie 5
Historia powstania i kierunki rozwoju sieci neuronowych S
2.1 Dzieje badań nad sieciami neuronowymi 8
2.2 Czym jest sieć neuronowa? 12
2.3 Aktualne kierunki badań i zastosowań sieci neuronowych 13
2.4 Ogólne właściwości sieci neuronowych 18
2.5 Narzędzia realizacji sieci neuronowych 19
2.5.1 Uwagi ogólne 19
2.5.2 Oprogramowanie do modelowania sieci .20
2.5.3 Neurokomputery oferowane do sprzedaży 23
2.5.4 Firmy wytwarzaja.ee sprzot i oprogramowanie dla neurokomutiiigu 25
Liniowe sieci neuronowe 27
3.1 Neurony 27
3.2 Warstwa neuronów jako n aj p rosisz a sieć 29
3.3 Uczenie pojedynczego neuronu 30
3.4 Matematyczne aspekty procesu uczenia sieci 33
3.5 Uczenie sieci elementów liniowych 35
3.6 Uczenie bez nauczyciela 37
3.7 Warianty metod uczenia i samouczenia 38
3.8 Uczenie z rywalizacją, i sieci Kohonena 40
3.9 Uczenie z forsowaniem 43
3.10 Przyspieszanie procesu uczenia 45
3.11 Uwagi końcowe 47
Nieliniowe sieci neuronowe 49
4.1 Nieliniowy model neuronu 49
4-2 Właściwości nieliniowego modelu neuronu 51
4.3 Właściwości nieliniowych sieci wielowarstwowych 52
4.4 Formy nieliniowości neuronu 55
4-5 Uczenie nieliniowego neuronu 57
4.6 Uczenie sieci neliniowej 59
4.7 Dobór parametrów uczenia sieci 62
5 Sieci CP 65
5.1 Pomysł sieci przesyłającej żetony" (fleclil-Nielsena) 65
5.2 Działanie pierwszej warstwy sieci CP 66
5.3 Przykład sieci CP pokazujący wady jej działania 67
5-4 Zadania drugiej warstwy sieci 68
5.5 Uczenie pierwszej warstwy sieci CP 68
5.6 Uczenie drugiej warstwy sieci CP 70
5.7 Przykład zadania rozwiązywanego przez sieć (!P 70
5.8 Aiitoasocjacyjna sieć CP 71
6 Sieci rezonansowe 74
6.1 Podstawowy schemat działania sieci 74
6.2 Uczenie sieci ART 76
6.3 Zasada działania sieci AKT 78
6.4 Rola i struktura układu konkretnego 79
6.5 Układ orientujący 8'2
6.6 Mankamenty sieci ART 84
7 Sieć Hopfielda 86
7.1 Sprzężenie zwrotne jako nowa jakość w strukturach sieci 86
7.2 Natura procesów w sieciach Hoplielda 87
7.3 -Stany równowagi w sieci Hoplielda 88
7.4 Procesy dynamiczne w siadach Hopfielda 89
7.5 Pamięć autoasocjacyjna 90
7.6 Maszyny Bolfczmanne 91
7.7 Przykład zastosowania sieci Hopfielda — konwerter 93
7.8 Rozwiązywanie problemu komiwojażera 94
8 Sieci pamięci skojarzeniowej 98
8.1 Sieć Ilinlona 98
8.2 Ogólne wlsności sieci Nintona 100
8-3 Dwukierunkowa pamięć asocjacyjna — si<*ć 13AM 103
8-4 Uczenie sieci BAM i przykład jej działania 106
8.5 Działanie sieci BAM przy braku zgodności ze wzorcem 107
8.6 Pojemność pamięci sieci BAM 109
8-7 Odmiany sieci BAM 110
9 Dynamika procesu uczenia sieci neuronowych 1X2
10 Przykłady konkretnych zastosowań sieci neuronowych 121
10-1 Rozpatrywanie wybranego zbioru wyrazów 121
10-1-1 Uwagi wstępne 121
10-1.2 Struktura sieci wybranej do badań 121
10.1.3 Uczenie sieci 122
10.1.4 Zbiory uczące i zbiór testujący 122
40.1.3 Współczynniki uczenia 123
10.1.3 Czas uczenia 124
10.2 Rozwiązywanie problemu komiwojażera 125
10.2.1 Opis problemu i programu symulującego sieć 125
10.2.2 Wyniki eksperymentów 125
11 Zakończenie 128
c
Rozdział 1
Wprowadzenie
Technika sieci neuronowych' budzi coraz większe zainteresowanie na całym świecie. Istnieją kwartalniki naukowe poświęcone wyłącznie tej problematyce (Neural Networks, IEEE Trans, on Neural Networks, Neurocompitting i inne), a inne renomowane pisma poświęcają sieciom neuronowym cale numery (np. IEEE Spectrum) lub cykle artykułów (np. Al Etpert). Coraz więcej organizuje się konferencji, których przedmiotem są badania w zakresie sieci neuronowych i ich zastosowali, przy czym w Europie ważnym wydarzeniem były konferencje ECCTD (Evjvpean Conferenct on Circuil Theory) oraz INNC (International Neural Network Confcrence), ogólnoświatowy zasięg mają ■ - poświęcone w znaczącej części problematyce sieci neuronowych — konferencje organizowane przez IEEE (The Inslilute of Electricat and Electronics Engineers, /»c.) pod nazwą ISCAS [International Symposium on Circnits and Systems), zaś w USA na pierwszy plan wysuwa się zdecydowanie cykl konferencji sf IJCNN (International Joint Conference on Neural Network) organizowanych pracz INNS (International Neural Network Sociely) oraz IEEE. Warto dodać, że ostatnie wymienione Konferencje, gromadząc* każdorazowo około tysiąca uczestników i ponad pięćset referatów, odbywają się w odstępach półrocznych — co stanowi wymowną miarę tempa prac w tej dziedzinie. Na temat badania sieci neuronowych tworzone są już duże międzynarodowe programy badawcze i znaczenie tej problematyki nieprzerwanie rośnie.
Budową i zastosowaniami sieci neuronowych zajął się także (od 1990 roku) słynny amerykański Instytut Inżynierów Elektryków i Elektroników (Institute of Electricat and Electronics Engineers w skrócie IEEE). Dwanaście stowarzyszeń' wchodzących w skład tego Instytutu utworzyło wspólnie Radę d/s Sieci Neuronowych (IEEE Neural Network Council NNC). Stowarzyszeniami, które weszły w skład NNC są: Cireuits and Systems, Communications, Control Systems, Engineering in Mtdicine and Biology, Indastnj Appltadwns, [ndustriał Electronics, Information Theory, Ltiscrs and Elcctro-Oplics, Oceanie Engineering, Robo-ttes and Automation, Signał Processing, oraz Systems, Man k Cybemelics, Rada wydaje miesięcznik naukowy IEEE Transaetions on Neural Networks oraz organizuje dwa razy do roku wspomnianą wyżej konferencję pod nazwą International Joint Confcretices on Neural Networks.
Problematyka sieci neuronowych jest niewątpliwie dziedziną nauk technicznych. Używając sieci neuronowych jako wygodne systemy przetwarzania informacji, informatycy zapo-
1 Praca tu i i i ii w wyniku lwlari spimsorowAiiydi ptM&, grnnł KBN tir (AOH nr 249.123-32).
minają często o korzeniach, czyli o tym, z jakich źródeł wywodzi się ta nowoczesna technika. Tymczasem podstawy neurokomputingti oparte są na fundamentalny cli odkryciach biologów śledzących tajniki naszego mózgu, odkryciach, z których wiele uhonorowano najwyższym wyrazem naukowego uznania — nagrodą Nobla. Wymieńmy takie ważniejsze odkrycia (podano kolejno nazwiska badaczy, rodzaj odkrycia i datę przyznania Nagrody Nobla):
Pawłów — model odruchu warunkowego (1904);
Ramon y Oajal — opis struktury sieci nerwowej (1906);
Einthoven — rejestracja biopotencjalow tkanek (1924);
Sherringion — model nerwowego sterowania mięśni (1932);
Bekcsy model percepcji słuchowej (1961);
Hodgkin i lluxley — model propagacji sygnału w aksonie (1963);
Eccles — model synapsy (1963);
Granit i Hartline — badania mikroelektrodowc (1967);
Katz ...
paweu26