Politechnika
Warszawska

Katalog
ECTS

Nazwa przedmiotu:

Sieci neuronowe i neurokomputery

Koordynator przedmiotu:

dr inż. Stanisław Jankowski

Status przedmiotu:

Fakultatywny ograniczonego wyboru

Poziom kształcenia:

Studia II stopnia

Program:

Elektronika

Grupa przedmiotów:

Przedmioty techniczne - zaawansowane

Kod przedmiotu:

SNN

Semestr nominalny:

2 / rok ak. 2015/2016

Liczba punktów ECTS:

4

Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:

30 godzin wykładu, 20 godzin przygotowanie do zaliczenia 2 testów. Projekt: 5 godzin konsultacje, 15 godzin opanowanie programów narzędziowych w środowisku MATLAB, SCILAB, 20 godzin wykonanie zadań określonych w projekcie, 5 godzin wykonanie sprawozdania i obrona projektu.

Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:

2

Język prowadzenia zajęć:

polski

Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:

2

Formy zajęć i ich wymiar w semestrze:

• Wykład30h
• Ćwiczenia0h
• Laboratorium0h
• Projekt15h
• Lekcje komputerowe0h

Wymagania wstępne:

ukończone studia inżynierskie

Limit liczby studentów:

minimum 15

Cel przedmiotu:

Przedstawienie podstaw teorii statystycznych systemów uczących się – sztucznych sieci neuronowych, maszyn wektorów nośnych – jako efektywnych metod przetwarzania danych w celu klasyfikacji i modelowania złożonych zjawisk i procesów na podstawie obserwacji. Stosowanie skutecznych algorytmów i narzędzi oprogramowania w celu zaprojektowania optymalnych modeli, metody oceny generalizacji. Przedstawienie zastosowań systemów uczących się w dziedzinach: medycyna, bioinformatyka, robotyka i lotnictwo, rozpoznawanie obrazów, inżynieria finansowa, technologia materiałów.

Treści kształcenia:

Inspiracje neurobiologiczne: podstawowe informacje o funkcjonowaniu komórki nerwowej i układu nerwowego, model neuronu McCullocha i Pittsa jako jednostki przetwarzania informacji. Motywacje techniczne: opracowanie metod i narzędzi uczenia maszynowego do przetwarzania informacji niepełnej, zaszumionej lub niespójnej w celu rozwiązania tzw. trudnych zadań. Perceptron Rosenblatta jako pierwsza maszyna ucząca się na podstawie danych. Podstawowe pojęcia teorii uczenia: zbiór danych uczących, cel uczenia i funkcja celu, algorytm uczenia. System uczacy się jako estymator zbudowany na podstawie próby – zbioru uczącego. Generalizacja jako cel uczenia i metody oceny generalizacji, miara Vapnika-Červonenkisa, ocena krzyżowa. Uczenie nadzorowane i nienadzorowane. Transdukcja Funkcje systemów uczących się: klasyfikacja (rozpoznawanie obiektów) i aproksymacja (modelowanie). Podstawy teoretyczne klasyfikacji: klasyfikacja Bayesa i metody funkcji dyskryminacyjnej. Sieć neuronowa perceptron wielowarstwowy jako uniwersalny system uczący się. Gradientowe metody uczenia perceptronu wielowarstwowego (dobór parametrów): metoda propagacji wstecznej, metody gradientów sprzężonych, zmiennej metryki, Levenberga-Marquardta. Testowanie jakości sieci: ocena krzyżowa, skrajna ocena krzyżowa (ang. leave-one-out) jako statystyka wpływu, wirtualna skrajna ocena krzyżowa jako idealne narzędzie oceny generalizacji. Podstawowe warunki poprawnej klasyfikacji: relacje miedzy liczbą danych uczących, liczbą wielkości wejściowych i liczbą parametrów klasyfikatora (złożonością). Dylemat obciążenie-wariancja jako kryterium optymalizacji strukturalnej. Optymalizacja struktury sieci neuronowej: a) selekcja zmiennych wejściowych metodą ortogonalizacji Grama-Schmidta; b) dobór struktury modelu (liczby neuronów ukrytych) na podstawie wirtualnej skrajnej oceny krzyżowej. Ocena jakości sieci neuronowej: wyznaczenie przedziałów ufności wielkości wyjściowej. Sieci neuronowe z lokalnymi funkcjami aktywacji: sieć RBF (ang. radial basis function) siec falkowa. Maszyna wektorów nośnych jako klasyfikator z maksymalnym marginesem. Uczenie jako problem optymalizacji z ograniczeniami. Metody numeryczne maszyny wektorów nośnych: algorytm SMO (ang. sequential minimal optimization). Maszyny z jądrem nieliniowym do klasyfikacji i regresji. Metody optymalizacji stałej regularyzacji i parametrów jądra. Średniokwadratowa maszyna wektorów nośnych. Metody optymalizacji strukturalnej. Uczenie częściowo nadzorowane jako sposób optymalnego wykorzystania informacji zawartych w zbiorze danych. Sieć Kohonena jako system uczący się bez nadzoru. Sieci ART i ARTMAP. Metody PCA i ICA. Modele uczące się metodą regresji postępującej z ortogonalizacją (ang. orthogonal forward regression). Rekurencyjne systemy uczące się jako modele układów dynamicznych. Przykłady zastosowań statystycznych systemów uczących się: wspomagana komputerem diagnostyka elektrokardiologiczna, rozpoznawanie obrazów, zadania biometryczne, prognozy na rynkach finansowych, analiza struktury białek, wykrywanie defektów w materiałach, rozpoznawanie sytuacji i planowanie trajektorii bezkolizyjnej robotów i samolotów bezzałogowych. Nowe kierunki rozwoju: uogólnienia dla danych wejściowych w postaci liczb zespolonych, kwaternionów, tensorów i grafów. Wielopoziomowe systemy uczące się: hierarchiczna pamięć czasowa i metody uczenia głębokiego. Projekt: Zapoznanie się ze środowiskiem programistycznym programu MATLAB i funkcjami pakietu Neural Networks. Zapoznanie się z podstawowymi pojęciami teorii sztucznych sieci neuronowych i statystycznej teorii uczenia. Opracowanie projektu wstępnego polegającego na zdefiniowaniu problemu, struktur danych oraz doboru środków programistycznych oferowanych przez wybrane środowisko. Implementacja programu realizującego zadaną architekturę sieci neuronowej. Wykonanie obliczeń. Zadania merytoryczne: a) sieć neuronowa jako klasyfikator: selekcja zmiennych wejściowych metodą ortogonalizacji Grama-Schmidta; dobór liczby neuronów ukrytych i związek struktury sieci neuronowej z podziałem przestrzeni wejściowej na podzbiory odpowiadające klasom; zastosowanie wybranego algorytmu uczenia; wykonanie testu klasyfikatora; opracowanie wyników klasyfikacji w postaci krzywej ROC (ang. Receiver Operation Characteristics); b) sieć neuronowa jako aproksymator: zastosowanie wirtualnej skrajnej oceny krzyżowej do określenia optymalnej struktury sieci neuronowej – dobór liczby neuronów ukrytych; dobór parametrów sieci neuronowej najlepiej spełniających zasadę równoważnego wpływu na wyjście sieci na podstawie rozkładu wirtualnych błędów resztowych; analiza statystyczna wyniku – przedział ufności wyjścia sieci jako estymatora badanej funkcji; porównanie regresji neuronowej i wielomianowej.

Metody oceny:

Wyniki 2 testów przeprowadzonych na wykładzie, ocena sprawozdania z wykonania projektu, ocena obrony projektu.

Egzamin:

nie

Literatura:

C. M. Bishop: Neural Networks for Pattern Recognition, Clarendon Press, Oxford 1996 N. Cristianini, J. Shawe-Taylor: Support Vector Machines, Cambridge University Press, 2000 O. Duda, P. E. Hart, D. Storck: Pattern Classification and Scene Analysis, Wiley, 2001 T. L. Fine: Feedforward Neural Network Methodology, Springer 1999 S. Geman, E. Bienenstock, R. Duprat: Neural Networks and Bias/Variance Dilemma, Neural Computation 4, 1-58, 1992 S. Haykin: Neural Networks, a Comprehensive Foundation, Prentice Hall, 1999 J. Hertz, A. Krogh, R. G. Palmer: Wstęp do teorii obliczeń neuronowych, WNT, 1995 T. Kohonen: Self Organizing Maps, Springer 2001 G. Monari, G. Dreyfus: Withdrawing an example from the training set: an analytic estimation of its effect on a non-linear parameterised model, Neurocomputing 35, 195-201, 2002 G. Monari, G. Dreyfus: Local Overfitting Control via Leverages, Neural Computation 14, 1481-1506, 2002 I. Rivals, L. Personnaz: Jacobian Conditioning Analysis for Model Validation, Neural Computation 16, 401–418, 2004 Y. Oussar, G. Monari, G. Dreyfus: Reply to the Comments on “Local Overfitting Control via Leverages” in “Jacobian Conditioning Analysis for Model Validation” by I. Rivals and L. Personnaz, Neural Computation 16, 419–443 (2004) Wybrane artykuły z periodyków: IEEE Transactions on Neural Networks Neural Computation Neural Networks NIPS - Neural Information Processing Systems Journal of Machine Learning Research

Witryna www przedmiotu:

http://www.ise.pw.edu.pl/zaklady/neuralnet

Uwagi:

Efekty uczenia się