- Nazwa przedmiotu:
- Systemy adaptacyjne i uczące się
- Koordynator przedmiotu:
- Paweł WAWRZYŃSKI
- Status przedmiotu:
- Fakultatywny ograniczonego wyboru
- Poziom kształcenia:
- Studia II stopnia
- Program:
- Informatyka
- Grupa przedmiotów:
- Przedmioty techniczne - zaawansowane
- Kod przedmiotu:
- SAU
- Semestr nominalny:
- 4 / rok ak. 2012/2013
- Liczba punktów ECTS:
- 4
- Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:
- 100
- Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:
- Język prowadzenia zajęć:
- polski
- Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:
- Formy zajęć i ich wymiar w semestrze:
-
- Wykład30h
- Ćwiczenia0h
- Laboratorium0h
- Projekt15h
- Lekcje komputerowe0h
- Wymagania wstępne:
- Na poziomie kursu akademickiego dla studiów technicznych:
- Analiza matematyczna
- Probabilistyka
- Programowanie
- Limit liczby studentów:
- 50
- Cel przedmiotu:
- Celem przedmiotu jest zapoznanie uczestnika z mechanizmami adaptacji użytecznymi w systemach, które działają w nieznanym przez ich projektanta lub lub zmieniającym się środowisku. Metody analizy i konstrukcji systemów tego rodzaju wywodzą się z dwóch dziedzin wiedzy: sztucznej inteligencji (uczenie się przez wzmacnianie) oraz teorii sterowania (sterowanie adaptacyjne). Wykład omawia oba te podejścia.
- Treści kształcenia:
- Część I. Podstawy
1. Optymalizacja i aproksymacja stochastyczna; procedura Robbinsa-Monroe jako punkt wyjścia do konstruowania mechanizmów adaptacji.
2. Aproksymator neuronowy i jego uczenie on-line.
3. Elementy teorii stabilności: funkcja Lapunowa, gwarancje stabilności asymptotycznej.
Część II. Uczenie się przez wzmacnianie
4. Podstawy: Proces Decyzyjny Markowa, algorytm Q-Learning.
5. Optymalizacja stochastycznego wyboru. Parametryzowane rodziny rozkładów prawdopodobieństwa. Algorytm REINFORCE.
6. Algorytm Aktor-Krytyk.
7. Wielokrotne przetwarzanie obserwacji, optymalizacja estymatora wskaźnika jakości polityki, repróbkowanie.
Część III. Sterowanie adaptacyjne
8. Adaptacja z modelem referencyjnym (MRAS): podejście oparte na gradiencie, reguła MIT, uzasadnienie oparte na teorii stabilności, postać MRAS dla ogólnego systemu liniowego.
9. Sterowanie z jednoczesnym modelowaniem: samostrojące się regulatory (STR).
10. Sterowanie z iteracyjnym uczeniem się (ILC).
Część IV. Przegląd zastosowań i podejść nie wymienionych na wykładzie.
- Metody oceny:
- Projekt: 50%
Egzamin: 50%
- Egzamin:
- tak
- Literatura:
- P. Cichosz, Systemy Uczące Się, WNT, 2000.
K.J. Astrom, B. Wittenmark, Adaptive Control, Addison-Wesley, 1994.
J.-J.E. Slotine, W. Li: Applied Nonlinear Control, Prentice Hall, 1991.
R. Sutton, A. Barto, Reinforcement Learning: An Introduction, MIT Press, 1998.
P. Wawrzyński, Sterowanie Adaptacyjne i Uczenie Maszynowe, preskrypt wykładu, 2012.
- Witryna www przedmiotu:
- http://eres.elka.pw.edu.pl/eres/wwersje$.startup?Z_ID_PRZEDMIOTU=SAU&Z_NR_WERSJI=2&Z_CHK=25116
- Uwagi:
Efekty uczenia się
Profil praktyczny - wiedza
- Efekt Wpisz opis
- Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:
Profil praktyczny - umiejętności
- Efekt Wpisz opis
- Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:
Profil praktyczny - kompetencje społeczne
- Efekt Wpisz opis
- Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:
Profil ogólnoakademicki - wiedza
- Efekt Wpisz opis
- Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:
Profil ogólnoakademicki - umiejętności
- Efekt Wpisz opis
- Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe:
Profil ogólnoakademicki - kompetencje społeczne
- Efekt Wpisz opis
- Wpisz opis
Weryfikacja: Wpisz opis
Powiązane efekty kierunkowe:
Powiązane efekty obszarowe: