Politechnika
Warszawska

Katalog
ECTS

Nazwa przedmiotu:

Teoria informacji i podstawy bezpieczeństwa cyfrowego

Koordynator przedmiotu:

dr Konstancja Bobecka-Wesołowska

Status przedmiotu:

Obowiązkowy

Poziom kształcenia:

Studia II stopnia

Program:

Matematyka

Grupa przedmiotów:

Wspólne

Kod przedmiotu:

.

Semestr nominalny:

3 / rok ak. 2021/2022

Liczba punktów ECTS:

5

Liczba godzin pracy studenta związanych z osiągnięciem efektów uczenia się:

1. godziny kontaktowe – 70 h; w tym a) obecność na wykładach – 30 h b) obecność na ćwiczeniach – 30 h c) obecność na egzaminie – 5 h d) konsultacje – 5 h 2. praca własna studenta – 60 h; w tym a) przygotowanie do ćwiczeń i do kolokwiów – 35 h b) zapoznanie się z literaturą – 5 h c) przygotowanie do egzaminu – 20 h Razem 130 h, co odpowiada 5 pkt. ECTS

Liczba punktów ECTS na zajęciach wymagających bezpośredniego udziału nauczycieli akademickich:

a) obecność na wykładach – 30 h b) obecność na ćwiczeniach – 30 h c) obecność na egzaminie – 5 h d) konsultacje – 5 h Razem 70 h, co odpowiada 3 pkt. ECTS

Język prowadzenia zajęć:

polski

Liczba punktów ECTS, którą student uzyskuje w ramach zajęć o charakterze praktycznym:

-

Formy zajęć i ich wymiar w semestrze:

• Wykład30h
• Ćwiczenia30h
• Laboratorium0h
• Projekt0h
• Lekcje komputerowe0h

Wymagania wstępne:

Rachunek Prawdopodobieństwa

Limit liczby studentów:

Bez limitu

Cel przedmiotu:

Zapoznanie studentów z podstawowymi pojęciami teorii informacji oraz ich zastosowaniami

Treści kształcenia:

1. Definicja i podstawowe własności entropii zmiennej losowej, entropii łącznej wektora losowego, entropii warunkowej, entropii względnej (odległości Kullbacka-Leiblera) oraz wzajemnej informacji. 2. Rozkłady prawdopodobieństwa o maksymalnej entropii w danej klasie rozkładów. 3. Intensywność entropii procesu stochastycznego z czasem dyskretnym. Wyznaczanie intensywności entropii procesów stacjonarnych. 4. Pojęcie zbioru typowego i asymptotyczna własność równomiernego rozkładu. Zagadnienie bezstratnej kompresji danych. 5. Pojęcie źródła informacji oraz kodu dla źródła informacji. Różne modele źródeł informacji. Przykłady konstruowania kodów dla źródła informacji. Nierówność Krafta. Kody optymalne. Kod Shannona i kod Huffmana. 6. Pojęcie kanału komunikacyjnego. Różne modele kanałów komunikacyjnych. Definicja optymalnego kodu dla kanału. 7. Pojęcie przepustowości kanału komunikacyjnego. Twierdzenie Shannona o kodowaniu dyskretnego kanału oraz łącznym kodowaniu dyskretnego źródła i kanału.

Metody oceny:

Metody oceniania: Dwa kolokwia sprawdzające. Ocena aktywności na zajęciach (rozwiązywania zadań przy tablicy i przygotowywanych referatów). Egzamin. Regulamin zaliczenia: Student może zdobyć od 0 do 50 punktów z ćwiczeń (22 pkt z kolokwium 1, 22 pkt z kolokwium 2, 6 punktów za aktywność na zajęciach) oraz od 0 do 50 punktów z egzaminu. Aby zaliczyć ćwiczenia należy uzyskać z nich co najmniej 26 punktów. Ocena końcowa z przedmiotu ustalana jest na podstawie sumy punktów zdobytych na egzaminie: 0-25 ocena 2,0 26-30 ocena 3,0 31-35 ocena 3,5 36-40 ocena 4,0 41-45 ocena 4,5 46-50 ocena 5,0 Uwagi: Student, który uzyskał z ćwiczeń więcej niż 40 punktów może zostać zwolniony z egzaminu. Ocena końcowa zależy wówczas od liczby zdobytych przez niego punktów z ćwiczeń.

Egzamin:

tak

Literatura:

1. T. Cover, J. Thomas ”Elements of Information Theory” (2nd edition), Wiley, 2006 2. I. Csiszar, J. Korner ”Information Theory”, Academic Press, 1981 3. T. Han, K. Kobayashi ”Mathematics of Information and Coding”, AMS, 2002 4. D. MacKay, “Information Theory, Inference and Learning Algorithms”, Cambridge University Press, 2003

Witryna www przedmiotu:

brak

Uwagi:

.

Efekty uczenia się

Profil ogólnoakademicki - wiedza

Charakterystyka TIN_W01

zna matematyczne podstawy teorii informacji
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2_W01
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_W02

zna pojęcie oraz własności entropii zmiennej losowej, intensywności entropii procesu stochastycznego, entropii względnej (odległości Kullbacka-Leiblera) i informacji wzajemnej oraz ich zastosowania
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_W03, M2MCB_W07
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_W03

zna pojęcie źródła informacji i kanału komunikacyjnego, zna różne modele źródła i kanału, wie na czym polega kodowanie źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_W07
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_W04

wie czym jest optymalny kod dla źródła i zna sposoby konstrukcji takich kodów, rozumie związek entropii źródła informacji z zagadnieniem bezstratnej kompresji danych, zna pojęcie przepustowości kanału komunikacyjnego, wie czym jest optymalny kod dla kanału, zna twierdzenie o optymalnym kodowaniu źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_W03, M2MCB_W07
Powiązane charakterystyki obszarowe:

Profil ogólnoakademicki - umiejętności

Charakterystyka TIN_U01

umie posługiwać się podstawowymi pojęciami teorii informacji oraz je interpretować
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_U10
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_U02

potrafi wyznaczyć entropię prostych rozkładów dyskretnych i absolutnie ciągłych, wyznaczyć dla tych rozkładów entropię względną oraz informację wzajemną, umie wyznaczać rozkłady prawdopodobieństwa o maksymalnej entropii w danej klasie rozkładów, umie wyznaczyć intensywność entropii stacjonarnego procesu stochastycznego z czasem dyskretnym, w tym łańcucha Markowa
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_U10
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_U03

umie posługiwać się różnymi modelami źródła informacji i kanału komunikacyjnego, w zadanym modelu potrafi wyznaczyć entropię źródła oraz przepustowość kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_U08
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_U04

rozumie ograniczenia bezstratnej kompresji i optymalnego kodowania kanału, potrafi skonstruować optymalny kod dla źródła, umie zbadać istnienie optymalnego kodu o zadanych parametrach, umie stosować twierdzenie o optymalnym kodowaniu źródła i kanału
Weryfikacja: Odpowiedź ustna przy tablicy, Kolokwium, Egzamin
Powiązane charakterystyki kierunkowe: M2MCB_U10
Powiązane charakterystyki obszarowe:

Profil ogólnoakademicki - kompetencje społeczne

Charakterystyka TIN_K01

potrafi współdziałać i pracować w zespole, przyjmując w nim różne role
Weryfikacja: Referat
Powiązane charakterystyki kierunkowe: M2MCB_K02
Powiązane charakterystyki obszarowe:

Charakterystyka TIN_K02

rozumie potrzebę uczenia się przez całe życie, potrafi inspirować i organizować proces uczenia się innych osób
Weryfikacja: Referat
Powiązane charakterystyki kierunkowe: M2MCB_K02
Powiązane charakterystyki obszarowe: