Svrha kursa je upoznavanje sa osnovnim algoritmima za dinamičku optimizaciju i njihovom primenom u teoriji informacija i telekomunikacijama, kao i u drugim srodnim oblastima gde se izloženi algoritmi koriste, poput mašinskog učenja ili bioinformatike.

Nakon kursa, studenti postaju upoznati sa osnovnim temama vezanim za statističko odlučivanje primenom iterativnih agoritama za dinamičku optimizaciju. Studenti će biti osposobljeni za implementaciju izloženih grafičkih modela i algoritama, kao i za njihovu primenu u rešavanju problema prenosa i obrade informacija.

Modelovanje i dekompozicija inženjerskih optimizacionih problema faktor gafovima. Primena konačnih automata i Bajesovih mreža u teoriji informacija. Iterativno učenje na grafovima. Algoritam propagacije verodostojnosti i njegova primena pri iterativnom dekodovanju. Viterbijev i Baum-Velšov algoritam i njihova primena pri turbo dekodovanju i ekvalizaciji kanala. Algoritmi gradijentne optimizacije.

Vežbe na računarima uz demonstracije iterativnih algoritama za dinamičku optimizaciju. Rešavanje praktičnih optimizacionih problema iz teorije informacija i srodnih oblasti inženjerstva. Domaći zadaci iz obrađivanih tema.

1. D. J.C. MecKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003
2. T. Richardson, R. Urbanke, Modern Coding Theory, Cambridge University Press, 2009
3. T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, 2009
4. D. Drajić, P. Ivaniš, Uvod u teoriju informacija i kodovanje, IV izdanje, Akademska misao, Beograd, 2018.
5. P. Ivanis, D. Drajic, Information Theory and Coding – Solved Problems, Springer, New York, 2017

Predavanja i auditorne vežbe. Domaći zadaci u formi pisanja eseja, projekata i računskih zadataka.