Svrha kursa je upoznavanje sa iterativnim algoritmima za dinamičku optimizaciju i njihovom primenom u teoriji informacija, telekomunikacijama, veštačkoj inteligenciji i bioinformatici.

Nakon kursa, studenti postaju upoznati sa principom rada i primenom iterativnih agoritama za dinamičku optimizaciju. Studenti će biti osposobljeni za implementaciju algoritama kao i za njihovu primenu na rešavanje problema vezanih za obradu i prenos informacija.

Modelovanje inženjerskih optimizacionih problema faktor gafovima. Konačni automati, Markovljeve i Bajesove mreže. Algoritam propagacije verodostojnosti. Iterativno dekodovanje turbo kodova i kodova sa proverama parnosti male gustine. Viterbijev i Baum-Velšov algoritam, primena pri ekvalizaciji kanala. Skriveni Markovljevi procesi. Iterativno učenje na grafovima. Algoritmi gradijentne optimizacije.

Vežbe na računarima i pokazne vežbe. Rešavanje optimizacionih problema iz teorije informacija i srodnih oblasti inženjerstva. Domaći zadaci iz obrađivanih tema.

1. D. J.C. MecKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003
2. T. Richardson, R. Urbanke, Modern Coding Theory, Cambridge University Press, 2009
3. T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, 2009
4. D. Drajić, P. Ivaniš, Uvod u teoriju informacija i kodovanje, IV izdanje, Akademska misao, Beograd, 2018.
5. P. Ivanis, D. Drajic, Information Theory and Coding – Solved Problems, Springer, New York, 2017

Predavanja i auditorne vežbe. Domaći zadaci u formi pisanja eseja, projekata i računskih zadataka.