Robusno praćenje pokretnih objekata na termalnoj slici

Abstract

Praćenje pokretnih objekata je tema koja je veoma aktuelna u današnje vreme kada postoji potreba za sve većim brojem sistema za nadzor i osmatranje. Termalne kamere su omogućile vidljivost tokom dana i noći, što je velika prednost u odnosu na vizuelne kamere. Bolja rezolucija i kvalitet termalne slike su dovele do sve veće upotrebe u brojnim civilnim aplikacijama. Međutim, drugačija svojstva termalnih kamera u odnosu na vizuelne kamere čine dodatni izazov u razvoju algoritama za praćenje. Osnovni predmet istraživanja ove doktorske disertacije jeste analiza problema praćenja jednog pokretnog objekta na termalnoj slici, kao i razvoj algoritama za robusno praćenje objekata na termalnoj slici scene. Analizom dostupne literature je uočeno da dobre rezultate daju algoritmi koji su bazirani na deskriptorima odlika, a posebno SURF (eng. Speeded Up Robust Features) algoritam. Međutim, usled lošijeg kvaliteta slike i nesavršenosti odabranog deskriptora, mogu se desiti greške prilikom uparivanja odlika. U tim situacijama je potrebno koristiti prediktore pozicije objekta od interesa, kako bi se praćenje nastavilo. Još jedan zaključak, nakon analize dostupne literature i baza podataka kreiranih za problem praćenja na termalnoj slici, jeste da ne postoji detaljna statistička analiza greške koju pravi algoritam za praćenje baziran na SURF odlikama. Zbog toga je jedan od ciljeva doktorske disertacije bio da se napravi dovoljno dobra baza podataka za detaljnu statističku analizu. Ovakvom analizom je omogućeno da se analiziraju tipovi greške i posledice na algoritam za praćenje. Analiza je omogućila i uvid u činjenicu da se u merenjima često javljaju autlajeri (eng. Outliers), a da zbog njih možemo reći da rezidual merenja nema normalnu raspodelu. Ta činjenica za posledicu ima da se standardni Kalmanov filtar, kao estimator, loše pokazuje u situacijama kada postoje autlajeri. Sa druge strane, robusni estimatori su, u situacijama kada dolazi do pojave autlajera, dobro rešenje. Zato je još jedan od ciljeva ove disertacije dizajn robusnog sistema za praćenje koji nije osetljiv na autlajere u merenjima. Međutim, statistička analiza je otkrila da osim grešaka koje su posledica okluzija i zaustavljaju praćenje, postoji porast varijanse greške u slučaju manevra, odnosno promene režima kretanja. To su greške koje se robusnim metodama ne smeju odseći. Postoje dva rešenja ovog problema, opisana u disertaciji. Jedan se zasniva na formiranju ekspertskog sistema, koji donosi odluku o korišćenju određene funkcije uticaja u zavisnosti od situacije na sceni. Drugo rešenje jeste adaptacija parametra robusne funkcije trenunoj situaciji na sceni. Ovo rešenje se zasniva na trenutnoj proceni kontaminacije autlajerima. Prednost ovog rešenja se ogleda u postizanju balansa između robusnosti i efikasnosti, sa jedne strane, kao i postizanju balansa između toga koji tip greške je u pitanju. Rešenje koje se nameće kao sledeći korak u dizajnu jeste i korišćenje adaptivnih robusnih filtara, radi prilagođenja matrica kovarijansi šuma, merenja i ulaza trenutnoj situaciji na sceni. Kako proces podešavanja parametra funkcije uticaja zavisi od procenjenog faktora kontaminacije, dat je poseban osvrt na način računanja Doktorska disertacija ______________________________________________________________________________ ______________________________________________________________________________ Elektrotehnički fakultet, Univerzitet u Beogradu vi faktora kontaminacije. Uveden je i adaptivni faktor zaboravljanja u račun faktora kontaminacije, kako bi se, na taj način, postigla veća tačnost i bolje prilagođenje situaciji na sceni.

Moving objects tracking is currently a popular topic because of the growing demand for surveillance and monitoring systems. Thermal cameras enable visibility during the day as well as night, which is a great advantage over visual cameras. Better thermal image resolution and quality have led to increased usage in many civil applications. However, thermal cameras have different features compared to visual cameras, which is an additional challenge in the development of tracking algorithms. The main research topic of this dissertation is analysis of a single moving object tracking problem, as well as the development of robust tracking algorithms for thermal images. A review of available literature revealed that good results are obtained when feature descriptor-based algorithms are used, especially a SURF (Speeded Up Robust Features) algorithm. However, poor image quality or contrast, as well as any imperfection of the SURF algorithm itself and the presence of occlusions, can cause feature matching errors. These situations point out that there is a need for motion prediction and estimation. Examination of literature sources, as well as of databases designed for the thermal image tracking problem, led to a more significant conclusion: there are no papers that analyze in detail the errors of a SURF algorithm in a thermal image. That is why one of the goals of this dissertation is to create a database good enough for detailed statistical analysis. This analysis uncovers typical errors and their impact on the tracking algorithm. On the other hand, the statistical analysis shows that there are outliers in the data, so the distribution of the measurement residual is not normal. Because of the outliers, the standard Kalman filter estimator does not provide good tracking results. Robust estimators are a good solution if there are outliers. Consequently, an additional goal of this doctoral dissertation is to design a robust tracking system not sensitive to outliers in the measured data. The statistical analysis shows that, apart from the outliers that are a direct consequence of occlusions and result in a total loss of the target, there are also errors due to maneuvering, which increase the error variance. Maneuvering errors are not outliers and must not be cut by robust methods. Achieving balance in this case is not an easy task. There are two possible solutions to this problem, as described in this dissertation. One solution is based on expert system design where, depending on the particular situation on the scene, the system itself decides which influence function can be used. The second solution is robust function parameter tuning, based on the current situation on the thermal scene. This solution is based on outlier contamination estimation. The advantage of the latter solution is the fact that it is possible to achieve a balance between estimator efficiency and robustness, as well as separation of the two types of errors. The next design step is to use adaptive robust filters, in order to adjust the state and measurement noise covariance matrices to the current situation in the thermal image. Since tuning of the influence function parameters depends on the estimated contamination factor, the calculation of this factor is also analyzed. The use of an adaptive forgetting factor to estimate the contamination factor results in higher precision and better adaptation to the conditions on the scene.