One particle filter based algorithm of tracking of a moving object in the sequence of images

Abstract

There are a continuously increasing number of applications where moving objects should be tracked in a video sequence. This research work has been directed to and focused on video sequence monitoring and following up of automobiles in artificial and real-world traffic scenarios. Bearing in mind the rapidly growing scope of applications in the areas of automatic monitoring of traffic situations on the roads, as well as on the control of autonomous vehicles in traffic, the attention was focused on the problem of moving vehicle video tracking as the starting phase of many of the tasks of this type. The concept of “Particle Filter” has been adopted as the basis for our approach in the estimation of an object's position in an image, because of its verified abilities in solving the tracking problems in complex situations regarding motion dynamics, as well as from the aspect of disturbance nature. As in the cases already existing in the literature, we have based our approach on the choice of appropriate image features that should be used as the object’s appearance model. Algorithms supported by Particle Filter (PF) are more and more frequently used for these functions. The suggested tracking algorithm here is based on the implementation of PF using three independent features of the image at the same time. (color contents/histogram, objects’ contour extracted by the usage of the image gradient, and texture defined by Grey Level Co-occurrence Matrix). All three features are represented by appropriate histograms that are associated with the contents of a rectangular window that contains both the vehicle that is tracked and the surrounding area. Based on individual estimates produced by every single feature, the final estimate is made by their weighted average. It’s been adopted the mechanism of adaptation of weighting coefficients for particular image features, including the cases that some of them should be excluded from the calculation if their level of confidence is below some specified threshold. The quality of a specific feature is determined by calculating average similarities between the reference window and the collection of windows on particles' locations, and according to that, the weighting coefficients modify adaptively. The tracking accuracies of single-feature and three-features based filters were tested utilizing a variety of artificial and real-world traffic sequence scenarios that enclose different common perturbations (shadows, variable background, partial and full occlusions, maneuvering, etc.). Using the three-feature-based filter demonstrated the improvement of tracking accuracy in comparison to any of single-feature based ones using video sequences illustrating typical traffic scenarios.

У савременом свету континуално расте број примена у којима треба пратити покретне објекте у видео секвенци. Овај истраживачки рад је усмерен на праћење аутомобила у видео секвенцама које су рачунарски синтетизоване или потичу из реалних саобраћајних сценарија. Имајући у виду све већи обим примене у областима аутоматског надзора саобраћајне ситуације на путевима, као и управљања аутономним возилима у саобраћају, пажњa је усмерена на проблем видео праћења покретних возила, као на почетну фазу многих задатака овог типа. Концепт „честичног филтра” (angl. “Particle Filter”) усвојен је као основа за приступ у процени положаја објекта на слици, због његових проверених способности у решавању проблема праћења у сложеним ситуацијама у погледу динамике кретања, као и са аспекта природе поремећаја. Као и у већ постојећим случајевима у литератури, предложени приступ се заснова на избору одговарајућих карактеристика слике које треба користити као модел репрезентације објекта. Алгоритми на бази честичног филтра (ПФ) се све чешће користе за ове намене. Овде предложени алгоритам праћења је заснован на имплементацији ПФ-а истовремено користећи три независне карактеристике слике (садржај боје/хистограм, контуре објеката издвојене употребом градијента слике и текстуру описану матрицом узајамног појављивања нивоа сивог). Све три карактеристике су једнобразно представљене одговарајућим хистограмима који се односе на садржај правоугаоног прозора који обухвата праћено возило и његову локалну околину. На основу засебних процена које производи свака појединачна карактеристика, коначна процена се прави на основу њиховог пондерисаног усредњавања. Усвојен је механизам прилагођавања тежинских коефицијената за одређене карактеристике слике, укључујући случајеве да неке од њих треба потпуно искључити из прорачуна ако је њихов ниво поверења испод одређеног прага. Квалитет специфичног обележја се утврђује израчунавањем просечних сличности између референтног прозора и скупа прозора на локацијама честица, па се према томе адаптивно мењају тежински коефицијенти при усредњавању. Тачност праћења филтера на бази појединачне карактеристике и на бази симултаног коришћења све три, тестирана је коришћењем различитих саобраћајних сценарија (синтетичке и реалне секвенце) које обухватају различите типичне поремећаје (сенке, променљива позадина, делимичне и потпуна заклоњеност, маневрисање, итд.). Примена филтера заснованог на истовремном коришћењу три карактеристике слике показала је побољшање тачности праћења у поређењу са било којим од филтера заснованих на појединачној особини, на свим анализираним видео секвенцама које илуструју типичне саобраћајне сценарије.