Methods for image restoration and segmentation by sparsity promoting energy minimization

Abstract

Energy minimization approach is widely used in image processing applications. Many image processing problems can be modelled in a form of a minimization problem. This thesis deals with two crucial tasks of image analysis workflows: image restoration and segmentation of images corrupted by blur and noise. Both image restoration and segmentation are modelled as energy minimization problems, where energy function is composed of two parts: data fidelity term and regularization term. The main contribution of this thesis is development of new data fidelity and regularization terms for both image restoration and segmentation tasks. Image restoration methods (non-blind and blind deconvolution and superresolution reconstruction) developed within this thesis are suited for mixed Poisson-Gaussian noise which is encountered in many realistic imaging conditions. We use generalized Anscombe variance stabilization transformation for removing signal-dependency of noise. We propose novel data fidelity term which incorporates variance stabilization transformation process into account. Turning our attention to the regularization term for image restoration, we investigate how sparsity promoting regularization in the gradient domain formulated as Total Variation, can be improved in the presence of blur and mixed Poisson-Gaussian noise. We found that Huber potential function leads to significant improvement of restoration performance. In this thesis we propose new segmentation method, the so called coverage segmentation, which estimates the relative coverage of each pixel in a sensed image by each image component. Its data fidelity term takes into account blurring and down-sampling processes and in that way it provides robust segmentation in the presence of blur, allowing at the same time segmentation at increased spatial resolution. In addition, new sparsity promoting regularization terms are suggested: (i) Huberized Total Variation which provides smooth object boundaries and noise removal, and (ii) non-edge image fuzziness, which responds to an assumption that imaged objects are crisp and that fuzziness is mainly due to the imaging and digitization process. The applicability of here proposed restoration and coverage segmentation methods is demonstrated for Transmission Electron Microscopy image enhancement and segmentation of micro-computed tomography and hyperspectral images.

Поступак минимизације функције енергије је често коришћен за решавање проблема у обради дигиталне слике. Предмет истраживања тезе су два круцијална задатка дигиталне обраде слике: рестаурација и сегментација слика деградираних шумом и замагљењем. И рестaурација и сегментација су моделовани као проблеми минимизације функције енергије која представља збир две функције: функције фитовања података и регуларизационе функције. Главни допринос тезе је развој нових функција фитовања података и нових регуларизационих функција за рестаурацију и сегментацију. Методе за рестаурацију (оне код којих је функција замагљења позната и код којих је функцију замагљења потребно оценити на основу датих података као и методе за реконструкцију слике у супер-резолуцији) развијене у оквиру ове тезе третирају мешавину Поасоновог и Гаусовог шума који се појављује у многобројним реалистичним сценаријима. За третирање такве врсте шума користили смо нелинеарну трансформацију и предложили смо нову функцију фитовања података која узима у обзир такву трансформацију. У вези са регуларизационим функцијама смо тестирали хипотезу да се функција Тоталне Варијације која промовише ретку слику у градијентном домену може побољшати уколико се користе тзв. потенцијалне функције. Показали смо да се употребом Хуберове потенцијалне функције може значајно побољшати квалитет рестауриране слике која је деградирана замагљењем и мешавином Поасоновог и Гаусовог шума. У оквиру тезе смо предложили нову методу сегментације која допушта делимичну покривеност пиксела објектом. Функција фитовања података ове методе укључује и модел замагљења и смањења резолуције. На тај начин је постигнута робустност сегментације у присуству замагљења и добијена могућност сегментирања слике у супер-резолуцији. Додатно, нове регуларизационе функције које промовишу ретке репрезентације слике су предложене. Предложене методе рестаурације и сегментације која допушта делимичну покривеност пиксела објектом су примењене на слике добијене помоћу електронског микроскопа, хиперспектралне слике и медицинске ЦТ слике.

Postupak minimizacije funkcije energije je često korišćen za rešavanje problema u obradi digitalne slike. Predmet istraživanja teze su dva krucijalna zadatka digitalne obrade slike: restauracija i segmentacija slika degradiranih šumom i zamagljenjem. I restauracija i segmentacija su modelovani kao problemi minimizacije funkcije energije koja predstavlja zbir dve funkcije: funkcije fitovanja podataka i regularizacione funkcije. Glavni doprinos teze je razvoj novih funkcija fitovanja podataka i novih regularizacionih funkcija za restauraciju i segmentaciju. Metode za restauraciju (one kod kojih je funkcija zamagljenja poznata i kod kojih je funkciju zamagljenja potrebno oceniti na osnovu datih podataka kao i metode za rekonstrukciju slike u super-rezoluciji) razvijene u okviru ove teze tretiraju mešavinu Poasonovog i Gausovog šuma koji se pojavljuje u mnogobrojnim realističnim scenarijima. Za tretiranje takve vrste šuma koristili smo nelinearnu transformaciju i predložili smo novu funkciju fitovanja podataka koja uzima u obzir takvu transformaciju. U vezi sa regularizacionim funkcijama smo testirali hipotezu da se funkcija Totalne Varijacije koja promoviše retku sliku u gradijentnom domenu može poboljšati ukoliko se koriste tzv. potencijalne funkcije. Pokazali smo da se upotrebom Huberove potencijalne funkcije može značajno poboljšati kvalitet restaurirane slike koja je degradirana zamagljenjem i mešavinom Poasonovog i Gausovog šuma. U okviru teze smo predložili novu metodu segmentacije koja dopušta delimičnu pokrivenost piksela objektom. Funkcija fitovanja podataka ove metode uključuje i model zamagljenja i smanjenja rezolucije. Na taj način je postignuta robustnost segmentacije u prisustvu zamagljenja i dobijena mogućnost segmentiranja slike u super-rezoluciji. Dodatno, nove regularizacione funkcije koje promovišu retke reprezentacije slike su predložene. Predložene metode restauracije i segmentacije koja dopušta delimičnu pokrivenost piksela objektom su primenjene na slike dobijene pomoću elektronskog mikroskopa, hiperspektralne slike i medicinske CT slike.