Regularized Estimation of Parameters

Czech Technical University in Prague

Faculty of Nuclear Science and Physical Engineering Department of Mathematics

Review Work REGULARIZED ESTIMATION OF PARAMETERS

Bc. Igor Skokan

Supervisor: doc. Ing. Jaromír Kukal, Ph.D.

Prague, 2006

Abstrakt

Práce shrnuje nejpoužívanější metody regularizace pro lineární regresní modely, které často vznikají diskterizací špatně postavených inverzních problémů. Text popisuje odvození vlastností pro Tichonovovu regularizaci, LASSO, a obecnou bridge regularizaci. V textu je podrobně diskutován výběr regularizačního paramteru pomocí různých metod a dokázána existenční věta pro regularizované odhady. Vše je v závěru práce demonstrováno na numerických příkladech.

Abstract

The review work summarizes the most important and common regularization methods for linear regression models, that arise by discretization of ill-posed inverse problems in engineering and applied sciences. The text describes the derivation of properties for the Tikhonov regularization, the LASSO method and general bridge regularization as unification of all common methods. Details about various methods of regularization parameter selection are covered and the proof of ridge existence theorem is also given in the text. The methods and properties are demonstrated on a simple numerical examples in the last chapter. Appendixes provide general methodology framework for the review work by stating the classical results from functional analysis, mathematical statistics and linear regression, that are needed to be understood prior to regularization.

Prohlašuji, že jsem tuto rešeršní práci zpracoval samostatně a uvedl jsem všechny prameny, z nichž jsem pro svou práci čerpal způsobem ve vědecké práci obvyklým. Děkuji vedoucímu práce doc. Ing. Jaromírovi Kukalovi, Ph.D. za stálý zájem a odborné připomínky v průběhu práce. V Praze, 8.6.2006, Bc. Igor Skokan

Contents

1 Well and Ill Posedness 1.1 Motivation For Solving Ill-Posed Problems . . . . . . ....