Des moindres carrés aux moindres déviations

Linear regression is mostly dominated by least squares which corresponds to Gaussian noise. But it is known for a long time that if outliers may be present in the measurements, robust regression techniques such as the least absolute deviation method, are preferable. One can also consider an intermediate cost function where residues larger than a threshold h are weighted by the ℓ1-norm and the others by the ℓ2-norm. This leads to the Huber penalization that is optimal for a certain contaminated Gaussian distribution. No closed-form solution exist for these cost function and we propose an algorithm which, initialized by the least squares estimate that is optimal for h infinite, builds the sequence of estimates associated with decreasing h, a zero h corresponding the least absolute deviation estimate.

RÉSUMÉ

La régression linéaire est un domaine important en pratique qui est, en général, associée aux moindres carrés. Mais on sait depuis longtemps que si les erreurs ne sont pas vraiment gaussiennes et peuvent inclure des valeurs aberrantes il est préférable d’utiliser la norme ℓ1 et de passer aux moindres déviations. Une version intermédiaire consiste à minimiser la norme ℓ1 pour les résidus supérieurs à un seuil h et la norme ℓ2 pour les autres, on retrouve alors la fonction de pénalisation de Huber qui est optimale dans un certain sens. On propose un algorithme qui génère la suite de ces optimums. Le coût considéré dépend d’un paramètre h. L’algorithme démarre en h infini avec l’optimum des moindres carrés qui est simple à obtenir, on propage la solution pour h décroissant, et en h nul, on a l’optimum des moindres déviations.