Thème

Ce cours est une introduction à la théorie de l'apprentissage et à ses principaux résultats, destinée à des doctorants et chercheurs en statistiques. Il a été donné en tant que conférence invitée au premier Workshop du Réseau Africain de Statistique Mathématique et ses Applications (RASMA), à Franceville (Gabon) en janvier 2008. Le cours commence par présenter l'apprentissage automatique, puis sa formalisation statistique, en insistant sur les différents enjeux : consistance des algorithmes, vitesses de convergence, etc. Une grande partie du cours se focalise sur la minimisation du risque empirique et sur la théorie de Vapnik Chervonenkis, sans pour autant se limiter au cas de la discrimination entre deux classes. La dernière partie du cours est dédiée à la minimisation d'un coût différent du risque empirique, en particulier quand ce coût inclut un terme de régularisation.

Public

Le cours est destiné à des statisticiens et demande donc une formation minimale dans ce domaine, idéalement de niveau Master 1. Il est cependant abordable pour des étudiants de Licence avec une bonne formation en probabilités car il utilise assez peu de résultats classiques de statistiques.

Supports

Les transparents sont disponibles ici.

Références

Ce cours a été préparé en utilisant notamment le remarquable ouvrage de Luc Devroye, László Györfi et Gábor Lugosi, A Probabilistic Theory of Pattern Recognition, paru chez Springer en 1996. Malgré son âge, ce livre reste une référence incontournable, très complète et étonnamment facile d'accès.

Ce cours s'est aussi appuyé sur de nombreux articles, généralement disponibles en ligne, et dont voici une sélection :

• Articles généraux :
  • S. Boucheron, O. Bousquet, and G. Lugosi. Theory of classification: a survey of some recent advances. ESSAIM; Probability and Statistics, 9:323-375, November 2005
  • O. Bousquet, S. Boucheron, and G. Lugosi. Advanced lectures in machine learning, volume 3176 of LNAI, chapter Introduction to statistical learning theory, pages 169-207. Springer-Verlag, 2004
  • S. Kulkarni, G. Lugosi, and S. Venkatesh. Learning pattern classification - a survey. IEEE Transactions on Information Theory, 44(6):2178-2206, October 1998.
• Quelques résultats spécifiques :
  • Régression : G. Lugosi and K. Zeger. Nonparametric estimation via empirical risk minimization. IEEE Transactions on Information Theory, 41(3):677-687, May 1995.
  • Minimisation structurelle du risque : G. Lugosi and K. Zeger. Concept learning using complexity regularization. IEEE Transactions on Information Theory, 42(1):48-54, January 1996.
  • SVM : I. Steinwart. Consistency of support vector machines and other regularized kernel machines. IEEE Transactions on Information Theory, 51(1):128-–142, January 2005.