Cours de niveau Master 2 destiné à des étudiants avec des connaissances de niveau L3/M1 au moins en probabilités (en fonction des formations).

Plan du cours

Ce cours aborde l'apprentissage automatique du point de vue de la modélisation probabiliste. Il s'agit de spécifier des distributions pertinentes pour des données au moyen de modèles graphiques, puis d'inférer les paramètres de ces distributions pour réaliser des tâches exploratoires ou prédictives.

Plan du cours :

1. Rappel d'estimation par maximum de vraisemblance
2. Modèles graphiques dirigés (réseaux bayésiens) pour la spécification de distributions
3. Le classifieur bayésien naïf
4. Modèle de mélange fini et algorithme EM
5. Sélection de modèles
6. Modèle de Markov Caché
7. Stochastic Block Model et EM variationnel
8. Régression linéaire bayésienne
9. Processus gaussiens
10. Modèles graphiques non orientés

TP

1. TP sur le classifieur bayésien naïf
2. TP R sur l'algorithme EM
3. TP R sur le modèle de markov caché

Évaluation

L'évaluation du cours se fait sur un examen écrit classique. Lors des années précédentes, le cours était décomposé en deux parties, dont celle que je donnais (portant plutôt sur les modèles graphiques). Les énoncés ci-dessous sont donc avant tout représentatifs pour leur seconde partie :

• énoncé de 2018
• énoncé de 2017

Sélection d'articles

1. thème analyse de textes
   • comparaison de collections de textes selon le modèle de « A cross-collection mixture model for comparative text mining »
   • le modèle Latent Dirichlet Allocation (cf aussi l'évolution de modèle dans l'article « Topic Models » et la page sur le sujet de David Blei)
2. thème séries temporelles :
   • mélange de modèles de Markov cachés selon les articles « Clustering sequences with hidden Markov models » et « Probabilistic Model-Based Custering of Multivariate and Sequential »
   • mélange de régressions selon l'article « Trajectory clustering using mixtures of regression models »
   • recherche de formes dans une série temporelle selon l'article « Deformable Markov model templates for time-series pattern matching »
   • mélange de chaînes de Markov pour l'analyse de trajectoires sur un site web selon l'article « Model-based clustering and visualization of navigation patterns on a Web site »
3. thème visualisation de données :
   • le Generative Topographic Mapping selon l'article « GTM: The Generative Topographic Mapping »
   • réduction de dimension selon l'article « Simultaneous model-based clustering and visualization in the Fisher discriminative subspace »
4. thème recommandations :
   • modèle à aspects de selon l'article « Latent Class Models for Collaborative Filtering » (cf le rapport technique détaillé « Unsupervised learning from Dyadic Data »)
   • modèle de transactions selon l'article « Predictive profiles for transaction data using finite mixture models »
5. thème graphes :
   • Block model temporel selon l'article «Statistical clustering of temporal networks through a dynamic stochastic block model: Clustering dynamic random graphs via SBM »
   • modèle à degré corrigé selon la référence principale « Stochastic blockmodels and community structure in networks »
   • classification des sommets d'un graphe avec multi-appartenance selon l'article « Overlapping stochastic block models with application to the French political blogosphere »
   • Stochastic Block Model avec une inférence combinatoire selon l'article « Model selection and clustering in stochastic block models with the exact integrated complete data likelihood »
6. thème pas de thème ;-)
   • données multi-origines selon l'article « Simultaneous Gaussian Model-Based Clustering for Samples of Multiple Origins »
   • données nominales selon l'article « Mixture of latent trait analyzers for model-based clustering of categorical data »

Bibliographie

• « Pattern Recognition and Machine Learning » de C. Bishop : référence générale, très didactique
• « Machine Learning: a Probabilistic Perspective » de K. P. Murphy : même esprit que l'ouvrage précédent mais en beaucoup plus complet (mais aussi plus complexe)
• « The EM Algorithm and Extensions » de G.J. McLachlan et T. Krishnan : ouvrage de référence sur l'algorithme EM, lecture relativement ardue (en raison du style, pas du contenu mathématique)
• « Finite Mixture Models » de G.J. McLachlan et D. Peel : ouvrage de référence sur les modèles de mélange, même remarque que pour l'ouvrage précédent