Classification et modèles de mélange

Cours de niveau Master 2 destiné à des étudiants avec des connaissances de niveau L3/M1 au moins en probabilités (en fonction des formations).

Contenu du cours et références

Classification

Cette partie du cours porte sur la classification automatique (le clustering en anglais) et traite de :

1. méthodes classiques : k-means et classification hiérarchique ascendante
2. modèle de mélange de gaussienne et algorithme EM
3. EM variationnel et classification des noeuds d'un graphe

La première partie est traitée de façon très détaillée dans mon cours d'analyse des données, en particulier dans mes transparents. L'algorithme EM est aussi présenté dans ces transparents (on trouvera des compléments sur ce point sur la wikipédia, ainsi que dans un excellent article de synthèse d'Alexis Roche). La classification des noeuds d'un graphe est traitée selon l'article « A mixture model for random graphs ». Le début du deuxième chapitre de la thèse Matthew Beal propose une bonne introduction à l'EM variationnel (cf aussi ce tutoriel et ces transparents).

Classification et visualisation

Cette partie du cours porte sur des modèles un peu particulier dont l'objectif est de fournir une classification adaptée à la visualisation. Il s'agit essentiellement

1. du Self Organizing Map (SOM) avec ses variantes probabilistes
2. du Generative Topographic Mapping (GTM)

Les variantes probabilistes du SOM sont décrites dans cet article de Tom Heskes et dans cet autre article de Jakob Verbeek. L'article d'origine sur le GTM est celui-ci.

Visualisation

Cette partie du cours porte sur la visualisation de données par des méthodes de projection. On aborde :

1. l'analyse en composantes principales
2. l'analyse en composantes principales probabiliste et ses extensions (cf ci-dessous pour des articles de référence)
3. les méthodes non paramétriques qui optimisent directement le placement des représentations en basse dimension, comme SNE, t-SNE et NeRV.

Régression

Cette partie du cours porte sur la régression linéaire bayésienne et sur les processus gaussiens. Le site web gaussianprocess.org propose de très nombreux documents sur les processus gaussiens. Le livre « Gaussian Processes for Machine Learning » de C. E. Rasmussen et C. K. I. William, disponible en ligne, présente le sujet de façon à la fois détaillée et concise.

TP

1. TP R sur l'algorithme EM

Évaluation

L'évaluation de ce cours se fait sur un rapport et une soutenance orale présentant un ou plusieurs articles scientifiques concernant les méthodes abordées en cours et leurs variantes. En fonction des compétences/préférences des étudiants, le travail peut comporter une mise en oeuvre informatique (en R).

Sujets en 2016

1. applications spécifiques :
   • modèles pour le sport selon la référence principale « Learning Fine-Grained Spatial Models for Dynamic Sports Play Prediction »
   • localisation et actions fréquentes selon la référence principale « Discovering Routines from Large-Scale Human Locations using Probabilistic Topic Models »
2. thème séries temporelles :
   • Weak Hidden Markov Model selon la thèse « Further applications of higher-order Markov chains and developments in regime-switching models »
   • prévisions multivariées avec des conditional random fields parcimonieux, selon l'article « Large-scale Probabilistic Forecasting in Energy Systems using Sparse Gaussian Conditional Random Fields »
3. thème causalité :
   • causalité en économie, selon l'article « Machine Learning Methods for Estimating Heterogeneous Causal Effects »
4. thème graphes :
   • Block model temporel selon l'article «Statistical clustering of temporal networks through a dynamic stochastic block model: Clustering dynamic random graphs via SBM »

Anciens sujets

Ces sujets ont déjà été traités dans le passé mais peuvent être repris sur demande.

1. thème graphes et réseaux :
   • Stochastic Block Model selon la référence principale « A mixture model for random graphs »
   • modèle à degré corrigé selon la référence principale « Stochastic blockmodels and community structure in networks »
   • classification des sommets d'un graphe avec multi-appartenance selon l'article « Overlapping stochastic block models with application to the French political blogosphere »
   • Stochastic Block Model avec une inférence combinatoire selon l'article « Model selection and clustering in stochastic block models with the exact integrated complete data likelihood »
   • Stochastic Block Model avec une inférence différente de celle vue en cours, selon l'article « Comparative Study for Inference of Hidden Classes in Stochastic Block Models »
   • modèle à mixed membership (chaque sommet est attaché à plusieurs classes) selon la référence principale « Mixed Membership Stochastic Blockmodels »
2. thème visualisation :
   • mélange d'ACP probabiliste selon les articles « Probabilistic principal component analysis » et « Mixtures of probabilistic principal component analyzers »
   • version hiérarchique du mélange d'ACP selon l'article « A hierarchical latent variable model for data visualization »
   • GTM adapté aux données binaires selon l'article « A Scalable Generative Topographic Mapping for Sparse Data Sequences » (cf aussi « Developments of the Generative Topographic Mapping »)
3. thème séries temporelles :
   • mélange de modèles de Markov cachés selon l'article « Clustering sequences with hidden Markov models » (cf aussi cet article)
   • mélange de régressions selon l'article « Trajectory clustering using mixtures of regression models »
   • recherche de formes dans une série temporelle selon l'article « Deformable Markov model templates for time-series pattern matching »
   • mélange de chaînes de Markov pour l'analyse de trajectoires sur un site web selon l'article « Model-based clustering and visualization of navigation patterns on a Web site »
4. thème textes :
   • comparaison de collections de textes selon le modèle de « A cross-collection mixture model for comparative text mining »
   • le modèle Latent Dirichlet Allocation (cf aussi l'évolution de modèle dans l'article « Topic Models » et la page sur le sujet de David Blei)
5. thème recommandations :
   • modèle à aspects de selon l'article « Latent Class Models for Collaborative Filtering » (cf le rapport technique détaillé « Unsupervised learning from Dyadic Data »)
   • modèle de transactions selon l'article « Predictive profiles for transaction data using finite mixture models »
6. thème grande dimension :
   • modèle de mélanges gaussien contraints selon « High-Dimensional Data Clustering »

Bibliographie

• « Pattern Recognition and Machine Learning » de C. Bishop : référence générale, très didactique
• « Machine Learning: a Probabilistic Perspective » de K. P. Murphy : même esprit que l'ouvrage précédent mais en beaucoup plus complet (mais aussi plus complexe)
• « The EM Algorithm and Extensions » de G.J. McLachlan et T. Krishnan : ouvrage de référence sur l'algorithme EM, lecture relativement ardue (en raison du style, pas du contenu mathématique)
• « Finite Mixture Models » de G.J. McLachlan et D. Peel : ouvrage de référence sur les modèles de mélange, même remarque que pour l'ouvrage précédent