Codice insegnamento

4S008279

Docente

Paolo Dai Pra

Crediti

3

Lingua di erogazione

Inglese

Settore Scientifico Disciplinare (SSD)

MAT/06 - PROBABILITÀ E STATISTICA MATEMATICA

Periodo

I semestre dal 1 ott 2020 al 29 gen 2021.

Orario Lezioni Moodle Seminari 0

Per visualizzare la struttura dell’insegnamento a cui questo modulo appartiene, consultare:  organizzazione dell'insegnamento

Obiettivi formativi

Obiettivo del modulo è introdurre gli studenti alla modellazione statistica ed all’analisi esplorativa dei dati. I fondamenti dello Statistical Learning (supervised e unsupervised, deep learning) sono sviluppati con particolare enfasi sugli aspetti teorici e sulle strutture matematiche sottostanti, allo scopo di fornire una derivazione ed analisi rigorosa ed autocontenuta dei principali modelli usati correntemente per le applicazioni.

Programma

Tutte le ore dell'insegnamento saranno disponibili online. Inoltre, una parte delle lezioni/tutte le lezioni (si veda l'orario)
saranno tenute anche in aula.

1. Regressione lineare
Vettori aleatori normali e loro proprietà. Modelli di regressione lineare. Minimi quadrati e
proiezioni. Stimatori di parametri e loro ottimalità (Teorema di Gauss-Markov, con
dimostrazione). Distribuzione degli stimatori. Verifica della significatività dei predittori. Migliore selezione di sottoinsiemi
e la sua formulazione come problema di ottimizzazione a numeri interi misti. Regressione Ridge.
Interpretazione della regressione ridge con la scomposizione al valore singolare (con dimostrazione).
LASSO.

2. Metodi lineari per la classificazione
Classificatore di Bayes e sua ottimalità (con dimostrazione). Regressione lineare dopo la codifica binaria. Analisi lineare discriminante. Iperpiani separatori. L'algoritmo perceptron (con dimostrazione di
terminazione)

3. Selezione e valutazione del modello.
Funzione di perdita; errore di training e previsione. Convalida incrociata. Espressione esplicita di convalida incrociata per regressione lineare (con dimostrazione). Bootstrap e applicazione alla valutazione dei modelli.

4. Clustering.
Clustering basato su centri. Clustering K-center; Clustering K-mediano; K-means clustering.
Algoritmo di Lloyd per K-means. Algoritmo di Ward. Clustering spettrale: graph Laplacian. La
molteplicità dell'autovalore 0 del graph Laplacian è uguale al numero di componenti connesse (con dimostrazione). Algoritmi di clustering spettrale non normalizzati e normalizzati.
Relazione tra clustering spettrale e graph-cut.

5. Introduzione alle reti neurali.
Reti neurali a strato singolo. Teorema di densità di Cybenko (con dimostrazione). Reti neurali multistrato. Addestrare una rete neurale: l'algoritmo di gradient descent.

Modalità d'esame

Esame orale.