La regressione lineare è la prima famiglia di metodi di apprendimento supervisionato che si incontra nel corso, e non è una scelta casuale: è il modello più semplice che permette di toccare con mano tutti gli ingredienti visti nel capitolo precedente (hypothesis space (spazio delle ipotesi), loss function (funzione di perdita), ottimizzazione), ammette una soluzione analitica in forma chiusa, e allo stesso tempo è il mattone su cui poggiano tecniche molto più sofisticate, reti neurali comprese. Questo capitolo sviluppa il metodo da quattro angolazioni complementari: la soluzione diretta ai least squares (minimi quadrati), la sua lettura geometrica come proiezione, la lettura probabilistica tramite maximum likelihood (massima verosimiglianza), e infine l’approccio bayesiano completo. Lungo il percorso emergono due temi centrali di tutto il corso: l’overfitting e il suo antidoto, la regolarizzazione. Il capitolo si chiude con gli strumenti pratici per valutare un modello di regressione (indici di errore, $R^2$, test statistici) e con una serie di esercizi svolti in stile esame.

Riferimenti sul testo: Bishop, Pattern Recognition and Machine Learning, capitoli 1 (1.1, 1.2, 1.3) e 3 (3.1, 3.3).

1. Il problema della regressione#

1.1 Obiettivo e ingredienti#

Il punto di partenza è sempre lo stesso: esiste una funzione ignota $f$ che genera i dati, e l’obiettivo è approssimarla usando solo un insieme finito di osservazioni.

La natura continua del target è ciò che distingue la regressione dalla classificazione, dove il target assume valori in un insieme finito di classi. Esempi tipici: prevedere un prezzo, una temperatura, la larghezza del petalo di un fiore data la sua lunghezza.

Per costruire un algoritmo di regressione servono le tre risposte canoniche dell’apprendimento supervisionato, che qui vengono date in modo esplicito:

• Come modellare $f$: quale famiglia di funzioni (hypothesis space) usare per l’approssimazione.
• Come valutare l’approssimazione: quale loss function (loss) misura la qualità di una candidata soluzione sui dati.
• Come ottimizzare: con quale algoritmo cercare, dentro l’hypothesis space, la funzione che minimizza la loss.

La regressione lineare dà una risposta precisa e molto conveniente a tutte e tre le domande.

1.2 Perché partire dai modelli lineari#

Concentrarsi su un modello così semplice non è solo una scelta didattica. I modelli lineari hanno quattro proprietà che li rendono ancora oggi fondamentali:

• Interpretabilità: un modello lineare si può leggere e spiegare. Guardando i pesi si capisce quanto e in che direzione ogni variabile influenza la predizione; con i pesi di una rete neurale profonda questo è praticamente impossibile.
• Soluzione analitica: con una scelta ragionevole della loss function, il problema di ottimizzazione si risolve in forma chiusa. Non ci sono problemi di convergenza: se nell’hypothesis space esiste la soluzione ottima, la si trova sempre. Con le reti neurali, molto più potenti, non c’è alcuna garanzia di raggiungere l’ottimo.
• Estendibilità al non lineare: tramite le funzioni base (sezione 2.3), la regressione lineare può modellare anche relazioni non lineari tra input e output. Suona strano, ma il trucco è che la linearità richiesta è nei parametri, non nei dati.
• Mattone per metodi avanzati: molte tecniche più sofisticate, incluse le reti neurali e i metodi kernel, usano al loro interno concetti e blocchi presi dalla regressione lineare.

2. Il modello lineare e le funzioni base#

2.1 Il modello lineare più semplice#

Idea chiave: approssimare $f$ con una combinazione pesata delle variabili di input più una costante; imparare significa trovare i valori giusti dei pesi.

Con input $\mathbf{x} = (x_1, \dots, x_D)$ il modello lineare più semplice è

$$y(\mathbf{x}, \mathbf{w}) = w_0 + \sum_{j=1}^{D} w_j x_j$$

dove $w_0$ è il parametro di bias: il termine costante che non moltiplica nessuna variabile e permette alla funzione di non passare per l’origine. Per compattare la notazione conviene aggiungere all’input una componente fittizia sempre uguale a 1, ottenendo $\mathbf{x} = (1, x_1, \dots, x_D)$; a quel punto il modello diventa un semplice prodotto scalare:

$$y(\mathbf{x}, \mathbf{w}) = \mathbf{w}^T \mathbf{x}$$

In parole semplici: il modello è una “media pesata” degli input più una costante di partenza. Nel caso di un solo input è l’equazione di una retta, $y = w_0 + w_1 x$: imparare il modello vuol dire scegliere pendenza e intercetta della retta.

Vale la pena visualizzare l’hypothesis space. Con un solo input le soluzioni candidate sono tutte le rette del piano, e ciascuna retta corrisponde a un punto nello spazio dei pesi $(w_0, w_1)$: una retta quasi piatta ha $w_1$ vicino a zero, una retta ripida ha $w_1$ grande. Cercare la migliore approssimazione significa cercare il punto migliore in questo spazio dei parametri. Questa è la caratteristica dei metodi parametrici: la forma della soluzione è fissata in anticipo dal progettista, e l’apprendimento si riduce a trovare i valori ottimi di un numero finito di parametri.

2.2 La loss function: somma dei quadrati#

Per confrontare tra loro le candidate soluzioni serve una loss function, e non potendo misurare la distanza dalla vera $f$ (che è ignota) la si costruisce a partire dai dati. La scelta standard, e molto conveniente, è la somma degli errori quadratici (SSE, sum of squared errors):

$$\mathcal{L}(\mathbf{w}) = \frac{1}{2} \sum_{n=1}^{N} \big( y(\mathbf{x}_n, \mathbf{w}) - t_n \big)^2 = \frac{1}{2} \sum_{n=1}^{N} \varepsilon_n^2$$

La quantità $\varepsilon_n = t_n - y(\mathbf{x}_n, \mathbf{w})$ è il residuo: l’errore che il modello commette sul punto $n$-esimo, cioè la distanza verticale tra il valore osservato $t_n$ e il valore predetto sulla retta. La somma dei residui al quadrato si chiama anche RSS (residual sum of squares). Due dettagli della formula:

• gli errori vengono elevati al quadrato perché altrimenti errori positivi e negativi si cancellerebbero a vicenda, dando l’illusione di un modello accurato;
• il fattore $\tfrac{1}{2}$ è solo una comodità: derivando il quadrato compare un 2 che si semplifica.

In parole semplici: per ogni punto del dataset si misura di quanto la predizione manca il bersaglio, si eleva al quadrato (così gli errori non si compensano e quelli grandi pesano di più) e si sommano tutti. Il modello migliore è quello che rende minima questa somma.

Con questa loss, il problema di apprendimento diventa un problema di ottimizzazione ben definito: cercare nello spazio dei pesi il punto che minimizza $\mathcal{L}(\mathbf{w})$.

2.3 Linearità nei parametri, non nei dati: le funzioni base#

Una combinazione lineare delle sole variabili di input spesso non basta: se i dati seguono una parabola o una sinusoide, nessuna retta li approssimerà bene. L’osservazione cruciale è però questa: per poter risolvere il problema analiticamente non serve che il modello sia lineare nell’input, serve solo che sia lineare nei pesi.

Idea chiave: trasformare l’input con funzioni non lineari scelte a piacere, e poi imparare un modello lineare nel nuovo spazio trasformato. La retta nel nuovo spazio corrisponde a una curva nello spazio originale.

Un’analogia quotidiana: se una strada in salita è troppo ripida per una bicicletta, non si cambia la bicicletta, si cambia il percorso; qui non si cambia l’algoritmo lineare, si cambia lo spazio in cui lavora. Concretamente, si definiscono $M$ funzioni base (basis functions) $\phi_j$ e il modello diventa

$$y(\mathbf{x}, \mathbf{w}) = \sum_{j=0}^{M-1} w_j \, \phi_j(\mathbf{x}) = \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x})$$

dove per convenzione $\phi_0(\mathbf{x}) = 1$ gioca il ruolo del bias.

Esempio concreto: dati che seguono una parabola nel piano $(x, t)$. Si mappa l’input scalare $x$ nel vettore di feature $(1, x, x^2)$ e si impara il modello $y = w_0 + w_1 x + w_2 x^2$. Rispetto ai pesi il modello è ancora perfettamente lineare, quindi tutta la matematica dei least squares continua a funzionare identica; ma nel piano originale la funzione appresa è una parabola. Nel feature space bidimensionale $(x, x^2)$ i punti del dataset giacciono attorno a un piano: esiste cioè un’approssimazione lineare nel feature space che corrisponde alla relazione non lineare nello spazio originale. Tipicamente, per rendere efficace il trucco, si passa da uno spazio di input a bassa dimensionalità a un feature space a dimensionalità più alta.

Le funzioni base possono essere qualsiasi cosa: $\phi(\mathbf{x}) = x_1$, $\phi(\mathbf{x}) = x_1 x_2$, $\phi(\mathbf{x}) = \cos(x_1)$, e così via. La libertà è totale, perché l’obiettivo è disegnare uno spazio su misura per il problema.

In parole semplici: la regressione “lineare” è lineare solo nei pesi. Se prima di darle i dati li si trasforma (quadrati, prodotti, coseni…), la macchina continua a cercare un iperpiano, ma quell’iperpiano, riportato nello spazio originale, è una curva. Così un metodo semplicissimo modella relazioni complicate.

2.4 Famiglie standard di funzioni base#

Il problema pratico è che di solito non si sa quali basi servano. Se i dati sono pochi e in una dimensione, un’occhiata al grafico può suggerire “serve un polinomio di grado 2”; con migliaia di punti in centinaia di dimensioni questo è impossibile. Si ricorre allora a famiglie standard di basi (qui per input scalare):

• Polinomiali: $\phi_j(x) = x^j$. Sono funzioni globali: ogni feature è attiva su tutto l’asse reale, quindi cambiare un peso modifica la curva ovunque.
• Gaussiane: $\phi_j(x) = \exp\!\left( -\dfrac{(x - \mu_j)^2}{2 s^2} \right)$. Sono funzioni locali: ciascuna vale circa 1 vicino al proprio centro $\mu_j$ e decade rapidamente a zero lontano da esso. Disseminando molte gaussiane lungo lo spazio si ottiene un’approssimazione molto flessibile, costruita pezzo per pezzo, perché ogni peso influenza solo una piccola regione.
• Sigmoidali: $\phi_j(x) = \sigma\!\left( \dfrac{x - \mu_j}{s} \right)$ con $\sigma(a) = \dfrac{1}{1 + e^{-a}}$. Utili quando ci si aspetta transizioni “a gradino morbido” tra due regimi.

2.5 Il prezzo da pagare: la maledizione della dimensionalità#

Se non si sa quali basi usare, la tentazione è “proviamole tutte”. Il costo di questa strategia è un’esplosione del numero di feature. Un esempio: con due variabili $x_1, x_2$, un polinomio completo di grado 2 richiede le feature $x_1$, $x_2$, $x_1 x_2$, $x_1^2$, $x_2^2$: da 2 variabili a 5 feature. Aumentando il grado o il numero di variabili, il numero di feature cresce in modo esponenziale. Lo stesso vale per le basi locali: per coprire uniformemente uno spazio con gaussiane, il numero di centri necessari cresce esponenzialmente con la dimensione (una griglia in 1D diventa una griglia quadratica in 2D, cubica in 3D, e così via).

Questo fenomeno si chiama maledizione della dimensionalità (curse of dimensionality) ed è il vero limite dei modelli lineari a basi fisse: se non fosse per questo, non servirebbero tecniche più complesse. Verrà ripreso più avanti nel corso da un punto di vista teorico, e i metodi kernel offriranno una via d’uscita.

3. La soluzione diretta: ordinary least squares (OLS)#

3.1 Forma matriciale della loss#

Idea chiave: riscrivendo la loss in forma matriciale, la sua minimizzazione diventa un esercizio di calcolo con una soluzione esplicita: le equazioni normali.

Si raccolgono i dati in due oggetti:

• la matrice di design $\boldsymbol{\Phi} \in \mathbb{R}^{N \times M}$, la cui riga $n$-esima è il vettore di feature del campione $n$-esimo: $\boldsymbol{\Phi}_{nj} = \phi_j(\mathbf{x}_n)$. La prima riga contiene tutte le feature del primo campione, la seconda quelle del secondo, e così via fino all’$N$-esimo;
• il vettore dei target $\mathbf{t} = (t_1, \dots, t_N)^T \in \mathbb{R}^N$.

Il prodotto $\boldsymbol{\Phi}\mathbf{w}$ è allora il vettore di tutte le predizioni del modello sui punti del dataset (ogni riga per il vettore dei pesi dà una predizione), e $\mathbf{t} - \boldsymbol{\Phi}\mathbf{w}$ è il vettore di tutti i residui. La RSS è la norma al quadrato di questo vettore:

$$\mathcal{L}(\mathbf{w}) = \frac{1}{2} (\mathbf{t} - \boldsymbol{\Phi}\mathbf{w})^T (\mathbf{t} - \boldsymbol{\Phi}\mathbf{w})$$

Chi non è convinto dell’equivalenza può verificarla a mano con numeri piccoli, per esempio $N = 3$ campioni e $M = 2$ feature: moltiplicando il vettore dei residui trasposto per sé stesso si ottiene esattamente la somma dei quadrati dei residui.

3.2 Derivazione della soluzione in forma chiusa#

Per minimizzare una funzione si annulla la derivata prima e si controlla la derivata seconda. Qui la variabile è un vettore, quindi la “derivata prima” è il gradiente e la “derivata seconda” è la matrice hessiana delle derivate parziali seconde. Applicando la regola della catena alla forma quadratica (derivata del quadrato per derivata dell’argomento interno, con le trasposizioni imposte dal calcolo matriciale):

$$\frac{\partial \mathcal{L}(\mathbf{w})}{\partial \mathbf{w}} = -\boldsymbol{\Phi}^T (\mathbf{t} - \boldsymbol{\Phi}\mathbf{w}), \qquad \frac{\partial^2 \mathcal{L}(\mathbf{w})}{\partial \mathbf{w} \, \partial \mathbf{w}^T} = \boldsymbol{\Phi}^T \boldsymbol{\Phi}$$

La derivazione estesa, passaggio per passaggio

Ci sono due strade per arrivare a queste due formule. La prima è meccanica e non richiede di ricordare nulla oltre a due identità; la seconda è più rapida ma va tenuta a mente.

Via 1: espandere e usare le identità del calcolo matriciale. Si sviluppa il prodotto:

$$\mathcal{L}(\mathbf{w}) = \tfrac{1}{2}\left(\mathbf{t}^T\mathbf{t} - \mathbf{t}^T\boldsymbol{\Phi}\mathbf{w} - \mathbf{w}^T\boldsymbol{\Phi}^T\mathbf{t} + \mathbf{w}^T\boldsymbol{\Phi}^T\boldsymbol{\Phi}\mathbf{w}\right)$$

Il passaggio che sblocca tutto: i due termini centrali sono scalari ($1 \times 1$), e uno scalare è uguale alla propria trasposta, quindi $\mathbf{t}^T\boldsymbol{\Phi}\mathbf{w} = \mathbf{w}^T\boldsymbol{\Phi}^T\mathbf{t}$. I due si fondono in uno solo:

$$\mathcal{L}(\mathbf{w}) = \tfrac{1}{2}\left(\mathbf{t}^T\mathbf{t} - 2\,\mathbf{w}^T\boldsymbol{\Phi}^T\mathbf{t} + \mathbf{w}^T\boldsymbol{\Phi}^T\boldsymbol{\Phi}\mathbf{w}\right)$$

A questo punto servono solo due identità standard:

Identità	Condizione di validità
$\dfrac{\partial\, (\mathbf{a}^T\mathbf{w})}{\partial \mathbf{w}} = \mathbf{a}$	$\mathbf{a}$ non dipende da $\mathbf{w}$
$\dfrac{\partial\, (\mathbf{w}^T\mathbf{A}\mathbf{w})}{\partial \mathbf{w}} = (\mathbf{A} + \mathbf{A}^T)\mathbf{w} = 2\mathbf{A}\mathbf{w}$	l’ultima uguaglianza solo se $\mathbf{A}$ è simmetrica

Qui $\mathbf{A} = \boldsymbol{\Phi}^T\boldsymbol{\Phi}$ è simmetrica per costruzione, dato che $(\boldsymbol{\Phi}^T\boldsymbol{\Phi})^T = \boldsymbol{\Phi}^T\boldsymbol{\Phi}$, quindi vale la forma $2\mathbf{A}\mathbf{w}$. Il termine $\mathbf{t}^T\mathbf{t}$ è costante in $\mathbf{w}$ e sparisce:

$$\frac{\partial \mathcal{L}}{\partial \mathbf{w}} = \tfrac{1}{2}\left(-2\boldsymbol{\Phi}^T\mathbf{t} + 2\boldsymbol{\Phi}^T\boldsymbol{\Phi}\mathbf{w}\right) = \boldsymbol{\Phi}^T\boldsymbol{\Phi}\mathbf{w} - \boldsymbol{\Phi}^T\mathbf{t} = -\boldsymbol{\Phi}^T(\mathbf{t} - \boldsymbol{\Phi}\mathbf{w})$$

Ecco a cosa serve l’$\frac{1}{2}$ davanti alla loss: cancella esattamente il $2$ che esce dalla derivata del quadrato. Non cambia il punto di minimo, essendo una costante moltiplicativa positiva, ed è solo cosmetica.

L’hessiana si ottiene derivando di nuovo. Il gradiente è ormai lineare in $\mathbf{w}$, nella forma $\mathbf{A}\mathbf{w} - \mathbf{b}$, quindi la seconda derivata è banale:

$$\frac{\partial^2 \mathcal{L}}{\partial \mathbf{w}\,\partial \mathbf{w}^T} = \frac{\partial}{\partial \mathbf{w}^T}\left(\boldsymbol{\Phi}^T\boldsymbol{\Phi}\mathbf{w} - \boldsymbol{\Phi}^T\mathbf{t}\right) = \boldsymbol{\Phi}^T\boldsymbol{\Phi}$$

Costante, non dipende da $\mathbf{w}$: è la firma di una funzione quadratica.

Via 2: la regola della catena, quella citata sopra. Si pone $\mathbf{r}(\mathbf{w}) = \mathbf{t} - \boldsymbol{\Phi}\mathbf{w}$, il vettore dei residui, così che $\mathcal{L} = \frac{1}{2}\mathbf{r}^T\mathbf{r}$. Allora

$$\frac{\partial \mathcal{L}}{\partial \mathbf{r}} = \mathbf{r}, \qquad \frac{\partial \mathbf{r}}{\partial \mathbf{w}} = -\boldsymbol{\Phi}$$

e la catena in forma matriciale è $\nabla_\mathbf{w}\mathcal{L} = \left(\frac{\partial \mathbf{r}}{\partial \mathbf{w}}\right)^T \frac{\partial \mathcal{L}}{\partial \mathbf{r}} = -\boldsymbol{\Phi}^T\mathbf{r} = -\boldsymbol{\Phi}^T(\mathbf{t} - \boldsymbol{\Phi}\mathbf{w})$.

È più veloce, ma la trasposizione va ricordata a memoria. Il controllo dimensionale la giustifica: $\boldsymbol{\Phi}$ è $N \times M$ e $\mathbf{r}$ è $N \times 1$; l’unico modo di combinarle ottenendo un $M \times 1$, cioè la stessa forma di $\mathbf{w}$ come dev’essere per un gradiente, è $\boldsymbol{\Phi}^T\mathbf{r}$. All’esame, il controllo dimensionale è il modo più rapido per verificare di non aver sbagliato una trasposta.

L’hessiana $\boldsymbol{\Phi}^T \boldsymbol{\Phi}$ è semidefinita positiva, e la ragione è che si tratta di una matrice di Gram: per ogni $\mathbf{v} \in \mathbb{R}^M$

$$\mathbf{v}^T (\boldsymbol{\Phi}^T \boldsymbol{\Phi}) \mathbf{v} = (\boldsymbol{\Phi}\mathbf{v})^T (\boldsymbol{\Phi}\mathbf{v}) = \lVert \boldsymbol{\Phi}\mathbf{v} \rVert^2 \geq 0$$

cioè una norma al quadrato, che non può essere negativa. Ne segue che la loss è convessa e ogni punto a gradiente nullo è un minimo globale. La disuguaglianza è stretta, e quindi l’hessiana definita positiva con minimo unico, se e solo se $\boldsymbol{\Phi}\mathbf{v} \neq \mathbf{0}$ per ogni $\mathbf{v} \neq \mathbf{0}$: cioè se $\boldsymbol{\Phi}$ ha rango pieno per colonne. Rango pieno, hessiana definita positiva, invertibilità di $\boldsymbol{\Phi}^T\boldsymbol{\Phi}$ e unicità della soluzione sono la stessa condizione vista da quattro lati, e il paragrafo successivo esamina cosa accade quando cade. Annullando il gradiente:

$$\boldsymbol{\Phi}^T \boldsymbol{\Phi} \, \mathbf{w} = \boldsymbol{\Phi}^T \mathbf{t}$$

Queste sono le cosiddette equazioni normali. Se $\boldsymbol{\Phi}^T \boldsymbol{\Phi}$ è invertibile, la soluzione è unica ed esplicita.

In parole semplici: tutta la fase di “apprendimento” della regressione lineare si riduce a una formula: si costruisce la matrice delle feature, si fanno due moltiplicazioni e un’inversione di matrice, e i pesi ottimi escono in un colpo solo. Niente iterazioni, niente rischio di fermarsi in una soluzione mediocre: la formula dà sempre il minimo assoluto della loss.

3.3 Costo computazionale e problemi di invertibilità#

La forma chiusa ha solo due punti deboli.

• Costo computazionale: il calcolo di $\boldsymbol{\Phi}^T \boldsymbol{\Phi}$ e la sua inversione costano $O(NM^2 + M^3)$: lineare nel numero di campioni $N$ (nella moltiplicazione) e cubico nel numero di feature $M$ (nell’inversione). Poiché le feature possono esplodere esponenzialmente quando si vogliono catturare molte non linearità, con dataset e feature space grandi l’OLS diretto diventa impraticabile.
• Singolarità della matrice: se $\boldsymbol{\Phi}^T \boldsymbol{\Phi}$ è singolare non si può invertire. Questo accade quando ci sono feature linearmente dipendenti: se una colonna di $\boldsymbol{\Phi}$ è combinazione lineare di altre, la matrice non ha rango pieno. Anche una dipendenza lineare quasi perfetta (feature fortemente correlate) causa problemi, perché l’inversione diventa numericamente instabile.

Il primo problema si risolve con i metodi iterativi (sezione 6), il secondo con la regolarizzazione ridge (sezione 8.2), che ha come bonus la garanzia di invertibilità.

4. Lettura geometrica: OLS come proiezione ortogonale#

Idea chiave: visto come vettore in uno spazio a $N$ dimensioni, il vettore delle predizioni è vincolato a vivere nel sottospazio generato dalle colonne di $\boldsymbol{\Phi}$; l’OLS sceglie, dentro quel sottospazio, il punto più vicino al vettore dei target, cioè la sua proiezione ortogonale.

Si cambia prospettiva: invece di guardare i dati punto per punto, si guarda il dataset intero come un unico vettore. Il vettore dei target $\mathbf{t}$ vive in $\mathbb{R}^N$, uno spazio con una dimensione per ogni campione. Sia $\varphi_j$ la $j$-esima colonna di $\boldsymbol{\Phi}$ (cioè i valori della feature $j$ su tutti i campioni): le colonne $\varphi_1, \dots, \varphi_M$ generano un sottospazio lineare $\mathcal{S} \subseteq \mathbb{R}^N$ di dimensione $M$.

Il vettore delle predizioni $\hat{\mathbf{t}} = \boldsymbol{\Phi}\mathbf{w}$ è per costruzione una combinazione lineare delle colonne (la prima colonna pesata con $w_0$, la seconda con $w_1$, e così via), quindi qualunque sia $\mathbf{w}$, il vettore $\hat{\mathbf{t}}$ giace dentro $\mathcal{S}$. L’OLS minimizza la distanza quadratica $\lVert \mathbf{t} - \hat{\mathbf{t}} \rVert^2$, e il punto di un sottospazio più vicino a un vettore esterno è la sua proiezione ortogonale: dunque $\hat{\mathbf{t}}$ è la proiezione ortogonale di $\mathbf{t}$ su $\mathcal{S}$.

Un esempio piccolo aiuta a visualizzare: $N = 3$ campioni e $M = 2$ feature (per esempio la colonna di tutti 1 del bias e una variabile). Il target è una freccia nello spazio 3D; le due colonne di $\boldsymbol{\Phi}$ sono due frecce che individuano un piano; tutte le possibili uscite del modello stanno su quel piano; l’OLS pianta il piede della perpendicolare calata da $\mathbf{t}$ sul piano, e quel punto è $\hat{\mathbf{t}}$. In generale $N$ è enorme e il piano diventa un sottospazio $M$-dimensionale, ma l’idea è identica.

Sostituendo la soluzione OLS nell’espressione delle predizioni si ottiene la forma esplicita della proiezione:

$$\hat{\mathbf{t}} = \boldsymbol{\Phi} \hat{\mathbf{w}}_{OLS} = \underbrace{\boldsymbol{\Phi} (\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1} \boldsymbol{\Phi}^T}_{\mathbf{H}} \, \mathbf{t} = \mathbf{H}\,\mathbf{t}$$

La matrice $\mathbf{H}$, detta hat matrix (perché “mette il cappello” a $\mathbf{t}$), è la trasformazione geometrica che proietta il vettore dei target sul sottospazio delle feature.

In parole semplici: il modello non può produrre qualunque insieme di predizioni: può produrre solo quelle raggiungibili combinando le sue feature. L’OLS prende le risposte vere e le “schiaccia” sul sottospazio delle risposte producibili, nel modo che perde meno informazione possibile in senso quadratico. L’unica leva di progetto è la scelta delle feature: cambiare le feature cambia il sottospazio, e quindi cambia la proiezione.

5. Output multipli#

Che succede se il target non è uno scalare ma un vettore, cioè se per ogni input vanno predetti $K$ valori? In linea di principio si possono risolvere $K$ problemi di regressione completamente indipendenti, uno per componente: nella regressione lineare non c’è alcuna dipendenza tra il modo in cui si calcolano le diverse componenti dell’output, perché ognuna ha i propri pesi.

Se però si usa lo stesso insieme di funzioni base per tutti gli output, conviene risolverli insieme. Raccogliendo i target in una matrice $\mathbf{T}$ (una colonna per output) e i pesi in una matrice $\hat{\mathbf{W}}$ (una colonna di pesi per output), la soluzione è

$$\hat{\mathbf{W}} = (\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1} \boldsymbol{\Phi}^T \mathbf{T}$$

che si disaccoppia esattamente, per ogni output $k$, in $\hat{\mathbf{w}}_k = (\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1} \boldsymbol{\Phi}^T \mathbf{t}_k$.

In parole semplici: i problemi restano indipendenti, ma condividono il pezzo di calcolo più costoso, la matrice $(\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1}$, che dipende solo dagli input: la si calcola una volta sola e la si riusa per tutti gli output. Stesso risultato, molto meno lavoro.

6. Metodi iterativi: gradient descent e apprendimento sequenziale#

Quando il dataset è troppo grande per la forma chiusa, si abbandona la soluzione “in un colpo solo” e si procede per aggiustamenti successivi.

Idea chiave: partire da pesi qualsiasi e correggerli ripetutamente muovendosi in discesa lungo la superficie della loss, come una pallina che rotola verso il fondo di una conca; siccome la loss è convessa, il fondo è unico.

Il gradient descent calcola in ogni punto il gradiente della loss, che indica la direzione di massima crescita, e muove i pesi nella direzione opposta. Nella versione batch il gradiente si calcola sull’intera loss, cioè su tutti gli $N$ campioni a ogni passo; riusando il gradiente ricavato in 3.2, l’aggiornamento è

$$\mathbf{w}^{(k+1)} = \mathbf{w}^{(k)} - \alpha^{(k)} \nabla \mathcal{L}(\mathbf{w}^{(k)}) = \mathbf{w}^{(k)} + \alpha^{(k)} \boldsymbol{\Phi}^T \big( \mathbf{t} - \boldsymbol{\Phi}\mathbf{w}^{(k)} \big) = \mathbf{w}^{(k)} + \alpha^{(k)} \sum_{n=1}^{N} \big( t_n - \mathbf{w}^{(k)T} \boldsymbol{\phi}(\mathbf{x}_n) \big) \, \boldsymbol{\phi}(\mathbf{x}_n)$$

Ogni singolo passo costa dunque quanto una scansione completa del dataset, il che rende la batch precisa ma costosa. La variante usata in pratica è il gradient descent stocastica (SGD, detta anche apprendimento sequenziale o online): a ogni passo si usa il gradiente calcolato su un solo campione, che è un’approssimazione rumorosa ma non distorta del gradiente vero, e che comunque garantisce convergenza sotto opportune condizioni. Per la regressione lineare con loss quadratica l’algoritmo risultante prende il nome di Least Mean Squares (LMS):

$$\mathbf{w}^{(k+1)} = \mathbf{w}^{(k)} - \alpha^{(k)} \nabla \mathcal{L}_n(\mathbf{w}^{(k)}) = \mathbf{w}^{(k)} + \alpha^{(k)} \big( t_n - \mathbf{w}^{(k)T} \boldsymbol{\phi}(\mathbf{x}_n) \big) \, \boldsymbol{\phi}(\mathbf{x}_n)$$

dove $\mathcal{L}_n$ è la loss sul solo campione $n$. Il parametro $\alpha$ si chiama learning rate e regola l’ampiezza dei passi; deve decrescere nel tempo, all’inizio passi ampi per avvicinarsi rapidamente, poi passi sempre più piccoli per non scavalcare il minimo. Le condizioni classiche che garantiscono la convergenza sono

$$\sum_{k=0}^{\infty} \alpha^{(k)} = +\infty, \qquad \sum_{k=0}^{\infty} \big( \alpha^{(k)} \big)^2 < +\infty$$

la prima assicura che i passi complessivi bastino a raggiungere qualunque punto, la seconda che il rumore dei singoli campioni si smorzi.

Il confronto tra le due formule di aggiornamento è immediato: sono identiche a meno della sommatoria. La batch somma il contributo di tutti gli $N$ campioni prima di muovere i pesi, la stocastica ne usa uno solo. È questo che rende la SGD un’approssimazione non distorta: a meno del fattore $N$, il termine relativo a un campione estratto a caso ha come valore atteso il gradiente completo, quindi in media i due metodi si muovono nella stessa direzione, ma la SGD lo fa con un passo che costa $N$ volte meno e in cambio zig-zaga. Tra i due estremi esiste una via di mezzo, il mini-batch, che calcola il gradiente su un sottoinsieme di campioni per volta: è la scelta standard nell’addestramento delle reti neurali, dove combina la stabilità della batch con il costo contenuto della stocastica.

In parole semplici: invece di risolvere l’equazione tutta insieme, si guarda un esempio alla volta: se il modello ha predetto troppo poco per quell’esempio si alzano un po’ i pesi delle feature attive, se ha predetto troppo li si abbassa. Ripetendo su tanti esempi con correzioni sempre più caute, i pesi convergono alla stessa soluzione dell’OLS.

7. Il problema dell’overfitting#

7.1 Complessità del modello e qualità dell’approssimazione#

Le funzioni base sembrano un pranzo gratis: più feature si aggiungono, più il modello diventa flessibile. Un esperimento con dati generati da una funzione sinusoidale (più rumore) mostra dove sta la trappola. Si prova ad approssimare gli stessi punti con polinomi di grado crescente:

• Modello lineare semplice ($M = 2$: retta): la retta non riesce a seguire le oscillazioni della sinusoide. Il modello è troppo rigido rispetto alla relazione vera: questa situazione si chiama underfitting.
• Polinomio di grado 3 ($M = 4$): la curva segue bene l’andamento della sinusoide. Complessità adeguata al problema.
• Polinomio di grado 9 ($M = 10$): la curva passa quasi esattamente per tutti i punti del dataset, con residui nulli o quasi nulli, ma tra un punto e l’altro oscilla selvaggiamente e non assomiglia per niente alla sinusoide che ha generato i dati. Questa situazione si chiama overfitting.

In parole semplici: un modello troppo potente impara i dati “a memoria” invece di impararne la regola, come uno studente che memorizza le soluzioni degli esercizi svolti senza capire il metodo: perfetto sugli esercizi già visti, perso davanti a un esercizio nuovo. L’obiettivo dell’apprendimento non è azzerare l’errore sui dati, è generalizzare.

7.2 Il sintomo: pesi che esplodono#

Osservando i pesi appresi al crescere del grado del polinomio si nota un fenomeno rivelatore: le componenti del vettore dei pesi diventano enormi in valore assoluto. Il motivo è intuitivo: per passare esattamente per ogni punto, la curva deve cambiare valore in modo drastico e rapidissimo tra un punto e il successivo, e variazioni così brusche si ottengono solo con coefficienti molto grandi che si compensano a vicenda. Pesi grandi sono quindi la firma numerica dell’overfitting nei modelli lineari, ed è proprio su questo sintomo che agisce la regolarizzazione.

8. Regolarizzazione#

8.1 L’idea generale#

Idea chiave: aggiungere alla loss function una penalità che rende “costose” le soluzioni con pesi grandi, così l’ottimizzazione è spinta verso modelli più lisci; un coefficiente $\lambda$ dosa il compromesso tra fedeltà ai dati e semplicità.

La loss viene estesa in

$$\mathcal{L}(\mathbf{w}) = \mathcal{L}_D(\mathbf{w}) + \lambda \, \mathcal{L}_W(\mathbf{w})$$

dove:

• $\mathcal{L}_D(\mathbf{w})$ è la loss usuale sui dati (per esempio la RSS): misura quanto il modello sbaglia sui punti del training set;
• $\mathcal{L}_W(\mathbf{w})$ è un termine che penalizza la complessità del modello, cioè la grandezza dei pesi;
• $\lambda \geq 0$ è il coefficiente di regolarizzazione, che bilancia i due obiettivi: $\lambda = 0$ riporta all’OLS puro, $\lambda \to \infty$ schiaccia tutti i pesi a zero, i valori intermedi realizzano il compromesso.

Le due scelte naturali per $\mathcal{L}_W$ sono la norma 2 al quadrato dei pesi e la norma 1: corrispondono a due metodi con nomi propri, ridge e lasso.

8.2 Ridge regression#

Il punto di forza della ridge è che la loss resta quadratica in $\mathbf{w}$ (somma di due forme quadratiche), quindi la stessa procedura dell’OLS, gradiente uguale a zero, dà ancora una soluzione in forma chiusa:

$$\hat{\mathbf{w}}_{ridge} = (\lambda \mathbf{I} + \boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1} \boldsymbol{\Phi}^T \mathbf{t}$$

identica a quella dell’OLS a parte il termine $\lambda \mathbf{I}$ aggiunto prima dell’inversione. Questo termine porta un bonus non banale: la matrice $\lambda \mathbf{I} + \boldsymbol{\Phi}^T \boldsymbol{\Phi}$ è sempre invertibile per $\lambda > 0$. Infatti $\boldsymbol{\Phi}^T \boldsymbol{\Phi}$ è semidefinita positiva (autovalori $\geq 0$) e $\lambda \mathbf{I}$ è definita positiva, quindi la somma ha tutti gli autovalori $\geq \lambda > 0$. La ridge risolve quindi anche il problema delle feature linearmente dipendenti o quasi dipendenti che rende singolare o instabile l’OLS.

L’effetto sul modello si vede bene sull’esempio del polinomio di grado alto: senza regolarizzazione la curva ha picchi selvaggi; introducendo $\lambda$ la funzione diventa via via più liscia e i picchi spariscono; aumentando ancora $\lambda$ tutte le componenti del vettore dei pesi si contraggono progressivamente verso l’origine.

In parole semplici: la ridge dice all’ottimizzatore “vai pure vicino ai dati, ma ogni unità di grandezza dei pesi ti costa”. Il risultato è una curva più liscia che rinuncia a inseguire il rumore. In più, il termine $\lambda \mathbf{I}$ rende la matrice sempre invertibile: due problemi risolti con una sola aggiunta.

8.3 Lasso#

Il valore assoluto introduce una non linearità che rompe la forma quadratica: per il lasso non esiste soluzione in forma chiusa. Il problema resta però risolvibile con metodi iterativi in stile gradient descent, e il lasso è molto usato in pratica per una proprietà preziosa: produce soluzioni sparse. Aumentando $\lambda$, nella ridge tutti i pesi si riducono verso zero più o meno alla stessa velocità, e alla fine sono tutti piccoli ma diversi da zero; nel lasso i pesi decrescono a velocità diverse, e per $\lambda$ abbastanza grande alcune componenti di $\hat{\mathbf{w}}$ diventano esattamente zero.

Questo equivale a una selezione automatica delle feature: partendo da un modello con 15 feature, il lasso può rivelare che solo 5 sono rilevanti, azzerando i pesi delle altre 10. Il modello risultante è più semplice, più interpretabile e più economico da valutare.

8.4 Perché il lasso produce sparsità: la vista per vincoli#

La regolarizzazione si può leggere in modo equivalente come un problema vincolato: minimizzare $\mathcal{L}_D(\mathbf{w})$ soggetto al vincolo $\mathcal{L}_W(\mathbf{w}) \leq \eta$, cioè

$$\sum_j |w_j|^q \leq \eta$$

con $q = 2$ per la ridge e $q = 1$ per il lasso. Nel piano dei pesi $(w_1, w_2)$ la RSS ha curve di livello ellittiche centrate sulla soluzione OLS non vincolata; la regione ammissibile del vincolo è un cerchio centrato nell’origine per la ridge e un quadrato ruotato di 45 gradi (un rombo con i vertici sugli assi) per il lasso. La soluzione regolarizzata è il punto in cui la più piccola curva di livello della RSS tocca la regione ammissibile:

• con il cerchio della ridge il contatto avviene tipicamente in un punto generico del bordo, dove entrambe le coordinate sono diverse da zero;
• con il rombo del lasso il contatto avviene con alta probabilità su uno dei vertici, che stanno esattamente sugli assi: e un punto su un asse ha l’altra coordinata esattamente nulla.

In parole semplici: la ridge stringe i pesi dentro una bolla rotonda, che non ha punti “speciali”: tutti i pesi si rimpiccioliscono ma restano vivi. Il lasso li stringe dentro un rombo con gli spigoli sugli assi: le ellissi dell’errore finiscono quasi sempre per toccare uno spigolo, e uno spigolo significa un peso azzerato. Ecco perché il lasso spegne le feature inutili.

9. La lettura probabilistica: maximum likelihood#

9.1 Il modello con rumore gaussiano#

Finora l’approccio è stato “diretto”: si sceglie una loss ragionevole e la si minimizza. La prospettiva probabilistica rilegge lo stesso problema modellando esplicitamente l’incertezza nei dati, e questo è interessante non perché porti a soluzioni diverse (spoiler: la soluzione sarà la stessa), ma perché spiega che cosa sta davvero assumendo l’OLS e apre la strada a modelli più sofisticati.

Idea chiave: assumere che i dati siano generati da un modello lineare più un rumore casuale gaussiano; a quel punto ogni scelta dei pesi assegna una probabilità ai dati osservati, e si scelgono i pesi che rendono i dati osservati i più probabili possibile.

L’assunzione generativa è

$$t = y(\mathbf{x}, \mathbf{w}) + \epsilon = \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}) + \epsilon, \qquad \epsilon \sim \mathcal{N}(0, \sigma^2)$$

cioè: la natura calcola il valore “pulito” con un modello lineare e poi lo sporca con un rumore gaussiano a media nulla e varianza $\sigma^2$. Di conseguenza, per un singolo punto la probabilità di osservare il target $t_n$ dato l’input è una gaussiana centrata sulla predizione del modello:

$$p(t_n \mid \mathbf{x}_n, \mathbf{w}, \sigma^2) = \mathcal{N}\!\big( t_n \mid \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n), \, \sigma^2 \big)$$

la probabilità è massima esattamente sul valore predetto e decresce allontanandosene, con una velocità governata da $\sigma^2$.

9.2 Likelihood e log-likelihood#

Assumendo i campioni indipendenti e identicamente distribuiti, la probabilità dell’intero dataset è il prodotto delle probabilità dei singoli punti. Questa quantità, vista come funzione dei parametri, si chiama likelihood.

La stima di maximum likelihood (Maximum Likelihood, ML) sceglie $\mathbf{w}_{ML} = \arg\max_{\mathbf{w}} p(\mathbf{t} \mid \mathbf{X}, \mathbf{w}, \sigma^2)$. Massimizzare un prodotto di esponenziali è scomodo; il trucco standard è massimizzare il logaritmo della likelihood, operazione lecita perché il logaritmo è monotono crescente e quindi non sposta il punto di massimo. Il logaritmo trasforma il prodotto in somma, e la densità gaussiana $\frac{1}{\sqrt{2\pi\sigma^2}} \exp\big( -\frac{(t_n - \mathbf{w}^T\boldsymbol{\phi}(\mathbf{x}_n))^2}{2\sigma^2} \big)$ si semplifica drasticamente:

$$\ell(\mathbf{w}) = \ln p(\mathbf{t} \mid \mathbf{X}, \mathbf{w}, \sigma^2) = -\frac{N}{2} \ln(2\pi\sigma^2) \; - \; \frac{1}{2\sigma^2} \sum_{n=1}^{N} \big( t_n - \mathbf{w}^T \boldsymbol{\phi}(\mathbf{x}_n) \big)^2$$

Il primo termine è una costante che non contiene $\mathbf{w}$ e non influenza l’ottimizzazione; il secondo termine è, a meno di una costante moltiplicativa negativa, esattamente la RSS: gli esponenti delle gaussiane sono i residui al quadrato, e sommandoli si ricompone la somma dei quadrati.

9.3 Maximum likelihood = least squares#

Massimizzare $\ell(\mathbf{w})$ equivale quindi a minimizzare la RSS: annullando il gradiente si ritrova lo stesso identico problema dell’OLS, con la stessa soluzione:

$$\mathbf{w}_{ML} = (\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1} \boldsymbol{\Phi}^T \mathbf{t} = \hat{\mathbf{w}}_{OLS}$$

In parole semplici: minimizzare la somma dei quadrati e massimizzare la probabilità dei dati sotto rumore gaussiano sono lo stesso identico calcolo. Quindi l’OLS non è una ricetta arbitraria: è la scelta ottimale se si crede che i dati siano “modello lineare più rumore gaussiano”. Se il rumore vero non fosse gaussiano, la loss quadratica non sarebbe più quella giusta.

I benefici di questa rilettura sono due. Primo, un’interpretazione: usare l’OLS equivale ad assumere implicitamente il modello generativo gaussiano. Secondo, un punto di partenza: dentro un framework probabilistico si può cominciare a ragionare non solo sulla soluzione ottima ma anche sull’incertezza della soluzione, cosa impossibile nell’approccio diretto.

9.4 Proprietà statistiche della stima: il teorema di Gauss-Markov#

La stima ML (cioè OLS) gode di una proprietà di ottimalità classica.

Non distorta (unbiased) significa che, in media sui possibili dataset, la stima coincide con i parametri veri del generatore. Attenzione però a non leggere il teorema come “l’OLS è imbattibile”: afferma solo l’ottimalità dentro la classe delle stime lineari non distorte. Più avanti nel corso, con il compromesso bias-varianza, si vedrà che può convenire accettare una stima leggermente distorta (per esempio la ridge) in cambio di una varianza molto più bassa: si rinuncia alla correttezza in media per guadagnare stabilità.

10. Regressione lineare bayesiana#

10.1 L’approccio bayesiano in quattro passi#

La maximum likelihood fornisce un solo numero per ogni peso: il valore ottimo. L’approccio bayesiano fa un salto concettuale: tratta i pesi stessi come variabili aleatorie e ne modella l’intera distribuzione di probabilità.

Idea chiave: non “qual è il miglior $\mathbf{w}$?” ma “quanto è plausibile ciascun $\mathbf{w}$, alla luce di ciò che sapevo prima e dei dati che ho visto?”. La risposta è una distribuzione, non un punto: e da una distribuzione si estraggono sia predizioni sia barre di incertezza.

Lo schema generale dell’approccio bayesiano è:

1. Formulare la conoscenza sul mondo in modo probabilistico: si definisce il modello, si identificano i suoi parametri ignoti e si esprime ciò che si assume su di essi prima di vedere i dati tramite una distribuzione a priori (prior).
2. Osservare i dati.
3. Calcolare la distribuzione a posteriori dei parametri dati i dati osservati.
4. Usare la posteriori per: fare predizioni mediando sulla distribuzione; quantificare l’incertezza sui parametri; prendere decisioni minimizzando la loss attesa a posteriori.

Lo strumento che collega prior e dati è il teorema di Bayes:

$$p(\mathbf{w} \mid \mathcal{D}) = \frac{p(\mathcal{D} \mid \mathbf{w}) \, p(\mathbf{w})}{p(\mathcal{D})}$$

dove ogni fattore ha un nome e un ruolo preciso:

• Prior $p(\mathbf{w})$: ciò che si sa (o si assume) sui pesi prima di osservare qualunque dato; può anche codificare “non so nulla”.
• Likelihood $p(\mathcal{D} \mid \mathbf{w})$: la probabilità di osservare i dati dato un valore dei parametri; è la stessa quantità della sezione 9.
• Likelihood marginale $p(\mathcal{D})$: la probabilità complessiva dei dati, $p(\mathcal{D}) = \int p(\mathcal{D} \mid \mathbf{w}) \, p(\mathbf{w}) \, d\mathbf{w}$; è l’integrale del numeratore e agisce da pura costante di normalizzazione, per garantire che la posteriori integri a 1.
• Posteriori $p(\mathbf{w} \mid \mathcal{D})$: la conoscenza aggiornata sui pesi dopo aver visto i dati; il suo punto di massimo si chiama massimo a posteriori (MAP) ed è il candidato naturale come “miglior stima” dei pesi.

In parole semplici: la formula di Bayes è una macchina per aggiornare opinioni: si parte da un’opinione iniziale sui pesi (prior), la si confronta con i dati (likelihood), e si ottiene un’opinione aggiornata (posteriori). Il denominatore serve solo a far tornare i conti delle probabilità.

10.2 Prior coniugato gaussiano e calcolo della posteriori#

Come modellare il prior? In linea di principio con qualunque distribuzione, ma c’è una scelta che rende tutto calcolabile analiticamente: un prior coniugato alla likelihood.

Con likelihood gaussiana, il prior coniugato è una gaussiana: il prodotto di due gaussiane, rinormalizzato, è ancora una gaussiana. Se si scegliesse un prior arbitrario, la posteriori non avrebbe forma analitica e servirebbero metodi numerici. Si pone quindi

$$p(\mathbf{w}) = \mathcal{N}(\mathbf{w} \mid \mathbf{w}_0, \mathbf{S}_0)$$

con media $\mathbf{w}_0$ (quasi sempre $\mathbf{0}$: senza conoscenza specifica del problema non c’è motivo di preferire pesi positivi o negativi) e matrice di covarianza $\mathbf{S}_0$ che esprime quanto si è incerti sui pesi e quanto li si crede correlati tra loro. Combinando prior e likelihood, la posteriori risulta ancora gaussiana (la derivazione completa è sul Bishop; non è richiesta all’esame, ma vale la pena leggerla per capire cosa succede sotto il cofano):

$$p(\mathbf{w} \mid \mathbf{t}, \boldsymbol{\Phi}, \sigma^2) = \mathcal{N}(\mathbf{w} \mid \mathbf{w}_N, \mathbf{S}_N)$$

con

$$\mathbf{w}_N = \mathbf{S}_N \left( \mathbf{S}_0^{-1} \mathbf{w}_0 + \frac{\boldsymbol{\Phi}^T \mathbf{t}}{\sigma^2} \right), \qquad \mathbf{S}_N^{-1} = \mathbf{S}_0^{-1} + \frac{\boldsymbol{\Phi}^T \boldsymbol{\Phi}}{\sigma^2}$$

La covarianza è scritta per comodità tramite la sua inversa: si legge come “precisione finale = precisione del prior + precisione portata dai dati”. La media $\mathbf{w}_N$ mescola la conoscenza a priori (primo addendo) con l’informazione dei dati (secondo addendo, che dipende da input, target e rumore $\sigma^2$).

Poiché la posteriori è gaussiana, il suo massimo coincide con la sua media: quindi la stima MAP è $\mathbf{w}_N$, che è anche il valore atteso dei pesi dati i dati. Questa coincidenza tra moda e media è un lusso della gaussiana: con prior arbitrari, in generale, non vale.

10.3 Casi particolari: ML e ridge ritrovate#

La formula della posteriori contiene come casi particolari entrambe le soluzioni viste finora.

Prior infinitamente largo. Per modellare “non so nulla sui pesi” si prende $\mathbf{w}_0 = \mathbf{0}$ e $\mathbf{S}_0 \to \infty$ (varianza infinita: ogni vettore di pesi è ugualmente plausibile a priori). Allora $\mathbf{S}_0^{-1} \to \mathbf{0}$, i termini con il prior si cancellano e resta

$$\mathbf{w}_N \to (\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1} \boldsymbol{\Phi}^T \mathbf{t} = \mathbf{w}_{ML}, \qquad \mathbf{S}_N \to \sigma^2 (\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1}$$

Il MAP coincide con la soluzione di maximum likelihood, cioè con l’OLS. Questo completa l’interpretazione: l’OLS è la risposta bayesiana ottima quando si assume rumore gaussiano e nessuna preferenza a priori sui pesi. In più, ora c’è anche la covarianza $\mathbf{S}_N$, cioè una quantificazione dell’incertezza sui pesi: cresce con la varianza del rumore $\sigma^2$ (più i dati sono rumorosi, meno ci si può fidare delle stime) e dipende dalla struttura degli input tramite $(\boldsymbol{\Phi}^T \boldsymbol{\Phi})^{-1}$. In pratica $\sigma^2$ non è nota e viene stimata dai residui (sezione 11.4); da $\mathbf{S}_N$ si ricavano intervalli di confidenza sui singoli pesi e test di significatività.

Prior sferico finito. Si prenda $\mathbf{w}_0 = \mathbf{0}$ e $\mathbf{S}_0 = \tau^2 \mathbf{I}$: covarianza diagonale (nessuna correlazione a priori tra componenti, non avendo motivo di assumerne) e varianza finita $\tau^2$ uguale per tutte. Questo prior dice: “preferisco vettori di pesi vicini all’origine, e quanto più piccolo è $\tau^2$ tanto più forte è la preferenza”. Sostituendo nella posteriori, la funzione che il MAP massimizza risulta essere esattamente la loss della ridge regression, con

$$\lambda = \frac{\sigma^2}{\tau^2}$$

In parole semplici: la regolarizzazione ridge e il prior gaussiano centrato nell’origine sono la stessa cosa detta in due lingue diverse. Credere a priori che i pesi siano piccoli (varianza $\tau^2$ piccola) equivale a penalizzarli con $\lambda$ grande; permettere a priori pesi enormi ($\tau^2$ grande) equivale a regolarizzare poco. La formula $\lambda = \sigma^2/\tau^2$ è il dizionario di traduzione.

10.4 Apprendimento sequenziale bayesiano: un esempio#

La coniugatezza regala un’altra proprietà preziosa: la posteriori calcolata su un primo blocco di dati può diventare il prior per il blocco successivo, dato che ha la stessa forma funzionale. Non serve mai ripartire da zero: si aggiorna la conoscenza in modo incrementale, punto per punto o a blocchi.

Esempio concreto. I dati sono generati da $t(x) = -0.3 + 0.5x + \varepsilon$, con $x \sim U(-1, 1)$ e $\varepsilon \sim \mathcal{N}(0, 0.04)$; il modello è $y(x, \mathbf{w}) = w_0 + w_1 x$ e il prior è $p(\mathbf{w}) = \mathcal{N}(\mathbf{0}, \tau^2 \mathbf{I})$ con $\tau^2 = 0.5$. L’evoluzione della conoscenza:

• Passo 0 (nessun dato): la distribuzione sui pesi è il prior: una campana simmetrica centrata nell’origine del piano $(w_0, w_1)$. Campionando coppie di pesi da questa distribuzione si ottengono rette in tutte le direzioni, senza alcuna struttura.
• Passo 1 (un punto osservato): si calcola la likelihood di quel punto, la si moltiplica per il prior, e la posteriori si concentra lungo la striscia di pesi compatibili con quel punto. Le rette campionate ora passano tutte vicino al punto osservato, ma con pendenze ancora molto diverse: un punto non basta a fissare una retta.
• Passo 2 (due punti): la posteriori diventa già piccola e concentrata, perché per individuare una retta due punti sono quasi sufficienti; il rumore lascia solo un margine di incertezza.
• Passo 20 (circa venti punti): la posteriori è una campana strettissima vicino ai valori veri $(w_0, w_1) = (-0.3, 0.5)$. Non è centrata esattamente sul valore vero: il prior con varianza finita esprimeva una lieve preferenza per pesi piccoli, e questa preferenza lascia una piccola distorsione residua nella soluzione, il prezzo pagato in cambio della regolarizzazione.

10.5 La distribuzione predittiva#

Tutto questo riguarda i pesi, ma alla fine ciò che interessa è predire il target di un nuovo punto. La distribuzione a posteriori sui pesi, combinata con il modello di rumore, produce la distribuzione predittiva del target per un nuovo input $\mathbf{x}$:

$$p(t \mid \mathbf{x}, \mathcal{D}) = \mathcal{N}\!\big( t \mid \mathbf{w}_N^T \boldsymbol{\phi}(\mathbf{x}), \; \sigma_N^2(\mathbf{x}) \big), \qquad \sigma_N^2(\mathbf{x}) = \underbrace{\sigma^2}_{\text{rumore dei dati}} + \underbrace{\boldsymbol{\phi}(\mathbf{x})^T \mathbf{S}_N \, \boldsymbol{\phi}(\mathbf{x})}_{\text{incertezza sui parametri}}$$

La media è quello che non poteva non essere: la predizione del modello con i pesi medi a posteriori. La varianza si decompone in due contributi:

• $\sigma^2$ è l’incertezza irriducibile dovuta al rumore intrinseco dei dati: se il generatore ha varianza 0.04, nessuna quantità di dati potrà mai rendere le predizioni più precise di così;
• $\boldsymbol{\phi}(\mathbf{x})^T \mathbf{S}_N \boldsymbol{\phi}(\mathbf{x})$ è l’incertezza sui parametri riflessa sul target, e dipende dal punto $\mathbf{x}$: è piccola vicino ai dati osservati e grande nelle regioni inesplorate. Quando $N \to \infty$ questo termine va a zero e resta solo il rumore dei dati.

Visivamente, approssimando una sinusoide con 9 basi gaussiane: con un solo punto osservato la banda di confidenza attorno alla predizione è strettissima vicino a quel punto e larghissima ovunque altrove, e le funzioni campionate dalla posteriori si aprono a ventaglio; con 25 punti la banda si stringe ovunque e le funzioni campionate si addensano attorno alla sinusoide vera.

In parole semplici: il modello bayesiano non dà solo una predizione, dà una predizione con la sua barra di errore, diversa punto per punto: stretta dove ha visto dati, larga dove sta tirando a indovinare. Con l’OLS si ha solo la linea rossa della predizione; con il bayesiano si sa anche quanto fidarsi di ogni suo tratto.

10.6 Sfide e limiti#

L’approccio bayesiano paga la sua eleganza con assunzioni forti. Sul fronte della modellazione, il modello deve dare probabilità ragionevoli a tutte le funzioni plausibili, e il prior non deve né azzerare la probabilità di valori possibili né essere talmente vago da non dire nulla. Sul fronte computazionale, l’integrazione analitica è possibile solo con prior coniugati e modelli semplici: nel caso generale servono approssimazioni (di Laplace, integrazione Monte Carlo, metodi variazionali).

Più in generale, i modelli lineari a basi fisse hanno vantaggi netti: soluzione in forma chiusa, trattamento bayesiano trattabile, capacità di modellare relazioni non lineari con basi opportune. Ma hanno due limiti strutturali: le basi non si adattano ai dati (sono scelte prima e restano quelle), e il numero di basi necessarie esplode con la dimensionalità dell’input, la maledizione della dimensionalità già incontrata. Le tecniche successive del corso, in particolare i metodi kernel e le reti neurali, nascono per aggirare proprio questi limiti.

11. Valutare un modello di regressione#

11.1 La pipeline pratica e la normalizzazione dei dati#

Prima ancora di addestrare il modello, un problema reale richiede alcuni passi preliminari: caricare i dati, ispezionarli qualitativamente, eventualmente selezionare quelli di interesse (spesso con l’aiuto di un esperto di dominio). Seguono i passi di preprocessing:

• Shuffling: rimescolare l’ordine dei dati, per evitare che il risultato dipenda dall’ordine di raccolta. Alcuni algoritmi sono sensibili all’ordine di presentazione dei dati; per la soluzione in forma chiusa della regressione lineare lo shuffling è ininfluente, ma è buona pratica generale.
• Rimozione di dati inconsistenti e outlier: se si dispone di un criterio per riconoscerli.
• Imputazione dei dati mancanti: se si ha un modo sensato di riempirli.
• Normalizzazione: riportare le variabili a una scala comune.

Per la normalizzazione di una variabile con valori $s_1, \dots, s_N$ ci sono due tecniche standard:

• Z-score: si sottrae la media campionaria $\bar{s}$ e si divide per la deviazione standard campionaria $\hat{\sigma}_s$: dopo la trasformazione $s'_n = (s_n - \bar{s})/\hat{\sigma}_s$ i dati hanno media 0 e deviazione standard 1.
• Min-max scaling: $s'_n = \dfrac{s_n - \min_i s_i}{\max_i s_i - \min_i s_i}$: dopo la trasformazione i dati vivono nell’intervallo $[0, 1]$.

Quale usare dipende dall’algoritmo a valle; nel corso si userà tipicamente lo z-score.

Come banco di prova pratico si usa spesso il dataset Iris: 150 righe, ognuna con quattro variabili continue (lunghezza e larghezza di sepalo e petalo di un fiore) più la specie (setosa, versicolor, virginica, 50 esemplari ciascuna). Una domanda di regressione naturale: si può predire la larghezza del petalo dalla sua lunghezza? Il grafico di dispersione mostra punti ben allineati lungo una retta, quindi un modello lineare è promettente. In Python la regressione si esegue con scikit-learn (oggetto LinearRegression e metodo fit), con statsmodels (metodo OLS), oppure implementando direttamente la formula in forma chiusa.

11.2 Indici di errore: RSS, MSE, RMSE#

I primi indici di qualità derivano direttamente dalla loss:

• RSS: $\sum_{n=1}^{N} (\hat{t}_n - t_n)^2$, la somma dei quadrati dei residui;
• MSE (mean squared error): $\text{RSS}/N$, che rimuove la dipendenza dal numero di punti: è l’mean squared error per punto;
• RMSE (root mean squared error): $\sqrt{\text{MSE}}$, che riporta l’errore nella stessa unità di misura del target.

Questi indici però sono poco informativi in assoluto: sapere che l’errore medio è 0.2 non dice se sia un buon risultato, perché dipende dalla scala e dalla difficoltà del problema. Serve un indice relativo.

11.3 Il coefficiente di determinazione $R^2$#

Idea chiave: confrontare il proprio modello con il modello più stupido possibile, quello che predice sempre lo stesso valore costante; il guadagno rispetto a quel modello dice quanto il proprio modello sta davvero spiegando.

Lettura: se RSS e TSS sono simili, il rapporto vale circa 1 e $R^2 \approx 0$, cioè il modello non fa meglio di una linea orizzontale; se RSS è molto più piccola di TSS, il rapporto va a 0 e $R^2 \to 1$, cioè il modello spiega quasi tutta la variabilità del target.

Alcune proprietà importanti, spesso oggetto di domande d’esame:

• il miglior modello costante sul training set è la media dei target: nessun’altra costante ha RSS più bassa. Quindi l’$R^2$ del modello costante con la media è esattamente 0, e un modello costante con un valore diverso dalla media ha $R^2$ negativo. Un $R^2$ pari a 0.05 per un modello costante è impossibile: o è 0 (costante = media) o è negativo;
• aggiungendo variabili a un modello lineare, l’$R^2$ calcolato sul training set non può diminuire: i pesi sono ottenuti minimizzando la RSS su uno spazio di ipotesi più grande, che contiene il precedente;
• proprio per questo, un $R^2$ alto sul training set non basta a dire che il modello è buono: aggiungendo abbastanza feature si può portare l’$R^2$ arbitrariamente vicino a 1 anche overfittando. La valutazione seria richiede dati freschi, statisticamente indipendenti dal training set: il tema verrà sviluppato più avanti nel corso.

Si definiscono inoltre i gradi di libertà del modello di regressione come $N - M$ (campioni meno parametri stimati) e una versione “adjusted” dell’$R^2$ che ne tiene conto, penalizzando i modelli con molti parametri; quest’ultima è però poco usata in pratica.

In parole semplici: $R^2$ risponde a “quanto meglio faccio rispetto a chi spara sempre la media?”. Vale 1 se il modello è perfetto, 0 se non aggiunge nulla alla media, negativo se fa addirittura peggio. Ma attenzione: calcolato sugli stessi dati di training, premia anche chi impara a memoria.

11.4 Test statistici sui coefficienti#

L’$R^2$ dà una valutazione globale ma grossolana. Per affermazioni rigorose (“questa variabile serve davvero?”) si costruiscono test d’ipotesi, sotto l’assunzione generativa gaussiana: $t_n = \mathbf{w}^T \mathbf{x}_n + \epsilon_n$ con $\epsilon_n$ rumore bianco gaussiano $\mathcal{N}(0, \sigma^2)$ indipendente per ogni campione. La varianza del rumore si stima in modo non distorto dai residui:

$$\hat{\sigma}^2 = \frac{\text{RSS}}{N - M}$$

Sotto queste ipotesi si può dimostrare (i dettagli sono sul libro di testo) che la quantità

$$\frac{\hat{w}_j - w_j}{\hat{\sigma} \sqrt{v_{jj}}} \sim t_{N-M}$$

segue una distribuzione t di Student con $N - M$ gradi di libertà, dove $\hat{w}_j$ è il coefficiente stimato dai dati, $w_j$ quello vero del generatore e $v_{jj}$ è il $j$-esimo elemento diagonale di $(\boldsymbol{\Phi}^T\boldsymbol{\Phi})^{-1}$. Da qui due test fondamentali.

Test t su un singolo coefficiente. Ci si chiede se la variabile $j$ sia statisticamente significativa. Ipotesi nulla $H_0: w_j = 0$ (la variabile non conta; come sempre nei test, l’ipotesi nulla è quella che si vorrebbe rigettare) contro l’alternativa $H_1: w_j \neq 0$. Sotto $H_0$ la statistica diventa

$$t = \frac{\hat{w}_j}{\hat{\sigma} \sqrt{v_{jj}}}$$

interamente calcolabile dai dati. L’intuizione: se il valore stimato $\hat{w}_j$ è molto lontano da zero rispetto alla sua incertezza, c’è evidenza che il coefficiente vero sia diverso da zero. Si fissa un livello di significatività $\alpha$, si ricava dalla distribuzione t la soglia corrispondente, e si rigetta $H_0$ se $|t|$ supera la soglia. Equivalentemente si guarda il p-value: la minima significatività alla quale si rigetterebbe l’ipotesi nulla; un p-value vicino a zero significa rigettare $H_0$ con probabilità di errore piccolissima, cioè forte evidenza che il coefficiente sia significativo.

Test F sulla regressione complessiva. Ci si chiede se il modello nel suo insieme sia meglio di una costante. Ipotesi nulla $H_0: w_1 = w_2 = \dots = w_{M-1} = 0$ (tutti i pesi tranne il bias sono nulli) contro l’esistenza di almeno un peso non nullo. È la versione “di principio” del confronto già fatto con l’$R^2$. La statistica è

$$F = \frac{(\text{TSS} - \text{RSS})/(M - 1)}{\text{RSS}/(N - M)} \sim F_{M-1, \, N-M}$$

che sotto le assunzioni segue una distribuzione di Fisher con parametri $M-1$ e $N-M$. Si rigetta $H_0$ quando $F$ è sufficientemente grande: un $F$ grande significa che la differenza tra TSS e RSS è grande, cioè che il modello ha una RSS molto più piccola del modello costante, quindi c’è evidenza che il modello serva davvero. La forma della statistica è, non a caso, imparentata con l’$R^2$.

In parole semplici: il test t chiede, variabile per variabile, “questo coefficiente potrebbe essere zero e io sto vedendo solo rumore?”; il test F chiede, per il modello intero, “tutto questo modello potrebbe essere inutile rispetto a una semplice media?”. In entrambi i casi, statistica grande e p-value piccolo significano “no, l’effetto è reale”.

11.5 Leggere l’output di una regressione#

All’esame può essere chiesto di interpretare il tabulato prodotto da una libreria (per esempio statsmodels su Iris, predicendo la larghezza del petalo dalla lunghezza, con $N = 150$ osservazioni). Gli elementi da saper leggere:

• R-squared $\approx 0.927$: vicino a 1, il modello è nettamente migliore del modello costante (accanto compare anche la versione adjusted);
• F-statistic $\approx 1889$ con p-value dell’ordine di $10^{-86}$: valore enorme e p-value praticamente zero, quindi si rigetta l’ipotesi che il modello sia equivalente a una costante con significatività prossima a zero: conferma formale di quanto detto dall’$R^2$;
• tabella dei coefficienti: per ogni variabile compaiono il valore stimato del coefficiente, la sua statistica t (qui circa 43: un valore assoluto così grande indica forte evidenza che il coefficiente sia diverso da zero) e il p-value associato $P>|t|$ (qui circa zero: il coefficiente è statisticamente significativo).

Attenzione a un dettaglio pratico: alcune librerie di default non includono il termine costante, che va aggiunto esplicitamente se lo si vuole nel modello.

12. Esercizi d’esame svolti#

12.1 Riconoscere gli ingredienti di un problema#

Traccia. È data la relazione $S = f(PV, R, N)$, dove $S$ è il ricavo dalle vendite e $PV$, $R$, $N$ sono le somme spese in pubblicità rispettivamente in TV, radio e giornali. Identificare: la variabile di risposta, le feature, il modello; dire che tipo di problema si sta cercando di risolvere.

Svolgimento. La risposta (detta anche target o output) è l’uscita del modello: $S$. Le variabili indipendenti (dette anche feature o input) sono gli ingressi: $PV$, $R$ e $N$; “feature” e “variabili” sono due nomi per la stessa cosa. Il modello è la mappa dagli input all’output, cioè la funzione $f$.

Per il tipo di problema conviene ripassare la tassonomia. Si è nell’apprendimento supervisionato perché ci sono variabili di input e un target. Dentro il supervisionato:

• regressione: il target è un numero reale;
• classificazione: il target assume valori in un numero finito di classi $C_1, \dots, C_k$ (con due sole classi, convenzionalmente 0 e 1, si parla di classificazione binaria);
• stima di densità: il target è una densità di probabilità.

Qui il target $S$ è un ricavo, cioè una variabile continua: si tratta di regressione. La giustificazione da scrivere all’esame è esattamente questa: c’è un target, quindi supervisionato; il target è continuo, quindi regressione.

12.2 Feature linearmente dipendenti: input $x$ e $2x$#

Traccia. Si consideri una regressione lineare con input $x$, target $t$ e parametro ottimo $\theta^*$. Che cosa succede se si usa come input la coppia di variabili $(x, 2x)$? Che cosa ci si aspetta sull’incertezza dei parametri? Come si può risolvere il problema? Che cosa succede invece con la coppia $(x, x^2)$?

Svolgimento. Il nuovo modello ha due parametri:

$$\hat{t} = \theta_1 x + \theta_2 (2x) = (\theta_1 + 2\theta_2)\, x$$

Il modello dipende dai parametri solo attraverso la combinazione $\theta_1 + 2\theta_2$. Se $\theta^*$ era il parametro ottimo del problema originale, allora ogni coppia $(\theta_1, \theta_2)$ che soddisfa

$$\theta_1 + 2\theta_2 = \theta^*$$

è una soluzione ottima: le soluzioni sono infinite (un’intera retta nello spazio dei parametri).

Lo stesso fatto si vede dall’algebra dei least squares. La matrice di design è

$$\mathbf{X} = \begin{pmatrix} x_1 & 2x_1 \\ x_2 & 2x_2 \\ \vdots & \vdots \\ x_N & 2x_N \end{pmatrix}$$

La seconda colonna è il doppio della prima, quindi $\mathbf{X}$ ha rango 1. Il rango di un prodotto non supera il minimo dei ranghi dei fattori, quindi la matrice $2 \times 2$ $\mathbf{X}^T\mathbf{X}$ ha anch’essa rango al più 1: è singolare e non si può invertire. La formula OLS $(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{t}$ non è applicabile, ed è esattamente il sintomo algebrico dell’esistenza di infinite soluzioni.

Sull’incertezza dei parametri: con infinite soluzioni indistinguibili dai dati, l’incertezza sui singoli parametri è illimitata; formalmente, la covarianza della stima coinvolge $(\mathbf{X}^T\mathbf{X})^{-1}$ che non esiste (varianze che divergono).

Rimedi, entrambi validi all’esame:

1. Rimuovere le colonne linearmente dipendenti, finché la matrice di design torna a rango pieno: qui basta tenere solo $x$.
2. Ridge regression, se non si vuole toccare il design: si minimizza RSS più $\lambda \lVert \boldsymbol{\theta} \rVert_2^2$ e la soluzione diventa $(\lambda \mathbf{I} + \mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{t}$. La matrice da invertire è la somma di $\mathbf{X}^T\mathbf{X}$, semidefinita positiva (autovalori $\geq 0$), e $\lambda\mathbf{I}$, definita positiva: tutti gli autovalori della somma sono $\geq \lambda > 0$, quindi la matrice è sempre invertibile per ogni $\lambda > 0$ e il problema torna ad avere soluzione unica.

Ultimo quesito: con input $(x, x^2)$ il problema non si ripresenta. $x^2$ è una trasformazione non lineare di $x$: le colonne $(x_1, \dots, x_N)$ e $(x_1^2, \dots, x_N^2)$ non sono in generale linearmente dipendenti, la matrice di design ha rango pieno e $\mathbf{X}^T\mathbf{X}$ è invertibile. La dipendenza che rompe l’OLS è solo quella lineare.

12.3 Interpretare il coefficiente di determinazione#

Traccia. Su un dataset con due input $x_1$, $x_2$ e output $t$ si addestrano due modelli: $M_1$, il modello costante $\hat{t} = w_0$, e $M_2$, il modello lineare completo $\hat{t} = w_0 + w_1 x_1 + w_2 x_2$. I coefficienti di determinazione risultano $R_1^2 = 0$ e $R_2^2 = 0.95$. Dire se le seguenti affermazioni sono vere o false, giustificando:

1. il valore alto di $R_2^2$ indica che esiste una forte relazione tra $x_1$ e $t$;
2. il valore alto di $R_2^2$ indica che esiste una forte relazione tra $x_2$ e $t$;
3. sapendo inoltre che il modello $M_3: \hat{t} = w_0 + w_1 x_1$ ha $R^2 = 0.9$, come cambiano le risposte?
4. $M_2$ non fornisce risultati migliori di $M_1$: vero o falso?

Svolgimento.

Osservazione preliminare sul valore $R_1^2$. Se la traccia riportasse per il modello costante un $R^2$ come 0.05, sarebbe un errore: il miglior modello costante è la media dei target, e per costruzione ha $R^2 = 0$ (RSS = TSS); qualunque altra costante fa peggio della media e produce $R^2$ negativo (RSS > TSS). Quindi per un modello costante $R^2$ può essere solo 0 o negativo, mai un piccolo valore positivo.

Affermazione 1: falsa. $R_2^2 = 0.95$ vicino a 1 dice solo che il modello completo è molto migliore del modello costante. Ma il merito potrebbe essere interamente di $x_2$: tutta l’informazione che rende $M_2$ migliore della costante potrebbe venire dall’altra variabile, e $x_1$ potrebbe essere irrilevante. Regola generale: non si possono trarre conclusioni su una singola variabile dall’$R^2$ di un modello che ne contiene altre. (Se $M_2$ avesse contenuto solo $x_1$, allora sì: l’unica differenza rispetto alla costante sarebbe stata la presenza di $x_1$, e l’$R^2$ alto sarebbe stato attribuibile a lei.)

Affermazione 2: falsa, per lo stesso identico argomento a ruoli scambiati: l’$R^2$ alto potrebbe essere dovuto a $x_1$.

Affermazione 3. Il modello $M_3$ contiene solo $x_1$ e ha $R^2 = 0.9$: qui la differenza rispetto al modello costante è la sola presenza di $x_1$, quindi si può concludere che esiste una relazione forte tra $x_1$ e $t$: l’affermazione 1, riferita a questa nuova evidenza, diventa sostenibile. Per $x_2$: aggiungendola al modello, l’$R^2$ passa da 0.9 a 0.95; poiché aumenta, $x_2$ porta qualche informazione aggiuntiva sul target (parlare di relazione “forte” sarebbe eccessivo: l’incremento è di 0.05). Due precisazioni utili:

• l’$R^2$ sul training set non può diminuire aggiungendo variabili, perché i pesi minimizzano la RSS su uno spazio di ipotesi più ricco che contiene il precedente; quindi il confronto corretto è “di quanto aumenta”, non “se aumenta”;
• caso limite istruttivo: se l’$R^2$ non fosse cambiato affatto (0.9 anche con $x_2$), non si potrebbe concludere che $x_2$ è irrilevante: potrebbe essere irrilevante, oppure portare la stessa informazione di $x_1$ (per esempio $x_2 = x_1$: stesso potere rappresentativo, nessun incremento di $R^2$). I due casi sono indistinguibili dal solo $R^2$.

Affermazione 4: falsa. $M_2$ ha $R^2$ maggiore di $M_1$, quindi, almeno guardando l’$R^2$, $M_2$ è migliore. Con una cautela finale importante: tutti questi $R^2$ sono calcolati sugli stessi dati usati per l’addestramento. Su dati di training l’$R^2$ si può gonfiare a piacere aggiungendo variabili, quindi la valutazione onesta della qualità di un modello richiede dati freschi, indipendenti dal training set: il tema (validazione e stima dell’errore di generalizzazione) sarà sviluppato più avanti nel corso.

Glossario#

Termine	Definizione
Regressione	Problema supervisionato in cui si apprende un’approssimazione di una funzione ignota che mappa input in un output continuo.
Parametro di bias ($w_0$)	Termine costante del modello lineare, non moltiplicato da alcuna variabile; consente alla funzione di non passare per l’origine.
Residuo	Errore $\varepsilon_n = t_n - y(\mathbf{x}_n, \mathbf{w})$ commesso dal modello sul singolo campione.
RSS / SSE	Somma dei quadrati dei residui; la loss function standard della regressione lineare.
Funzione base	Trasformazione (anche non lineare) $\phi_j(\mathbf{x})$ dell’input che genera una nuova feature; il modello resta lineare nei pesi.
Feature space	Spazio degli input trasformati dalle funzioni base, nel quale il modello è lineare.
Matrice di design ($\boldsymbol{\Phi}$)	Matrice $N \times M$ con una riga per campione e una colonna per feature.
OLS (ordinary least squares (OLS))	Soluzione in forma chiusa $\hat{\mathbf{w}} = (\boldsymbol{\Phi}^T\boldsymbol{\Phi})^{-1}\boldsymbol{\Phi}^T\mathbf{t}$ che minimizza la RSS.
Equazioni normali	Il sistema $\boldsymbol{\Phi}^T\boldsymbol{\Phi}\mathbf{w} = \boldsymbol{\Phi}^T\mathbf{t}$ ottenuto annullando il gradiente della RSS.
Hat matrix ($\mathbf{H}$)	Matrice $\boldsymbol{\Phi}(\boldsymbol{\Phi}^T\boldsymbol{\Phi})^{-1}\boldsymbol{\Phi}^T$ che proietta ortogonalmente il vettore dei target sul sottospazio generato dalle feature.
Batch / mini-batch gradient descent	Batch: ogni passo usa il gradiente su tutti gli $N$ campioni, $\mathbf{w}^{(k+1)} = \mathbf{w}^{(k)} + \alpha^{(k)}\boldsymbol{\Phi}^T(\mathbf{t} - \boldsymbol{\Phi}\mathbf{w}^{(k)})$; mini-batch: su un sottoinsieme per volta. Differiscono dalla SGD solo per l’ampiezza della sommatoria.
SGD / LMS	Gradient descent stocastica; per la loss quadratica prende il nome di Least Mean Squares: aggiorna i pesi un campione alla volta.
Learning rate ($\alpha$)	Ampiezza del passo di aggiornamento nei metodi iterativi; deve decrescere nel tempo per garantire la convergenza.
Underfitting	Modello troppo semplice per catturare la relazione input-target; errore alto già sul training set.
Overfitting	Modello che si adatta al rumore del training set perdendo capacità di generalizzazione; sintomo tipico: pesi molto grandi.
Regolarizzazione	Aggiunta alla loss di un termine $\lambda \mathcal{L}_W(\mathbf{w})$ che penalizza pesi grandi per limitare l’overfitting.
Ridge regression	Regolarizzazione in norma 2; soluzione in forma chiusa $(\lambda\mathbf{I} + \boldsymbol{\Phi}^T\boldsymbol{\Phi})^{-1}\boldsymbol{\Phi}^T\mathbf{t}$, con matrice sempre invertibile.
Lasso	Regolarizzazione in norma 1; niente forma chiusa, ma produce soluzioni sparse (selezione automatica delle feature).
Likelihood	Probabilità dei dati osservati in funzione dei parametri, $p(\mathcal{D} \mid \mathbf{w})$.
Maximum likelihood (ML)	Stima dei parametri che massimizza la likelihood; con rumore gaussiano coincide con l’OLS.
Teorema di Gauss-Markov	La stima OLS/ML ha varianza minima tra tutte le stime lineari non distorte.
Prior	Distribuzione di probabilità sui parametri che codifica la conoscenza prima di osservare i dati.
Prior coniugato	Prior tale che la posteriori appartiene alla sua stessa famiglia di distribuzioni; per likelihood gaussiana è la gaussiana.
Posteriori	Distribuzione sui parametri dopo aver osservato i dati, ottenuta via teorema di Bayes.
MAP (massimo a posteriori)	Valore dei parametri che massimizza la posteriori; con posteriori gaussiana coincide con la sua media.
Distribuzione predittiva	Distribuzione del target per un nuovo input, con varianza pari a rumore dei dati più incertezza sui parametri.
Maledizione della dimensionalità	Crescita esponenziale del numero di feature/basi necessarie al crescere della dimensione dell’input.
Z-score	Normalizzazione che porta i dati a media 0 e deviazione standard 1.
Min-max scaling	Normalizzazione che porta i dati nell’intervallo $[0, 1]$.
MSE / RMSE	Mean squared error (RSS/$N$) e sua radice quadrata, nella stessa unità del target.
TSS	Total sum of squares: RSS del miglior modello costante (la media dei target).
$R^2$	Coefficiente di determinazione, $1 - \text{RSS}/\text{TSS}$: misura il miglioramento rispetto al modello costante.
Gradi di libertà	$N - M$: numero di campioni meno numero di parametri stimati.
Notazione $t$	Tre usi distinti: $t_n$ = target del campione $n$; $t_{N-M}$ = distribuzione t di Student con $N-M$ gradi di libertà (il pedice sono i gradi di libertà); $t = \hat{w}_j/(\hat{\sigma}\sqrt{v_{jj}})$ = statistica del test. Il simbolo $\sim$ segnala la distribuzione.
Test t (singolo coefficiente)	Test con ipotesi nulla $w_j = 0$; statistica $\hat{w}_j / (\hat{\sigma}\sqrt{v_{jj}}) \sim t_{N-M}$.
Test F	Test con ipotesi nulla “tutti i pesi tranne il bias nulli”; statistica $\frac{(\text{TSS}-\text{RSS})/(M-1)}{\text{RSS}/(N-M)} \sim F_{M-1,N-M}$.
p-value	Minima significatività alla quale si rigetta l’ipotesi nulla; vicino a zero indica forte evidenza contro l’ipotesi nulla.

Dispensa Machine Learning · Politecnico di Milano