Il metodo dei minimi quadrati è il processo di trovare una linea di regressione o una linea di adattamento migliore per qualsiasi insieme di dati descritto da un’equazione. Questo metodo richiede di ridurre la somma dei quadrati delle parti residue dei punti dalla curva o dalla linea e la tendenza dei risultati viene trovata in modo quantitativo. Il metodo di adattamento della curva è visto durante l’analisi di regressione e le equazioni di adattamento per derivare la curva sono il metodo dei minimi quadrati.
Prendiamo ad esempio le parole della signora Dolma in classe “Ehi studenti, coloro che dedicano più tempo ai loro compiti ottengono voti migliori”. Uno studente vuole stimare il proprio voto per aver dedicato 2,3 ore ad un compito. Grazie al metodo dei minimi quadrati, è possibile determinare il modello predittivo che lo aiuterà a stimare i voti con maggior precisione. Questo metodo è molto più semplice perché richiede solo alcuni dati e forse una calcolatrice.
In questa sezione, esploreremo i minimi quadrati, capiremo cosa significa, impareremo la formula generale, i passaggi per tracciarla su un grafico, conosceremo le sue limitazioni e vedremo quali trucchi possiamo utilizzare con i minimi quadrati.
Definizione del Metodo dei Minimi Quadrati
Il metodo dei minimi quadrati è un metodo statistico utilizzato per trovare la linea di miglior adattamento di una equazione del tipo y = mx + b ai dati forniti. La curva dell’equazione viene chiamata linea di regressione. Il nostro obiettivo principale in questo metodo è ridurre il più possibile la somma dei quadrati degli errori. Questo è il motivo per cui questo metodo viene chiamato metodo dei minimi quadrati. Questo metodo viene spesso utilizzato per adattare i dati in cui il miglior risultato di adattamento si assume che riduca la somma degli errori quadratici che viene considerata come la differenza tra i valori osservati e il valore di adattamento corrispondente. La somma degli errori quadratici aiuta a trovare la variazione nei dati osservati. Ad esempio, abbiamo 4 punti dati e utilizzando questo metodo arriviamo al seguente grafico.
Le due categorie di base dei problemi dei minimi quadrati sono i minimi quadrati ordinari o lineari e i minimi quadrati non lineari.
Limitazioni del Metodo dei Minimi Quadrati
Anche se il metodo dei minimi quadrati è considerato il miglior metodo per trovare la linea di miglior adattamento, ha alcune limitazioni. Queste sono:
Rappresenta solo la relazione tra le due variabili. Tutte le altre cause ed effetti non vengono presi in considerazione.
Questo metodo non è affidabile quando i dati non sono distribuiti uniformemente.
Questo metodo è molto sensibile ai valori anomali. Infatti, questo può distorcere i risultati dell’analisi dei minimi quadrati.
Grafico del Metodo dei Minimi Quadrati
Guarda il grafico qui sotto, la linea retta mostra la potenziale relazione tra la variabile indipendente e la variabile dipendente. L’obiettivo ultimo di questo metodo è ridurre questa differenza tra la risposta osservata e la risposta prevista dalla linea di regressione. Meno residui significa che il modello si adatta meglio. I punti dati devono essere minimizzati dal metodo di riduzione dei residui di ciascun punto dalla linea. Ci sono residui verticali e residui perpendicolari. I residui verticali vengono utilizzati principalmente nei problemi di polinomi e iperpiani mentre quelli perpendicolari vengono utilizzati in generale come visto nell’immagine qui sotto.
Residui Verticali
I residui verticali sono le distanze tra i punti di dati e la linea di regressione. Questi residui sono anche noti come residui ortogonali.
Residui Perpendicolari
I residui perpendicolari, noti anche come residui ortogonali, sono le distanze tra i punti di dati e la linea di regressione proiettati su un asse perpendicolare alla linea di regressione. Questi residui sono spesso utilizzati quando si lavora con dati bidimensionali.
Formula del Metodo dei Minimi Quadrati
Il metodo dei minimi quadrati è la curva che si adatta meglio a un insieme di osservazioni con una somma minima di residui o errori quadrati. Supponiamo che i punti dati siano (x1, y1), (x2, y2), (x3, y3), …, (xn, yn) in cui tutti gli x sono variabili indipendenti, mentre tutti gli y sono dipendenti. Questo metodo viene utilizzato per trovare una linea lineare del tipo y = mx + b, dove y e x sono variabili, m è la pendenza e b è l’intercetta y. La formula per calcolare la pendenza m e il valore di b è data da:
m = (n∑xy – ∑y∑x) / n∑x2 – (∑x)2
b = (∑y – m∑x) / n
Qui, n è il numero di punti dati.
Di seguito sono riportati i passaggi per calcolare il metodo dei minimi quadrati utilizzando le formule sopra indicate.
Passaggi per il Calcolo del Metodo dei Minimi Quadrati
Passaggio 1: Disegnare una tabella con 4 colonne dove le prime due colonne sono per i punti x e y.
Passaggio 2: Nelle due colonne successive, trovare xy e (x)2.
Passaggio 3: Trovare ∑x, ∑y, ∑xy e ∑(x)2.
Passaggio 4: Trovare il valore della pendenza m utilizzando la formula sopra.
Passaggio 5: Calcolare il valore di b utilizzando la formula sopra.
Passaggio 6: Sostituire il valore di m e b nell’equazione y = mx + b
Guardiamo un esempio per comprendere meglio questo.
Esempio
Supponiamo di avere i dati come mostrato di seguito.
Soluzione:
Seguiremo i passaggi per trovare la linea lineare.
x y xy x2
1 2 2 1
2 5 10 4
3 3 9 9
4 8 32 16
5 7 35 25
∑x =15 ∑y = 25 ∑xy = 88 ∑x2 = 55
Trovare il valore di m utilizzando la formula,
m = (n∑xy – ∑y∑x)/n∑x2 – (∑x)2
m = [(5×88) – (15×25)]/(5×55) – (15)2
m = (440 – 375)/(275 – 225)
m = 65/50 = 13/10
Trovare il valore di b utilizzando la formula,
b = (∑y – m∑x)/n
b = (25 – 1.3×15)/5
b = (25 – 19.5)/5
b = 5.5/5
Quindi, l’equazione richiesta dei minimi quadrati è y = mx + b = 13/10x + 5.5/5.
Il metodo dei minimi quadrati viene utilizzato per prevedere il comportamento della variabile dipendente rispetto alla variabile indipendente.
La somma dei quadrati degli errori è chiamata varianza.
Lo scopo principale del metodo dei minimi quadrati è minimizzare la somma degli errori quadrati.
A Cosa Serve l’Ordinary Least Squares?
Il metodo dei minimi quadrati ordinari viene utilizzato per trovare il modello predittivo che meglio si adatta ai nostri punti di dati.
Il Metodo dei Minimi Quadrati è Lo Stesso Della Regressione Lineare?
No, la regressione lineare e il metodo dei minimi quadrati non sono la stessa cosa. La regressione lineare è l’analisi dei dati statistici per prevedere il valore della variabile quantitativa. I minimi quadrati sono uno dei metodi utilizzati nella regressione lineare per trovare il modello predittivo.
Come gli Outlier Influenzano la Linea di Regressione dei Minimi Quadrati?
La presenza di dati insoliti può distorcere i risultati della regressione lineare. Ciò rende la validità del modello molto critica per ottenere risposte corrette alle domande che hanno motivato la formazione del modello predittivo.
Qual è la Formula del Metodo dei Minimi Quadrati?
Per determinare l’equazione della linea per qualsiasi dato, dobbiamo usare l’equazione y = mx + b. La formula dei minimi quadrati consiste nel trovare il valore di entrambi m e b utilizzando le formule:
m = (n∑xy – ∑y∑x) / n∑x2 – (∑x)2
b = (∑y – m∑x) / n
Qui, n è il numero di punti dati.
Cosa è il Metodo dei Minimi Quadrati nella Regressione?
La regressione dei minimi quadrati aiuta a calcolare la linea migliore di adattamento dell’insieme di dati sia dai livelli di attività che dai costi totali corrispondenti. L’idea alla base del calcolo è quella di minimizzare la somma dei quadrati degli errori verticali tra i punti dati e la funzione di costo.
Perché si Usa il Metodo dei Minimi Quadrati?
I minimi quadrati vengono utilizzati come equivalente alla massima verosimiglianza quando i residui del modello sono distribuiti normalmente con una media di 0.
Cosa è la Fitting con la Curva dei Minimi Quadrati?
Il metodo dei minimi quadrati è il processo di adattamento di una curva in base ai dati forniti. È uno dei metodi utilizzati per determinare la linea di tendenza per i dati forniti.
Fonte di riferimento: https://en.wikipedia.org/wiki/Least_squares
