Hvorfor ANOVA og lineær regression er den samme analyse

Hvis din kandidat statistisk træning var noget som mit, du har lært ANOVA i én klasse og lineær regression i en anden. Mine professorer vil ofte sige ting som "ANOVA er blot et specialtilfælde af regression", så gør en masse hånd vinke når presset til at forklare.

Det var ikke før jeg begyndte at høre, at jeg indså, hvor tæt forbundet ANOVA og regression. De er ikke kun relateret, de er de samme ting. Ikke en fjerdedel og en nikkel -. Forskellige sider af samme sag

Så her er et meget simpelt eksempel, der viser hvorfor. Når nogen viste mig dette, en elpære gik, selvom jeg allerede vidste både ANOVA og mulitple lineær regression ganske godt (og allerede havde mine mestre i statistikken!). Jeg tror, ​​at forstå denne lille koncept har været nøglen til min forståelse af generelle lineære model som helhed -. Dens anvendelsesmuligheder er vidtrækkende

Som et eksempel, jeg bruger en model med en enkelt kategorisk uafhængig variable-- beskæftigelse kategori - med 3 kategorier: ledelsesmæssige, kontorpersonale, og frihedsstraf. Den afhængige variabel er tidligere erfaring med måneder. (Dette datasæt er employment.sav, en af ​​de datasæt, der kommer gratis med SPSS).

Vi kan køre dette som enten en ANOVA eller en regression. I ANOVA er kategorisk variabel effekt kodet, hvilket betyder, at hver kategori middelværdi sammenlignes med den store middelværdi. I regressionen, er den kategoriske variabel dummy kodet **, hvilket betyder, at hver kategori er opsnappe sammenlignes med referencen gruppens opsnappe. Da skæringspunktet er defineret som middelværdien, når alle andre prædiktorer = 0, og der ikke er andre prædiktorer, de tre aflytninger er blot betyder.

I begge analyser, Job Category har en F = 69,192, med ap < .001. Højsignifikant

I ANOVA, finder vi hjælp af de tre grupper er:.

Kontorelev: 85,039

Custodial: 298,111

Manager: 77,619

I regression, finder vi disse koefficienter:

Intercept: 77,619

Kontorelev: 7,420

Custodial: 220,492

skæringspunktet er simpelthen gennemsnittet af referencegruppen, Managers. Koefficienterne for de to andre grupper er forskellene i middelværdien mellem referencegruppen og de andre grupper.

Du vil opdage, for eksempel, at regressionskoefficienten for funktionaerer er forskellen mellem middelværdien for funktionaerer , 85,039, og Intercept, eller betyde for Manager (85,039-77,619 = 7,420). De samme værker for Custodial.

Så en ANOVA rapporter hver middelværdi og en p-værdi, der siger mindst to er væsentligt anderledes. En regression rapporter kun én middelværdi (som et skæringspunkt) og forskellene mellem, at én og alle andre midler, men p-værdier evaluere disse specifikke sammenligninger.

Det er alle den samme model, de samme oplysninger, men præsenteres på forskellige måder. Forstå hvad modellen fortæller dig i hver vej, og du er bemyndiget.

Jeg foreslår, at du prøve denne lille øvelse med nogen datasæt, derefter tilføje i en anden kategorisk variabel, først uden, og derefter med en interaktion. Gå gennem de midler og regressionskoefficienterne og se, hvordan de tilføje op

** Dummy kodning skaber to 1/0 variabler:. Kontorelev = 1 for skrivefejl kategori, 0 ellers; Frihedsberøvende = 1 for frihedsstraf kategori, 0 ellers. Observationer i Managerial kategori har en 0-værdi på begge af disse variabler, og dette er kendt som referencegruppen
.