Wanneer je statistisch gaat toetsen begin je altijd met de veronderstelling dat er geen effect is tussen de variabelen die je meet. Deze veronderstelling heet de nul-hypothese of H0 (geen effect in de populatie). Met je statistische toets ga je kijken hoe aannemelijk je het kan maken dat het effect wel bestaat. Deze hypothese verwoord je in je alternatieve hypothese of H1.
Stel je meet twee groepen – mensen met alcohol op en mensen zonder alcohol op – en of ze agressief gedrag vertonen of niet. Je vindt een bepaald verschil tussen deze groepen, bijvoorbeeld dat de mensen met alcohol op meer agressief gedrag vertonen dan mensen zonder alcohol op. Je H0 is dat er geen effect is in je populatie, dus dat er tussen alcoholgebruik en agressie geen relatie is en dat het gevonden verschil op toeval berust. Je statistische toets probeert het tegenovergestelde te bewijzen, de H1: er is wel een relatie tussen alcoholgebruik en agressie en het gevonden verschil berust niet op toeval. Dit kan je statistisch toetsen.
Iedere statistische test heeft een p-waarde. De p-waarde is een getal tussen 0 en 1 en staat gelijk aan de kans dat je in je test het huidige effect vindt, terwijl er eigenlijk geen effect in je populatie is. Dit is dus de kans dat je op basis van je statistische test H1 aanneemt, terwijl H0 eigenlijk waar is in de populatie. Heeft je test een p-waarde van 0,30, dan is de kans dus 30% groot dat wat je vindt in je test niet overeen komt met wat er gebeurt in je populatie. Dat is best een grote kans dat je test niet representatief is voor je populatie en daarom zal je met zo'n p-waarde niet snel H0 verwerpen.
Stel nu dat je een p-waarde vindt van 0,01 dan is de kans dat H0 waar is voor je populatie dus 1% groot. In dat geval kan je op basis van je theoretisch kader H1 vaak aannemen. De grens van het wel of niet aannemen van de H1 heet alpha (α) en wordt in het algemeen van te voren vastgesteld. De waarde van α verschilt per vakgebied: bij de medische wetenschappen mogen fouten eigenlijk niet voorkomen omdat deze grote gevolgen kunnen hebben. Een foutmarge van 1% (een α van 0.01) kan dan al snel te hoog zijn. In de sociale wetenschappen ligt dit anders en is een foutmarge van 5% (een α van 0.05) niet ongewoon. Alpha (α) wordt vaak vastgesteld op 0.1, 0.05, of 0.01.
Statistiek blijft een vorm van kansberekening, dus er is per definitie een kans dat het mis gaat. Stel dat je op basis van je p-waarde, je α en je resultaten uit je test H1 mag aannemen, terwijl er eigenlijk geen effect in je populatie bestaat. Dit kan gebeuren wanneer je per toeval extreme, niet representatieve waardes hebt gemeten met je steekproef uit je populatie. Deze kans is altijd aanwezig en is gelijk aan α. We spreken van een Type I fout als een onderzoeker onterecht de nulhypothese verwerpt en concludeert dat er een significant verschil bestaat in de populatie. Met andere woorden is α dus de kans die je van te voren accepteert op het maken van een type I fout.
Een type II fout is het tegenovergestelde van een type I fout: de H0 wordt niet verworpen terwijl er wel een effect in de populatie is. Je statistische test is er niet in geslaagd om dit effect zichtbaar te maken. De kans op deze fout wordt beta (β) genoemd en de kans op deze fout is dan ook afhankelijk van het onderscheidend vermogen van je test. Het onderscheidend vermogen van je toets wordt de power van je toets genoemd. Hoe hoger de power, hoe kleiner de kans op een type 2 fout. De power van je toets bepalen we dan ook met de formule:
power = 1-β
