Klasická inferenční statistika funguje asi takto:
- udělám předpoklad o světě (vytvořím model světa)
- seberu data
- ptám se, jak překvapivá jsou tato data za předpokladu modelu
- pokud jsou velmi překvapivá (nepravděpodobná) odmítnu původní model
Teorie pravděpodobnosti nás učí formálně vyhodnocovat (ne)překvapivost pozorovaných dat.