Kruisentropie
Kruisentropie is een cruciaal begrip in zowel informatietheorie als machine learning en dient als een maatstaf om het verschil tussen twee waarschijnlijkheidsverdelingen te meten. In machine learning wordt het gebruikt als verliesfunctie om discrepanties tussen voorspelde uitkomsten en werkelijke labels te kwantificeren, waardoor de modelprestaties worden geoptimaliseerd, met name bij classificatietaken.