Entropia krzyżowa
Entropia krzyżowa to kluczowe pojęcie zarówno w teorii informacji, jak i w uczeniu maszynowym, służące jako miara rozbieżności między dwoma rozkładami prawdopodobieństwa. W uczeniu maszynowym wykorzystywana jest jako funkcja straty do ilościowego określania rozbieżności między przewidywaniami modelu a prawdziwymi etykietami, optymalizując skuteczność modelu, zwłaszcza w zadaniach klasyfikacji.