Vysvětlitelnost

Vysvětlitelnost AI označuje schopnost porozumět a interpretovat rozhodnutí a predikce, které činí systémy umělé inteligence (AI). Jak algoritmy AI a strojového učení nabývají na složitosti, zejména s rozvojem hlubokého učení a neuronových sítí, často fungují jako „černé skříňky“. To znamená, že i samotní inženýři a datoví vědci nemusí zcela chápat, jak konkrétní vstupy vedou ke konkrétním výstupům. Vysvětlitelnost AI se snaží tyto procesy objasnit, zpřehlednit systémy AI a učinit jejich výsledky srozumitelnějšími pro člověka.

Proč je vysvětlitelnost AI důležitá?

Důvěra a transparentnost

Aby byly systémy AI široce přijímány a důvěryhodné, zejména v kritických oblastech jako zdravotnictví, finance a právo, musí zainteresované strany rozumět tomu, jak jsou rozhodnutí činěna. Pokud algoritmus strojového učení doporučí léčbu nebo schválí žádost o půjčku, je zásadní, aby uživatelé znali důvody těchto rozhodnutí, což zajišťuje férovost a buduje důvěru.

Regulační požadavky

Mnohé obory podléhají regulačním rámcům, které vyžadují transparentnost v rozhodovacích procesech. Regulace mohou ukládat povinnost poskytovat vysvětlení automatizovaných rozhodnutí, zejména pokud mají významný dopad na jednotlivce. Nedodržení těchto pravidel může vést k právním postihům a ztrátě důvěry zákazníků.

Identifikace a eliminace předsudků

Systémy AI trénované na zaujatých datech mohou tyto předsudky přenášet, nebo dokonce zesilovat. Vysvětlitelnost umožňuje vývojářům a zainteresovaným osobám identifikovat nespravedlivá či zaujatá rozhodnutí modelů AI. Díky porozumění rozhodovacím procesům je možné předsudky korigovat a zajistit spravedlivé fungování AI napříč různými skupinami.

Zlepšení výkonu modelu

Porozumění vnitřnímu fungování modelů AI umožňuje datovým vědcům optimalizovat jejich výkon. Interpretací toho, které vstupní znaky rozhodování ovlivňují, mohou model doladit, zvýšit přesnost a zajistit dobrou generalizaci na nová data.

Jak se vysvětlitelnosti AI dosahuje?

Dosažení vysvětlitelnosti AI spočívá v kombinaci návrhu interpretovatelných modelů a použití technik pro interpretaci složitých modelů dodatečně (post-hoc).

Interpretovatelnost vs. vysvětlitelnost

• Interpretovatelnost znamená, do jaké míry člověk rozumí příčině rozhodnutí vytvořeného systémem AI.
• Vysvětlitelnost jde ještě dále a poskytuje explicitní popis faktorů a úvah, které vedly k rozhodnutí.

Ačkoliv jsou oba pojmy úzce spjaté, interpretovatelnost se zaměřuje na transparentnost samotného modelu, zatímco vysvětlitelnost na generování vysvětlení pro výstupy modelu.

Interpretovatelné modely

Interpretovatelné modely jsou přirozeně srozumitelné. Mezi příklady patří:

• Lineární regrese: Modely, kde je vztah mezi vstupními znaky a výstupem lineární, takže je snadné interpretovat váhy jednotlivých znaků jako jejich vliv.
• Rozhodovací stromy: Vizuální reprezentace rozhodnutí, kde každý uzel odpovídá znaku a větve rozhodovacím pravidlům.
• Pravidlové systémy: Systémy využívající sadu lidsky srozumitelných pravidel pro rozhodování.

Tyto modely se někdy vzdávají části predikční síly ve prospěch transparentnosti, avšak mají zásadní význam tam, kde je vysvětlitelnost klíčová.

Dodatečná (post-hoc) vysvětlení

U složitých modelů, jako jsou hluboké neuronové sítě, které jsou méně interpretovatelné, se využívají post-hoc vysvětlení. Tyto techniky analyzují chování modelu poté, co učinil predikci.

Modelově nezávislé metody

Tyto metody lze využít na jakýkoli typ modelu bez nutnosti znát jeho vnitřní strukturu.

Lokální interpretovatelné modelově nezávislé vysvětlení (LIME)

LIME je populární technika, která vysvětluje predikci jakéhokoliv klasifikátoru tím, že ji lokálně aproximuje interpretovatelným modelem. Pro konkrétní predikci LIME mírně pozmění vstupní data a sleduje, jak se změní výstup, což umožňuje určit, které znaky měly na rozhodnutí největší vliv.

SHapley Additive exPlanations (SHAP)

SHAP hodnoty vychází z kooperativní teorie her a poskytují jednotné měřítko důležitosti znaků. Kvantifikují přínos každého znaku k predikci s ohledem na všechny možné kombinace znaků.

Globální vs. lokální vysvětlení

• Globální vysvětlení: Poskytují celkový přehled o chování modelu napříč všemi datovými body.
• Lokální vysvětlení: Zaměřují se na jednu konkrétní predikci a vysvětlují, proč model učinil právě toto rozhodnutí pro daný případ.

Výzkum v oblasti vysvětlitelnosti AI

Vysvětlitelnost AI získává na významu s tím, jak jsou systémy AI stále častěji začleňovány do lidského rozhodování. Zde jsou některé nedávné vědecké články zabývající se touto klíčovou problematikou:

1. Explainable AI Improves Task Performance in Human-AI Collaboration (Publikováno: 2024-06-12)
   Autoři: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   Tento článek zkoumá vliv vysvětlitelné AI na zlepšení pracovního výkonu při spolupráci člověka a AI. Autoři argumentují, že tradiční AI funguje jako černá skříňka, což lidem ztěžuje ověření predikcí AI na základě vlastních znalostí. Zavedením vysvětlitelné AI, zejména pomocí vizuálních heatmap, bylo podle studie dosaženo lepších výsledků. Byly provedeny dva experimenty s továrními dělníky a radiology, které prokázaly výrazné snížení chybovosti při využití vysvětlitelné AI. Tento výzkum zdůrazňuje potenciál vysvětlitelné AI pro zvýšení přesnosti rozhodování v reálných úlohách. Číst více

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (Publikováno: 2021-03-29)
   Autor: Bin Liu
   Tento článek se věnuje probíhajícím kontroverzím ohledně schopností AI a její budoucnosti. Rozlišuje mezi „slabou AI“ a „silnou AI“ a tvrdí, že zatímco silná AI pravděpodobně nebude dosažena, slabá AI má pro nás obrovskou hodnotu. Autor rozebírá kritéria pro klasifikaci AI výzkumu a společenské důsledky současných možností AI. Tato práce poskytuje filozofický pohled na roli AI ve společnosti. Číst více

3. Understanding Mental Models of AI through Player-AI Interaction (Publikováno: 2021-03-30)
   Autoři: Jennifer Villareale, Jichen Zhu
   Tato studie zkoumá, jak si lidé vytvářejí mentální modely systémů AI prostřednictvím interakce ve hrách založených na AI. Autoři navrhují, že tyto interakce nabízejí cenné poznatky o vývoji mentálních modelů uživatelů AI. Studie uvádí případovou studii, která ukazuje přínosy využití her pro zkoumání vysvětlitelnosti AI a naznačuje, že tyto interakce mohou posílit porozumění uživatelů AI systémům.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (Publikováno: 2024-05-23)
   Autoři: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   Tento literární přehled zkoumá přechod od vysvětlitelné k interaktivní AI se zaměřením na důležitost lidské účasti při vývoji a provozu AI systémů. Článek shrnuje aktuální trendy a společenské obavy týkající se interakce člověka a AI a zdůrazňuje potřebu systémů, které jsou nejen vysvětlitelné, ale také interaktivní. Tento komplexní přehled poskytuje plán pro budoucí výzkum v této oblasti.