Utvärdera AI-system med hjälp av instrumentpanelen för ansvarsfull AI
Implementering av ansvarsfull AI i praktiken kräver rigorös teknik. Men rigorös teknik kan vara omständlig, manuell och tidskrävande utan rätt verktyg och infrastruktur.
Instrumentpanelen ansvarsfull AI innehåller ett enda gränssnitt som hjälper dig att implementera ansvarsfull AI i praktiken på ett effektivt och effektivt sätt. Den samlar flera mogna ansvarsfulla AI-verktyg inom följande områden:
- Utvärdering av modellprestanda och rättvisa
- Datautforskning
- Maskininlärningstolkning
- Felanalys
- Kontrafaktisk analys och störningar
- Kausal slutsatsdragning
Instrumentpanelen erbjuder en holistisk utvärdering och felsökning av modeller så att du kan fatta välgrundade datadrivna beslut. Om du har åtkomst till alla dessa verktyg i ett gränssnitt kan du:
Utvärdera och felsöka dina maskininlärningsmodeller genom att identifiera modellfel och rättviseproblem, diagnostisera varför dessa fel inträffar och informera om dina åtgärdssteg.
Öka dina datadrivna beslutsförmåga genom att ta itu med frågor som:
"Vad är den minsta ändring som användarna kan tillämpa på sina funktioner för att få ett annat resultat än modellen?"
"Vad är orsakssambandet för att minska eller öka en funktion (till exempel konsumtion av rött kött) på ett verkligt resultat (till exempel diabetesprogression)?"
Du kan anpassa instrumentpanelen så att den endast innehåller den delmängd av verktyg som är relevanta för ditt användningsfall.
Instrumentpanelen ansvarsfull AI åtföljs av ett PDF-styrkort. Med styrkortet kan du exportera ansvarsfulla AI-metadata och insikter till dina data och modeller. Du kan sedan dela dem offline med produkt- och efterlevnadsintressenterna.
Ansvarsfulla AI-instrumentpanelskomponenter
Instrumentpanelen ansvarsfull AI samlar i en omfattande vy olika nya och befintliga verktyg. Instrumentpanelen integrerar dessa verktyg med Azure Mašinsko učenje CLI v2, Azure Mašinsko učenje Python SDK v2 och Azure Mašinsko učenje studio. Här är några av verktygen:
- Dataanalys, för att förstå och utforska dina datamängdsdistributioner och statistik.
- Modellöversikt och rättvisebedömning för att utvärdera modellens prestanda och utvärdera modellens problem med grupp rättvisa (hur modellens förutsägelser påverkar olika grupper av personer).
- Felanalys för att visa och förstå hur fel distribueras i datauppsättningen.
- Modelltolkning (prioritetsvärden för aggregerade och enskilda funktioner), för att förstå modellens förutsägelser och hur dessa övergripande och enskilda förutsägelser görs.
- Kontrafaktisk konsekvens, för att se hur funktionsperturbationer skulle påverka dina modellförutsägelser samtidigt som de närmaste datapunkterna får motsatta eller olika modellförutsägelser.
- Kausal analys, att använda historiska data för att visa orsakssambanden av behandlingsfunktioner på verkliga resultat.
Tillsammans hjälper dessa verktyg dig att felsöka maskininlärningsmodeller samtidigt som du informerar dina datadrivna och modelldrivna affärsbeslut. Följande diagram visar hur du kan införliva dem i DIN AI-livscykel för att förbättra dina modeller och få gedigna datainsikter.
Modellfelsökning
Att utvärdera och felsöka maskininlärningsmodeller är avgörande för modellens tillförlitlighet, tolkning, rättvisa och efterlevnad. Det hjälper dig att avgöra hur och varför AI-system beter sig som de gör. Du kan sedan använda den här kunskapen för att förbättra modellens prestanda. Konceptuellt består modellfelsökning av tre steg:
Identifiera, förstå och identifiera modellfel och/eller rättviseproblem genom att ta itu med följande frågor:
"Vilka typer av fel har min modell?"
"Inom vilka områden är de vanligaste felen?"
Diagnostisera för att utforska orsakerna bakom de identifierade felen genom att åtgärda:
"Vilka är orsakerna till dessa fel?"
"Var ska jag fokusera mina resurser för att förbättra min modell?"
Minimera för att använda identifierings- och diagnosinsikter från tidigare steg för att vidta riktade åtgärdssteg och åtgärda frågor som:
"Hur kan jag förbättra min modell?"
"Vilka sociala eller tekniska lösningar finns det för dessa problem?"
I följande tabell beskrivs när du ska använda instrumentpanelskomponenter för ansvarsfull AI för att stödja modellfelsökning:
| Fas | Komponent | beskrivning |
|---|---|---|
| Identifiera | Felanalys | Komponenten för felanalys hjälper dig att få en djupare förståelse för distribution av modellfel och snabbt identifiera felaktiga kohorter (undergrupper) av data. Funktionerna i den här komponenten på instrumentpanelen kommer från paketet Felanalys . |
| Identifiera | Rättviseanalys | Rättvisekomponenten definierar grupper när det gäller känsliga attribut som kön, ras och ålder. Därefter utvärderas hur dina modellförutsägelser påverkar dessa grupper och hur du kan minska skillnaderna. Den utvärderar modellens prestanda genom att utforska fördelningen av dina förutsägelsevärden och värdena för dina modellprestandamått mellan grupperna. Funktionerna i den här komponenten på instrumentpanelen kommer från Fairlearn-paketet . |
| Identifiera | Översikt över modell | Modellöversiktskomponenten aggregerar modellutvärderingsmått i en övergripande vy över modellförutsägelsedistributionen för bättre undersökning av dess prestanda. Den här komponenten möjliggör också utvärdering av gruppkonsekvens genom att markera uppdelningen av modellprestanda mellan känsliga grupper. |
| Diagnostisera | Dataanalys | Dataanalys visualiserar datauppsättningar baserat på förutsagda och faktiska resultat, felgrupper och specifika funktioner. Du kan sedan identifiera problem med överrepresentation och underrepresentation, tillsammans med att se hur data grupperas i datamängden. |
| Diagnostisera | Modelltolkning | Tolkningskomponenten genererar mänskligt begripliga förklaringar av förutsägelserna för en maskininlärningsmodell. Den innehåller flera vyer i en modells beteende: – Globala förklaringar (till exempel vilka funktioner som påverkar det övergripande beteendet för en låneallokeringsmodell) - Lokala förklaringar (till exempel varför en sökandes låneansökan godkändes eller avvisades) Funktionerna i den här komponenten på instrumentpanelen kommer från InterpretML-paketet . |
| Diagnostisera | Kontrafaktisk analys och konsekvensanalys | Den här komponenten består av två funktioner för bättre feldiagnos: – Om du genererar en uppsättning exempel där minimala ändringar till en viss punkt ändrar modellens förutsägelse. Det vill säga exemplen visar de närmaste datapunkterna med motsatta modellförutsägelser. – Aktivera interaktiva och anpassade konsekvensförändringar för enskilda datapunkter för att förstå hur modellen reagerar på funktionsändringar. Funktionerna i den här komponenten på instrumentpanelen kommer från DiCE-paketet . |
Åtgärdssteg är tillgängliga via fristående verktyg som Fairlearn. Mer information finns i algoritmerna för algoritmer för illojala åtgärder.
Ansvarsfullt beslutsfattande
Beslutsfattande är ett av de största löftena inom maskininlärning. Instrumentpanelen ansvarsfull AI kan hjälpa dig att fatta välgrundade affärsbeslut genom att:
Datadrivna insikter för att ytterligare förstå orsakssambandseffekter på ett resultat med hjälp av endast historiska data. Till exempel:
"Hur skulle ett läkemedel påverka en patients blodtryck?"
"Hur skulle tillhandahållande av kampanjvärden till vissa kunder påverka intäkterna?"
Dessa insikter tillhandahålls via komponenten för kausal slutsatsdragning på instrumentpanelen.
Modelldrivna insikter för att besvara användarnas frågor (till exempel "Vad kan jag göra för att få ett annat resultat än din AI nästa gång?") så att de kan vidta åtgärder. Dessa insikter tillhandahålls till dataforskare via den kontrafaktiska konsekvenskomponenten .
Undersökande dataanalys, kausal slutsatsdragning och kontrafaktiska analysfunktioner kan hjälpa dig att fatta välgrundade modelldrivna och datadrivna beslut på ett ansvarsfullt sätt.
Dessa komponenter i instrumentpanelen ansvarsfull AI stöder ansvarsfullt beslutsfattande:
Dataanalys: Du kan återanvända dataanalyskomponenten här för att förstå datadistributioner och identifiera överrepresentation och underrepresentation. Datautforskning är en viktig del av beslutsfattandet, eftersom det inte är möjligt att fatta välgrundade beslut om en kohort som är underrepresenterad i data.
Kausal slutsatsdragning: Komponenten kausal slutsatsdragning uppskattar hur ett verkligt resultat förändras i närvaro av ett ingripande. Det hjälper också till att konstruera lovande interventioner genom att simulera funktionssvar på olika interventioner och skapa regler för att avgöra vilka populationskohorter som skulle dra nytta av ett visst ingripande. Sammantaget gör dessa funktioner att du kan tillämpa nya principer och genomföra verkliga förändringar.
Funktionerna i den här komponenten kommer från EconML-paketet , som uppskattar heterogena behandlingseffekter från observationsdata via maskininlärning.
Kontrafaktisk analys: Du kan återanvända den kontrafaktiska analyskomponenten här för att generera minsta möjliga ändringar som tillämpas på en datapunkts funktioner som leder till motsatta modellförutsägelser. Till exempel: Taylor skulle ha fått lånegodkännandet från AI:n om de tjänade 10 000 dollar mer i årsinkomst och hade två färre kreditkort öppna.
Att ge den här informationen till användarna informerar deras perspektiv. Det ger dem information om hur de kan vidta åtgärder för att få önskat resultat från AI:n i framtiden.
Funktionerna i den här komponenten kommer från DiCE-paketet .
Orsaker till att använda instrumentpanelen ansvarsfull AI
Även om framsteg har gjorts när det gäller enskilda verktyg för specifika områden inom ansvarsfull AI, behöver dataexperter ofta använda olika verktyg för att holistiskt utvärdera sina modeller och data. De kan till exempel behöva använda modelltolkning och rättvisebedömning tillsammans.
Om dataexperter upptäcker ett rättviseproblem med ett verktyg måste de gå vidare till ett annat verktyg för att förstå vilka data eller modellfaktorer som ligger till grund för problemet innan de vidtar några åtgärder för att åtgärda problemet. Följande faktorer komplicerar den här utmanande processen ytterligare:
- Det finns ingen central plats för att upptäcka och lära sig om verktygen, vilket utökar den tid det tar att forska och lära sig nya tekniker.
- De olika verktygen kommunicerar inte med varandra. Dataexperter måste blanda ihop datauppsättningar, modeller och andra metadata när de skickar dem mellan verktygen.
- Måtten och visualiseringarna är inte lätt att jämföra och resultaten är svåra att dela.
Instrumentpanelen ansvarsfull AI utmanar detta status quo. Det är ett omfattande men anpassningsbart verktyg som sammanför fragmenterade upplevelser på ett och samma ställe. Det gör att du smidigt kan registrera dig för ett enda anpassningsbart ramverk för modellfelsökning och datadrivet beslutsfattande.
Med instrumentpanelen Ansvarsfull AI kan du skapa datamängdskohorter, skicka dessa kohorter till alla komponenter som stöds och observera din modellhälsa för dina identifierade kohorter. Du kan jämföra insikter från alla komponenter som stöds i en mängd olika fördefinierade kohorter för att utföra disaggregerad analys och hitta de blinda fläckarna i din modell.
När du är redo att dela dessa insikter med andra intressenter kan du enkelt extrahera dem med hjälp av styrkortet Ansvarig AI PDF. Bifoga PDF-rapporten i dina efterlevnadsrapporter eller dela den med kollegor för att skapa förtroende och få deras godkännande.
Sätt att anpassa instrumentpanelen ansvarsfull AI
Den ansvarsfulla AI-instrumentpanelens styrka ligger i dess anpassningsförmåga. Det ger användarna möjlighet att utforma skräddarsydda, slutpunkt-till-slutpunkt-modellfelsökningar och beslutsarbetsflöden som tillgodoser deras specifika behov.
Behöver du lite inspiration? Här följer några exempel på hur instrumentpanelens komponenter kan sammanställas för att analysera scenarier på olika sätt:
| Ansvarsfullt AI-instrumentpanelsflöde | Användningsfall |
|---|---|
| Analys av felanalys > av modellöversiktsdata > | Identifiera modellfel och diagnostisera dem genom att förstå den underliggande datafördelningen |
| Analys av rättvisebedömning > för modellöversikt > | Så här identifierar du problem med modellens rättvisa och diagnostiserar dem genom att förstå den underliggande datadistributionen |
| Analys av felanalys > för modellöversikt > och konsekvensanalys | Diagnostisera fel i enskilda instanser med kontrafaktisk analys (minsta ändring för att leda till en annan modellförutsägelse) |
| Dataanalys för modellöversikt > | För att förstå grundorsaken till fel och rättviseproblem som introduceras via obalanser i data eller brist på representation av en viss datakohort |
| Tolkning av modellöversikt > | Diagnostisera modellfel genom att förstå hur modellen har gjort sina förutsägelser |
| Orsakssamband för dataanalys > | Att skilja mellan korrelationer och kausationer i data eller bestämma de bästa behandlingarna att tillämpa för att få ett positivt resultat |
| > Orsakssamband för tolkning | Om du vill veta om de faktorer som modellen har använt för förutsägelseskapande har någon kausal effekt på det verkliga resultatet |
| > Analys av kontrafaktiska dataanalyser och konsekvensanalys | För att lösa kundernas frågor om vad de kan göra nästa gång för att få ett annat resultat från ett AI-system |
Personer som ska använda instrumentpanelen ansvarsfull AI
Följande personer kan använda instrumentpanelen ansvarsfull AI och motsvarande ansvarig AI-styrkort för att skapa förtroende med AI-system:
- Maskininlärningspersonal och dataexperter som är intresserade av att felsöka och förbättra sina maskininlärningsmodeller före distribution
- Maskininlärningspersonal och dataexperter som är intresserade av att dela sina modellhälsoposter med produktchefer och affärsintressenter för att skapa förtroende och ta emot distributionsbehörigheter
- Produktchefer och affärsintressenter som granskar maskininlärningsmodeller före distributionen
- Riskansvariga som granskar maskininlärningsmodeller för att förstå rättvise- och tillförlitlighetsproblem
- Leverantörer av AI-lösningar som vill förklara modellbeslut för användare eller hjälpa dem att förbättra resultatet
- Proffs i starkt reglerade utrymmen som behöver granska maskininlärningsmodeller med tillsynsmyndigheter och granskare
Scenarier och begränsningar som stöds
- Instrumentpanelen ansvarsfull AI stöder för närvarande modeller för regression och klassificering (binär och flera klasser) som tränats på tabellstrukturerade data.
- Instrumentpanelen ansvarsfull AI har för närvarande stöd för MLflow-modeller som är registrerade i Azure Mašinsko učenje med en sklearn-smak (scikit-learn). Scikit-learn-modellerna bör implementera
predict()/predict_proba()metoder, eller så bör modellen omslutas i en klass som implementerarpredict()/predict_proba()metoder. Modellerna måste vara inlästa i komponentmiljön och måste vara inlagd. - Instrumentpanelen ansvarsfull AI visualiserar för närvarande upp till 5 000 av dina datapunkter i instrumentpanelens användargränssnitt. Du bör minska antalet datamängder till 5K eller mindre innan du skickar den till instrumentpanelen.
- Datamängdsindata till instrumentpanelen ansvarsfull AI måste vara Pandas DataFrames i Parquet-format. NumPy- och SciPy-glesa data stöds för närvarande inte.
- Instrumentpanelen ansvarsfull AI stöder för närvarande numeriska eller kategoriska funktioner. För kategoriska funktioner måste användaren uttryckligen ange funktionsnamnen.
- Instrumentpanelen ansvarsfull AI stöder för närvarande inte datauppsättningar med fler än 10 000 kolumner.
- Instrumentpanelen ansvarsfull AI stöder för närvarande inte AutoML MLFlow-modellen.
- Instrumentpanelen ansvarsfull AI stöder för närvarande inte registrerade AutoML-modeller från användargränssnittet.
Nästa steg
- Lär dig hur du genererar instrumentpanelen ansvarsfull AI via CLI och SDK eller Azure Mašinsko učenje Studio UI.
- Lär dig hur du genererar ett ansvarsfullt AI-styrkort baserat på de insikter som observerats på instrumentpanelen ansvarsfull AI.