Vad är Mosaic AutoML?

Mosaic AutoML förenklar processen med att tillämpa maskininlärning på dina datauppsättningar genom att automatiskt hitta den bästa algoritmen och hyperparameterkonfigurationen åt dig.

Ange din datauppsättning och ange typ av maskininlärningsproblem, sedan gör AutoML följande:

1. Rensar och förbereder dina data.
2. Orkestrerar distribuerad modellträning och hyperparameterjustering över flera algoritmer.
3. Hittar den bästa modellen med hjälp av öppen källkod utvärderingsalgoritmer från scikit-learn, xgboost, LightGBM, Prophet och ARIMA.
4. Visar resultatet. AutoML genererar också källkodsanteckningsböcker för varje utvärderingsversion, så att du kan granska, återskapa och ändra koden efter behov.

Kom igång med AutoML-experiment via ett användargränssnitt med låg kod eller Python-API:et.

Krav

• Databricks Runtime 9.1 ML eller senare. För den allmänna tillgänglighetsversionen (GA) databricks Runtime 10.4 LTS ML eller senare.

  • För prognostisering av tidsserier, Databricks Runtime 10.0 ML eller senare.
  • Med Databricks Runtime 9.1 LTS ML och senare är AutoML beroende av databricks-automl-runtime paketet, som innehåller komponenter som är användbara utanför AutoML och även hjälper till att förenkla notebook-filer som genereras av AutoML-träning. databricks-automl-runtime finns på PyPI.

• Inga andra bibliotek än de som är förinstallerade i Databricks Runtime for Machine Learning ska installeras i klustret.

  • Ändringar (borttagning, uppgraderingar eller nedgradering) till befintliga biblioteksversioner resulterar i körningsfel på grund av inkompatibilitet.

• För att få åtkomst till filer på din arbetsyta måste du ha nätverksportarna 1017 och 1021 öppna för AutoML-experiment. Om du vill öppna dessa portar eller bekräfta att de är öppna läser du konfigurations- och säkerhetsgruppens regler för vpn-brandväggen i molnet eller kontaktar den lokala molnadministratören. Mer information om konfiguration och distribution av arbetsytor finns i Skapa en arbetsyta.

• Använd en beräkningsresurs med ett beräkningsåtkomstläge som stöds. Alla beräkningsåtkomstlägen har inte åtkomst till Unity-katalogen:

  Beräkningsåtkomstläge	AutoML-stöd	Stöd för Unity Catalog
  enskild användare	Stöds (måste vara den avsedda enskilda användaren för klustret)	Stöds
  Läge för delad åtkomst	Stöd saknas	Stöd saknas
  Ingen isolering har delats	Stöds	Stöd saknas

AutoML-algoritmer

Mosaic AutoML tränar och utvärderar modeller baserat på algoritmerna i följande tabell.

Generering av utvärderingsanteckningsbok

AutoML genererar notebook-filer med källkoden bakom utvärderingsversioner så att du kan granska, återskapa och ändra koden efter behov.

För prognosexperiment importeras automatiskt AutoML-genererade notebook-filer till din arbetsyta för alla utvärderingsversioner av experimentet.

För klassificerings- och regressionsexperiment importeras automatiskt AutoML-genererade notebook-filer för datautforskning och den bästa utvärderingsversionen i experimentet till din arbetsyta. Genererade notebook-filer för andra experimentförsök sparas som MLflow-artefakter på DBFS i stället för automatiskt importerade till din arbetsyta. För alla utvärderingsversioner förutom den bästa utvärderingsversionen notebook_path anges inte och notebook_url i Python-API:et TrialInfo . Om du behöver använda dessa notebook-filer kan du importera dem manuellt till din arbetsyta med AutoML-experimentgränssnittet eller Python-API:et.databricks.automl.import_notebook

Om du bara använder notebook-filen för datautforskning eller den bästa utvärderingsanteckningsboken som genereras av AutoML innehåller kolumnen Källa i AutoML-experimentgränssnittet länken till den genererade notebook-filen för den bästa utvärderingsversionen.

Om du använder andra genererade notebook-filer i AutoML-experimentgränssnittet importeras de inte automatiskt till arbetsytan. Du hittar anteckningsböckerna genom att klicka på varje MLflow-körning. IPython-anteckningsboken sparas i avsnittet Artefakter på körningssidan. Du kan ladda ned den här notebook-filen och importera den till arbetsytan om du har aktiverat nedladdning av artefakter av arbetsyteadministratörerna.

Shapley-värden (SHAP) för modellförklarbarhet

Notebook-filerna som skapas av AutoML-regression och klassificeringskörningar innehåller kod för att beräkna Shapley-värden. Shapley-värden baseras på spelteori och beräknar vikten av varje funktion för en modells förutsägelser.

AutoML-notebook-filer beräknar Shapley-värden med hjälp av SHAP-paketet. Eftersom dessa beräkningar är mycket minnesintensiva utförs inte beräkningarna som standard.

Så här beräknar och visar du Shapley-värden:

1. Gå till avsnittet Funktionsprimitet i en AutoML-genererad utvärderingsanteckningsbok.
2. Ange shap_enabled = True.
3. Kör notebook-filen igen.

Nästa steg

• Träna med AutoML-användargränssnitt
• Träna med AutoML API
• Inställningar för förberedelse av data
• Referens för AutoML Python API