Övervaka Spark-jobb i en notebook-fil
Microsoft Fabric Notebook är en webbaserad interaktiv yta för att utveckla Apache Spark-jobb och utföra maskininlärningsexperiment. Den här artikeln beskriver hur du övervakar förloppet för dina Spark-jobb, får åtkomst till Spark-loggar, får råd i notebook-filen och navigerar till Spark-programinformationsvyn eller Spark-användargränssnittet för mer omfattande övervakningsinformation för hela notebook-filen.
Övervaka Förlopp för Spark-jobb
En förloppsindikator för Spark-jobb tillhandahålls med en förloppsindikator i realtid som hjälper dig att övervaka jobbets körningsstatus för varje notebook-cell. Du kan visa status och uppgifters förlopp i dina Spark-jobb och -faser.
Övervaka resursanvändning
Grafen för körningsanvändning visar visuellt allokeringen av Spark-jobbexekutorer och resursanvändning. För närvarande visas endast körningsinformationen för spark 3.4 och senare den här funktionen. Klicka på fliken Resurser . Linjediagrammet för resursanvändningen för kodcellen visas.
Visa Spark Advisor-rekommendationer
En inbyggd Spark-rådgivare analyserar din notebook-kod och Spark-körningar i realtid för att optimera prestanda för din notebook-fil och hjälpa till att felsöka fel. Det finns tre typer av inbyggda råd: Information, Varning och Fel. Ikonerna med tal anger respektive antal råd i varje kategori (information, varning och fel) som genereras av Spark-rådgivaren för en viss notebook-cell.
Om du vill visa råden klickar du på pilen i början för att expandera och visa informationen.
När du har utökat advisor-avsnittet blir en eller flera råd synliga.
Identifiering av Spark Advisor-skevhet
Datasnedvridning är ett vanligt problem som användare ofta stöter på. Spark-rådgivaren stöder skev identifiering och om skevhet identifieras visas en motsvarande analys nedan.
Komma åt Spark-realtidsloggar
Spark-loggar är viktiga för att hitta undantag och diagnostisera prestanda eller fel. Den sammanhangsberoende övervakningsfunktionen i notebook-filen ger loggarna direkt till dig för den specifika cell som du kör. Du kan söka i loggarna eller filtrera dem efter fel och varningar.
Gå till Spark-övervakningsinformation och Spark-användargränssnitt
Om du vill komma åt ytterligare information om Spark-körningen på notebook-nivå kan du gå till sidan med Spark-programinformation eller Spark-användargränssnittet via de alternativ som är tillgängliga på snabbmenyn.
