Dataformat som stöds av Azure Data Explorer för inmatning

  • Artikel

Datainmatning är den process genom vilken data läggs till i en tabell och görs tillgängliga för frågor i Azure Data Explorer. För alla inmatningsmetoder, förutom inmatning från fråga, måste data vara i något av de format som stöds. I följande tabell visas och beskrivs de format som Azure Data Explorer stöder för datainmatning.

Anteckning

Innan du matar in data kontrollerar du att dina data är korrekt formaterade och definierar de förväntade fälten. Vi rekommenderar att du använder den validator du föredrar för att bekräfta att formatet är giltigt. Du kan till exempel hitta följande validatorer som är användbara för att kontrollera CSV- eller JSON-filer:

Mer information om varför inmatningen kan misslyckas finns i Inmatningsfel och Inmatningsfelkoder i Azure Data Explorer.

Format Filnamnstillägg Description
ApacheAvro .avro Ett AVRO-format med stöd för logiska typer. Följande komprimerings-codecs stöds: null, deflateoch snappy. Läsarimplementeringen apacheavro av formatet baseras på det officiella Apache Avro-biblioteket. Information om hur du matar in Event Hub Capture Avro-filer finns i Mata in Event Hub Capture Avro-filer.
Avro .avro En äldre implementering för AVRO-format baserat på .NET-biblioteket. Följande komprimerings-codecs stöds: null, deflate (för snappy – använd ApacheAvro dataformat).
CSV .csv En textfil med kommaavgränsade värden (,). Se RFC 4180: Common Format och MIME-typ för filer för Comma-Separated värden (CSV).
JSON .json En textfil med JSON-objekt avgränsade \n med eller \r\n. Se JSON-rader (JSONL).
MultiJSON .multijson En textfil med en JSON-matris med egenskapsuppsättningar (som var och en representerar en post) eller valfritt antal egenskapsuppsättningar avgränsade med blanksteg eller \n\r\n. Varje egenskapsväska kan spridas på flera linjer.
ORC .orc En ORC-fil.
Parquet .parquet En Parquet-fil.
PSV .psv En textfil med pipe-avgränsade värden (|).
RAW .raw En textfil vars hela innehåll är ett enda strängvärde.
SCsv .scsv En textfil med semikolonavgränsade värden (;).
SOHsv .sohsv En textfil med SOH-avgränsade värden. (SOH är ASCII-kodpunkt 1. Det här formatet används av Hive på HDInsight.)
TSV .tsv En textfil med tabbavgränsade värden (\t).
TSVE .tsv En textfil med tabbavgränsade värden (\t). Ett omvänt snedstreck (\) används för undantag.
TXT .txt En textfil med rader avgränsade \nmed . Tomma rader hoppas över.
W3CLOGFILE .log Webbloggfilformat som standardiserats av W3C.

Anteckning

  • Inmatning från datalagringssystem som tillhandahåller ACID-funktioner ovanpå vanliga Parquet-formatfiler (t.ex. Apache Iceberg, Apache Hudi, Delta Lake) stöds inte.

  • Schemalös Avro stöds inte.

  • Mer information om hur du matar in data med hjälp av json eller multijson format finns i det här dokumentet.

Datakomprimeringsformat som stöds

Blobar och filer kan komprimeras via någon av följande komprimeringsalgoritmer:

Komprimering Filnamnstillägg
Gzip .Gz
Zip .zip

Ange komprimering genom att lägga till tillägget i namnet på bloben eller filen.

Exempel:

  • MyData.csv.zip anger en blob eller en fil formaterad som CSV, komprimerad med ZIP (arkiv eller en enda fil)
  • MyData.json.gz anger en blob eller en fil formaterad som JSON, komprimerad med GZip.

Blob- eller filnamn som inte innehåller formattilläggen utan bara komprimering (till exempel MyData.zip) stöds också. I det här fallet måste filformatet anges som en inmatningsegenskap eftersom det inte kan härledas.

Anteckning

  • Vissa komprimeringsformat håller reda på det ursprungliga filnamnstillägget som en del av den komprimerade dataströmmen. Det här tillägget ignoreras vanligtvis för att fastställa filformatet. Om filformatet inte kan fastställas från den (komprimerade) bloben eller filnamnet måste det anges via inmatningsegenskapen format .
  • Ska inte förväxlas med intern (segmentnivå) komprimeringskodc som används av Parquet, AVRO och ORC format. Internt komprimeringsnamn läggs vanligtvis till i ett filnamn före filformatstillägget, till exempel: file1.gz.parquet, file1.snappy.avroosv.
  • Deflate64/Utökad deflate Zip-komprimeringsmetoden stöds inte. Observera att den inbyggda Zip-kompressorn i Windows kan välja att använda den här komprimeringsmetoden för filer med en storlek över 2 GB.

Relaterat innehåll