Propriedades da ingestão de dados

  • Artigo

Aplica-se a: ✅Microsoft Fabric✅Azure Data Explorer

A ingestão de dados é o processo pelo qual os dados são adicionados a uma tabela e disponibilizados para consulta. Adicione propriedades ao comando de ingestão após a palavra-chave with.

Propriedades da ingestão

Importante

Na ingestão enfileirada, os dados são agrupados em lote usando as propriedades de assimilação. Quanto mais propriedades de mapeamento de ingestão distintas forem usadas, como valores ConstValue diferentes, mais fragmentada a ingestão se tornará, o que pode levar à degradação do desempenho.

A tabela a seguir lista e descreve as propriedades com suporte e fornece exemplos:

Propriedade Descrição Exemplo
ingestionMapping Um valor de cadeia de caracteres que indica como mapear dados do arquivo de origem para as colunas reais na tabela. Defina o valor format com o tipo de mapeamento relevante. Confira os mapeamentos de dados. with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
(preterido: avroMapping, csvMapping, jsonMapping)
ingestionMappingReference um valor de cadeia de caracteres que indica como mapear dados do arquivo de origem para as colunas reais na tabela usando um objeto de política de mapeamento nomeado. Defina o valor format com o tipo de mapeamento relevante. Confira os mapeamentos de dados. with (format="csv", ingestionMappingReference = "Mapping1")
(preterido: avroMappingReference, csvMappingReference, jsonMappingReference)
creationTime O valor de datetime (formatado como uma cadeia de caracteres ISO8601) a ser usado na hora de criação das extensões dos dados ingeridos. Se não for especificado, o valor atual (now()) é usado. Substituir o padrão é útil ao ingerir dados mais antigos, para que a política de retenção seja aplicada corretamente. Quando especificado, verifique se a propriedade Lookback na Política de mesclagem de extensões efetivas da tabela de destino está alinhada com o valor especificado. with (creationTime="2017-02-13")
extend_schema Um valor booliano que, se especificado, instruirá o comando a estender o esquema da tabela (o padrão é false). Essa opção se aplica somente aos comandos .append e .set-or-append. As únicas extensões de esquema permitidas têm mais colunas adicionadas à tabela no final. Se o esquema da tabela original fosse (a:string, b:int), uma extensão de esquema válida seria (a:string, b:int, c:datetime, d:string), mas (a:string, c:datetime) não seria válido
folder Para comandos ingest-from-query, a pasta a ser atribuída à tabela. Se a tabela já existir, essa propriedade substituirá a pasta da tabela. with (folder="Tables/Temporary")
format O formato dos dados (confira os formatos de dados suportados). with (format="csv")
ingestIfNotExists um valor de cadeia de caracteres que, se especificado, impede que a ingestão tenha sucesso se a tabela já tiver dados marcados com uma marcação ingest-by: com o mesmo valor. Isso garante uma ingestão de dados idempotente. Para obter mais informações, veja ingest-by: tags. As propriedades with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') indicam que se os dados com a marcação ingest-by:Part0001 já existirem, você não deverá concluir a ingestão atual. Se eles não existirem ainda, essa nova ingestão deverá ter esse conjunto de marcações (no caso de tentativas de ingestão futuras dos mesmos dados novamente.)
ignoreFirstRecord Um valor booliano que, se definido como true, indicará que a ingestão deve ignorar o primeiro registro de cada arquivo. Essa propriedade é útil para arquivos em CSV e formatos semelhantes caso o primeiro registro no arquivo for o nome da coluna. Por padrão, false é assumido. with (ignoreFirstRecord=false)
policy_ingestiontime Um valor booliano que, se especificado, descreve se a Política de tempo de ingestão deve ser habilitada em uma tabela criada por esse comando. O padrão é true. with (policy_ingestiontime=false)
recreate_schema Um valor booliano que, se especificado, descreverá se o comando pode recriar o esquema da tabela. Esta propriedade só se aplica ao comando .set-or-replace. Essa propriedade tem precedência sobre a propriedade extend_schema se ambas estiverem definidas. with (recreate_schema=true)
tags Uma lista de marcações a serem associadas aos dados ingeridos, formatados como uma cadeia de caracteres JSON with (tags="['Tag1', 'Tag2']")
TreatGzAsUncompressed Um valor booleano que, se definido como true, indica que os arquivos com a extensão .gz não estão compactados. Às vezes, esse sinalizador é necessário ao ingerir do Amazon AWS S3. with (treatGzAsUncompressed=true)
validationPolicy Uma cadeia de caracteres JSON que indica quais validações devem ser executadas durante a ingestão de dados representados usando o formato CSV. Consulte Ingestão de dados para obter uma explicação das diferentes opções. with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}') (esta é a política padrão)
zipPattern Use essa propriedade ao ingerir dados do armazenamento que tenha um arquivo ZIP. Esse é um valor de cadeia de caracteres que indica a expressão regular a ser usada ao selecionar quais arquivos no arquivo ZIP serão ingeridos. Todos os outros arquivos no arquivo são ignorados. with (zipPattern="*.csv")

Conteúdo relacionado