Résoudre les erreurs d’ingestion ou les données endommagées

Article
06/03/2024

Remarque

Le 1er septembre 2023, nous avons fusionné et renommé Dynamics 365 Marketing et Dynamics 365 Customer Insights. Dynamics 365 Marketing est maintenant appelé Dynamics 365 Customer Insights - Journeys. Dynamics 365 Customer Insights s’appelle désormais Dynamics 365 Customer Insights - Data. Pour plus d’informations, consultez faq sur Dynamics 365 Customer Insights.

Cet article présente les raisons courantes d’erreurs d’ingestion de données ou de données endommagées lors de l’utilisation d’Azure Data Lake Storage ou de Power Query dans Microsoft Dynamics 365 Customer Insights - Data.

Erreurs d’ingestion ou données endommagées avec Azure Data Lake Storage

Pendant l’ingestion des données, voici quelques-unes des raisons les plus courantes pour lesquelles un enregistrement peut être considéré comme endommagé :

Les types de données et les valeurs de champ ne correspondent pas entre le fichier source et le schéma.
Le nombre de colonnes dans le fichier source ne correspond pas au schéma.
Les champs contiennent des caractères qui provoquent l’asymétrie des colonnes par rapport au schéma attendu. Par exemple, des guillemets mis en forme incorrectement, des guillemets sans séquence d’échappement, des caractères de nouvelle ligne ou des caractères à onglets.
Les fichiers de partition sont manquants.
datetimeLes champs , dateou datetimeoffset ne suivent pas le format standard.

Incompatibilité de schéma ou de type de données

Si les données ne sont pas conformes au schéma, le processus d’ingestion se termine avec des erreurs.

Pour résoudre ce problème, corrigez les données sources ou le schéma et réingérer les données.

Les fichiers de partition sont manquants

Si le processus d’ingestion réussit sans enregistrement endommagé, mais que vous ne voyez pas de données, modifiez votre fichier model.json ou manifest.json pour vous assurer que les partitions sont spécifiées. Ensuite, actualisez la source de données.
Si l’ingestion des données se produit en même temps que les sources de données sont actualisées pendant une actualisation planifiée automatique, les fichiers de partition peuvent être vides ou indisponibles pour le processus système. Pour vous aligner sur la planification d’actualisation en amont, modifiez la planification d’actualisation du système ou la planification de l’actualisation de la source de données. Alignez le minutage afin que les actualisations ne se produisent pas toutes en même temps.

Les champs Datetime sont au format incorrect

Les datetime champs de la table ne sont pas au format ISO 8601 ou en-US . Le format par défaut datetime dans Dynamics 365 Customer Insights - Data est en-US. Tous les datetime champs d’un tableau doivent être au même format. Customer Insights prend en charge d’autres formats à condition que les annotations ou caractéristiques soient effectuées au niveau de la source ou de la table dans le modèle ou manifest.json. Par exemple :

Model.json

  "annotations": [
    {
      "name": "ci:CustomTimestampFormat",
      "value": "yyyy-MM-dd'T'HH:mm:ss:SSS"
    },
    {
      "name": "ci:CustomDateFormat",
      "value": "yyyy-MM-dd"
    }
  ]

Dans un fichier manifest.json , le datetime format peut être spécifié au niveau de la table ou de l’attribut. Au niveau de la table, utilisez "exhibitsTraits" dans le tableau de *.manifest.cdm.json pour définir le datetime format. Au niveau de l’attribut, utilisez "appliedTraits" dans l’attribut dans tablename.cdm.json.

Manifest.json au niveau de la table

"exhibitsTraits": [
    {
        "traitReference": "is.formatted.dateTime",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd'T'HH:mm:ss"
            }
        ]
    },
    {
        "traitReference": "is.formatted.date",
        "arguments": [
            {
                "name": "format",
                "value": "yyyy-MM-dd"
            }
        ]
    }
]

table.json au niveau de l’attribut

   {
      "name": "PurchasedOn",
      "appliedTraits": [
        {
          "traitReference": "is.formatted.date",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-dd"
            }
          ]
        },
        {
          "traitReference": "is.formatted.dateTime",
          "arguments" : [
            {
              "name": "format",
              "value": "yyyy-MM-ddTHH:mm:ss"
            }
          ]
        }
      ],
      "attributeContext": "POSPurchases/attributeContext/POSPurchases/PurchasedOn",
      "dataFormat": "DateTime"
    }

Erreurs d’ingestion ou données endommagées avec Power Query

Les valeurs DateTime sont analysées de manière incorrecte ou un échec d’analyse se produit

L’incompatibilité de type de données la plus courante se produit lorsqu’un champ de date n’est pas défini sur le format de date correct. Cette incompatibilité peut être due à des données sources mal mises en forme ou à des paramètres régionaux incorrects.

Symptômes du problème de paramètres régionaux incorrects :

Lorsque les données sources ne peuvent pas être analysées par les paramètres régionaux utilisés, un échec d’ingestion se produit. Par exemple, si « 29/08/2023 » est analysé avec « MM/JJ/AAAA », l’ingestion échoue, car elle ne peut pas analyser le mois 29.
Lorsque les données sources sont correctement analysées à l’aide d’un paramètre régional incorrect, les valeurs datetime sont incorrectes. Par exemple, les données sources sont au format « MM/JJ/AAAA », tandis que les paramètres régionaux par défaut utilisés pour analyser les données pendant l’ingestion utilisent « JJ/MM/AAAA ». Par conséquent, « 8 décembre 2023 » est ingéré comme « 12 août 2023 ».

Résolution

Pour corriger un format incorrect, mettez à jour les données sources et réingérer.
Pour corriger des paramètres régionaux incorrects, modifiez le type de tous les champs datetime pour utiliser les paramètres régionaux corrects à l’aide de Modifier le type>Utilisation des paramètres régionaux dans les transformations Power Query. Par exemple :

Pour plus d’informations, consultez Paramètres régionaux du document ou du projet.

Partager via