INCONSISTENT_BEHAVIOR_CROSS_VERSION felklass

  • Artikel

SQLSTATE: 42K0B

Du kan få ett annat resultat på grund av uppgraderingen till:

DATETIME_PATTERN_RECOGNITION

Spark >= 3.0:

Det gick inte att identifiera <pattern> mönstret i DateTimeFormatter.

  1. Du kan ange <config> "LEGACY" för att återställa beteendet före Spark 3.0.
  2. Du kan skapa ett giltigt datetime-mönster med guiden från "<docroot>/sql-ref-datetime-pattern.html".

DATETIME_WEEK_BASED_PATTERN

Spark >= 3.0:

Alla veckobaserade mönster stöds inte sedan Spark 3.0 identifierade veckobaserade tecken: <c>.

Använd SQL-funktionen EXTRACT i stället.

PARSE_DATETIME_BY_NEW_PARSER

Spark >= 3.0:

Det går inte att parsa <datetime> i den nya parsern.

Du kan ställa in <config> på "LEGACY" för att återställa beteendet före Spark 3.0 eller ställa in på "CORRECTED" och behandla det som en ogiltig datetime-sträng.

READ_ANCIENT_DATETIME

Spark >= 3.0:

läsdatum före 1582-10-15 eller tidsstämplar före 1900-01-01T00:00:00Z

från <format> filer kan vara tvetydiga, eftersom filerna kan skrivas av

Spark 2.x eller äldre versioner av Hive, som använder en äldre hybridkalender

som skiljer sig från Spark 3.0+s proleptiska gregorianska kalender.

Mer information finns i SPARK-31404. Du kan ange SQL-konfigurationen <config> eller

datasource-alternativet <option> till "LEGACY" för att ombasera datetime-värdena

w.r.t. kalenderskillnaden under läsningen. Läsa datetime-värdena

som det är ställer du in SQL-konfigurationen <config> eller datakällan <option>

till "CORRECTED".

TBD

Spark >= <sparkVersion>: <details>

WRITE_ANCIENT_DATETIME

Spark >= 3.0:

skrivdatum före 1582-10-15 eller tidsstämplar före 1900-01-01T00:00:00Z till <format> filer kan vara farliga, eftersom filerna kan läsas av Spark 2.x eller äldre versioner av Hive senare, som använder en äldre hybridkalender som skiljer sig från Spark 3.0+s proleptiska gregorianska kalender.

Mer information finns i SPARK-31404.

Du kan ange <config> "LEGACY" för att ändra datumtidsvärdena w.r.t. kalenderskillnaden under skrivning för att få maximal samverkan.

Eller ställ in konfigurationen på "CORRECTED" för att skriva datetime-värdena som de är, om du är säker på att de skrivna filerna bara kommer att läsas av Spark 3.0+ eller andra system som använder proleptisk gregoriansk kalender.