read_kinesis streamovaná funkce s hodnotou tabulky

Platí pro: Databricks SQL Databricks Runtime 13.3 LTS a vyšší

Vrátí tabulku se záznamy načtenými z Kinesis z jednoho nebo více datových proudů.

Syntaxe

read_kinesis ( { parameter => value } [, ...] )

Argumenty

read_kinesis vyžaduje vyvolání pojmenovaného parametru.

Jediným povinným argumentem je streamName. Všechny ostatní argumenty jsou volitelné.

Popisy argumentů jsou zde stručné. Další podrobnosti najdete v dokumentaci k Amazon Kinesis .

Existují různé možnosti připojení pro připojení a ověření pomocí AWS. awsAccessKeya awsSecretKey buď lze zadat v argumentech funkce pomocí tajné funkce, ručně nastavit v argumentech nebo nakonfigurovat jako proměnné prostředí, jak je uvedeno níže. roleArn, roleExternalIDroleSessionName lze také použít k ověřování pomocí AWS pomocí profilů instancí. Pokud žádnou z těchto možností nezadáte, použije se výchozí řetězec zprostředkovatele AWS.

Následující argumenty slouží k řízení propustnosti čtení a latence kinesis:

Návraty

Tabulka záznamů Kinesis s následujícím schématem:

Sloupce (stream, shardId, sequenceNumber) představují primární klíč.

Příklady

-- Streaming Ingestion from Kinesis
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        awsAccessKey => secret(‘test-databricks’, ‘awsAccessKey’),
        awsSecretKey => secret(‘test-databricks’, ‘awsSecretKey’),
        initialPosition => 'earliest');

-- The data would now need to be queried from the testing.streaming_table

-- A streaming query when the environment variables already contain AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest');

-- A streaming query when the roleArn, roleSessionName, and roleExternalID are configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest',
        roleArn => 'arn:aws:iam::123456789012:role/MyRole',
        roleSessionName => 'testing@databricks.com');

Související funkce

• sequence function
• read_kafka table-valued function
• read_pubsub funkce s hodnotou tabulky streamování