Arquivos de texto
Você pode processar arquivos com a opção de formato text para analisar cada linha em qualquer arquivo baseado em texto como uma linha em um DataFrame. Isso pode ser útil para várias operações, incluindo análise de log. Também pode ser útil se você precisar ingerir dados CSV ou JSON como cadeias de caracteres brutas.
Para saber mais, confira arquivos de texto.
Opções
Confira os seguintes artigos de referência sobre o Apache Spark para ver opções de leitura e gravação com suporte.