Arquivo ORC
O Apache ORC é um formato de arquivo em coluna que fornece otimizações para acelerar as consultas. É um formato de arquivo muito mais eficiente do que CSV ou JSON.
Para saber mais, confira Arquivos ORC.
Opções
Confira os seguintes artigos de referência sobre o Apache Spark para ver opções de leitura e gravação com suporte.