Exportar dados históricos do Splunk
Este artigo descreve como exportar seus dados históricos do Splunk. Depois de concluir as etapas neste artigo, você pode selecionar uma plataforma de destino para hospedar os dados exportados e selecionar uma ferramenta de ingestão para migrar os dados.
Você pode exportar dados do Splunk de várias maneiras. Sua seleção de um método de exportação depende dos volumes de dados envolvidos e do nível de interatividade. Por exemplo, exportar uma única pesquisa sob demanda por meio do Splunk Web pode ser adequado para uma exportação de baixo volume. Como alternativa, se você quiser configurar uma exportação agendada de maior volume, as opções SDK e REST funcionarão melhor.
Para exportações grandes, o método mais estável para recuperação de dados é dump ou a CLI (Interface de Linha de Comando). Você pode exportar os logs para uma pasta local no servidor Splunk ou para outro servidor acessível pelo Splunk.
Para exportar seus dados históricos do Splunk, use um dos métodos de exportação do Splunk. O formato de saída deve ser CSV.
Exemplo de CLI
Este exemplo da CLI pesquisa eventos do índice _internal que ocorrem durante a janela de tempo especificada pela cadeia de caracteres de pesquisa. Em seguida, o exemplo especifica a saída dos eventos em um formato CSV para o arquivo data.csv. Por padrão, você pode exportar no máximo 100 eventos. Para aumentar esse número, defina o argumento -maxout. Por exemplo, se você definir -maxout como 0, poderá exportar um número ilimitado de eventos.
Este comando da CLI exporta dados registrados entre 23h59 e 1h em 14 de setembro de 2021 para um arquivo CSV:
splunk search "index=_internal earliest=09/14/2021:23:59:00 latest=09/16/2021:01:00:00 " -output csv > c:/data.csv
exemplo de despejo
Esse comando dump exporta todos os eventos do índice bigdata para o local YYYYmmdd/HH/host no diretório $SPLUNK_HOME/var/run/splunk/dispatch/<sid>/dump/ em um disco local. O comando usa MyExport como prefixo para exportar nomes de arquivo e coloca os resultados em um arquivo CSV. O comando particiona os dados exportados usando a função eval antes do comando dump.
index=bigdata | eval _dstpath=strftime(_time, "%Y%m%d/%H") + "/" + host | dump basefilename=MyExport format=csv