Organizar um espaço Genie eficaz

O objetivo de organizar um espaço Genie é criar um ambiente em que os usuários empresariais possam fazer perguntas em linguagem natural e receber respostas precisas e consistentes com base em seus dados. Os espaços Genie usam modelos avançados que geram consultas sofisticadas e entendem conhecimentos gerais sobre o mundo.

A maioria das questões de negócios são específicas do domínio, portanto, a função do curador do espaço é fazer a ponte entre o conhecimento geral e a linguagem especializada usada em um domínio específico ou por uma empresa em particular. Os curadores usam metadados e instruções para ajudar o Genie a interpretar e responder com precisão às perguntas dos usuários empresariais. Este artigo descreve as melhores práticas e os princípios para orientá-lo no desenvolvimento de um espaço bem-sucedido.

Melhores práticas para definir um novo espaço

As seções a seguir recomendam práticas para criar um espaço eficaz.

Comece pequeno

A curadoria de um espaço Genie é um processo iterativo. Ao criar um novo espaço, comece o menor possível, com instruções mínimas e um conjunto limitado de perguntas a serem respondidas. Depois, você pode adicionar mais elementos à medida que avança com base nos comentários e no monitoramento. Essa abordagem ajuda a simplificar a criação e a manutenção de seu espaço e permite que você o organize de forma eficaz em resposta às necessidades reais do usuário.

Use as seguintes diretrizes para ajudar a criar um pequeno espaço Genie:

• Mantenha-se focado: inclua apenas as tabelas necessárias para responder às perguntas com as quais deseja que o espaço lide. Busque ter cinco tabelas ou menos. Quanto mais focada sua seleção, melhor. Manter seu espaço focado em uma quantidade reduzida de dados; portanto, limite o número de colunas nas tabelas incluídas.
• Planeje iterar: comece com uma configuração mínima para o seu espaço, concentrando-se em tabelas essenciais e instruções básicas. Adicione orientações e exemplos mais detalhados à medida que refina o espaço ao longo do tempo, em vez de buscar a perfeição inicialmente.
• Crie sobre tabelas bem anotadas: o Genie usa os nomes e as descrições das colunas do Catálogo do Unity para gerar respostas. Nomes de colunas e descrições claros ajudam a produzir respostas de alta qualidade. As descrições de coluna devem oferecer informações contextuais precisas. Evite detalhes ambíguos ou desnecessários. Inspecione as descrições geradas por IA para obter precisão e clareza e use-as somente se elas se alinharem ao que você fornecerá manualmente.

Pedir a um especialista do domínio definir o espaço

Um criador de espaços eficaz precisa entender os dados e os insights que podem ser obtidos dele. Analistas de dados que são proficientes no SQL geralmente têm o conhecimento e as habilidades necessárias para organizar o espaço.

Definir a finalidade do seu espaço

Identificar o público e a finalidade específicos do espaço ajuda você a decidir quais dados, instruções e perguntas de teste usar. Um espaço deve responder a perguntas sobre um tópico e público específicos, e não a perguntas gerais sobre diversos domínios.

Testar e ajustar

Você deve ser o primeiro usuário do seu espaço. Depois de criar um novo espaço, comece a fazer perguntas. Examine cuidadosamente o SQL gerado em resposta às suas perguntas. Se o Genie interpretar mal os dados, as perguntas ou o jargão de negócios, você poderá intervir editando o SQL gerado ou fornecendo outras instruções específicas. Continue testando e editando até obter respostas confiáveis.

Depois de revisar uma pergunta, você pode adicioná-la como uma pergunta de parâmetro de comparação que pode ser usada para testar e pontuar sistematicamente seu espaço quanto à precisão geral. Você pode usar variações e diferentes frases de perguntas para testar as respostas do Genie. Consulte Usar parâmetros de comparação em um espaço Genie.

Consulte a Solução de problemas para obter ideias sobre como corrigir respostas incorretas.

Conduzir testes de usuário

Depois de verificar a qualidade da resposta por meio de testes, recrute um usuário de negócios para experimentar o espaço Genie. Use as seguintes diretrizes para proporcionar um percurso do usuário fluido e coletar feedback para melhorias contínuas:

• Defina as expectativas de que o trabalho deles é ajudar a refinar o espaço.
• Peça para que eles concentrem seus testes no tópico específico e nas perguntas que o espaço foi projetado para responder.
• Se receberem uma resposta incorreta, incentive os usuários a adicionar instruções e esclarecimentos adicionais no chat para refinar a resposta. Quando uma resposta correta for fornecida, eles devem votar a favor na consulta final para minimizar erros semelhantes em futuras interações.
• Peça aos usuários para votar a favor ou contra as respostas usando o mecanismo de feedback interno.
• Convide os usuários para compartilhar comentários adicionais e perguntas não resolvidas diretamente com os autores do espaço. Os autores e os editores podem usar comentários para refinar instruções, exemplos e ativos confiáveis.

Considere fornecer materiais de treinamento ou um documento escrito com diretrizes para testar o espaço e fornecer feedback. À medida que os usuários empresariais testam o espaço, você verá as perguntas que eles fizeram na guia Histórico. Continue adicionando instruções para ajudar o Genie a interpretar corretamente as perguntas e os dados e a fornecer respostas precisas. Confira Histórico de revisão e feedback para aprender a monitorar espaços do Genie.

Solução de problemas

As seções a seguir descrevem como resolver problemas comuns.

Jargão empresarial mal compreendido

A maioria das empresas ou domínios tem uma terminologia específica que usam para se comunicar sobre eventos específicos de negócios. Por exemplo, ao se referir a um ano, pode-se estar sempre falando do ano fiscal, que pode começar em fevereiro ou março em vez de janeiro. Para permitir que o Genie responda a essas perguntas de maneira natural e precisa, inclua instruções que mapeiem explicitamente a gíria do seu negócio para palavras e conceitos que o Genie possa compreender. Confira Fornecer instruções.

Uso incorreto de tabela ou coluna

Se o Genie estiver tentando extrair dados de uma tabela incorreta ou executar a análise em colunas incorretas, você poderá ajustar os dados de uma das seguintes maneiras:

• Forneça descrições claras e precisas: verifique suas tabela e metadados associados para verificar se a terminologia usada lá corresponde à terminologia dos usuários nas perguntas enviadas. Caso contrário, refine a descrição ou adicione uma instrução que mapeie a terminologia usada na tabela para a terminologia usada na questão.
• Adicione consultas de exemplo: forneça consultas SQL de exemplo que o Genie pode usar para saber como responder a determinadas perguntas. Confira Fornecer instruções.
• Remova tabelas ou colunas do espaço: algumas tabelas podem incluir colunas ou conceitos sobrepostos, o que dificulta para o Genie saber quais dados usar em uma resposta. Se possível, remova tabelas ou colunas desnecessárias ou sobrepostas. Você pode querer criar uma visualização que inclua apenas as colunas necessárias.

Filtrar erros

As consultas geradas geralmente incluem uma cláusula WHERE para filtrar os resultados de acordo com um valor específico. Como o Genie não tem visibilidade dos dados reais, ele pode configurar a cláusula WHERE para filtrar o valor errado. Por exemplo, ele pode tentar corresponder ao nome “California” quando a tabela usa abreviações como “CA”.

Para situações como esta, tente uma das seguintes estratégias:

• Se o conjunto de valores de coluna for razoavelmente pequeno, enumere as cadeias de caracteres válidas para cada descrição de coluna. Coloque aspas em torno dos valores de cadeia de caracteres, especialmente se eles tiverem espaços ou números. Às vezes, para enumerações comuns, é suficiente dizer “Use o código ISO de três letras do país” em vez de listar cada valor de estado.

Junções incorretas

Se as referências de chave estrangeira não estiverem definidas em seu Catálogo do Unity, o espaço poderá não saber como tabelas diferentes devem ser unidas.

Tente implementar uma ou mais das seguintes soluções:

• Defina referências de chave estrangeira em seu Catálogo do Unity quando possível. Consulte a cláusula CONSTRAINT.
• Forneça consultas de exemplo nas quais você junte tabelas de maneiras padrão.
• Se os relacionamentos de chave estrangeira das tabelas não forem especificados no Catálogo do Unity, documente-os nas instruções.

Se nenhuma dessas alternativas resolver o problema, junte previamente a tabela a uma visualização e use-a como entrada para o espaço. Essa estratégia é útil para cenários de junção mais complexos, como autojunções.

Problemas de cálculo de métricas

A maneira como as métricas são calculadas e consolidadas pode ser arbitrariamente complicada e abranger muitos detalhes de negócios que seu espaço não compreende. Isso pode levar a relatórios incorretos.

Tente implementar uma ou mais das seguintes soluções:

• Se suas métricas forem agregadas de tabelas base, forneça consultas SQL de exemplo que calculem cada valor de consolidação.
• Se suas métricas tiverem sido previamente computadas e estiverem armazenadas em tabelas agregadas, explique isso nos comentários da tabela. Especifique agregações válidas para cada métrica se as métricas nessa tabela puderem ser ainda mais consolidadas.
• Se o SQL que você está tentando gerar for muito complicado, tente criar visualizações que já tenham agregado suas métricas para seu espaço.

Ignorar instruções

Mesmo que você tenha explicado suas tabelas e colunas em comentários e fornecido instruções gerais, seu espaço ainda pode não estar usando-as corretamente.

Tente uma ou mais das seguintes estratégias:

• Forneça consultas de exemplo que usem suas tabelas corretamente. Consultas de exemplo são especialmente eficazes para ensinar seu espaço a usar seus dados.
• Crie visualizações de suas tabelas que forneçam uma visualização mais simplificada de seus dados.
• Examine suas instruções e tente focar o espaço removendo tabelas ou instruções irrelevantes.
• Tente iniciar um novo chat. Interações anteriores podem influenciar as respostas do Genie em qualquer chat, mas iniciar um novo chat oferece um ponto de partida em branco para testar novas instruções.

Problemas de desempenho

Quando o Genie precisa gerar consultas ou respostas de texto excepcionalmente longas, pode levar muito tempo para responder ou até mesmo exceder o tempo limite durante a fase de processamento.

Experimente uma ou mais das seguintes ações para melhorar o desempenho:

• Use ativos confiáveis ou visualizações para encapsular consultas complexas. Consulte Usar ativos confiáveis em espaços Genie de IA/BI.
• Reduza o comprimento das consultas SQL de exemplo sempre que possível.
• Inicie um novo chat se o Genie começar a gerar respostas lentas ou com falha.

Respostas não confiáveis a perguntas críticas

Use ativos confiáveis para fornecer respostas verificadas a perguntas específicas que você espera que os usuários façam. Consulte Usar ativos confiáveis em espaços Genie de IA/BI.

Aviso de limite de token

Tokens são as unidades básicas de texto que o Genie usa para processar e compreender a linguagem. O texto incluído como instruções ou metadados em um espaço do Genie é convertido em tokens. Se o número de tokens em seu espaço estiver se aproximando do limite, o produto notificará você com avisos. O Genie aplica filtragem de contexto inteligente para selecionar os tokens que representam os metadados e alguns tipos de instruções incluídas no espaço do Genie. Mesmo que você exceda o limite, o espaço deve continuar a gerar respostas às perguntas.

Se o seu espaço do Genie se aproximar do limite de tokens, o Genie poderá priorizar a inclusão apenas das partes do esquema da tabela e das instruções mais relevantes para a pergunta. Isso pode reduzir a qualidade da resposta se o contexto importante for filtrado. Considere as seguintes práticas para reduzir a contagem de tokens:

• Remover colunas desnecessárias: colunas desnecessárias em suas tabelas podem contribuir significativamente para o uso do token. Crie exibições para excluir campos redundantes ou não essenciais de suas tabelas brutas.
• Simplificar descrições de coluna: embora as descrições de coluna sejam importantes, evite duplicar informações já transmitidas por nomes de coluna. Por exemplo, se uma coluna for nomeada account_name, uma descrição como “o nome da sua conta” poderá ser redundante e poderá ser omitida.
• Simplificar as instruções: verifique se as instruções são claras e concisas. Evite trabalho desnecessário.
• Remover instruções SQL de exemplo: inclua uma gama diversificada de instruções SQL de exemplo para cobrir vários tipos de perguntas, mas remova exemplos sobrepostos ou redundantes.