Medir o impacto do Assistente do Databricks

  • Artigo

Este artigo fornece informações sobre como medir o impacto do Assistente do Databricks em termos de adoção, gerenciamento e ganhos de produtividade relatados.

Requisitos

Para medir o impacto do Assistente do Databricks, você precisa:

  • Privilégios de administrador de conta necessários para habilitar tabelas do sistema. Consulte Habilitar as tabelas do sistema.
  • Uma pesquisa interna para obter feedback subjetivo sobre o Assistente de sua equipe.

Dados vs. métricas

Você obtém dados brutos das tabelas do sistema e de uma pesquisa. Para entender o impacto do Google Assistente, você precisa analisar e gerar relatórios de dados como métricas. As métricas são valores calculados que você usa para medir aspectos ou atividades específicas relacionadas ao impacto do Google Assistente. Este artigo também se refere a métricas como medidas.

Dicas para medir o impacto do Assistente

Para entender como sua organização está usando o Assistente do Databricks, comece medindo sua adoção e envolvimento com o Assistente do Databricks. Esses dados podem ser calculados a partir de tabelas do sistema.

Revise seus dados rotineiramente e disponibilize-os facilmente em um painel compartilhado. Para obter um exemplo e um modelo de dashboard, consulte Referência e exemplo de tabela do sistema do Assistente do Databricks.

Métricas de impacto do Assistente

Veja a seguir as medidas recomendadas do impacto do Assistente, tanto das tabelas do sistema quanto dos comentários do usuário. Para obter exemplos de cálculos de métricas, baixe o arquivo do painel de eventos do Assistente no GitHub e leia os cálculos em JSON. Para saber como importar um arquivo de painel, consulte Importar um arquivo de painel

Pesquisar sua organização também ajuda você a entender a eficácia do envolvimento dela com o Assistente. Consulte Perguntas de pesquisa recomendadas.

Medir Definição Estágio Fonte de dados
Principais usuários em geral Usuários em um determinado período que interagem com mais frequência com o Google Assistente Adoção Calcule com base nos dados da tabela do sistema do Assistente do Databricks.
Dados de envios: por espaço de trabalho e total Número de solicitações enviadas ao Google Assistente por workspace e por conta Adoção Calcule com base nos dados da tabela do sistema do Assistente do Databricks.
Usuários ativos por dia e mês Usuários únicos que receberam e aceitaram 1+ sugestões ou participaram de 1+ chats em um determinado dia. Participação Calcule com base nos dados da tabela do sistema do Assistente do Databricks.
Usuários ativos por workspace Usuários únicos em um determinado espaço de trabalho que interagem com o Google Assistente Participação Calcule com base nos dados da tabela do sistema do Assistente do Databricks.
Principais funções de trabalho usando o Assistente do Databricks Número de pessoas de cada função identificadas na sua organização que usam o Assistente Participação Pesquisa de sua organização
Principais tarefas do Assistente Tarefas mais comuns com as quais o Assistente ajuda Participação Pesquisa de sua organização
Com que frequência você usa o Assistente Frequência autorrelatada de uso do Assistente por usuário Participação Pesquisa de sua organização
Principais áreas de uso do Assistente Áreas de uso autorrelatadas: editor SQL, notebooks ou ambos Participação Pesquisa de sua organização
Satisfação do usuário com a ajuda do Google Assistente Satisfação autorrelatada com as respostas do assistente em uma escala de 1 a 5 Satisfação do usuário Pesquisa de sua organização
Ganhos na produtividade do usuário Aumento auto-relatado na produtividade obtida usando o Assistente em uma escala de 1 a 5 Satisfação do usuário Pesquisa de sua organização
Quantidade de tempo que os usuários economizam usando o Assistente Porcentagem autorrelatada de tempo economizado usando o Assistente para concluir tarefas Satisfação do usuário Pesquisa de sua organização

As tabelas do sistema não capturarão todas as informações sobre como sua organização usa o Assistente do Databricks. Use perguntas de pesquisa, como as abaixo, para entender como sua organização usa o Assistente.

  • Qual é sua função? Listar funções em sua organização
  • Com que frequência você usa o Assistente?
    • A cada hora
    • Diário
    • Semanal
    • Mensal
  • Onde você usa o AI Assistant?
    • Editor SQL
    • Notebooks
    • Ambos
  • Quais são seus principais casos de uso para o Assistente?
    • Corrigindo erros/solução de problemas
    • Ajuda para escrever código
    • Refatoração de código
    • Escrevendo consultas SQL
    • Escrevendo testes de unidade
    • Procurando documentação
  • Qual é o seu nível de satisfação com as respostas do Assistente? Escala de 1 a 5, Não satisfeito a Extremamente satisfeito
  • Desde que começou a usar o AI Assistant, você diria que é mais produtivo? Escala de 1-5, Muito menos produtivo a Muito mais produtivo
  • Quanto tempo você acredita que economiza em uma tarefa média usando o Assistente?
    • 0-10%
    • 10-30%
    • 30% a 50%
    • 50 – 70%
    • Mais de 70%