IA com fluxos de dados

Este artigo mostra como é possível usar a IA (inteligência artificial) com fluxos de dados. Este artigo descreve:

• Serviços Cognitivos
• Machine Learning automatizado
• Integração de Azure Machine Learning

Serviços Cognitivos no Power BI

Com os Serviços Cognitivos do Power BI, será possível aplicar diferentes algoritmos dos Serviços Cognitivos do Azure para enriquecer seus dados na preparação de dados de autoatendimento para Fluxos de Dados.

Os serviços atualmente com suporte são Análise de Sentimento, Extração de Frases-chave, Detecção de Idioma e Marcação de Imagem. As transformações são executadas no serviço do Power BI e não exigem uma assinatura dos Serviços Cognitivos do Azure. Este recurso requer o Power BI Premium.

Habilitar recursos de IA

Os Serviços Cognitivos são compatíveis com nós de capacidade Premium EM2, A2, P1 ou F64 e outros nós com mais recursos. Os serviços cognitivos também estão disponíveis com uma licença PPU (Premium por usuário). Uma carga de trabalho de IA separada na capacidade é usada para executar os serviços cognitivos. Antes de usar os Serviços Cognitivos no Power BI, a carga de trabalho de IA precisa ser habilitada nas Configurações de capacidade do portal do administrador. Você pode ativar a carga de trabalho de IA na seção de cargas de trabalho.

Introdução aos Serviços Cognitivos no Power BI

As transformações de Serviços Cognitivos fazem parte da Preparação de dados de autoatendimento para fluxos de dados. Para enriquecer seus dados com os Serviços Cognitivos, inicie editando um fluxo de dados.

Pressione o botão Insights da IA na faixa de opções superior do Editor do Power Query.

Na janela pop-up, selecione a função que deseja usar e os dados que deseja transformar. Este exemplo classifica o sentimento de uma coluna que contém o texto de revisão.

O LanguageISOCode é uma entrada opcional para especificar o idioma do texto. Essa coluna espera um código ISO. É possível usar uma coluna como entrada para LanguageISOCode ou uma coluna estática. Neste exemplo, o idioma é especificado como inglês (en) para a coluna inteira. Se você deixar essa coluna em branco, o Power BI detectará automaticamente o idioma antes de aplicar a função. Em seguida, selecione Invocar.

Depois de invocar a função, o resultado é adicionado como uma nova coluna à tabela. A transformação também é adicionada como uma etapa aplicada na consulta.

Se a função retornar várias colunas de saída, a invocação da função adicionará uma nova coluna com uma linha das várias colunas de saída.

Use a opção de expansão para adicionar um ou ambos os valores como colunas aos seus dados.

Funções disponíveis

Esta seção descreve as funções disponíveis nos Serviços Cognitivos no Power BI.

Detectar o idioma

A função de detecção de idioma avalia a entrada de texto e, para cada coluna, retorna o nome do idioma e o identificador ISO. Essa função é útil para colunas de dados que coletam texto arbitrário, onde o idioma é desconhecido. A função espera dados no formato de texto como entrada.

A Análise de Texto reconhece até 120 idiomas. Para saber mais, confira O que é a detecção de idioma no Serviço Cognitivo do Azure para Linguagem.

Extrair frases-chave

A função Extração de Frases-chave avalia o texto não estruturado e, para cada coluna de texto, retorna uma lista de frases-chave. Essa função requer uma coluna de texto como entrada e aceita uma entrada opcional para LanguageISOCode. Para saber mais, confira Introdução.

A extração de frases-chave funciona melhor quando você fornece blocos de texto maiores para o trabalho, diferentemente da análise de sentimento. A análise de sentimento funciona melhor em blocos de texto menores. Considere reestruturar adequadamente as entradas para obter os melhores resultados de ambas as operações.

Pontuação de sentimento

A função Pontuação de sentimento avalia a entrada de texto e retorna uma pontuação de sentimento para cada documento, variando de 0 (negativo) a 1 (positivo). Essa função é útil para detectar o sentimento positivo e negativo em mídias sociais, nas revisões do cliente e em fóruns de discussão.

A Análise de Texto usa um algoritmo de classificação de aprendizado de máquina para gerar uma pontuação de sentimento entre 0 e 1. Pontuações mais próximas de 1 indicam um sentimento positivo. Pontuações mais próximas de 0 indicam um sentimento negativo. O modelo é pré-treinado com um amplo corpo de texto com associações de sentimento. No momento, não é possível fornecer seus próprios dados de treinamento. O modelo usa uma combinação de técnicas durante a análise de texto, incluindo processamento de texto, análise de parte da fala, posicionamento e associações de palavras. Para saber mais sobre o algoritmo, confira Machine Learning e Análise de Texto.

A análise de sentimento é executada em toda a coluna de entrada, em vez de extrair o sentimento de uma tabela específica no texto. Na prática, há uma tendência de melhoria da precisão de pontuação quando os documentos contêm uma ou duas sentenças, em vez de um grande bloco de texto. Durante a fase de avaliação de objetividade, o modelo determina se uma coluna de entrada como um todo é objetiva ou contém o sentimento. Uma coluna de entrada principalmente objetiva não progride para a frase de detecção de sentimento, resultando em uma pontuação de 0,50, sem processamento adicional. Para as colunas de entrada que continuam no pipeline, a próxima fase gera uma pontuação maior ou menor que 0,50, dependendo do grau de sentimento detectado na coluna de entrada.

No momento, a Análise de Sentimento é compatível com os idiomas alemão, espanhol, francês e inglês. Outros idiomas estão em versão prévia. Para saber mais, confira O que é a detecção de idioma no Serviço Cognitivo do Azure para Linguagem.

Imagens de Marca

A função Marcar imagens retorna marcas com base em mais de 2.000 objetos reconhecíveis, seres vivos, cenários e ações. Quando as marcas são ambíguas ou não são dados de conhecimento comum, a saída fornece "dicas" para esclarecer o significado da marca no contexto de uma configuração conhecida. As marcas não são organizadas como uma taxonomia e não existe nenhuma hierarquia de herança. Uma coleção de marcas de conteúdo constitui a base para uma 'description' de imagem exibida como uma linguagem legível por humanos formatada em frases completas.

Depois de carregar uma imagem ou especificar uma URL de imagem, os algoritmos de Pesquisa Visual Computacional marcam saídas com base em objetos, seres vivos e ações identificadas na imagem. A marcação não está limitada ao assunto principal, como uma pessoa em primeiro plano, mas também inclui cenário (interno ou externo), móveis, ferramentas, plantas, animais, acessórios, gadgets e outros.

Essa função exige uma URL de imagem ou uma coluna Base64 como entrada. Neste momento, a marcação de imagem é compatível com os idiomas inglês, espanhol, japonês, português e chinês simplificado. Para saber mais, confira Interface do ComputerVision.

Machine learning automatizado no Power BI

O AutoML (machine learning automatizado) para fluxos de dados permite que os analistas de negócios treinem, validem e invoquem modelos de ML (machine learning) diretamente no Power BI. Ela apresenta uma experiência simples para criação de um novo modelo de ML, em que os analistas podem usar seus fluxos de dados para especificar os dados de entrada para treinamento do modelo. O serviço extrai automaticamente os recursos mais relevantes, seleciona um algoritmo apropriado e ajusta e valida o modelo de ML. Depois que um modelo é treinado, o Power BI gera automaticamente um relatório de desempenho que inclui os resultados da validação. Depois, o modelo pode ser chamado em qualquer dado novo ou atualizado dentro do fluxo de dados.

A Machine Learning Automatizada está disponível apenas para fluxos de entrada hospedados no Power BI Premium e capacidades Incorporadas.

Trabalhar com AutoML

O aprendizado de máquina e a IA estão vendo um aumento sem precedentes na popularidade de indústrias e campos de pesquisa científica. As empresas também estão procurando maneiras de integrar essas novas tecnologias às suas operações.

Os fluxos de dados oferecem uma preparação de dados de autoatendimento para Big Data. O AutoML é integrado aos fluxos de dados e permite que você aproveite seus esforços de preparação de dados para criar modelos de machine learning diretamente no Power BI.

O AutoML no Power BI permite que os analistas de dados usem fluxos de dados para criar modelos de machine learning com uma experiência simplificada, usando apenas habilidades do Power BI. O Power BI automatiza a maior parte da ciência de dados por trás da criação dos modelos de ML. Ele tem grades de proteção para garantir que o modelo produzido tenha uma boa qualidade e fornece visibilidade do processo usado para criar o modelo de ML.

O AutoML dá suporte à criação de Modelos de Previsão Binária, Classificação e Regressão em fluxos de dados. Esses recursos são tipos de técnicas de aprendizado de máquina supervisionado, o que significa que eles aprendem com os resultados conhecidos de observações anteriores para prever os resultados de outras observações. O modelo semântico de entrada para treinamento de um modelo do AutoML é um conjunto de linhas rotuladas com os resultados conhecidos.

O AutoML no Power BI integra o ML automatizado do Azure Machine Learning para criar seus modelos de ML. No entanto, você não precisa de uma assinatura do Azure para usar a AutoML no Power BI. O serviço do Power BI gerencia inteiramente o processo de treinamento e hospedagem dos modelos de ML.

Após o treinamento de um modelo de ML, a AutoML gera automaticamente um relatório do Power BI que explica o provável desempenho do seu modelo de ML. O AutoML enfatiza a explicabilidade realçando os principais influenciadores entre as entradas que induzem as previsões retornadas pelo modelo. O relatório também inclui métricas-chave para o modelo.

Outras páginas do relatório gerado mostram o resumo estatístico do modelo e os detalhes do treinamento. O resumo estatístico interessa aos usuários que desejam ver as medidas padrão de ciência de dados do desempenho do modelo. Os detalhes de treinamento resumem todas as iterações executadas para criar seu modelo, com os parâmetros de modelagem associados. Também descrevem como cada entrada foi usada para criar o modelo de ML.

Em seguida, é possível aplicar seu modelo de ML aos dados para pontuação. Quando o fluxo de dados é atualizado, os dados são atualizados com as previsões do modelo de ML. O Power BI também inclui uma explicação individualizada para cada previsão específica produzida pelo modelo de ML.

Criar um modelo de machine learning

Esta seção descreve como criar um modelo de AutoML.

Preparação de dados para criar um modelo de ML

Para criar um modelo de machine learning no Power BI, primeiro, é preciso criar um fluxo de dados para os dados contendo as informações do resultado histórico, que são usadas para treinar o modelo de ML. Você também deve adicionar colunas calculadas para todas as métricas de negócios que possam representar previsões sólidas para o resultado que você está tentando prever. Para saber como configurar o fluxo de dados, confira Configurar e consumir um fluxo de dados.

A AutoML tem requisitos de dados específicos para treinar um modelo de machine learning. Esses requisitos estão descritos nas seções a seguir, com base nos respectivos tipos de modelo.

Configurar as entradas do modelo de ML

Para criar um modelo do AutoML, selecione o ícone de ML na coluna Ações da tabela de fluxo de dados e selecione Adicionar um modelo de machine learning.

Uma experiência simplificada é iniciada, consistindo em um assistente que orienta você no processo de criação do modelo de ML. O assistente inclui as etapas simples a seguir.

1. Selecione a tabela com os dados históricos e escolha a coluna de resultado para a qual deseja uma previsão

A coluna de resultado identifica o atributo de rótulo para treinar o modelo de ML, mostrado na imagem a seguir.

2. Escolher um tipo de modelo

Quando você especifica a coluna de resultado, o AutoML analisa os dados do rótulo para recomendar o tipo de modelo de ML mais provável que pode ser treinado. É possível escolher um tipo de modelo diferente, conforme mostrado na imagem a seguir, clicando em Escolher um modelo.

3. Selecionar as entradas que você deseja que o modelo use como sinais preditivos

O AutoML analisa uma amostra da tabela selecionada para sugerir as entradas que podem ser usadas para treinar o modelo de ML. As explicações são fornecidas ao lado das colunas que não estão selecionadas. Se uma determinada coluna tiver muitos valores distintos ou apenas um ou tiver uma correlação baixa ou alta com a coluna de saída, ela não será recomendada.

As entradas que dependem da coluna de resultado (ou da coluna de rótulo) não devem ser usadas para treinar o modelo de ML, pois afetarão o desempenho dele. Essas colunas são sinalizadas como “correlação anormalmente alta com a coluna de saída”. A introdução dessas colunas nos dados de treinamento causa o vazamento de rótulos, em que o modelo tem um bom desempenho nos dados de teste ou validação, mas não consegue corresponder a esse desempenho quando é usado na produção para pontuação. O vazamento de rótulos pode ser uma possível preocupação em modelos de AutoML, quando o desempenho do modelo de treinamento é muito bom para ser verdadeiro.

Essa recomendação de recurso se baseia em uma amostra de dados, portanto, você deve examinar as entradas usadas. É possível alterar as seleções para incluir apenas as colunas que você deseja que o modelo estude. Você também pode selecionar todas as colunas marcando a caixa de seleção ao lado do nome da tabela.

4. Nomear o modelo e salvar a configuração

Na etapa final, é possível nomear o modelo e selecionar Salvar, o que começa o treinamento do modelo de ML. Você pode optar por reduzir o tempo de treinamento para ver resultados rápidos ou aumentar o tempo gasto no treinamento para obter o melhor modelo.

Treinamento do modelo de ML

O treinamento dos modelos de AutoML faz parte da atualização do fluxo de dados. Primeiro, a AutoML prepara seus dados para o treinamento. O AutoML divide os dados históricos fornecidos em modelos semânticos de treinamento e teste. O modelo semântico de teste é um conjunto de controle usado para validar o desempenho do modelo após o treinamento. Esses conjuntos são realizados como tabelas de Treinamento e teste no fluxo de dados. A AutoML usa validação cruzada para validar o modelo.

Em seguida, cada coluna de entrada é analisada e a imputação é aplicada, inserindo valores substituídos para cada valor ausente. A AutoML usa algumas estratégias de imputação diferentes. Para atributos de entrada tratados como recursos numéricos, a média dos valores de coluna é usada para imputação. Para atributos de entrada tratados como recursos categóricos, o AutoML usa o modo dos valores de coluna para imputação. A estrutura de AutoML calcula a média e o modo dos valores usados para imputação no modelo semântico de treinamento da subamostra.

Em seguida, a amostragem e a normalização são aplicadas aos dados, conforme necessário. Para modelos de classificação, o AutoML executa os dados de entrada por meio da amostragem estratificada e equilibra as classes para garantir que as contagens de linhas sejam iguais para todas.

O AutoML aplica várias transformações a cada coluna de entrada selecionada com base no tipo de dados e nas propriedades estatísticas. A AutoML usa essas transformações para extrair recursos para uso no treinamento do seu modelo de ML.

O processo de treinamento de modelos da AutoML é composto por até 50 iterações com algoritmos de modelagem variados e configurações de hiperparâmetros para localizar o modelo com o melhor desempenho. O treinamento pode terminar antecipadamente com iterações menores quando o AutoML nota que não há nenhuma melhoria de desempenho observada. Ele avalia o desempenho de cada um desses modelos por meio da validação com o modelo semântico de teste de controle. Durante essa etapa de treinamento, a AutoML cria vários pipelines para treinamento e validação dessas iterações. O processo de avaliação do desempenho dos modelos pode levar de alguns minutos a algumas horas, até o tempo de treinamento configurado no assistente. O tempo gasto depende do tamanho do modelo semântico e dos recursos de capacidade disponíveis.

Em alguns casos, o modelo final gerado pode usar o aprendizado conjunto, em que vários modelos são usados para fornecer melhor desempenho de previsão.

Capacidade de explicação do modelo de AutoML

Após o treinamento do modelo, a AutoML analisará a relação entre os recursos de entrada e a saída do modelo. Ele avalia a magnitude da alteração na saída do modelo para o modelo semântico de teste de controle para cada recurso de entrada. Essa relação é conhecida como importância do recurso. Essa análise ocorre como parte da atualização, após a conclusão do treinamento. Portanto, a atualização pode demorar mais do que o tempo de treinamento configurado no assistente.

Relatório de modelo da AutoML

A AutoML gera um relatório do Power BI que resume o desempenho do modelo durante a validação e fornece a importância do recurso global. Esse relatório pode ser acessado na guia Modelos de machine learning após a atualização do fluxo de dados. O relatório resume os resultados da aplicação do modelo de ML aos dados de teste de controle e da comparação das previsões com os valores de resultado conhecidos.

Examine o relatório de modelo para entender seu desempenho. Você também pode validar se os principais influenciadores do modelo estão alinhados com os insights de negócios sobre os resultados conhecidos.

Os gráficos e medidas usados para descrever o desempenho do modelo no relatório dependem do tipo de modelo. Veja uma descrição desses gráficos e medidas de desempenho nas seções a seguir.

Outras páginas do relatório podem descrever medidas estatísticas sobre o modelo de uma perspectiva da ciência de dados. Por exemplo, o relatório de Previsão Binária inclui um gráfico de lucro e a curva de ROC do modelo.

Os relatórios também incluem uma página Detalhes do Treinamento, que inclui uma descrição de como o modelo foi treinado e um gráfico descrevendo o desempenho do modelo em cada uma das execuções de iterações.

Outra seção desta página descreve o tipo detectado da coluna de entrada e o método de imputação usado para preencher os valores ausentes. Também inclui os parâmetros usados pelo modelo final.

Se o modelo produzido usar o aprendizado conjunto, a página Detalhes do treinamento também incluirá um gráfico com o peso de cada modelo contido no conjunto e os respectivos parâmetros.

Aplicação do modelo de AutoML

Se você estiver satisfeito com o desempenho do modelo de ML criado, poderá aplicá-lo aos dados novos ou atualizados quando o fluxo de dados for atualizado. No relatório do modelo, pressione o botão Aplicar no canto superior direito ou o botão Aplicar modelo de ML nas ações da guia Modelos de machine learning.

Para aplicar o modelo de ML, especifique o nome da tabela à qual ele deve ser aplicado e um prefixo para as colunas que serão adicionadas a essa tabela com relação à saída do modelo. O prefixo padrão para os nomes de coluna é o nome do modelo. A função Aplicar pode incluir mais parâmetros específicos do tipo de modelo.

A aplicação do modelo de ML cria duas tabelas de fluxo de dados com previsões e explicações individualizadas para cada linha pontuada na tabela de saída. Por exemplo, se você aplicar o modelo PurchaseIntent à tabela OnlineShoppers, a saída gerará as tabelas PurchaseIntent enriquecida com OnlineShoppers e Explicações de PurchaseIntent enriquecidas com OnlineShoppers. Para cada linha da tabela enriquecida, as Explanations são divididas em várias linhas na tabela de explicações enriquecidas com base no recurso de entrada. Um ExplanationIndex ajuda a mapear as linhas da tabela de explicações enriquecidas para a linha da tabela enriquecida.

Também é possível aplicar qualquer modelo de AutoML do Power BI a tabelas em qualquer fluxo de dados no mesmo workspace usando Insights da IA no navegador de funções PQO. Dessa forma, você pode usar modelos criados por outras pessoas no mesmo workspace sem necessariamente ser um proprietário do fluxo de dados que contém o modelo. O Power Query descobre todos os modelos de ML (Machine Learning) do Power BI no workspace e os expõe como funções dinâmicas do Power Query. É possível invocar essas funções acessando-as na faixa de opções do Editor do Power Query ou invocando a função M diretamente. No momento, essa funcionalidade só tem suporte para fluxos de dados do Power BI e para o Power Query Online no serviço do Power BI. Esse processo é diferente da aplicação de modelos de ML em um fluxo de dados usando o assistente de AutoML. Nenhuma tabela de explicações é criada por meio desse método. A menos que você seja o proprietário do fluxo de dados, não é possível acessar os relatórios de treinamento do modelo ou treiná-lo novamente. Além disso, se o modelo de origem for editado adicionando ou removendo colunas de entrada ou se o modelo ou fluxo de dados de origem for excluído, esse fluxo de dados dependente será interrompido.

Depois que você aplica o modelo, o AutoML sempre mantém suas previsões atualizadas sempre que o fluxo de dados é atualizado.

Para usar os insights e as previsões do modelo de ML em um relatório do Power BI, conecte-se à tabela de saída no Power BI Desktop usando o conector de fluxos de dados.

Modelos de Previsão Binária

Os modelos de Previsão Binária, mais formalmente conhecidos como modelos de classificação binária, são usados para classificar um modelo semântico em dois grupos. Eles são usados para prever eventos que possam ter um resultado binário. Por exemplo, se uma oportunidade de vendas será convertida, se uma conta terá rotatividade, se uma fatura será paga no prazo, se uma transação é fraudulenta etc.

A saída de um modelo de Previsão Binária é uma pontuação de probabilidade, que identifica a probabilidade de o resultado de destino ser alcançado.

Treinar um modelo de previsão binária

Pré-requisitos:

• É necessário um mínimo de 20 linhas de dados históricos para cada classe de resultados

O processo de criação de um modelo de previsão binária segue as mesmas etapas de outros modelos de AutoML, descritas na seção anterior, Configurar as entradas do modelo de ML. A única diferença está na etapa Escolher um modelo, em que é possível selecionar o valor de resultado de destino no qual você está mais interessado. Também é possível fornecer rótulos amigáveis para os resultados a serem usados no relatório gerado automaticamente que resume os resultados da validação do modelo.

Relatório do modelo de Previsão Binária

O modelo de Previsão Binária produz como saída uma probabilidade de que uma linha atingirá o resultado de destino. O relatório inclui uma segmentação para o limite de probabilidade, que influencia como as pontuações acima e abaixo do limite de probabilidade serão interpretadas.

O relatório descreve o desempenho do modelo em termos de Verdadeiros Positivos, Falsos Positivos, Verdadeiros Negativos e Falsos Negativos. Verdadeiros Positivos e Verdadeiros Negativos são resultados previstos corretamente para as duas classes nos dados do resultado. Falsos Positivos são linhas para as quais foi previsto o resultado de destino, mas que, na verdade, não tiveram esse resultado. Por outro lado, Falsos Negativos são linhas que tiveram o resultado de destino, mas para os quais isso não foi previsto.

Medidas, como Precisão e Recall, descrevem o efeito do limite de probabilidade nos resultados previstos. Você pode usar a segmentação de limite de probabilidade para selecionar um limite que alcance um comprometimento equilibrado entre Precisão e Recall.

O relatório também inclui uma ferramenta de análise de custo-benefício para ajudar a identificar o subconjunto da população que deve ser o alvo para gerar o lucro mais alto. Considerando um custo de direcionamento de unidade estimado e um benefício de unidade para atingir um resultado de destino, a análise de custo-benefício tenta maximizar o lucro. Use essa ferramenta para escolher o limite de probabilidade com base no ponto máximo no grafo para maximizar o lucro. Use também o grafo para calcular o lucro ou o custo de sua escolha de limite de probabilidade.

A página Relatório de Precisão do relatório de modelo inclui o gráfico Ganhos Cumulativos e a curva ROC para o modelo. Esses dados fornecem medidas estatísticas do desempenho do modelo. Os relatórios incluem descrições dos gráficos mostrados.

Aplicar um modelo de previsão binária

Para aplicar um modelo de Previsão Binária, é necessário especificar a tabela com os dados aos quais você quer aplicar as previsões do modelo de ML. Outros parâmetros incluem o prefixo de nome da coluna de saída e o limite de probabilidade para classificação do resultado previsto.

Quando um modelo de Previsão Binária é aplicado, ele adiciona quatro colunas de saída à tabela de saída enriquecida: Outcome, PredictionScore, PredictionExplanation e ExplanationIndex. Os nomes das colunas na tabela têm o prefixo especificado quando o modelo é aplicado.

PredictionScore é uma probabilidade percentual, que identifica a probabilidade de o resultado de destino ser atingido.

A coluna Outcome contém o rótulo do resultado previsto. Os registros com probabilidades que excedem o limite são previstos como tendo a probabilidade de alcançar o resultado de destino e são rotulados como True. Os registros abaixo do limite são previstos como não tendo a probabilidade de alcançar o resultado e são rotulados como Falso.

A coluna PredictionExplanation contém uma explicação com a influência específica que os recursos de entrada tinham no PredictionScore.

Modelos de classificação

Os modelos de classificação são usados para classificar um modelo semântico em vários grupos ou classes. Eles são usados para prever eventos que possam ter um dos vários resultados possíveis. Por exemplo, se é provável que um cliente tenha um valor de tempo de vida alto, médio ou baixo. Eles também podem prever se o risco de inadimplência é alto, moderado, baixo e assim por diante.

A saída de um modelo de Classificação é uma pontuação de probabilidade, que identifica a probabilidade de uma linha atingir os critérios para determinada classe.

Treinar um modelo de classificação

A tabela de entrada que contém os dados de treinamento para um modelo de classificação deve ter uma coluna de cadeia de caracteres ou de número inteiro como a coluna de resultado, que identifica os últimos resultados conhecidos.

Pré-requisitos:

• É necessário um mínimo de 20 linhas de dados históricos para cada classe de resultados

O processo de criação de um modelo de classificação segue as mesmas etapas de outros modelos de AutoML, descritas na seção anterior, Configurar as entradas do modelo de ML.

Relatório do modelo de Classificação

O Power BI cria o relatório do modelo de classificação aplicando o modelo de ML aos dados de teste de controle. Em seguida, ele compara a classe prevista para uma linha com a classe conhecida real.

O relatório de modelo inclui um gráfico que inclui a divisão das linhas classificadas correta e incorretamente para cada classe conhecida.

Uma ação de fazer drill down adicional específica da classe permite uma análise de como as previsões de uma classe conhecida são distribuídas. Essa análise mostra as outras classes nas quais as linhas dessa classe conhecida provavelmente serão classificadas incorretamente.

A explicação do modelo no relatório também inclui os principais previsores de cada classe.

O relatório do modelo de classificação também inclui uma página "Detalhes do treinamento" semelhante às páginas de outros tipos de modelo, conforme descrito anteriormente em Relatório do modelo de AutoML.

Aplicar um modelo de classificação

Para aplicar um modelo de ML de classificação, você deve especificar a tabela com os dados de entrada e o prefixo do nome da coluna de saída.

Quando um modelo de classificação é aplicado, ele adiciona cinco colunas de saída à tabela de saída enriquecida: ClassificationScore, ClassificationResult, ClassificationExplanation, ClassProbabilities e ExplanationIndex. Os nomes das colunas na tabela têm o prefixo especificado quando o modelo é aplicado.

A coluna ClassProbabilities contém a lista de pontuações de probabilidade para a linha de cada classe possível.

A ClassificationScore é uma probabilidade percentual, que identifica a probabilidade de uma linha atingir os critérios para determinada classe.

A coluna ClassificationResult contém a classe previsível mais provável para a linha.

A coluna ClassificationExplanation contém uma explicação com a influência específica que os recursos de entrada tiveram na ClassificationScore.

Modelos de regressão

Os modelos de regressão são usados para prever um valor numérico e podem ser usados em cenários em que se deseja determinar o seguinte:

• A receita que provavelmente será obtida com base em um acordo de vendas.
• O valor de tempo de vida de uma conta.
• O valor de uma fatura a receber que provavelmente será paga
• A data em que uma fatura pode ser paga e assim por diante.

A saída de um modelo de Regressão é o valor previsto.

Treinar um modelo de Regressão

A tabela de entrada que contém os dados de treinamento para um modelo de Regressão precisa ter uma coluna numérica como a coluna de resultado, que identifica os valores de resultados conhecidos.

Pré-requisitos:

• É necessário um mínimo de 100 linhas de dados históricos para um modelo de regressão.

O processo de criação de um modelo de regressão segue as mesmas etapas de outros modelos de AutoML, descritas na seção anterior, Configurar as entradas do modelo de ML.

Relatório do modelo de Regressão

Assim como outros relatórios do modelo de AutoML, o relatório de Regressão tem base nos resultados da aplicação do modelo aos dados de teste de controle.

O relatório de modelo inclui um gráfico que compara os valores previstos com os valores reais. Neste gráfico, a distância da diagonal indica o erro na previsão.

O gráfico de erro residual mostra a distribuição do percentual de erro médio para valores diferentes no modelo semântico de teste de controle. O eixo horizontal representa a média do valor real do grupo. O tamanho da bolha mostra a frequência ou contagem de valores nesse intervalo. O eixo vertical é o erro residual médio.

O relatório do modelo de regressão também inclui uma página "Detalhes do treinamento", como os relatórios de outros tipos de modelo, conforme descrito na seção anterior Relatório do modelo de AutoML.

Aplicar um modelo de regressão

Para aplicar um modelo de ML de Regressão, é necessário especificar a tabela com os dados de entrada e o prefixo de nome da coluna de saída.

Quando um modelo de Regressão é aplicado, ele adiciona três colunas de saída à tabela de saída enriquecida: RegressionResult, RegressionExplanation e ExplanationIndex. Os nomes das colunas na tabela têm o prefixo especificado quando o modelo é aplicado.

A coluna RegressionResult contém o valor previsto para a linha com base nas colunas de entrada. A coluna RegressionExplanation contém uma explicação com a influência específica que os recursos de entrada tiveram no RegressionResult.

Integração do Azure Machine Learning no Power BI

Várias organizações usam modelos de machine learning para obter melhores insights e previsões sobre seus negócios. É possível usar o aprendizado de máquina com seus relatórios, painéis e outras análises para obter esses insights. A capacidade de visualizar e invocar insights com esses modelos pode ajudar a divulgar essas informações para os usuários corporativos que mais precisam delas. Agora, o Power BI simplifica a incorporação dos insights de modelos hospedados no Azure Machine Learning com o uso de gestos simples de apontar e clicar.

Para usar essa funcionalidade, basta que um cientista de dados conceda acesso ao modelo do Azure Machine Learning para o analista de BI por meio do portal do Azure. Em seguida, no início de cada sessão, o Power Query descobre todos os modelos do Azure Machine Learning aos quais o usuário tem acesso e os expõe como funções dinâmicas do Power Query. O usuário pode invocar essas funções, seja acessando-as na faixa de opções no Power Query Editor ou invocando diretamente a função de M. O Power BI também agrupa automaticamente as solicitações de acesso em lotes ao invocar o modelo do Azure Machine Learning para um conjunto de linhas a fim de melhorar o desempenho.

Atualmente, essa funcionalidade só tem suporte para fluxos de dados do Power BI e para o Power Query Online no serviço do Power BI.

Para saber mais sobre os fluxos de dados, confira Introdução aos fluxos de dados e à preparação de dados de autoatendimento.

Para saber mais sobre o Azure Machine Learning, confira o seguinte:

• Visão geral: O que é Azure Machine Learning?
• Guias de Início Rápido e tutoriais para o Azure Machine Learning: Documentação do Azure Machine Learning

Conceder a um usuário do Power BI acesso ao modelo do Azure Machine Learning

Para acessar um modelo do Azure Machine Learning no Power BI, o usuário deve ter acesso de Leitura à assinatura do Azure e ao workspace do Machine Learning.

As etapas neste artigo descrevem como conceder a um usuário do Power BI acesso a um modelo hospedado no serviço do Azure Machine Learning para que ele possa acessar esse modelo como uma função do Power Query. Para obter mais informações, confira Atribuir funções do Azure usando o portal do Azure.

1. Entre no portal do Azure.

2. Acesse a página Assinaturas. A página Assinaturas pode ser encontrada na lista Todos os Serviços do menu do painel de navegação do portal do Azure.

   

3. Selecione sua assinatura.

   

4. Selecione Controle de acesso (IAM) e pressione o botão Adicionar.

   

5. Selecione Leitor como a Função. Em seguida, escolha o usuário do Power BI para o qual você deseja conceder acesso ao modelo do Azure Machine Learning.

   

6. Clique em Salvar.

7. Repita as etapas de três a seis para conceder acesso de Leitor ao usuário no workspace do Machine Learning que hospeda o modelo.

Descoberta de esquema para modelos de machine learning

Os cientistas de dados usam principalmente o Python para o desenvolvimento e, até mesmo, para a implantação dos modelos de machine learning no Machine Learning. O cientista de dados deve gerar explicitamente o arquivo de esquema usando Python.

Esse arquivo de esquema precisa ser incluído no serviço Web implantado dos modelos de machine learning. Para gerar automaticamente o esquema para o serviço Web, é necessário fornecer uma amostra da entrada/saída no script de entrada do modelo implantado. Para saber mais, confira Implantar e classificar um modelo de machine learning usando um ponto de extremidade online. O link inclui o script de entrada de exemplo com as instruções para a geração de esquema.

Especificamente, as funções @input_schema e @output_schema no script de entrada fazem referência aos formatos de exemplo de entrada e saída nas variáveis input_sample e output_sample. As funções usam esses exemplos para gerar uma especificação de OpenAPI (Swagger) para o serviço Web durante a implantação.

Essas instruções para a geração de esquema, por meio da atualização do script de entrada, também precisam ser aplicadas aos modelos criados usando experimentos de machine learning automatizado com o SDK do Azure Machine Learning.

Invocar o modelo do Azure Machine Learning no Power BI

É possível invocar qualquer modelo do Azure Machine Learning ao qual você tenha acesso diretamente por meio do Editor do Power Query no fluxo de dados. Para acessar os modelos do Azure Machine Learning, pressione o botão Editar tabela da tabela que você deseja enriquecer com insights do modelo do Azure Machine Learning, conforme mostrado na imagem a seguir.

Pressionar o botão Editar tabela abre o Editor do Power Query nas tabelas do fluxo de dados.

Selecione o botão Insights da IA na faixa de opções e selecione a pasta Modelos do Azure Machine Learning no menu do painel de navegação. Todos os modelos do Azure Machine Learning aos quais você tem acesso estão listados aqui como funções do Power Query. Além disso, os parâmetros de entrada do modelo do Azure Machine Learning são mapeados automaticamente como parâmetros da função correspondente do Power Query.

Para invocar um modelo do Azure Machine Learning, especifique qualquer uma das colunas da tabela escolhida como uma entrada na lista suspensa. Você também pode especificar um valor constante para ser usado como uma entrada, alternando o ícone da coluna à esquerda da caixa de diálogo de entrada.

Selecione Invocar para pré-visualizar a saída do modelo do Azure Machine Learning como uma nova coluna na tabela. A invocação do modelo aparece como uma etapa aplicada para a consulta.

Se o modelo retornar vários parâmetros de saída, eles serão agrupados como uma linha na coluna de saída. É possível expandir a coluna para produzir parâmetros de saída individuais em colunas separadas.

Depois que você salvar o fluxo de dados, o modelo será invocado automaticamente quando o fluxo de dados for atualizado com qualquer linha nova ou atualizada na tabela.

Considerações e limitações

• Atualmente, o Dataflows Gen2 não se integra ao machine learning automatizado.
• Os Insights da IA (modelos do Azure Machine Learning e de Serviços Cognitivos) não têm suporte em computadores com a configuração de autenticação de proxy.
• Não há suporte para os modelos do Azure Machine Learning no caso de usuários convidados.
• Há alguns problemas conhecidos com o uso do Gateway com AutoML e Serviços Cognitivos. Se você precisar usar um gateway, recomendamos criar um fluxo de dados que importe primeiro os dados necessários por meio do gateway. Em seguida, crie outro fluxo de dados que faça referência ao primeiro fluxo de dados para criar ou aplicar esses modelos e funções de IA.
• Se o trabalho de IA com fluxos de dados falhar, talvez seja necessário habilitar a Combinação Rápida ao usar a IA com fluxos de dados. Depois de importar sua tabela e antes de começar a adicionar recursos de IA, selecione Opções na faixa de opções Página Inicial e, na janela exibida, marque a caixa de seleção ao lado de Permitir a combinação de dados de várias fontes para habilitar o recurso e selecione OK para salvar sua seleção. Em seguida, você pode adicionar recursos de IA ao fluxo de dados.

Conteúdo relacionado

Este artigo fornece uma visão geral da Machine Learning Automatizada para fluxos de dados no serviço do Power BI. Os artigos a seguir também podem ser úteis.

• Tutorial: Criar um modelo de Machine Learning no Power BI
• Tutorial: Usar Serviços Cognitivos no Power BI

Os seguintes artigos fornecem mais informações sobre os fluxos de dados e o Power BI:

• Introdução aos fluxos de dados e à preparação de dados de autoatendimento
• Criar um fluxo de dados
• Configurar e consumir um fluxo de dados
• Configurar o armazenamento de Fluxos de dados para usar o Azure Data Lake Gen 2
• Recursos Premium de fluxos de dados
• Considerações e limitações sobre fluxos de dados
• Melhores práticas de fluxos de dados