Dashboard Test (Agile)

Articolo
08/11/2011

Utilizzando il dashboard di test, è possibile monitorare le attività di test, creare rapporti sullo stato di avanzamento, individuare gap nel code coverage del test e identificare aree di test che possono richiedere un'ulteriore analisi. Nel dashboard vengono visualizzati cinque rapporti che forniscono informazioni sui test che sono stati eseguiti nelle ultime quattro settimane.

Nota

È possibile accedere ai dashboard tramite il portale del progetto team. È possibile accedere al dashboard di test solo se il portale è stato abilitato ed è stato eseguito il provisioning per l'utilizzo di Microsoft Office SharePoint Server 2007. Per ulteriori informazioni, vedere Dashboard (Agile) o Accedere a un portale del progetto team e alle linee guida per il processo.

In questo argomento

Dati visualizzati nel dashboard
Attività obbligatorie per tenere traccia del test
Monitoraggio dello stato di avanzamento del test
Determinazione dei gap nel test
Monitoraggio di errori e regressioni del test
Personalizzazione del dashboard di test

È possibile utilizzare questo dashboard per rispondere alle domande seguenti:

La creazione di test case sta procedendo in modo corretto?
Il team ha definito test case per tutte le storie utente?
Quali sono le proporzioni di test case superati, non riusciti e bloccati?
La metrica di errore dei test indica un problema che richiede un'ulteriore analisi?
Qual è lo stato della compilazione della notte scorsa?
Quali sono le archiviazioni più recenti?

Autorizzazioni necessarie

Per visualizzare il dashboard, è necessario disporre di autorizzazioni di Lettura per il progetto team in Prodotti SharePoint o appartenere a un gruppo che dispone di tali autorizzazioni. Per modificare, copiare o personalizzare un dashboard, è necessario disporre dell'autorizzazione Membri per il progetto team in Prodotti SharePoint o appartenere a un gruppo che dispone di tale autorizzazione. Per ulteriori informazioni, vedere Aggiungere utenti ai progetti team.

Per modificare un rapporto in Office Excel, è necessario essere membri del ruolo di sicurezza TfsWarehouseDataReaders in SQL Server Analysis Services e disporre dell'autorizzazione Membri per il progetto team in Prodotti SharePoint o appartenere a un gruppo che dispone di tale autorizzazione. Per ulteriori informazioni, vedere Concedere l'accesso ai database del data warehouse per Visual Studio ALM.

Per visualizzare un elemento di lavoro, è necessario essere un membro del gruppo Readers o che l'autorizzazione Visualizza elementi di lavoro in questo nodo sia impostata su Consenti. Per creare o modificare un elemento di lavoro, è necessario essere un membro del gruppo Contributors o che l'autorizzazione Modifica elementi di lavoro in questo nodo sia impostata su Consenti. Per ulteriori informazioni, vedere Gestione delle autorizzazioni.

Dati visualizzati nel dashboard di test

È possibile utilizzare il dashboard Test per capire in che misura il team progredisce nel test delle storie utente. In particolare, in questo dashboard vengono visualizzate le Web part mostrate e descritte rispettivamente nell'illustrazione e nella tabella seguenti.

Web part per il dashboard Avanzamento test

Nota

I rapporti Stato di avanzamento del piano di test, Conformità test case, Stato test storia utente e Attività di test solo disponibili solo se il team crea piani di test e inizia a eseguire test tramite Test Runner e Microsoft Test Manager. Per informazioni su come definire gruppi e piani di test, vedere Organizzazione di test case mediante gruppi di test.

I grafici della tendenza, dello stato di avanzamento, del burn-down e i rapporti da Passaggio 1 a Passaggio 5 non vengono visualizzati quando non è disponibile il server che ospita Analysis Services per il progetto team.

Web part	Dati visualizzati	Argomento correlato
	Grafico ad aree in pila dei risultati di test di tutti i test case raggruppati in base all'ultimo risultato registrato nelle ultime quattro settimane. I risultati includono Mai eseguito, Bloccato, Non superato e Superato.	Rapporto Stato di avanzamento piano test
	Grafico ad aree in pila che illustra il numero di test case con stato Progettazione o Pronto delle ultime quattro settimane.	Rapporto Conformità test case
	Grafico a barre orizzontali che illustra il conteggio dei risultati dei test per ciascuna combinazione di test case e configurazione di test definita per ogni storia utente. Nel grafico vengono raggruppati i risultati dei test in base all'esecuzione più recente, dove le opzioni sono Superato (verde), Non superato (rosso), Bloccato (viola) o Non eseguito (grigio).	Rapporto Stato test storia utente di Excel (Agile)
	Grafico a linee che illustra il conteggio cumulativo di tutti i risultati eseguiti per tutti i test case manuali nelle ultime quattro settimane.	Rapporto Excel Attività di test
	Grafico ad area in pila che illustra il conteggio cumulativo di tutti i risultati con errori per i test case, ordinati per tipo di errore, nelle ultime quattro settimane. I tipi di errore includono Regressione, Nuovo problema e Problema noto.	Rapporto Analisi degli errori di Excel
	Elenco di eventi futuri. Questo elenco è derivato da una web part di SharePoint.	Non applicabile
	Conteggio degli elementi di lavoro attivi, risolti e chiusi. È possibile aprire l'elenco di elementi di lavoro facendo clic su ogni numero. Questo elenco è derivato da una web part Team Web Access.	Elementi di lavoro e flusso di lavoro (Agile)
	Elenco di compilazioni recenti con relativo stato di compilazione. È possibile visualizzare ulteriori dettagli facendo clic su una compilazione specifica. Questo elenco è derivato da una web part Team Web Access. Legenda: : Compilazione in corso : Compilazione non avviata : Compilazione completata : Compilazione non riuscita : Compilazione interrotta : Compilazione completata parzialmente	Gestire e visualizzare compilazioni completate
	Elenco delle archiviazioni più recenti. È possibile visualizzare ulteriori dettagli facendo clic su un'archiviazione specifica. Questo elenco è derivato da una web part di Team Web Access.	Utilizzo delle finestre Archivia e Modifiche in sospeso

Attività obbligatorie per tenere traccia del test

Affinché i rapporti visualizzati nel dashboard Test risultino utili e accurati, il team deve effettuare le attività seguenti:

Definire test case e storie utente, nonché creare collegamenti Testato da tra i test case e le storie utente.
Definire piani di test e assegnare test case ai piani di test. Per ulteriori informazioni, vedere Definizione dell'attività di test utilizzando piani di test.

Per i test manuali, contrassegnare come Superato o Non superato i risultati di ogni passo di convalida nel test case.

Importante
I tester devono contrassegnare i passi dei test di convalida con uno stato. Il risultato complessivo di un test case riflette lo stato di tutti i passi di test contrassegnati. Pertanto, se un passo di test è stato contrassegnato come Non superato oppure non è stato contrassegnato, lo stato del test case sarà Non superato.

Per i test automatici, ogni test case viene contrassegnato automaticamente come Superato o Non superato.

(Facoltativo) Per supportare l'applicazione di filtri, assegnare a ogni test case i percorsi di Iterazione e Area.

Monitoraggio dello stato di avanzamento dei test

È possibile utilizzare i primi tre rapporti nel dashboard Test per monitorare lo stato di avanzamento dei test e rispondere alle domande elencate nella tabella seguente.

Rapporto	Domande risposte	Note
Conformità test case	Per quanti test case è stato definito il team che si occupa dei test? Quanti test case sono pronti per l'esecuzione oggi? Quanti test case devono ancora essere scritti e rivisti dal team? Il numero complessivo di test case è sufficiente per il numero di storie utente che il team sta implementando? Quale percentuale di test case il team che si occupa dei test può eseguire oggi? Il team potrà preparare tutti i test case per la fine dell'iterazione?	Uno stato di avanzamento non problematico mostra un aumento costante nel numero di test case che vengono progettati e spostati sullo stato Pronto. Uno stato di avanzamento problematico mostra che nessun test case, o pochi di essi, è pronto per l'esecuzione. Quando tutti i test case rimangono per molto tempo nello stato di progettazione, un problema può bloccare lo stato di avanzamento. È consigliabile esaminare la causa del blocco. Se il numero di test case non sembra sufficiente, può crearsi un gap nel test. Il numero di test case definiti per un progetto deve essere uguale o maggiore al numero delle storie utente che il team sta implementando. Il numero di test case non sembra sufficiente.
Stato di avanzamento del piano di test	Quanti test case hanno avuto esito positivo? Quanti test case non hanno avuto esito positivo? Quanti test case sono bloccati? Quanti test case non sono mai stati eseguiti? Quale percentuale di test case ha superato tutti i piani di test? Quale volume di test è stato completato dal team? È probabile che il team riesca a completare il test puntualmente?	Con l'avanzamento del ciclo di sviluppo, maggiore è il numero di test case superati, minore sarà il numero dei test case negli altri stati. Uno stato di avanzamento problematico si verifica in presenza di troppi test case non superati. A seconda della fase corrente del ciclo del prodotto potrebbe essere utile ricercare il motivo alla base del non superamento di un numero così elevato di test case. Se il numero di test case non superati o mai eseguiti resta costante, potrebbe essere utile ricercare le cause specifiche che influiscono su ogni area.
Stato test storia utente	I test case sono in esecuzione per ciascuna storia utente? Se i test case sono bloccati o non in esecuzione, il team comprende i problemi del blocco e li risolve?	Uno stato di avanzamento non problematico mostra che è stata superata la maggior parte di test case per ogni storia utente. Uno stato di avanzamento problematico indica che troppi test case per una storia utente specifica si trovano nello stato Mai eseguito, Bloccato o Non superato. Potrebbe essere utile ricercare le cause che impediscono la riuscita dei test case definiti per una storia utente.

Determinazione dei gap nei test

È possibile utilizzare il rapporto Stato test storia utente per determinare se i test contemplano tutto il codice e per rispondere alle domande seguenti:

Quali storie utente dispongono di un basso numero complessivo di test case?
Quali storie utente dispongono di un elevato numero complessivo di test case bloccati o mai eseguiti?
Il code coverage del test case per ciascuna Storia utente soddisfa le aspettative?
Quali storie utente hanno una frequenza elevata di errori di test?
Qual è il numero medio di test case definiti per ogni storia utente?

Monitoraggio di errori e regressioni dei test

Monitorando gli errori dei test, è possibile identificare e risolvere anticipatamente i problemi nel codice. È possibile utilizzare gli ultimi due rapporti nel dashboard Test per comprendere meglio il numero di test non superati.

Rapporto	Domande con risposta	Note
Attività di test manuale	È diminuito il numero di test che il team non ha mai eseguito? Il team sta riducendo il numero complessivo di test bloccati? Diminuiscono i test non superati nel tempo? Aumentano i test superati? L'attività di test presenta picchi che non è possibile spiegare?	Il rapporto Attività di test manuale indica i risultati per ogni test case eseguito per ogni configurazione di test e per tutti i piani di test. È possibile che i picchi indichino problemi nell'attività di test o nella qualità di codice in fase di verifica. Potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.
Analisi degli errori del test	Quanti test contengono delle regressioni? Il team mantiene il numero complessivo di regressioni o errori di test all'interno degli intervalli o obiettivi previsti? Il team risolve i problemi non appena vengono identificati e i problemi noti in modo tempestivo?	Un rapporto Analisi degli errori del test corretto mostra un numero moderato di nuovi problemi, problemi noti e regressioni. Se si verificano dei picchi in queste aree, il team potrebbe dover approfondire l'analisi. La presenza di picchi può indicare problemi sia nell'attività di test che nella qualità del codice che il team sta archiviando. Inoltre, potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.

Attività di test manuale

È diminuito il numero di test che il team non ha mai eseguito?
Il team sta riducendo il numero complessivo di test bloccati?
Diminuiscono i test non superati nel tempo?
Aumentano i test superati?
L'attività di test presenta picchi che non è possibile spiegare?

Il rapporto Attività di test manuale indica i risultati per ogni test case eseguito per ogni configurazione di test e per tutti i piani di test. È possibile che i picchi indichino problemi nell'attività di test o nella qualità di codice in fase di verifica.

Potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.

Analisi degli errori del test

Quanti test contengono delle regressioni?
Il team mantiene il numero complessivo di regressioni o errori di test all'interno degli intervalli o obiettivi previsti?
Il team risolve i problemi non appena vengono identificati e i problemi noti in modo tempestivo?

Un rapporto Analisi degli errori del test corretto mostra un numero moderato di nuovi problemi, problemi noti e regressioni. Se si verificano dei picchi in queste aree, il team potrebbe dover approfondire l'analisi. La presenza di picchi può indicare problemi sia nell'attività di test che nella qualità del codice che il team sta archiviando.

Inoltre, potrebbe essere necessario controllare la metrica per le compilazioni recenti, lo stato del bug e la varianza del codice per determinare se questi fattori consentono di spiegare le modifiche.

Personalizzazione del dashboard di test

È possibile personalizzare il dashboard di test nei modi seguenti:

Modificare i filtri di ciascun rapporto in Office Excel per incentrarlo su iterazioni o aree di prodotto specifiche.
Filtrare il rapporto Attività di test manuale in Office Excel per piani di test specifici o in base a test case che sono manuali o automatizzati.
Aggiungere al dashboard i rapporti Excel esistenti quali Stato del bug, Varianza del codice e Code coverage.
Creare e aggiungere rapporti in Office Excel che mostrano lo stato di avanzamento per membri specifici del team. Per un esempio, vedere Rapporto Excel Bug per assegnazione.