Menu

8 indicatori chiave di prestazione per i rilasci di qualità (Panaya Test Dynamix Review)

8 key performance indicators

Prova Il Nostro Strumento Per Eliminare I Problemi

Questo articolo spiega 8 indicatori chiave di prestazione per i rilasci di qualità con l'aiuto della soluzione di test end-to-end Panaya Test Dynamix:

Non è un segreto che i responsabili della qualità del software stiano affrontando una crescente pressione per fornire software di alta qualità a una velocità da record.

La domanda che tutti noi ci poniamo spesso è: 'come misuriamo il nostro successo' in termini di qualità del software?

come copiare array in java

Lo speed-to-market è un calcolo molto più semplice, ma misurare le nostre prestazioni nella fornitura di software di alta qualità dipende da una moltitudine di fattori come la metodologia del progetto (a cascata, ibrido, agile), la complessità del software, il livello di tecnica debito coinvolto, numero di interfacce e molto altro ancora.

In poche parole, il numero di variabili che gioca in un livello accettabile di difetti di elevata gravità da non sottovalutare. Quindi, per sopravvivere in questo mercato, dobbiamo evolverci continuamente, sia nelle nostre opinioni che nei nostri strumenti di misura.

Questo è il motivo per cui ho sviluppato questo elenco degli 8 KPI principali che dovresti aggiungere alla tua scheda di valutazione della qualità e iniziare a monitorare per mitigare il rischio di rilascio, migliorare la qualità e misurare immediatamente il tuo successo.

indicatore chiave di prestazione

Cosa imparerai:

Indicatori chiave di prestazione per i rilasci di qualità

# 1) Efficacia del rilevamento dei difetti (DDE, Percentuale di rilevamento dei difetti AKA)

Questa è una misura del tuo test di regressione generale efficacia. Viene calcolato come rapporto tra i difetti riscontrati prima e dopo il rilascio dai clienti.

I difetti riscontrati dopo il rilascio sono generalmente noti come 'Incidenti' e vengono registrati in un sistema di help desk mentre i difetti riscontrati durante le fasi di test ( Per esempio. , Unità, Sistema, Regressione o UAT) vengono identificati prima del rilascio e documentati con strumenti come Panaya Test Dynamix .

Per calcolare correttamente questo KPI, è necessario classificare sempre la versione del software in cui è stato identificato ciascun difetto, prima del rilascio nell'ambiente di produzione.

La formula spesso utilizzata per DDE:

Numero di difetti identificati nella versione del software /

Numero di difetti nella versione del software + Difetti sfuggiti identificati dagli utenti finali (Per esempio., Incidenti)

Ecco una semplice illustrazione:

Si supponga di aver rilevato 95 difetti durante il ciclo di test di regressione su quell'ultimo SAP Service Pack mensile e 25 difetti registrati dopo il rilascio. Il DDE sarebbe calcolato come 95 diviso per (95 + 25) = 79%.

Tieni presente che il DDE deve essere monitorato con un grafico a linee che inizia al 100% il giorno dopo il rilascio in produzione. E quando i tuoi clienti e utenti finali interni iniziano a lavorare con il tuo ultimo service pack SAP come esempio, registreranno inevitabilmente alcuni incidenti.

È stata la mia esperienza che una 'frenesia alimentare' si verifica entro la prima settimana 2 giorni dopo che un Service Pack ha raggiunto l'ambiente produttivo. In quel momento noterai un rapido calo dal 100% a circa il 95% man mano che gli incidenti vengono registrati. Se la tua azienda utilizza una cadenza di rilascio mensile del Service Pack, misura DDE per un periodo di 30 giorni su ciascun Service Pack.

D'altra parte, se la tua azienda esegue solo quattro (4) cicli di rilascio principale all'anno, misuralo per 90 giorni per vedere come diminuisce in quel periodo di tempo.

Che cosa è considerato un 'buon DDE'?

È molto simile alle letture della pressione sanguigna che ogni organizzazione e persona evolve nel tempo.

Sebbene la comunità medica definisca la lettura della pressione sanguigna 'ottimale' come 120/80, è naturale vedere un aumento della pressione sanguigna sistolica con l'avanzare dell'età. Con DDE, professionisti del settore e leader di pensiero sono noti per affermare che il 90% è lodevole nella maggior parte dei settori.

Tuttavia, ho visto organizzazioni ottenere un DDE> 95% su base coerente spostandosi a sinistra con strumenti di simulazione dell'impatto del cambiamento come Analisi dell'impatto di Panaya .

# 2) Difetti a livello di sistema (SWD)

Hai mai riscontrato più difetti associati agli stessi oggetti? Sicuramente l'avresti fatto. È un fenomeno comune che incontrano molti test manager.

All'improvviso, vedi un enorme aumento del numero di bug segnalati in un ciclo UAT. Fortunatamente, scommetto che sei del tipo che monitora i difetti ogni 15 minuti e 'collega' manualmente i duplicati o legge ogni singola descrizione per discernere la causa principale da solo, giusto? Dubbioso.

Quindi, quali sono le tue opzioni per gestire l'inevitabile dramma della 'inflazione defettiva?'

Il dramma che segue in quella ricapitolazione notturna con la dirigenza del quartier generale sul 'Perché un aumento così improvviso dei difetti oggi?' (Pausa ... Respiro profondo prima di rispondere) ... 'Sto lavorando con i nostri lead funzionali per eseguire un'analisi manuale della causa principale.

Ma pensiamo che molti dei problemi si riferiscano a un problema comune, ma questo non è stato ancora identificato ', suona familiare?

Il mio suggerimento è che inizi a monitorare ciò che chiama Panaya 'Difetti a livello di sistema' . Il monitoraggio manuale richiede un'eternità: credimi, l'ho provato molte volte. È anche doloroso da fare quando si utilizzano gli strumenti ALM precedenti in cui tutto ciò che rimane è la possibilità di collegare i difetti tra loro e aggiungere un commento.

Wow, è stato davvero d'aiuto! (percepisci il sarcasmo?). Ma se non hai una scelta negli strumenti ora, allora dovrai mettere da parte il tempo per monitorare correttamente i difetti a livello di sistema per 'spiegare chiaramente'? perché la linea di tendenza dei bug si sta spostando verso l'alto verso la fine di un ciclo di test piuttosto che verso il basso.

Se ne hai la possibilità, dai un'occhiata a Panaya Test Dynamix, ha SWD integrato nel motore stesso che calcola automaticamente SWD per te al volo.

Difetto a livello di sistema

La ragnatela - Risiede all'interno del 'Risk Cockpit' di questa piattaforma, questa è una rappresentazione potente ma semplice dei 6 indicatori di prestazioni chiave aggiuntivi che completano i KPI più importanti che ogni responsabile della qualità, dei test e dei rilasci dovrebbe monitorare.

# 3) Completamento dei requisiti

I responsabili del controllo qualità comprendono il rischio a un livello più profondo che può essere realizzato solo con un codice o una visibilità a livello di trasporto associata a ciascun requisito. Ciò richiede il giusto set di strumenti.

Lo strumento Panaya risponderà alle esigenze delle organizzazioni gestite da SAP che cercano suggerimenti intelligenti per unit test e analisi dei rischi in base all'attività di trasporto.

Questo livello di monitoraggio è disponibile all'interno di Panaya Release Dynamix (RDx) .

Completamento dei requisiti

# 4) Completamento dello sviluppo

Viviamo in un'era in cui i clienti sono il re e questo guida la strategia di trasformazione digitale di ogni organizzazione. Al giorno d'oggi, non possiamo permetterci di rimanere isolati nel nostro modo di pensare o nel nostro approccio organizzativo alla garanzia e alla consegna della qualità del software.

I nostri tradizionali modelli ALM del passato non erano progettati per il modello di consegna continua di oggi. Per combattere questo vecchio modo di pensare, i responsabili del controllo qualità e dei test devono integrarsi nell'azione di sviluppo dell'applicazione, il che significa avere un impulso sulla consegna delle storie degli utenti.

Non è sufficiente 'sedersi e aspettare' che una user story raggiunga lo stato di completamento. Piuttosto dobbiamo seguire l'evoluzione di una user story, partecipare a riunioni Scrum quotidiane e parlare apertamente dei rischi che si manifestano con importanti modifiche apportate all'applicazione sotto test.

# 5) Copertura del piano di test

Questo è uno dei miei KPI preferiti da monitorare perché non sono relegato a monitorare solo il sistema, l'integrazione, la regressione e la copertura UAT.

Nel vero spirito dello spostamento a sinistra, ho iniziato a fornire consigli sull'importanza di monitorare la copertura dei test di unità. Sembra folle, vero? Non lo è, soprattutto se si hanno gli strumenti giusti per rendere semplice l'esecuzione dei soli unit test, ma facilita anche l'acquisizione dei risultati effettivi (evidenze).

Con la funzionalità di registrazione e riproduzione dei test integrata di Panaya Test Dynamix attiva, la tua partecipazione ai test di unità aumenterà alle stelle. Non solo sarai in grado di mostrare con orgoglio una matrice di tracciabilità dei requisiti che mostra una copertura end-to-end, ma potrai anche mostrare facilmente i risultati effettivi al tuo dipartimento di audit dall'unità fino al test di regressione.

Tracciabilità dei requisiti

# 6) Modificare l'analisi dei rischi

Un rischio è inerente a qualsiasi modifica apportata a un'applicazione in fase di test, ma non sempre sappiamo se stiamo testando le cose giuste.

dvd ripper per windows 10 download gratuito

Molte organizzazioni hanno la propria definizione di cosa significa per loro 'rischio di cambiamento'. All'interno del 'Risk Cockpit' di Panaya's Release Dynamix (RDx), puoi eliminare le congetture dal tenere traccia delle modifiche con un'analisi dell'impatto per il tuo progetto o la prossima versione.

RDx calcola sistematicamente il rischio per ogni requisito e ti tiene aggiornato su come cambia man mano che ti sposti nel ciclo di vita della consegna.

Modificare l

# 7) Rischio di esecuzione del test

È troppo comune per tutte le organizzazioni tenere traccia di KPI come test creati, test superati, test automatizzati e test eseguiti, ma che dire del tracciamento dei passaggi effettivi eseguiti all'interno di ciascuno dei test?

Hai mai notato che molti dei file piattaforme ALM popolari non forniscono funzionalità di reporting predefinite per monitorare l'avanzamento dell'esecuzione del 'passaggio' del test? Quando si verificano molti 'passaggi di mano' diversi in un file Ciclo UAT , ha senso tenere traccia del rischio di esecuzione del test e dello stato, non solo a livello di test ma anche a livello di processo aziendale.

Panaya Test Dynamix fa proprio questo, pronto all'uso.

rischio di esecuzione del test

# 8) Esecuzione dei difetti

Anche i difetti di tracciamento hanno intrinsecamente una connotazione negativa.

Oltre a tenere traccia dei difetti attivi, dei difetti risolti giornalmente, dei difetti rifiutati e dei difetti gravi, suggeriamo anche di monitorare la risoluzione dei difetti in relazione ai requisiti definiti.

Molte organizzazioni non adottano una visione della risoluzione dei difetti basata sui requisiti.

Perché questa soluzione per i test?

Con una tracciabilità end-to-end incorporata in Release Dynamix e Panaya Test Dynamix, la tua organizzazione può monitorare il flusso di lavoro della risoluzione dei difetti dall'inizio alla fine a livello di requisito.

Ciò è particolarmente utile per i responsabili di rilascio, qualità e test che cercano una visione d'insieme di un progetto o di un ciclo di rilascio.

Panaya accelera il processo di test per l'IT tecnico e gli utenti aziendali, riducendo così lo sforzo complessivo di test del 30-50%:

  • Gestori: Avvisi in tempo reale per test e difetti e prevenzione dei colli di bottiglia.
  • Utenti aziendali: Documentazione automatizzata delle prove e dei difetti dei test.
  • Analisti funzionali: Automazione delle attività di test ripetitive.
  • Tester professionisti: Migliora perfettamente l'acquisizione delle conoscenze aziendali.
  • Risolutori di difetti: Riduce avanti e indietro con i tester.

Cos'altro dovresti sapere su questa soluzione

# 1) Panaya Test Dynamix è una soluzione SaaS il che significa che ottieni un'integrazione perfetta, aggiornamenti frequenti e indolori e il monitoraggio degli strumenti di automazione in sede.

# 2) Strumenti di collaborazione integrati snellire i cicli di test con notifiche e strumenti di comunicazione integrati.

Il passaggio automatico delle fasi del test all'utente successivo elimina i tempi di inattività, allevia i colli di bottiglia del carico di lavoro e garantisce flussi di lavoro ottimali.

# 3) Gestione intelligente dei difetti consente agli utenti di monitorare centralmente i difetti, la loro risoluzione ei processi aziendali interessati da essi.

Quando viene rilevato un difetto, identifica automaticamente tutti gli altri test interessati da esso e blocca o invia notifiche ai tester fino a quando il difetto principale non viene risolto. Il difetto risolto viene automaticamente chiuso, eliminando il backlog del difetto.

# 4) Con un approccio incentrato sui processi aziendali a UAT e SIT, Esperti in materia interfunzionali e geograficamente dispersi convalidano i cicli UAT in base ai processi aziendali effettivi (applicazioni pacchettizzate).

# 5) Connettori per automazione del test fornire un'integrazione completa di Panaya Test Dynamix con gli strumenti di automazione esistenti per cicli di regressione efficaci in tempi e sforzi minimi con funzionalità di tracciamento e monitoraggio olistiche.

# 6) Testare l'automazione delle prove automatizza i test manuali tradizionalmente gestiti in Excel e Word.

Risparmia tempo documentando senza sforzo ogni esecuzione del test, comprese le prove del test e una registrazione dei passaggi per la riproduzione del test, riducendo al contempo gli scambi tra sviluppatori e tester. La documentazione è pronto per l'audit , garantisce il rispetto di tutti gli standard di qualità interni ed esterni.

# 7) Test autonomoSM per SAP consente la creazione e la manutenzione di casi di test zero-touch in modo da non dover più affrontare i problemi associati all'acquisizione delle conoscenze aziendali e al processo di creazione e manutenzione di script progettati manualmente.

Gli script sono personalizzabili mentre l'apprendimento automatico offre convalida e suggerimenti basati sull'analisi della folla.

# 8) Acquisizione automatizzata della conoscenza aziendale - Omega crea automaticamente test case di vita reale basati sulle attività degli utenti aziendali acquisite in modo trasparente nella produzione utilizzando algoritmi di apprendimento automatico (SAP).

Conclusione

I responsabili della qualità del software e tutte le parti interessate possono soddisfare i loro KPI di test per promuovere maggiore innovazione riducendo gli sforzi del 30-50%, senza compromettere la portata o la qualità utilizzando Panaya.

Standardizza il processo di test e misura il successo poiché tutte le parti interessate adottano la stessa metodologia di test per ottenere visibilità in tempo reale su tutti i cicli di test, inclusa l'UAT su larga scala.

Per ulteriori informazioni, puoi esplorare Panaya Test Dynamix .

Fateci sapere i vostri pensieri / domande nei commenti qui sotto.

Lettura consigliata

^