what is longevity testing
Questo articolo spiega il significato di ' Test di longevità 'E come aiuta a valutare la stabilità del Sistema o del Prodotto e ridurre i difetti riscontrati dal cliente, ad es. ' Cattura gli insetti internamente prima che il cliente lo trovi '.
Alla fine di questo articolo, i responsabili del controllo qualità, i lead ei tester avranno una discreta conoscenza di:
- Che cos'è il test di longevità?
- Perché è richiesto il test di longevità?
- Pianificazione ed esecuzione di test di longevità
- Quali sono i pro ei contro del test di longevità?
come usare java per aprire un file jar
Cosa imparerai:
Che cos'è il test di longevità?
Il test di longevità è un'attività di test:
- Per convalidare la stabilità del sistema o del prodotto e le caratteristiche di manutenzione per un periodo più lungo rispetto a condizioni di carico e stress appropriate con traffico e applicazioni in tempo reale
- Per ridurre il verificarsi di difetti che emergono nel sito del cliente
Diagramma di flusso della gestione dei problemi segnalati dal cliente (Fig.1)
Sfondo del test di longevità
# 1) Di solito, nelle prime settimane di distribuzione del prodotto o dopo un aggiornamento all'ultima versione del software presso il sito del cliente, tutto funziona correttamente. Tuttavia, in un periodo di poche settimane, un cliente inizia a segnalare i problemi.
#Due) Molti dei problemi possono essere semplici funzionalità in quanto vengono segnalati dal cliente e non sono facilmente riproducibili internamente. Hanno bisogno di molto tempo e di un'attenta analisi da parte del team di esperti su tutto lo spettro. Suggerimento: tempo = $$$ !!!
# 3) Una o più delle seguenti situazioni si verifica quando il cliente (i) trova il difetto (Fig.1)
- Gravità del difetto avrà un impatto diretto sull'attività del Cliente, ad esempio $$$
- Qualsiasi richiesta di assistenza al centro di supporto tecnico costa $ $ all'organizzazione di ingegneria del prodotto
- Raramente i problemi sollevati dal cliente vengono risolti dal team di supporto tecnico front end
- Tali richieste o ticket vengono inoltrati al team di supporto per l'escalation
- L'escalation del biglietto del cliente costerà più $ all'organizzazione
- Se il team di escalation non è in grado di risolvere il problema, dovrà ora coinvolgere il team di ingegneri (sviluppo e controllo qualità)
- Ormai anche il costo per risolvere il problema sarebbe aumentato notevolmente
- Più lunga è la risoluzione del difetto, maggiore è la probabilità di clienti insoddisfatti che non darebbero ordini ripetuti e lo scenario peggiore è quando il cliente decide di passare alla soluzione di un concorrente in un momento opportuno. Tuttavia, in entrambi i casi si tratta di una perdita di entrate per qualsiasi organizzazione di ingegneria del prodotto
4) La percentuale più alta di tali problemi segnalati da uno o più clienti è correlata alla stabilità tipica del sistema o del prodotto in combinazione con la topologia del cliente, l'infrastruttura, il traffico e l'applicazione specifica.
Perché è richiesto il test di longevità?
1) Qualsiasi 'difetto' derivante dal cliente segnalato il problema è solitamente una fuga di prova.
Due) Qualsiasi difetto di questo tipo costa $ $ al cliente così come all'organizzazione di ingegneria che fornisce soluzioni e servizi ai clienti.
3) In uno scenario normale, il difetto avrebbe dovuto essere notato internamente durante vari cicli di test, incluso il test di regressione da uno o più tester del team di test, a seconda della complessità del problema.
4) Ancora più importante, tali difetti derivanti da problemi segnalati dal cliente indicano anche uno scenario di test appropriato o un caso di test da perdere al momento dell'esecuzione del piano di test.
5) Molti dei tester devono aver sperimentato che una particolare funzionalità non funziona presso la sede del cliente ma passa internamente in vari banchi di prova come
- Caratteristica
- Regressione
- Caricare
- Fatica
- Prestazione
- Sistema
- Soluzione
- Alfa
- Beta
6) Osservazioni chiave da considerare -
- Durante qualsiasi ciclo di rilascio del software, System Under Test (SUT) o Device Under Test (DUT) in tutti i Testbeds vengono spesso riavviati in modo soft o hard per mancanza di cose come il caricamento di un nuovo rilascio di codice, la verifica dei bug ecc.
- Anche le suite di test di regressione automatizzata di solito si riavviano o ripristinano il SUT o il DUT dopo l'esecuzione di un particolare script di test case o di una serie di script di test case
- Quindi il SUT o il DUT non funziona abbastanza a lungo senza un riavvio morbido o rigido
- Mentre la situazione è completamente diversa presso la sede del cliente. Il cliente non può permettersi di continuare a riavviare il sistema frequentemente con conseguenti interruzioni della produttività
- I clienti seguono una pratica comprovata in cui annunciano una finestra di manutenzione adeguata al pubblico previsto e quindi eseguono l'aggiornamento del software o la sostituzione dell'hardware, ecc.
- Tali finestre di manutenzione possono essere per una durata specifica da trimestrale a annuale, a seconda delle linee guida e delle procedure interne dell'organizzazione del cliente
- In realtà, il quadro effettivo dello stato di salute del sistema o del prodotto presso la sede del cliente è completamente diverso da quello dei banchi di prova durante un dato ciclo di rilascio del software in qualsiasi organizzazione di ingegneria del prodotto
- Molti clienti cercano anche un documento di qualità autorizzato che abbia superato particolari test sui modelli verticali, soprattutto finanziari, sanitari e verticali federali
Considerando poche lacune nei test come menzionato sopra =>
il miglior downloader di musica mp3 per Android
- È evidente che il sistema o il prodotto dovrebbe essere sottoposto a test di durata più lunga o test di longevità con uno scenario end-to-end che imita il sito del cliente o i verticali
- La durata maggiore può essere di 72-720 ore. (3-30 giorni) o durata appropriata basata su EFD o CFD dati e casi specifici dei clienti
- È una pratica consigliata per QA Manager, Leads e Tester eseguire il test di longevità come attività separata in un dato ciclo di rilascio del software
- Net-Net, il test di longevità è molto importante per la stabilità del sistema o del prodotto in quanto ha una relazione diretta con i risultati economici dell'organizzazione
Pianificazione ed esecuzione di test di longevità
È importante che i responsabili del controllo qualità, i lead ei tester includano il test di longevità come parte del loro Strategia di test complessiva .
Pianificazione
- Le organizzazioni di ingegneria eseguono internamente Test Escape Analysis ( TÈ ) esercitarsi di volta in volta per molti prodotti (hardware e software). Alcuni hanno persino un meccanismo integrato e automatizzato per scavare i dati di Test Escape solitamente basati su 'Difetti rilevati esternamente ( EFD ) 'O' Difetti riscontrati dal cliente ( CFD ) 'Registrato dal team di escalation dell'assistenza
- Gli EFD o i CFD devono essere analizzati attentamente nel contesto dell'implementazione live del cliente da una prospettiva end-to-end, non solo l'infrastruttura ma anche i dispositivi degli utenti finali, le applicazioni, i modelli di traffico
Comprensione dei verticali dei clienti:
I clienti di solito rientrano in uno dei seguenti verticali più ampi:
- Assistenza sanitaria
- Al dettaglio
- Finanza
- Formazione scolastica
- Trasporti
- Produzione
- Ingegneria
- Federale (Govt)
Attività
# 1) Sviluppare un piano di test e uno scenario di test separati per i test di longevità. Ciò aiuterà anche a tenere traccia dell'esecuzione del test, della registrazione dei bug e della verifica
#Due) Identifica i casi di test in base agli input di Test Escape Analysis, di solito la correzione dei bug di EFD o CFD
# 3) È molto importante che il team di QA imiti i banchi di prova di uno o più verticali a seconda del settore di attività dell'organizzazione con il numero di verticali
# 4) I banchi di prova dedicati dovrebbero avere
- Topologia di rete simile a quella di uno o più verticali previsti
- Infrastruttura con switch, router, server back-end, firewall, ecc. Simili
- Server delle applicazioni più frequentemente e comunemente utilizzati da un determinato verticale (i)
- Gadget per gli utenti finali utilizzati più frequentemente e più comunemente da un determinato verticale (i)
# 5) Strumenti adeguati per generare carico, stress e traffico in tempo reale
le migliori società di gioco per cui lavorare
# 6) Identifica la risorsa di esecuzione manuale
# 7) Identifica la risorsa / strategia di automazione per un'esecuzione più rapida e ripetuta
# 8) Identifica l'INIZIO e la FINE del test di longevità per una data versione
Due approcci per INIZIO e FINE del test di longevità:
I) Approccio 1:
- Il codice software o l'hardware devono essere in condizioni stabili
- INIZIA alla fine del completamento del test FEATURE
- END prima di Code Freeze
II) Approccio 2:
- Fai un piccolo colpo consentendo un codice leggermente instabile
- INIZIARE al 70% del completamento del ciclo di test FEATURE
- END prima di Code Freeze
# 9) Verifica dei bug per i difetti risolti
# 10) Spostare il test di longevità su Regression per i successivi test di regressione
Esecuzione
- Configura il banco di prova per imitare uno o più verticali del cliente
- Assicurati che tutte le versioni dell'infrastruttura, dell'applicazione e del database back-end, comprese le versioni, siano simili a quelle del cliente
- Assicurarsi che i dispositivi degli utenti finali siano simili a quelli utilizzati dal cliente siano disponibili e utilizzati durante l'esecuzione del piano di test
- Assicurarsi che siano disponibili strumenti appropriati per generare stress e carico moderati del sistema o del prodotto
- Esegui l'intera suite di test dal piano di test di longevità senza riavvio software o hardware di SUT o DUT, server back-end altri dispositivi correlati a Infra
- Più corse di test devono essere eseguite nel modo sopra indicato per una durata non-stop definita dallo slot 72-720 ore.
- Registra i risultati
- Registra tutti i bug identificati
- Verifica tutti i bug
Quali sono i pro ei contro del test di longevità?
Professionisti
- Aiuta identificare i bug critici prima che il cliente lo trovi
- Aiuta a stabilizzare il sistema o il prodotto per la sua funzionalità utile che è fondamentale per la produttività e l'attività del cliente
- Aiuta ad aumentare la soddisfazione del cliente
- Fa risparmiare molti soldi all'organizzazione: i soldi risparmiati sono soldi guadagnati !!!
- Il rapporto sul test di longevità può anche essere trasformato in una prova di certificazione di qualità per diversi mercati verticali
Contro
- Costo iniziale per l'inclusione del test di longevità e delle attività correlate come parte di un dato rilascio e delle attività di regressione
- Ideale per Modello a cascata
- I modelli Agile / Scrum devono essere modificati in termini di durata e copertura
Conclusione
Molti dei 'difetti' che derivano dai problemi segnalati dal cliente sono principalmente dovuti a Test Escape. Questo, a sua volta, richiede molte domande come lo sviluppo, la revisione, la copertura e l'esecuzione del piano di test.
I difetti riscontrati esternamente (EFD) o i difetti riscontrati dal cliente (CFD) hanno un impatto aziendale ($$$) per il cliente e per l'organizzazione del prodotto.
Il test di longevità, essendo unico, dovrebbe aiutare qualsiasi organizzazione di prodotto a migliorare la soddisfazione del cliente identificando e risolvendo i difetti prima che il cliente li rilevi. Il test di longevità aiuta anche a migliorare la stabilità con conseguente sistema o prodotto di qualità robusto.
Circa l'autore: Questo articolo è stato scritto dall'autore di STH Vinayak. Vanta 12 anni di esperienza in QA / test in aziende Fortune 500.
Facci sapere se hai domande o suggerimenti su questo articolo.
Lettura consigliata
- Migliori strumenti di test del software 2021 (Strumenti di automazione del test QA)
- Download dell'eBook Testing Primer
- Test di carico con HP LoadRunner Tutorial
- Differenza tra desktop, test server client e test Web
- Cos'è il Gamma Testing? La fase finale del test
- Che cos'è il test di conformità (test di conformità)?
- Lavoro assistente QA test software
- Bias cognitivi nei test del software: perché i tester perdono i bug?