Come eseguire test ETL utilizzando Informatica PowerCenter Tool

how perform etl testing using informatica powercenter tool

È un fatto noto che Test ETL è uno degli aspetti cruciali di qualsiasi Business Intelligence Applicazione basata su (BI). Al fine di ottenere la garanzia della qualità e l'accettazione per essere avviate nel mondo degli affari, l'applicazione BI deve essere testata con largo anticipo.

L'obiettivo principale del test ETL è garantire che il file E estrarre, T trasformare e L La funzionalità oad funziona secondo i requisiti aziendali e in sincronia con gli standard di prestazione.

Prima di addentrarci nei test ETL con Computing , è essenziale sapere cosa sono ETL e Informatica.

Cosa imparerai:

• Cosa imparerai in questo tutorial ETL:
• Strumento di test ETL di Informatica PowerCenter:
• Comprensione dei test ETL specifici per Informatica:
• Classificazione dei test ETL in Informatica:
• Vantaggi dell'utilizzo di Informatica come strumento ETL:
• Alcuni suggerimenti utili per aiutarti nei test ETL di Informatica:
• Conclusione:
• Lettura consigliata

Cosa imparerai in questo tutorial ETL:

• Nozioni di base sui test ETL, Informatica e ETL.
• Comprensione dei test ETL specifici per Informatica.
• Classificazione dei test ETL in Informatica.
• Casi di test di esempio per i test ETL di Informatica.
• Vantaggi dell'utilizzo di Informatica come file Strumento ETL .
• Suggerimenti e trucchi per aiutarti nei test.

In informatica, Extract, Transform, Load (ETL) si riferisce a un processo nell'utilizzo del database e soprattutto nel data warehousing che esegue:

• Estrazione dati - Estrae dati da origini dati omogenee o eterogenee.
• Trasformazione dei dati - Formatta i dati nel tipo richiesto.
• Caricamento dati - Spostare e archiviare i dati in una posizione permanente per un utilizzo a lungo termine.

Strumento di test ETL di Informatica PowerCenter:

Informatica PowerCenter è un potente strumento ETL di Informatica Corporation. Si tratta di un'unica piattaforma di integrazione dei dati aziendali unificata per l'accesso, la scoperta e l'integrazione dei dati da praticamente qualsiasi sistema aziendale, in qualsiasi

Si tratta di un'unica piattaforma di integrazione dei dati aziendali unificata per l'accesso, la scoperta e l'integrazione dei dati praticamente da qualsiasi sistema aziendale, in qualsiasi formato e per la distribuzione di tali dati in tutta l'azienda a qualsiasi velocità. Attraverso Informatica PowerCenter , creiamo flussi di lavoro che eseguono operazioni ETL end-to-end.

Scarica e installa Informatica PowerCenter:

Per installare e configurare Informatica PowerCenter 9.x, utilizzare il collegamento seguente con istruzioni dettagliate:
=> Informatica PowerCenter 9 Guida all'installazione e alla configurazione

Comprensione dei test ETL specifici per Informatica:

I tester ETL hanno spesso domande pertinenti su cosa testare in Informatica e quanta copertura di test è necessaria?

Lascia che ti guidi attraverso un tour su come eseguire test ETL specifici per Informatica.

Gli aspetti principali che dovrebbero essere essenzialmente coperti nei test ETL di Informatica sono:

• Testare la funzionalità del flusso di lavoro di Informatica e dei suoi componenti; tutte le trasformazioni utilizzate nelle mappature sottostanti.
• Per verificare la completezza dei dati (ovvero assicurandosi che i dati proiettati vengano caricati nella destinazione senza alcun troncamento e perdita di dati),
• Verificare se i dati vengono caricati sul target entro i limiti di tempo stimati (ovvero valutare le prestazioni del flusso di lavoro),
• Garantire che il flusso di lavoro non consenta il caricamento di dati non validi o indesiderati nella destinazione.

Classificazione dei test ETL in Informatica:

Per una migliore comprensione e facilità del tester, i test ETL in Informatica possono essere suddivisi in due parti principali:

il modo migliore per scaricare da YouTube in mp3

# 1) Test di alto livello
# 2) Test dettagliati

In primo luogo, nei test di alto livello:

• È possibile verificare se il flusso di lavoro di Informatica e gli oggetti correlati sono validi o meno.
• Verificare se il flusso di lavoro viene completato correttamente durante l'esecuzione.
• Confermare se tutte le sessioni / attività richieste vengono eseguite nel flusso di lavoro.
• Convalida se i dati vengono caricati nella directory di destinazione desiderata e con il nome file previsto (nel caso in cui il flusso di lavoro stia creando un file), ecc.

In poche parole, puoi dire che il test di alto livello include tutti i controlli di sanità mentale di base.

Venendo alla parte successiva, ad es. test dettagliati in Informatica , approfondirai la verifica se la logica implementata in Informatica funziona come previsto in termini di risultati e prestazioni.

• È necessario eseguire le convalide dei dati di output a livello di campo che confermeranno che ogni trasformazione funziona correttamente
• Verificare se il conteggio dei record a ogni livello di elaborazione e infine se l'obiettivo è quello previsto.
• Monitorare accuratamente elementi come il qualificatore di origine e la destinazione nelle statistiche di origine / destinazione della sessione
• Assicurati che la durata di esecuzione del flusso di lavoro di Informatica sia alla pari con il tempo di esecuzione stimato.

Per riassumere, possiamo dire che il test dettagliato include una rigorosa convalida end-to-end del flusso di lavoro di Informatica e del relativo flusso di dati.

Facciamo un esempio qui:

Abbiamo un file flat che contiene dati su diversi prodotti. Memorizza dettagli come il nome del prodotto, la sua descrizione, categoria, data di scadenza, prezzo, ecc.

Il mio requisito è recuperare ogni record di prodotto dal file, generare un ID prodotto univoco corrispondente a ciascun record e caricarlo nella tabella del database di destinazione. Devo anche sopprimere quei prodotti che appartengono alla categoria 'C' o la cui data di scadenza è inferiore alla data corrente.

Dì, il mio file flat (sorgente) ha questo aspetto:

(Nota:Fare clic su qualsiasi immagine per ingrandirla)

In base ai requisiti sopra indicati, la tabella del database (Target) dovrebbe essere simile a questa:

Nome tabella: Tbl_Product

Ora, diciamo, abbiamo sviluppato un flusso di lavoro Informatica per ottenere la soluzione per i miei requisiti ETL.

La mappatura di Informatica sottostante leggerà i dati dal file flat, passerà i dati attraverso una trasformazione del router che eliminerà le righe che hanno la categoria di prodotto come 'C' o la data di scadenza, quindi userò una sequenza generata per creare la chiave primaria univoca valori per la colonna Prod_ID nella tabella dei prodotti.

Infine, i record verranno caricati nella tabella Product che è la destinazione per la mia mappatura di Informatica.

Esempi:

Di seguito sono riportati i casi di test di esempio per lo scenario spiegato sopra.

È possibile utilizzare questi casi di test come modello nel progetto di test di Informatica e aggiungere / rimuovere casi di test simili a seconda della funzionalità del flusso di lavoro.

# 1) ID caso di test: T001

Scopo del test case: Convalida flusso di lavoro - (workflow_name)

Procedura di prova:

• Vai al gestore del flusso di lavoro
• Apri flusso di lavoro
• Menu Flussi di lavoro-> fare clic su convalida

Valore di input / Dati di test: Le fonti e le destinazioni sono disponibili e connesse
Fonti: (nome di tutte le istanze di origine)
Mappature: (nome di tutte le mappature)
Target: (nome di tutte le istanze di destinazione)
Sessione: (nome di tutte le sessioni)

Risultati aspettati: Messaggio nella barra di stato del gestore del flusso di lavoro: 'Il flusso di lavoro (nome_flusso di lavoro) è valido'

Risultati attuali: Messaggio nella barra di stato del gestore del flusso di lavoro: 'Il flusso di lavoro (nome_flusso di lavoro) è valido'

Osservazioni:Passaggio

Commenti del tester:

# 2) ID caso di test: T002

Scopo del test case: Per garantire se il flusso di lavoro viene eseguito correttamente

Procedura di prova:

che cos'è un file json come aprire

• Vai al gestore del flusso di lavoro
• Apri flusso di lavoro
• Fare clic con il pulsante destro del mouse nella finestra di progettazione del flusso di lavoro e selezionare Avvia flusso di lavoro
• Controlla lo stato in Workflow Monitor

Valore di input / Dati di test: Uguale ai dati di test per T001

Risultati aspettati: Messaggio nella finestra di output in Gestione flusso di lavoro: Aggiornamento attività: (nome_ flusso di lavoro) (riuscito)

Risultati attuali: Messaggio nella finestra di output in Gestione flusso di lavoro: Aggiornamento attività: (nome_ flusso di lavoro) (riuscito)

Osservazioni:Passaggio

Commenti del tester: Flusso di lavoro riuscito

Nota: È possibile visualizzare facilmente lo stato di esecuzione del flusso di lavoro (non riuscito / riuscito) nel monitoraggio del flusso di lavoro come mostrato nell'esempio seguente. Una volta completato il flusso di lavoro, lo stato si rifletterà automaticamente nel monitor del flusso di lavoro.

Nello screenshot qui sopra, puoi vedere l'ora di inizio e l'ora di fine del flusso di lavoro, nonché lo stato di successo.

# 3) ID caso di test: T003

Scopo del test case: Per convalidare se il numero desiderato di record viene caricato nella destinazione

Procedura di prova: Una volta che il flusso di lavoro è stato eseguito correttamente, vai alla tabella di destinazione nel database
Verificare il numero di righe nella tabella del database di destinazione

Valore di input / Dati di test: 5 righe nel file sorgente
Target: tabella database - (Tbl_Product)
Query da eseguire in SQL server: Seleziona conteggio (1) da (Tbl_Product)

Risultati aspettati: 3 righe selezionate

Risultati attuali: 3 righe selezionate

Osservazioni:Passaggio

Commenti del tester:

# 4) ID caso di test: T004

Scopo del test case: Per verificare se il generatore di sequenze nella mappatura di Informatica funziona correttamente per il popolamento di (nome_colonna_chiave_primaria, ad es. Colonna Prod_ID)

Procedura di prova: Una volta che il flusso di lavoro è stato eseguito correttamente, vai alla tabella di destinazione nel database
Verificare la sequenza univoca generata nella colonna Prod_ID

Valore di input / Dati di test: valore per Prod_ID lasciato vuoto per ogni riga nel file di origine
Generatore di sequenze mappato alla colonna Prod_ID nella mappatura
Valore di avvio del generatore di sequenze impostato come 1001
Destinazione: tabella database- (Tbl_Product) aperta in SQL Server

Risultati aspettati: Valore da 1001 a 1003 popolato su ogni riga per la colonna Prod_ID

Risultati attuali: Valore da 1001 a 1003 popolato su ogni riga per la colonna Prod_ID

Osservazioni:Passaggio

Commenti del tester:

# 5) ID caso di test: T005

client ssh gratuito per Windows 10

Scopo del test case: Per convalidare se la trasformazione del router funziona correttamente per sopprimere i record nel caso in cui la categoria del prodotto sia 'C' o il prodotto è scaduto.

Procedura di prova: Una volta che il flusso di lavoro è stato eseguito correttamente, vai alla tabella di destinazione nel database
Eseguire la query sulla tabella di destinazione per verificare se i record desiderati sono stati soppressi.

Valore di input / Dati di test: 5 righe nel file sorgente
Target: tabella database - (Tbl_Product)
Query da eseguire in SQL server: Seleziona * da Prodotto dove Prod_category = 'C' o Prod_expiry_date< sysdate ;

Risultati aspettati: nessuna riga selezionata

Risultati attuali: nessuna riga selezionata

Osservazioni:Passaggio

Commenti del tester: (se presente)

# 6) ID caso di test: T006

Scopo del test case: Per controllare le prestazioni del flusso di lavoro registrando il runtime del flusso di lavoro.

Procedura di prova:

• Apri il monitor del flusso di lavoro ed esegui la corsa eseguita come parte di T001.
• Registra l'ora di inizio e l'ora di fine del flusso di lavoro.
• Calcola il tempo di esecuzione totale sottraendo l'ora di inizio dall'ora di fine.

Valore di input / Dati di test: Il flusso di lavoro è stato eseguito correttamente
Ora di inizio del flusso di lavoro nel monitor
Ora di fine del flusso di lavoro nel monitor.

Risultati aspettati: 2 min 30 sec

Risultati attuali: 2 min 15 sec

Osservazioni:Passaggio

Commenti del tester: Considerando il test come 'Superato' nel caso in cui la durata effettiva della corsa sia +/- 10% della durata prevista della corsa.

# 7) ID caso di test: T007

Scopo del test case: Per convalidare i dati a livello di colonna della tabella di destinazione per garantire che non vi sia perdita di dati.

Procedura di prova: Una volta che il flusso di lavoro è stato eseguito correttamente, vai a SQL Server.
Eseguire la query sulla tabella di destinazione per verificare che non vi siano perdite di dati.

Valore di input / Dati di test: Il flusso di lavoro è stato eseguito correttamente
Un record di esempio dal file flat di origine.
Query SQL: Seleziona Top 1 * da Tbl_Patient;

Risultati aspettati:
1 riga restituita

Risultati attuali:
1 riga restituita.

Osservazioni:Passaggio

Commenti del tester: Considerando il test come 'Superato' nel caso in cui la durata effettiva della corsa sia +/- 10% della durata prevista della corsa.

Vantaggi dell'utilizzo di Informatica come strumento ETL:

Informatica è uno strumento ETL popolare e di successo perché:

• Ha un alto tasso di successo 'go live' (quasi il 100%)
• Informatica ha la capacità di abilitare l'integrazione snella.
• È uno strumento dal prezzo moderato rispetto ad altri strumenti ETL.
• Viene fornito con l'utilità di pianificazione dei lavori interna. Quindi, non è necessario utilizzare lo scheduler di terze parti separatamente come fanno alcuni altri strumenti ETL.
• La facile formazione e la disponibilità degli strumenti hanno reso Informatica più popolare.

Alcuni suggerimenti utili per aiutarti nei test ETL di Informatica:

• Genera i dati di test prima di eseguire gli scenari di test.
• I dati del test dovrebbero essere sincronizzati con lo scenario di test per cui vengono utilizzati.
• Assicurati di aver coperto tutti e 3 gli scenari: non vengono inviati dati, dati non validi e dati validi inviati come input per il flusso di lavoro di Informatica.
• Assicurati di verificare che tutti i dati richiesti vengano caricati completamente sulla destinazione. Per questo, puoi utilizzare lo scenario di test: T003 descritto sopra come esempio.
• È molto importante verificare che il flusso di lavoro esegua correttamente tutte le trasformazioni dei dati secondo le regole aziendali.
• Suggerirei che per ogni trasformazione applicata nella mappatura di Informatica, dovresti avere un elenco di controllo per verificare i dati di output rispetto ad essa. In questo modo, puoi segnalare facilmente i bug se una qualsiasi trasformazione non funziona correttamente.

Conclusione:

Quindi, abbiamo visto in dettaglio alcuni dei casi di test di esempio che possono essere utilizzati come modello per coprire i test ETL in Informatica. Come accennato in precedenza, puoi aggiungere / rimuovere / modificare questi casi di test a seconda dello scenario che hai nel tuo progetto.

Come accennato in precedenza, puoi aggiungere / rimuovere / modificare questi casi di test a seconda dello scenario che hai nel tuo progetto.

Informatica PowerCenter è una base per qualsiasi attività di integrazione dei dati.

È possibile eseguire facilmente test automatizzati senza script dei dati copiati in ambiente di test, sviluppo o produzione, e questo è il motivo per cui PowerCenter è lo strumento ETL più popolare al giorno d'oggi.

Lettura consigliata => Test ETL e DB: uno sguardo più da vicino alla necessità di test ETL

Circa l'autore: Questo è un articolo ospite di Priya K. Vanta più di 4 anni di esperienza pratica nello sviluppo e nel supporto di applicazioni ETL di Informatica.

Sentiti libero di pubblicare le tue domande / Commenti su questo strumento ETL.

Lettura consigliata

• Migliori strumenti di test del software 2021 (Strumenti di automazione del test QA)
• Come eseguire il test di backend
• ETL Testing Interview Domande e risposte
• Esercitazione sul test del data warehouse di test ETL (una guida completa)
• Download dell'eBook Testing Primer
• Test ETL e DB: uno sguardo più da vicino alla necessità di test ETL, alla pianificazione e agli strumenti ETL
• Test di carico con LoadUI - Uno strumento di test di carico gratuito e open source
• I 10 migliori strumenti di test ETL nel 2021