Menu

Fondamenti di data warehousing: una guida definitiva con esempi

  • Principale
  • Altro
  • Fondamenti di data warehousing: una guida definitiva con esempi

data warehousing fundamentals

Prova Il Nostro Strumento Per Eliminare I Problemi

Scopri tutto sui fondamenti del data warehousing. Questa guida approfondita spiega cos'è il data warehousing insieme ai suoi tipi, caratteristiche, pregi e demeriti:

Un data warehouse è l'ultima tendenza di archiviazione nel settore IT di oggi.

Questo tutorial spiegherà cosa è un data warehouse? Perché il data warehouse è fondamentale? Tipi di applicazioni di data warehouse, caratteristiche di un data warehouse, vantaggi e svantaggi del data warehouse.

Fondamenti di data warehousing

Elenco dei tutorial sul data warehousing in questa serie:

Tutorial n. 1: Fondamenti di data warehousing
Tutorial n. 2: Che cos'è il processo ETL in Data Warehouse?
Tutorial n. 3: Test del data warehouse
Tutorial n. 4: Modello di dati dimensionali in Data Warehouse
Tutorial n. 5: Tipi di schema nella modellazione del data warehouse
Tutorial # 6: Tutorial Data Mart
Tutorial # 7: Metadati in ETL

Panoramica delle esercitazioni in questa serie di data warehouse

Tutorial_NumCosa imparerai
Tutorial n. 7 Metadati in ETL

Questo tutorial spiega il ruolo dei metadati in ETL, esempi e tipi di metadati, repository di metadati e sfide nella gestione dei metadati.
Tutorial n. 1 Fondamenti di data warehousing

Scopri tutto sui concetti di data warehousing da questo tutorial. Questa guida approfondita spiega che cos'è il data warehouse insieme ai suoi tipi, caratteristiche, pregi e demeriti.
Tutorial n. 2 Che cos'è il processo ETL in Data Warehouse?

Questo tutorial approfondito sul processo ETL spiega il flusso del processo e i passaggi coinvolti nel processo ETL (estrazione, trasformazione e caricamento) in Data Warehouse.
Tutorial n. 3 Test del data warehouse

Obiettivi e significato dei test del data warehouse, responsabilità dei test ETL, errori nella distribuzione DW e ETL in dettaglio in questo tutorial.
Tutorial n. 4 Modello di dati dimensionali in Data Warehouse

Questo tutorial spiega i vantaggi e i miti del modello di dati dimensionale in Data Warehouse. Imparerai anche le tabelle delle dimensioni e le tabelle dei fatti con esempi.
Tutorial n. 5 Tipi di schema nella modellazione del data warehouse

Questo tutorial spiega vari tipi di schemi di data warehouse. Scopri cos'è lo schema a stella e lo schema a fiocco di neve e la differenza tra schema a stella e schema a fiocco di neve.
Tutorial # 6 Tutorial Data Mart

Questo tutorial spiega i concetti del data mart, tra cui l'implementazione, i tipi, la struttura e le differenze tra data warehouse e data mart.

Cosa imparerai:

Fondamenti di data warehousing: una guida completa

Destinatari

  • Sviluppatori e tester di data warehouse / ETL.
  • Professionisti di database con conoscenza di base dei concetti di database.
  • Amministratori di database / esperti di big data che desiderano comprendere i concetti di data warehousing.
  • Laureati / matricole che cercano lavori nel data warehouse.

Che cos'è il data warehousing?

Un Data Warehouse (DW) è un archivio di enormi quantità di dati organizzati. Questi dati vengono consolidati da una o più origini dati diverse. DW è un database relazionale progettato principalmente per il reporting analitico e il processo decisionale puntuale nelle organizzazioni.

I dati per questo scopo sono isolati e ottimizzati dai dati di transazione di origine, che non avranno alcun impatto sull'attività principale. Se un'organizzazione introduce un cambiamento aziendale, DW viene utilizzato per esaminare gli effetti di tale cambiamento e quindi DW viene utilizzato anche per monitorare il processo non decisionale.

Magazzino dati

qa testare le domande e le risposte dell'intervista per esperti

Il data warehouse è principalmente un sistema di sola lettura poiché i dati operativi sono molto separati dal DW. Ciò fornisce un ambiente per recuperare la maggior quantità di dati con una buona scrittura delle query.

Pertanto DW fungerà da motore di backend per gli strumenti di Business Intelligence che mostra i report, i cruscotti per gli utenti aziendali. DW è ampiamente utilizzato nei settori bancario, finanziario, al dettaglio, ecc.

Perché il data warehousing è fondamentale?

Di seguito sono elencati alcuni dei motivi per cui Data Warehouse è fondamentale.

  1. Il data warehouse raccoglie tutti i dati operativi da diverse fonti eterogenee di 'diversi formati' e attraverso il processo di estrazione, trasformazione e caricamento (ETL) carica i dati in DW in un 'formato dimensionale standardizzato' all'interno di un'organizzazione.
  2. Il data warehouse conserva sia i 'dati attuali che quelli storici' per il reporting analitico e il processo decisionale basato sui fatti.
  3. Aiuta le organizzazioni a prendere 'decisioni più intelligenti e rapide' sulla riduzione dei costi e per aumentare i ricavi, confrontando i report trimestrali e annuali per migliorare le loro prestazioni.

Tipi di applicazioni di data warehouse

La Business Intelligence (BI) è una branca del data warehousing progettata per il processo decisionale. Una volta caricati i dati nel DW, la BI svolge un ruolo importante analizzando i dati e presentandoli agli utenti aziendali.

In pratica, il termine 'applicazioni di data warehouse' implica in quanti tipi diversi i dati possono essere elaborati e utilizzati.

Abbiamo tre tipi di applicazioni DW come indicato di seguito.

  1. Elaborazione delle informazioni
  2. Elaborazione analitica
  3. Data mining che serve allo scopo della BI

# 1) Elaborazione delle informazioni

Questo è un tipo di applicazione in cui il data warehouse consente il contatto diretto uno-uno con i dati in esso memorizzati.

Poiché i dati possono essere elaborati scrivendo query dirette sui dati (o) con un'analisi statistica di base sui dati ei risultati finali verranno riportati agli utenti aziendali sotto forma di report, tabelle, grafici o grafici.

DW supporta i seguenti strumenti per l'elaborazione delle informazioni:

(i) Strumenti di query: L'azienda (o) l'analista esegue le query utilizzando strumenti di query per esplorare i dati e generare l'output sotto forma di report o grafici secondo i requisiti aziendali.

Data Warehouse: strumenti di query

(ii) Strumenti di reporting: Se l'azienda desidera vedere i risultati in qualsiasi formato definito e su base pianificata, ad esempio giornalmente, settimanalmente o mensilmente, verranno utilizzati strumenti di reporting. Questi tipi di rapporti possono essere salvati e rivisti in qualsiasi momento.

(iii) Strumenti statistici: Se l'azienda desidera eseguire un'analisi su un'ampia visione dei dati, verranno utilizzati strumenti statistici per generare tali risultati. Le aziende possono trarre conclusioni e previsioni comprendendo questi risultati strategici.

Data Warehouse - Analisi statistica

# 2) Elaborazione analitica

Questo è un tipo di applicazione in cui un data warehouse consente l'elaborazione analitica dei dati in esso archiviati. I dati possono essere analizzati con le seguenti operazioni come Slice-and-Dice, Drill Down, Roll Up e Pivoting.

(i) Slice-and-Dice : Il data warehouse consente alle operazioni slice and dice di analizzare i dati a cui si accede da molti livelli con una combinazione di diverse prospettive. L'operazione slice-and-dice utilizza internamente il meccanismo di drill-down. Lo slicing funziona su dati dimensionali.

Come parte del requisito aziendale, se ci concentriamo su una singola area, l'affettatura analizza le dimensioni di quella particolare area secondo i requisiti e fornisce i risultati. Il Dicing lavora sulle operazioni analitiche. Il Dicing esegue lo zoom per un insieme specifico di attributi su tutte le dimensioni per fornire prospettive diverse. Le dimensioni sono considerate da una o più fette consecutive.

(ii) Analisi dettagliata : Se l'azienda desidera passare a un livello più dettagliato di qualsiasi numero di riepilogo, il drill-down è un'operazione per spostarsi in basso da quel riepilogo a livelli di dettaglio minori. Questo dà un'ottima idea di ciò che sta accadendo e su dove l'attività deve essere focalizzata più da vicino.

Analisi dettagliata delle tracce dal livello gerarchico fino al livello di dettaglio minore per l'analisi della causa principale. Questo può essere facilmente compreso con un esempio dal quale può verificarsi il drill down delle vendite Livello Paese -> Livello Regione -> Livello Stato -> Livello Distretto -> Livello Negozio.

Scavare a fondo

(iii) Roll up : Il roll up funziona in modo opposto all'operazione di drill-down. Se l'azienda desidera dati riepilogativi, entra in gioco il roll up. Aggrega i dati a livello di dettaglio spostandosi verso l'alto nella gerarchia dimensionale.
I roll-up vengono utilizzati per analizzare lo sviluppo e le prestazioni di un sistema.

Questo può essere capito con un Esempio come in un roll up delle vendite da cui è possibile eseguire il rollup dei totali Livello di città -> Livello statale -> Livello di regione -> Livello nazionale .

(iv) Pivot : Pivoting analizza i dati dimensionali ruotando i dati sui cubi. Per esempio, la dimensione della riga può essere scambiata nella dimensione della colonna e viceversa.

# 3) Data mining

Questo è un tipo di applicazione in cui il data warehouse consente la scoperta della conoscenza dei dati e i risultati saranno rappresentati con strumenti di visualizzazione. Nei due tipi di applicazioni precedenti, le informazioni possono essere guidate dagli utenti.

Poiché i dati diventano vasti in varie aziende, è difficile eseguire query e analizzare in dettaglio il data warehouse per ottenere tutte le informazioni possibili sui dati. Quindi entra in gioco il data mining per realizzare la scoperta della conoscenza.

Questo guida nei dati con tutte le associazioni passate, i risultati ecc. E predice il futuro. Quindi questo è basato sui dati e non sull'utente. I dati possono essere scoperti trovando schemi, associazioni, classificazioni e previsioni nascosti.

Il data mining va in profondità con i dati per prevedere il futuro. Sulla base delle previsioni, suggerisce anche le azioni da intraprendere.

Di seguito sono riportate le varie attività di Data Mining:

  • Modelli: Il data mining rileva i modelli che si verificano nel database. Gli utenti possono fornire gli input aziendali su cui è richiesta una certa conoscenza dei modelli per il processo decisionale.
  • Associazioni / Relazioni: Il data mining scopre le relazioni tra gli oggetti con la frequenza delle loro regole di associazione. Questa relazione può essere tra due o più oggetti (oppure) può scoprire le regole all'interno delle proprietà dello stesso oggetto.
  • Classificazione: Il data mining organizza i dati in un insieme di classi predefinite. Quindi, se un oggetto viene prelevato dai dati, la classificazione associa la rispettiva etichetta di classe a quell'oggetto.
  • Predizione: Il data mining confronta una serie di valori esistenti per trovare i migliori valori / tendenze futuri possibili nel business.

Quindi, sulla base di tutti i risultati di cui sopra, il data mining propone anche una serie di azioni da intraprendere.

Caratteristiche di un data warehouse

Un data warehouse è costruito sulla base delle seguenti caratteristiche dei dati come variante orientata al soggetto, integrata, non volatile e temporale.

# 1) Orientato al soggetto: Possiamo definire un data warehouse come orientato al soggetto in quanto possiamo analizzare i dati rispetto a un'area tematica specifica piuttosto che l'applicazione di dati saggi. Ciò fornisce risultati più definiti per un facile processo decisionale. Rispetto a un sistema educativo, le aree disciplinari potrebbero essere studenti, materie, voti, insegnanti, ecc.

# 2) Integrato: I dati nel data warehouse sono integrati da fonti distinte come altri database relazionali, file flat, ecc. Una quantità così grande di dati viene recuperata per un'analisi efficace dei dati. Tuttavia, potrebbero esserci conflitti di dati poiché diverse fonti di dati potrebbero essere in formati diversi. Il data warehouse porta tutti questi dati in un formato coerente in tutto il sistema.

#3) Non-volatile: Una volta che i dati sono stati caricati nel data warehouse, non possono essere modificati. Logicamente questo è accettabile in quanto la modifica frequente dei dati non consente di analizzare i dati. Le frequenti modifiche nel database operativo possono essere caricate in un data warehouse su base pianificata, durante questo processo vengono aggiunti nuovi dati, tuttavia, i dati precedenti non vengono cancellati e rimangono come dati storici.

# 4) Variante temporale: Tutti i dati storici insieme ai dati recenti nel data warehouse svolgono un ruolo cruciale per recuperare i dati di qualsiasi durata di tempo. Se l'azienda desidera report, grafici, ecc., Per confrontarli con gli anni precedenti e analizzare le tendenze, sono necessari tutti i vecchi dati che hanno 6 mesi, 1 anno o anche dati più vecchi, ecc.

Vantaggi di un data warehouse

Quando un sistema di data warehouse è produttivo, un'organizzazione ottiene i seguenti vantaggi utilizzandolo:

  1. Business Intelligence migliorata
  2. Prestazioni di sistema e query migliorate
  3. Business Intelligence da più fonti
  4. Accesso tempestivo ai dati
  5. Qualità e coerenza dei dati migliorate
  6. Intelligenza storica
  7. Elevato ritorno sull'investimento

# 1) Business Intelligence migliorata: Nei primi giorni in cui non esistevano Data Warehousing e Business Intelligence, gli utenti aziendali e gli analisti erano soliti prendere le decisioni con una quantità limitata di dati e con il proprio istinto.

DW & BI hanno apportato un cambiamento fornendo approfondimenti con fatti reali e con i dati dell'organizzazione reale raccolti in un periodo di tempo. Gli utenti aziendali possono interrogare direttamente i dati dei processi aziendali come marketing, finanza, vendite, ecc., In base alle loro esigenze di processi decisionali strategici e decisioni aziendali intelligenti.

# 2) Migliori prestazioni di sistema e query: Il data warehousing raccoglie informazioni voluminose da sistemi eterogenei e le colloca in un unico sistema in modo che un singolo motore di query possa essere utilizzato per un rapido recupero dei dati.

# 3) Business Intelligence da più fonti: Sai come funziona generalmente la Business Intelligence sui dati? Assorbe i dati da più sistemi, sottosistemi, piattaforme e origini dati per lavorare su un progetto. Tuttavia, il data warehouse risolve questo problema per la BI, consolidando tutti i dati del progetto senza duplicati.

# 4) Accesso tempestivo ai dati: Gli utenti aziendali trarranno vantaggio dal dedicare meno tempo al recupero dei dati. Hanno alcuni strumenti a portata di mano, con i quali possono interrogare i dati con una conoscenza tecnica minima e generare i report. Ciò consente agli utenti aziendali di dedicare tempo sufficiente all'analisi dei dati piuttosto che alla raccolta dei dati.

# 5) Qualità e coerenza dei dati migliorate: Il data warehousing trasforma i dati con formati di sistema di origine diversi in un unico formato. Quindi, forse le stesse unità di business che forniscono i dati al data warehouse possono riutilizzare il repository DW per i propri report e query aziendali.

Quindi, dal punto di vista dell'organizzazione, tutte le unità aziendali saranno a disposizione con risultati / rapporti coerenti. Pertanto, questi dati di buona qualità e coerenti aiutano a gestire un'attività di successo.

# 6) Intelligenza storica: Il data warehouse conserva tutti i dati storici che non vengono gestiti da alcun sistema transazionale. Questa grande quantità di dati viene utilizzata per analizzare i dati per una durata di tempo specifica e per segnalarli e per analizzare le tendenze per prevedere il futuro.

# 7) Elevato ritorno sull'investimento (ROI): Chiunque avvia un'attività aspettandosi buoni ritorni sugli investimenti, in termini di maggiori profitti e minori spese. Nel mondo dei dati reali, molti studi hanno dimostrato che l'implementazione del data warehouse e dei sistemi di Business Intelligence ha generato ricavi elevati e ridotto i costi.

A questo punto dovresti essere in grado di capire come un sistema DW ben progettato aggiunge vantaggi alla tua attività.

Svantaggi del data warehousing

Sebbene sia un sistema di grande successo, è bene conoscere alcune delle insidie ​​del sistema:

  • La creazione di un data warehouse è sicuramente un processo lungo e complesso.
  • Il costo di manutenzione è elevato poiché il sistema necessita di aggiornamenti continui. Potrebbe anche aumentare se non viene utilizzato correttamente.
  • A sviluppatori, tester e utenti dovrebbe essere fornita una formazione adeguata per comprendere il sistema DW e implementarlo tecnicamente.
  • Potrebbero esserci dati sensibili che non possono essere caricati in DW per il processo decisionale.
  • La ristrutturazione di qualsiasi processo aziendale (o) sistema di origine ha un effetto importante sul DW.

Conclusione

Ci auguriamo che questo tutorial introduttivo abbia fornito uno sfondo sui fondamenti del data warehousing. Abbiamo approfondito tutti i concetti fondamentali del Data Warehousing.

Abbiamo imparato la definizione, i tipi, le caratteristiche, i vantaggi e gli svantaggi del Data Warehousing in questo tutorial completo.

=> Leggi la serie di corsi di formazione sul data warehousing facile.

Lettura consigliata

^