Διαδικασίες DataWarehousing. Από την θεωρία στην πρακτική εφαρμογή

Abstract

Ο σκοπός της διπλωματικής εργασίας είναι η περιγραφή ενός Data Warehouse (DW, Αποθήκης Δεδομένων) και των διαδικασιών της. Η διπλωματική εργασία χωρίζεται σε δύο μέρη , ένα θεωρητικό και ένα πρακτικό . Με λίγα λόγια , στο θεωρητικό μέρος αναλύεται τι είναι ένα DW, ποια η λειτουργία του και από ποια δομικά στοιχεία αποτελείται. Στη συνέχεια ακολουθεί το πρακτικό μέρος όπου έχει γίνει υλοποίηση ενός έργου DW, που δείχνει πως με την βοήθεια ενός «Extract, Transform, and Load» (ΕΤL)εργαλείου τα δεδομένα μεταφέρονται από την πηγή στο τελικό προορισμό, το DW. Και τέλος αναλύονται τα πλεονεκτήματα και μειονεκτήματα ενός ETL εργαλείου σε σχέση με custom ETL διαδικασίες που είναι γραμμένες εξ' ολοκλήρου με κώδικα. Η πτυχιακή εξετάζει την περίπτωση χρήσης μιας εταιρίας μαρμάρων που ονομάζεται «Κρόνος». Είναι μια από της μεγαλύτερες εταιρίες παραγωγής και εξαγωγής μαρμάρων στην Ελλάδα , και έχει σκοπό την περαιτέρω ανάπτυξη της. Η εταιρία «Κρόνος» αποτελείται από τρία κυρίως εργοστάσια που ασχολούνται με παραγωγή Μαρμάρων , παραγωγή Γρανιτών και Αδρανών Υλικών . Μάλιστα το εργοστάσιο Γρανιτών κάνει εισαγωγές από και εξαγωγές σ το εξωτερικό. Επίσης υπάρχουν και διάφορα υποκαταστήμα τα που πουλάνε τα προϊόντα της και επεκτείνουν την αγορά της . Όπως γίνεται αντιληπτό η εταιρία είναι αρκετά μεγάλη και τα δεδομένα της έρχονται από τελείως διαφορετικές πηγές (τα διαφορετικά καταστήματα και εργοστάσια) . Για να μπορεί η εταιρία να διαχειρίζεται εύκολα και παραγωγικά τα δεδομένα από τα υποκαταστήματα και τα εργοστάσια ήταν απαραίτητο να δημιουργηθεί ένα DW, μια ενιαία αποθήκη όπου θα μαζεύονται όλα τα δεδομένα που σχετίζονται με την εταιρία . Γι α το λόγο αυτό έχει φτιαχτεί μια ETL διαδικασία η οποία μαζεύει δεδομένα από διαφορετικές πηγές , τα τροποποιεί και τα αποθηκεύει σε μια και μοναδική βάση (DW). Τα δεδομένα προέρχονται από το παραγωγικό σύστημα της «Κρόνος» , τον παραγωγικό Server (ΑΙΧ Server) όπου τα δεδομένα βρίσκονται σε αρχεία Cobol. Το γεγονός ότι τα δεδομένα βρίσκονται σε Cobol αρχεία τα καθιστά άκρως δύσχρηστα για τον τελικό χρήστη. Το κύριο μειονέκτημα των cobol αρχείων είναι ότι γι α οποιαδήποτε αναφορά (report) χρειάζεται να γραφτεί ένα καινούριο cobol πρόγραμμα και να τροποποιείται κάθε φορά που χρειάζονται αλλαγές . Για να λυθεί το πρόβλημα με τη δημιουργία και συντήρηση αναφορών , η εταιρία αποφάσισε να χρησιμοποιήσει ένα Business lntelligence (ΒΙ , Επιχειρησιακής Ευφυΐας) εργαλείο . Τα ΒΙ εργαλεία δίνουν την δυνατότητα στον τελικό χρήστη να δημιουργεί και να συντηρεί μόνος του τις αναφορές του. Ωστόσο τα ΒΙ εργαλεία δεν μπορούν να διαχειρίζονται cobol αρχεία .Έτσι ένας από τους κύριους λόγους που έπρεπε να χρησιμοποιηθεί μια ETL διαδικασία είναι η μετατροπή των Cobol αρχείων σε μορφή που να είναι κατανοητή και επεξεργάσιμη από το ΒΙ εργαλείο. Τελικά δημιουργήθηκε μία Αποθήκη όπου τα δεδομένα είναι δομημένα και τροποποιημένα με τρόπο που να είναι εύχρηστα για τον τελικό χρήστη και συγχρόνως να καταγράφεται ιστορικότητα των κινήσεων της εταιρίας. Για την δημιουργία μιας Αποθήκης Δεδομένων είναι απαραίτητο να χρησιμοποιηθούν οι λεγόμενες ETL διαδικασίες. Με τον όρο ETL, αναφερόμαστε στην διαδικασία που έχει σαν σκοπό την αντιγραφή, το μετασχηματισμό και την φόρτωση των δεδομένων του παραγωγικού συστήματος στην Αποθήκη, που στην προκειμένη περίπτωση βρίσκεται στον IQ Adaptiνe Server (IQ). Η όλη διαδικασία εξαγωγής-μετασχηματισμού-φόρτωσης δεδομένων έχει πραγματοποιηθεί με ένα ETL εργαλείο, το PowerCenter της lnformatica.