Ευφυής διαχείριση δεδομένων μεγάλου όγκου

Οι ραγδαία αναπτυσσόμενες τεχνολογίες δημιουργούν ολοένα και μεγαλύτερες ανάγκες για την ανάλυση και την αξιοποίηση των υφιστάμενων δεδομένων. Πολλοί οργανισμοί βασίζουν την βιωσιμότητα τους στην ανάλυση των δεδομένων της αγοράς αλλά και των δεδομένων που παράγουν οι ίδιοι είτε μέσω της εξαγωγής χρήσιμων στατιστικών και δεικτών απόδοσης είτε αξιοποιώντας τα κατά τη διαδικασία λήψης αποφάσεων όπου μια από τις σημαντικότερες παραμέτρους στην ανάλυση τους είναι η παράμετρος του χρόνου. Για να μπορέσει να αποθηκευτεί και να αναλυθεί ο πολλές φορές τεράστιος όγκος δεδομένων δημιουργήθηκαν νέοι μέθοδοι διαχείρισης και ανάλυσης δεδομένων. Αυτό έγινε ιδιαίτερα αισθητό με την έλευση των Big Data. Οι τεχνολογίες που αναπτύχθηκαν έδωσαν την ευκαιρία της επέκτασης των μεθόδων που υπήρχαν για τα συμβατικά δεδομένα αλλά και την δημιουργία νέων μεθόδων, τεχνικών και συστημάτων ώστε να μπορούν να παρέχουν την ίδια ή ακόμα και καλύτερη ανάλυση. Καθώς όμως η τεχνολογία προχωράει με την έλευση του IOT ο όγκος των δεδομένων αλλά και οι ροές δεδομένων αυξάνονται ραγδαία. Οι ροές αυτές θα πρέπει να αποθηκευτούν να αναλυθούν και να συνδυαστούν με άλλα δεδομένα ώστε να εξαχθούν χρήσιμες πληροφορίες. Με την έλευση του ΜL/AI ολοένα και περισσότερα διαδικασίες μπορούν να αυτοματοποιηθούν παράγοντας αυτόματα καινούργια γνώση. Ένα από το κυριότερα προβλήματα που υπάρχουν όμως είναι η έλλειψη επισημασμένων δεδομένων. Ένα από τα πιο διαδεδομένα ερωτήματα που υπάρχουν για την εξαγωγή συμπερασμάτων από τα δεδομένα είναι τα ερωτήματα κορυφογραμμής. Τα ερωτήματα κορυφογραμμής ανήκουν στην κατηγορία των multi-objective optimization προβλημάτων και έχουν ως στόχο την ανάκτηση ενός συνόλου απαντήσεων που ικανοποιεί κάποια συνήθως αντικρουόμενα κριτήρια. Η χρήση τέτοιου τύπου ερωτημάτων είναι πάντα χρήσιμη καθώς έχει πολλά πεδία εφαρμογής και μπορεί να βοηθήσει ιδιαίτερα στην διαδικασία λήψης αποφάσεων όπου υπάρχουν πολλαπλά κριτήρια για την επίτευξή ενός στόχου και η βέλτιστη λύση μπορεί να μην είναι μοναδική. Μέχρι στιγμής η βιβλιογραφία στο συγκεκριμένο ερευνητικό πεδίο εμφανίζει ένα σημαντικό πλήθος εργασιών οι οποίες κατά κύριο λόγο ασχολούνται με συμβατικά δεδομένα και υπάρχει χώρος για έρευνα στο πεδίο των Big Data. Λαμβάνοντας υπόψη όλα τα παραπάνω η διατριβή αυτή έχει ως στόχο την πραγματοποίηση μιας εκτενούς ανασκόπησης στον χώρο των ερωτημάτων κορυφογραμμής, την ανίχνευση των προδιαγραφών και των αναγκών σε δεδομένα ενός πληροφοριακού συστήματος για θαλάσσιο περιβάλλον, την ανάλυση της παραμέτρου του χρόνου στα ερωτήματα κορυφογραμμής, την ανάπτυξη ερωτημάτων κορυφογραμμής σε δενδρικές δομές ειδικά σχεδιασμένες για Big Data και την δημιουργία ενός ταξινομητή (classifier) για μεγάλα δεδομένα. Πιο αναλυτικά η πρώτη συνεισφορά είναι μια εκτενής ανασκόπηση του χώρου των ερωτημάτων κορυφογραμμής όπου θα παρουσιαστεί η οικογένεια των ερωτημάτων κορυφογραμμής με όλες τις παραλλαγές τους, την διαφοροποίηση ανάμεσα στις μεθόδους που βασίζονται η όχι σε ευρετήριο καθώς και τις εφαρμογές που έχουν τα ερωτήματα κορυφογραμμής για την επίλυση πληθώρας προβλημάτων. Μέσα από αυτή της ανασκόπηση παρουσιάζεται πως τα ερωτήματα κορυφογραμμής εξελίχθηκαν και ανοίγει ο δρόμος για την εύρεση τομέων οι οποίοι μπορούν να διερευνηθούν περαιτέρω. Στην δεύτερη συνεισφορά θα δούμε τις διάφορες πτυχές των δεδομένων στο πλαίσιο ενός θαλάσσιου πληροφοριακού συστήματος. Η ανάλυση που έγινε αφορούσε την ανασκόπηση του χώρου και των δεδομένων που χρειάζονται για την υλοποίηση ενός θαλάσσιου πληροφοριακού συστήματος καθώς και τους περιορισμούς που υπάρχουν στην επεξεργασία και την διακίνηση των δεδομένων αυτών. Μέσω της συγκεκριμένης έρευνας έγινε φανερή η έννοια των Big Data, ανιχνευθήκαν μεγάλα σύνολα δεδομένων τα οποία είναι διαθέσιμα για ανάλυση και είδαμε ότι η παράμετρος του χρόνου είναι πολύ σημαντική για την πραγματοποίηση αναλύσεων στα δεδομένα. Επίσης είδαμε του βασικότερους περιορισμούς στην διακίνηση και επεξεργασία των δεδομένων. Στην τρίτη συνεισφορά μελετάτε ο τρόπος με τον οποίο μπορεί να ενσωματωθεί η διάσταση του χρόνου στα ερωτήματα κορυφογραμμής. Η διάσταση του χρόνου είναι μια σημαντική παράμετρος στην ανάλυση των δεδομένων και στην πραγματοποίηση επερωτήσεων η οποία πολλές φορές δεν λαμβάνεται υπόψη. Με αυτήν της έρευνα θα δούμε ότι η παράμετρος του χρόνου μπορεί να επηρεάσει τα αποτελέσματα ενός ερωτήματος κορυφογραμμής κάτι που καταδεικνύει πως χρειάζεται να γίνει ιδιαίτερη ανάλυση ως προς την διάσταση του χρόνου και να παραμετροποιηθούν κατάλληλα το ερώτημα κορυφογραμμής ώστε να ενσωματωθεί η διάσταση του χρόνου σε αυτά. Η τέταρτη συνεισφορά εξετάζει την εφαρμογή των ερωτημάτων κορυφογραμμής στον χώρο των Big Data και συγκεκριμένα του SpatialHadoop. To SpatialHadoop είναι μια επέκταση του συμβατικού Hadoop το οποίο προσπαθεί να ενσωματώσει τις δενδρικές δομές που υπάρχουν για τα συμβατικά δεδομένα στο Hadoop. Μέσω αυτής της ανάλυσης μπορούμε να δούμε την συμπεριφορά των αλγορίθμων κορυφογραμμής που δεν χρησιμοποιούν κάποια ευρετηρίαση αλλά και αυτών που χρησιμοποιούν σε περιβάλλοντα Big Data και πως αποδίδουν οι υβριδικοί συνδυασμοί που χρησιμοποιούν αλγόριθμους επερωτήσεων κορυφογραμμής που δεν βασίζονται σε ευρετήρια στο ευρετηριασμένο σύνολο δεδομένων που δημιουργεί το SpatialHadoop. Τέλος ένα από τα μεγαλύτερα προβλήματα που υπάρχουν κατά την διάρκεια ανάπτυξης ενός μοντέλου μηχανικής μάθησης είναι η ελλείψει επισημασμένων δεδομένων. Η έλλειψη αυτή γίνεται ακόμα πιο αισθητή σε περιβάλλοντα Big Data καθώς εκεί λόγω όγκου είναι πιο δύσκολη η επισήμανση τους. Στην βιβλιογραφία υπάρχουν πολλοί μηχανισμοί επισήμανσης δεδομένων ανάλογα με την εφαρμογή τους αλλά δεν υπάρχουν όμως μηχανισμοί για την αποδοτική επισήμανση μεγάλου όγκου δεδομένων. Στην πέμπτη συνεισφορά δημιουργήθηκε ένας μηχανισμός επισήμανσης δεδομένων που βασίζεται στο ερωτήματα κορυφογραμμής. Η χρήση ερωτημάτων κορυφογραμμής επιτρέπει την δημιουργία των ορίων αποφάσεως αποτελούμενων από μικρό αριθμό σημείων.