Extracting and assessing plant features spatio-temporally by means of 3D sensing in apple trees

Τα δομικά χαρακτηριστικά των δέντρων αποκτούν ολοένα και μεγαλύτερη σημασία στην καλλιέργεια των οπωροφόρων δέντρων, ιδίως κατά την εφαρμογή των τεχνικών της δενδροκομίας ακριβείας. Κρίσιμα στοιχεία για την πληρέστερη εφαρμογή της αποτελούν η ακριβής εξαγωγή και επεξεργασία της δομής των δέντρων καθώς και η χωρική και χρονική παρακολούθηση των καλλιεργειών, μέσω της οποίας επιτυγχάνεται η βελτιστοποίηση των πρακτικών διαχείρισης, όπως το κλάδεμα, το αραίωμα, η επιλεκτική συγκομιδή, ο ψεκασμός με φυτοφάρμακα και λιπάσματα, του οπωρώνα. Παραδοσιακά, η συλλογή των παραπάνω πληροφοριών γινόταν μέσω χειρωνακτικής δειγματοληψίας, η οποία χαρακτηριζόταν από υψηλό κόστος εργασίας, χρόνο διεκπεραίωσης και μεγάλη πιθανότητα σφάλματος. Προς επίλυση των εν λόγω προβλημάτων, αναπτύχθηκε η τρισδιάστατη (3D) ανίχνευση, προσφέροντας νέες δυνατότητες στις γεωργικές πρακτικές και αυξάνοντας την απόδοση τους μέσω της χρήσης κατάλληλων αισθητήρων. Υπό το πλαίσιο αυτό, οι κύριοι παράγοντες που συμβάλλουν σε αυτή τη δυνατότητα είναι η συνεχιζόμενη αύξηση της επεξεργαστικής ισχύος των υπολογιστών, η μείωση κόστους και μεγέθους των ηλεκτρονικών συσκευών, η ενίσχυση της απόδοσης των διόδων εκπομπής λέιζερ. Συνεπώς, η ανάγκη για κατανόηση και φροντίδα των επιμέρους καλλιεργειών απαιτεί ακριβείς και αξιόπιστες τεχνικές επεξεργασίας δεδομένων για την εξαγωγή πληροφοριών υψηλής ευκρίνειας που χρειάζεται ο καλλιεργητής για την υποστήριξη της δενδροκομίας ακριβείας.Στην παρούσα μελέτη εφαρμόστηκαν τεχνικές δενδροκομίας ακριβείας σε μηλεώνες. Στόχος της μελέτης ήταν η εξαγωγή και ανάλυση τρισδιάστατων (3D) δομικών πληροφοριών των δέντρων σε συνάρτηση με τη φυσιολογία τους, τις ιδιότητες του εδάφους, του μικροκλίματος, την απόδοση και την ποιότητα των καρπών. Για την εκπλήρωση αυτού του στόχου, τοποθετήθηκε ένα σύστημα light detection and range (LiDAR) πάνω σε ένα τρακτέρ για τη σάρωση των σειρών του οπωρώνα.Η πρώτη συνεισφορά της παρούσας διατριβής είναι η ανάπτυξη μεθοδολογίας κατάτμησης των δέντρων με σκοπό τον εντοπισμό του εκάστοτε δέντρου σε 3D απεικόνιση, με βάση τη θέση του κορμού του σε οπωρώνες πυκνής φύτευσης. Η προσέγγιση εστιάζει σε μηλιές συστήματος παλμέτας, τα οποία χαρακτηρίζονται ως ιδιαίτερααπαιτητικά στην ανάπτυξη αλγορίθμων κατάτμησης εξαιτίας των διακλαδώσεων μεταξύ των φυτών. Αρχικά, η ακρίβεια του συστήματος LiDAR αξιολογήθηκε στον οπωρώνα χρησιμοποιώντας ένα μεταλλικό κουτί συγκεκριμένων διαστάσεων. Εν συνεχεία, ένα ιστόγραμμα πυκνότητας σημείων χρησιμοποιήθηκε για τον εντοπισμό των δέντρων με βάση τη θέση του κορμού τους, ενώ ένας κύλινδρος τοποθετήθηκε γύρω από το κορμό για την κατάτμηση του εκάστοτε δέντρου. Κατά συνέπεια, για των εξαγωγή των συμπερασμάτων της παρούσας, εκτιμήθηκαν δομικές πληροφορίες των δέντρων, όπως το ύψος, ο όγκος και η διάμετρος του κορμού. Κρίσιμο στοιχείο για την εξαγωγή των εν λόγω συμπερασμάτων αποτέλεσε ο σημαντικός συντελεστής συσχέτισης μεταξύ των χειρωνακτικών μετρήσεων επί των στοιχειών αυτών και των 3D δεδομένων που ελήφθησαν με τη χρήση του συστήματος LiDAR. Ωστόσο, αξιομνημόνευτο καθίσταται το γεγονός ότι μέσω της χρήσης του συστήματος LiDAR με το προαναφερόμενο μεταλλικό κουτί, παρουσιάστηκε αυξημένη πιθανότητα σφάλματος επί των σημείων που βρίσκονταν σε μεγαλύτερη απόσταση μεταξύ του ανοίγματος λέιζερ και του αντικειμένου.Η δεύτερη συνεισφορά σχετίζεται με την εφαρμογή των δομικών παραμέτρων εντός ενός μοντέλου υδατικού ισοζυγίου, αποσκοπώντας στην παρατήρηση της αλληλεπίδρασής τους με το μικρόκλιμα και τις ιδιότητες του εδάφους κατά τη διάρκεια της καλλιεργητικής περιόδου. Συγκεκριμένα, η φυλλική επιφάνεια (LA) και το ύψος των δέντρων, όπως αυτά υπολογίστηκαν μέσω του συστήματος LiDAR, συνδυάστηκαν με τα μετεωρολογικά δεδομένα και τις εδαφικές μεταβλητές για την εκτίμηση των ημερήσιων αναγκών των δέντρων σε νερό σε διαφορετικές περιοχές ηλεκτρικής αγωγιμότητας του εδάφους (ECa). Τα αποτελέσματα έδειξαν ότι η γεωμετρία των δέντρων αλληλοεπιδρά με την ECa, καθώς και ότι η αξιοποίηση 3D δεδομένων των φυτών και του μικροκλίματος αύξησε τη χωρική ευκρίνεια του μοντέλου υδατικού ισοζυγίου, παρέχοντας μεγαλύτερη ακρίβεια σε αντίθεση με τις παραδοσιακές μεθόδους. Επιπλέον, η εκτιμώμενη LA με το LiDAR παρουσίασε υψηλούς συσχετισμούς με το ECa σε διαφορετικές περιοχές. Παράλληλα, παρατηρήθηκε συσχέτιση μεταξύ του ECa και της συνολικής διαθέσιμης περιεκτικότητας σε νερό επί του ριζικού συστήματος, ενώ ο συνδυασμός του ECa και του LA ανέδειξε την έννοια της χωρικής επίλυσης του ισοζυγίου νερού, επιτρέποντας την πληρέστερη εκτίμηση των ημερήσιων αναγκών των δένδρων σε νερό.Εν συνεχεία, ιδιαίτερη έμφαση δόθηκε στη χωρική και χρονική εκτίμηση της γεωμετρίας των δέντρων σε 3D με τη χρήση του συστήματος LiDAR κατά τα στάδια ανάπτυξης τους. Αρχικά αναλύθηκε η χωρική επίδραση της ECa και μορφολογίας του οπωρώνα στην ανάπτυξη του όγκου των δέντρων, παρουσιάζοντας υψηλή διακύμανσηκατά τη διάρκεια της καλλιεργητικής περιόδου και σημαντική εξάρτησή της από τις ιδιότητες του εδάφους. Το σύστημα LiDAR χρησιμοποιήθηκε για τους σκοπούς της επίβλεψης της καλλιέργειας ολόκληρου του οπωρώνα κατά τη διάρκεια της περιόδου ανάπτυξης. Ο εκτιμώμενος όγκος των δένδρων συσχετίστηκε αρνητικά με την ECa σε όλες τις περιοχές του οπωρώνα (χαμηλές, μεσαίες και υψηλές), εμφανίζοντας ότι η ανάπτυξη των δέντρων σε χαμηλά επίπεδα ECa αυξήθηκε κατά περίπου 30% σε σύγκριση με τις μεσαίες και υψηλές περιοχές ECa. Αυτά τα αποτελέσματα υποδηλώνουν ότι η ανάπτυξη του δένδρου κυμαίνεται χωρικά, καθιστώντας έτσι την επίγεια σάρωση με λέιζερ μια χρήσιμη μέθοδο για τη λήψη αποφάσεων στην δενδροκομία ακριβείας.Στη συνέχεια, πραγματοποιήθηκε η εκτίμηση της LA με βάση το LiDAR συσχετίζοντας την LA των αποφυλλωμένων δέντρων με τα αντίστοιχα σημεία ανά δέντρο (PPT). Παράλληλα, η γραμμικότητα και η βαθμονομημένη ανάκλαση του LiDAR, χρησιμοποιήθηκαν για την κατάτμηση των ξυλώδων τμημάτων από τα PPT στα διαφορετικά στάδια ανάπτυξης, βελτιώνοντας τη σχέση με την χειρωνακτική LA. Οι χωρικές συσχετίσεις της LA διερευνήθηκαν με την ECa και την απόδοση κατά τη διάρκεια της περιόδου, ενώ κατασκευάστηκε ένα μοντέλο k-nearest neighbour για την πρόβλεψη της νωπής μάζας των καρπών, της διαμέτρου και ης περιεκτικότητας σε διαλυτά στερεά, μέσω της ECa και LA. Τα αποτελέσματα αυτά επιβεβαιώνουν τη χωρική και χρονική διακύμανση της ανάπτυξης του φυλλώματος, υποδηλώνοντας παράλληλα την αξία των δεδομένων της LA σε συστήματα υποστήριξης αποφάσεων που στοχεύουν στη βελτιστοποίηση της διαχείρισης των οπωρώνων.Η εκτίμηση του LA βελτιώθηκε όταν εντοπίστηκαν και αφαιρέθηκαν τα σημεία των ξυλωδών μερών, παρέχοντας υψηλότερο προσαρμοσμένο συντελεστή συσχέτισης στις 55 ημέρες μετά το σπάσιμο των οφθαλμών. Επιπρόσθετα, παρατηρήθηκε ότι η ECa και η LA συσχετίστηκαν θετικά με το μέγεθος των φρούτων. Με κίνητρο αυτούς τους συσχετισμούς, δημιουργήθηκαν μοντέλα k- nearest neighbour για να προβλέψουν την ποιότητα των φρούτων κατά τη συγκομιδή, εφαρμόζοντας το μοντέλο πρώτου έτους της μελέτης στα δεδομένα του επόμενου έτους. Με βάση τη γεωγραφική θέση και τη ECa, η ακρίβεια ταξινόμησης στην επαλήθευση του συνόλου των δεδομένων ήταν 39.7%, ενώ η ταξινόμηση με βάση τη γεωγραφική θέση και το LA οδήγησε στο 63.3%. Τα αποτελέσματα επιβεβαιώνουν τη χωρική και χρονική μεταβολή της ανάπτυξης του δένδρου.Στο τελικό τμήμα της παρούσας μελέτης, παρατηρήθηκε ότι οι δομικές παράμετροι των δέντρων μπορούν να επηρεάσουν το μέγεθος, τον αριθμό και τις ποιοτικές παραμέτρους των καρπών. Ως εκ τούτου, προτάθηκαν αλγόριθμοι ανίχνευσης των καρπών με τη χρήση του συστήματος LiDAR για την εκτίμηση της διαμέτρου τουςκατά τα στάδια ανάπτυξης του δένδρου. Σε κάθε μέτρηση, τα δέντρα σαρώθηκαν πριν και μετά την αποφύλλωση. Ο διαχωρισμός των καρπών βασίστηκε στις οριακές τιμές της βαθμονομημένης ανάκλασης του LiDAR και στα γεωμετρικά χαρακτηριστικά της γραμμικότητας και της καμπυλότητας . Η υψηλή πολυπλοκότητα της δομής των δέντρων επιβάλλει την ανάγκη δημιουργίας μιας μεθόδου αξιολόγησης που θα λαμβάνει υπόψη τους καρπούς από τα αποφυλλωμένα δέντρα ως σημείο αναφοράς. Συνεπώς η αξιολόγηση του αριθμού και της θέσης των καρπών που εντοπίζονται σε δέντρα με φύλλα πραγματοποιείται. Συγκρίνονται αυτά με τα σημεία αναφοράς που βρέθηκαν στα αποφυλλωμένα δένδρα. Τα αποτελέσματα έδειξαν την υψηλή ικανότητα του LiDAR να εντοπίζει και να υπολογίζει το μέγεθος των καρπών σε 3D, ξεπερνώντας τους περιορισμούς των συστημάτων εικόνας, τα οποία είναι ευαίσθητα στους μεταβλητούς εξωτερικούς παράγοντες που οδηγούν σε σημαντικές διακυμάνσεις στα δεδομένα.Συγκεκριμένα, πραγματοποιήθηκε ανάλυση της βαθμονομημένης ανάκλασης του LiDAR επί των στοιχείων του δέντρου, δείχνοντας διακριτές τιμές για φύλλα, ξυλώδη μέρη και καρπούς. Η διάμετρος των μήλων που υπολογίστηκε από τα φυλλωμένα δέντρα συσχετίστηκε σημαντικά με τα σημεία αναφοράς των αποφυλλωμένων δένδρων κατά τη συγκομιδή. Παράλληλα, στη σύγκριση των αποτελεσμάτων που προέκυψαν από τα δεδομένα του φυλλώματος και του αποφυλλωμένου δέντρου, ο εκτιμώμενος αριθμός των φρούτων στα φυλλωμένα δέντρα στις 120 ημέρες μετά την πλήρη άνθηση, αποτέλεσε το 94.8% των πραγματικών τιμών αναφοράς. Ο αλγόριθμος είχε ως αποτέλεσμα μέγιστες τιμές ακρίβειας 88.2%, ανάκλησης 91.0% και 89.5 F1 score σε 120 ημέρες μετά την πλήρη άνθηση.Τα μέρη αυτής της διατριβής έχουν σχεδιαστεί για την αντιμετώπιση του μελλοντικού μηχανικού οράματος υπό το πρίσμα των δύσκολων περιβαλλοντικών συνθήκων που παρατηρούνται σε οπωρώνες υψηλής πυκνότητας. Όσον αφορά την κατάτμηση των δέντρων, η ακρίβεια της προτεινόμενης μεθοδολογίας θα πρέπει να αξιολογηθεί σε διάφορα πολυετή δέντρα και συστήματα φύτευσης για την παροχή πληρέστερων αποτελεσμάτων. Η μελλοντική έρευνα θα πρέπει να διερευνήσει περαιτέρω την εφαρμογή τρισδιάστατων χωρικών και χρονικών πληροφοριών επί φυτών (π.χ. LA, όγκος) από οπωρώνες υψηλής πυκνότητας σε συστήματα εφαρμογής μεταβλητής δόσης όπως η άρδευση και η λίπανση. Σε κάθε περίπτωση, η σχέση της ποιότητας των φρούτων και του LA θα πρέπει να παρατηρηθεί σε διαφορετικές ποικιλίες και κλ