Επιτάχυνση εξαγωγής χαρακτηριστικών εικόνας ORB με χρήση FPGA

Abstract

Οι συγγραφείς της παρούσας μελέτης διερεύνησαν και υλοποίησαν πειραματικά ένα σύστημα πραγματικού χρόνου ανίχνευσης και περιγραφής χαρακτηριστικών σημείων εικόνας χρησιμοποιώντας μια πλακέτα FPGA, υπό την προϋπόθεση ότι η εργασία αποτελεί το πρώτο στάδιο ενός συστήματος ∆ομής απο Κίνηση (Structure from Motion) πραγματικού χρόνου. Το σύστημα πραγματοποιήθηκε υλοποιώντας μια βελτιστοποιημένη εκδοχή του αλγορίθμου ORB με την πλακέτα FPGA Zybo z720 της Digilent, η οποία χρησιμοποιεί το Xilinx Zynq 7000 SoC. Το σύστημα δέχεται ως είσοδο βίντεο 60 καρέ ανά δευτερόλεπτο σε ανάλυση 1920x1080 με κάθε εικονοστοιχείο να αποτελείται από 24 bits (8 bit για κάθε μία από τις τρεις χρωματικές συνιστώσες κόκκινο-πράσινο-μπλε) είτε μέσω HDMI είτε μέσω μιας συνδεδεμένης κάμερας. Βίντεο κλίμακας του γκρι που ικανοποιεί τις ίδιες ιδιότητες με το εισαγόμενο βίντεο εξάγεται μέσω της δεύτερης θύρας HDMI της πλακέτας. Εάν ένα εικονοστοιχείο στο εξαγόμενο βίντεο ταξινομείται ως χαρακτηριστικό, τότε εμφανίζεται στην οθόνη ως κόκκινο. Παράλληλα, οι περιγραφείς (descriptors) του κάθε χαρακτηριστικού υπολογίζονται και είναι διαθέσιμοι για εξαγωγή (η υλοποιημένη λύση δεν τους εξάγει προς το παρόν μέσω κάποιας από τις διαθέσιμες θύρες του FPGA, αλλά τους προβάλλει με τη χρήση του ILA (Internal Logic Analyzer) block της Xilinx μέσω ενός συνδεδεμένου υπολογιστή που τρέχει το Vivado της Xilinx). ∆εδομένου ότι για το υλοποιημένο IP block (εξαγωγή και περιγραφή χαρακτηριστικών) ένα εισαγόμενο εικονοστοιχείο εξάγεται μετά από 28618 κύκλους ρολογιού σε συνδυασμό με το γεγονος πως το ρολόι των εικονοστοιχείων λειτουργεί στα 148.5 MHz, οδηγεί σε μια καθυστέρηση του IP block στα 192,7 μικροδευτερόλεπτα (28618 * 6.73400673 νανοδευτερόλεπτα). Αυτό σημαίνει πως το συνολικό σύστημα (από τη στιγμή που ένα εικονοστοιχείο εισέρχεται στην πλακέτα μέχρι τη στιγμή που το ίδιο εικονοστοιχείο εξέρχεται από την πλακέτα) είναι περίπου στα 193 μικρο δευτερόλεπτα (μια απλή διέλευση HDMI είναι στα 42 έως 63 νανοδευτερόλεπτα). Θεωρούμε ότι αυτό είναι αρκετά γρήγορο για να ικανοποιήσει τα δυνητικά χρονικά κριτήρια ενός υποθετικού μεγαλύτερου συστήματος πραγματικού χρόνου (που περιλαμβάνει την πλακέτα μας ως ένα υποσύστημα). Ως μελλοντική δουλειά μπορεί να αποτελέσει μια υλοποίηση πραγματικού χρόνου του δεύτερου σταδίου της ∆ομής από Κίνηση που αποτελείται από τα υποπροβλήματα της αντιστοίχισης χαρακτηριστικών και γεωμετρικής επαλήθευσης.

The authors of the present study investigated and implemented a real time feature extraction and description system by utilising an FPGA board, under the premise of the work being the first stage of a Structure from Motion real time pipeline. That was achieved by combining an optimised version of the ORB algorithm along with Digilent’s Zybo z720 FPGA board which includes the Xilinx Zynq 7000 SoC. The system accepts as input video of 60 frames per second in 1920x1080 resolution with each pixel consisting of 24 bits (8 bit for each colour component red-green-blue) either by HDMI or an attached camera module. Grayscale video satisfying the same attributes (as the input video) is exported through the second HDMI port of the board. If a pixel in the exported video is classified as a feature then it is showcased as red. At the same time the descriptors of each feature are calculated and are available for exporting (the implemented solution does not currently export them through one of the available board ports but showcases them through Xilinx’s ILA IP block through a connected computer running Xilinx’s Vivado). Given that for the implemented IP block (feature extraction and description) an input pixel is exported after 28618 pixel clock cycles in addition to pixel clock running at a frequency of 148.5 MHz results in the IP block having a latency of 192.7 microsecond (28618 * 6.73400673 nanosecond). This means that the whole system (from the moment a pixel is being received from the board to the moment the same pixel gets exported from the board) takes approximately 193 microseconds (a simple HDMI passthrough is at 42 to 63 nanoseconds). We consider this being fast enough to satisfy the possible time criteria a hypothetical larger real time system (that contains our board as a subpart) has to meet. The real-time implementation of the second stage of a Structure from Motion pipeline, which consists of the subproblems of feature matching and geometric verification, is proposed as future work.