Αναγνώριση του είδους μιας ταινίας με trailer

Abstract

Η αυτοματοποίηση πλήθους διαδικασιών με τη χρήση τεχνικών Τεχνητής Νοημοσύνης κερδίζει ολοένα και περισσότερο έδαφος. Μια διαδικασία η οποία φαίνεται να κεντρίζει το ενδιαφέρον των ερευνητών είναι η αυτόματη αναγνώριση του είδους μιας ταινίας. Λαμβάνοντας υπόψη πως η παραγωγή ταινιών αποτελεί μία από τις μεγαλύτερες βιομηχανίες παγκοσμίως και πως η παρακολούθηση αυτών προτιμάται ως ψυχαγωγική δραστηριότητα από το μεγαλύτερο μέρος του πληθυσμού για αξιοποίηση του ελεύθερου χρόνου, μπορεί να αιτιολογηθεί αυτή η τάση για τη συγκεκριμένη αυτοματοποίηση. Σε γενικά πλαίσια, το είδος μιας ταινίας αποτελεί τον κύριο χαρακτηρισμό της και το πιο αντιπροσωπευτικό στοιχείο για την κατηγοριοποίηση της σε σύγκριση με άλλες. Το είδος είναι αυτό το οποίο μπορεί να προσελκύσει το κοινό που επιδεικνύει μια προτίμηση σε συγκεκριμένα σενάρια, σκηνικά και διαλόγους που αντιστοιχούν στο ανάλογο είδος. Επιπλέον, ανάμεσα στο πλήθος των ποικίλων ειδών υπάρχουν κάποια που χαίρουν της προτίμησης της πλειονότητας των θεατών, προσδιορίζοντας, κατ’ επέκτασιν, το επίκεντρο των κινηματογραφικών παραγωγών. Η αυτόματη αναγνώριση του είδους μιας ταινίας μπορεί να στηριχθεί σε δεδομένα που προέρχονται κυρίως από προωθητικές ενέργειες αυτής όπως η αφίσα της, ένα clip και κυρίως το trailer της. Στην εν λόγω εργασία χρησιμοποιούνται τα trailers, η συλλογή των οποίων μέσω του IMDb και του YouTube συντελεί στην κατασκευή ενός συνόλου δεδομένων με 209 trailers. Στα πλαίσια της προεπεξεργασίας του συνόλου αυτού, εφαρμόζεται μία τεχνική ανίχνευσης αντικειμένων που ονομάζεται YOLO, η οποία αναγνωρίζει το είδος των αντικειμένων και τη συχνότητα εμφάνισής τους σε σκηνές του trailer της εκάστοτε ταινίας. Τα αποτελέσματα της προεπεξεργασίας αυτής δίνουν ένα ακόμη σύνολο δεδομένων, το οποίο χρησιμοποιείται ως είσοδος για την εκπαίδευση ευφυών αλγορίθμων Τεχνητής Νοημοσύνης με σκοπό την ταξινόμηση της ταινίας βάσει είδους. Ενδιαφέρον παρουσιάζει το γεγονός ότι το συγκεκριμένο πρόβλημα ταξινόμησης χαρακτηρίζεται ως multi-label, με δεδομένο ότι μια ταινία μπορεί να ανήκει σε περισσότερα από ένα είδη. Με στόχο την επίτευξη υψηλότερων αποδόσεων, πραγματοποιείται εκτενής πειραματισμός με διαφορετικούς αλγορίθμους και παραμέτρους. Τα αποτελέσματα φανερώνουν την καταλληλότητα της μεθοδολογίας που χρησιμοποιείται στη παρούσα εργασία, επιτυγχάνοντας αρκετά καλές επιδόσεις. Παράλληλα, παρέχεται μια ερμηνεία και επεξήγηση για τα χαρακτηριστικά (επί της ουσίας τα αντικείμενα) που διαδραματίζουν το σημαντικότερο ρόλο στην αναγνώριση του είδους μιας ταινίας. Τέλος, η μεθοδολογία και τα αποτελέσματά της συγκρίνονται με τη βιβλιογραφία.

The automation of a number of processes using Artificial Intelligence techniques is gaining more and more ground. One process that seems to be of interest to researchers is the automatic recognition of the genre of a film. Given that film production is one of the largest industries in the world and that watching it is preferred as a leisure activity by the majority of the population, the tendency for this automation can be justified. In general, the genre of a film is its main characterization and the most representative element for its categorization compared to others. The genre is the one that can attract the audience that shows a preference for specific scenarios, scenes and dialogues that correspond to the specific genre. In addition, among the multitude of different genres, there are some that enjoy the preference of the majority of viewers, thus determining the focus of film producers. The automatic recognition of the genre of a movie can be based on data that comes mainly from its promotion, such as its poster, a clip and especially its trailer. In this work, trailers are employed, the collection of which through IMDb and YouTube contributes to the construction of a dataset with 209 trailers. As part of the pre-processing of this dataset, an object detection technique called YOLO is applied, which determines the type of objects and the frequency of their appearance in scenes of the trailer of each film. The results of this pre-processing provide another dataset, which is used as input for the training of intelligent Artificial Intelligence algorithms and in general the classification of the type of film. It is interesting that this classification problem is characterized as multi-label, given that a film can belong to more than one genre. In order to achieve higher evaluation results, extensive experimentation is carried out with different algorithms and parameters. The results show the appropriateness of the methodology used in the present work, achieving an acceptable performance. At the same time, an interpretation and explanation is provided for the characteristics (in essence objects) that play the most important role in the recognition of the genre of a film. Last but not least, the methodology and acquired results are compared with the literature.