Επισκόπηση των νευρωνικών δικτύων με εκπαιδευόμενα βάρη και επίβλεψη

Abstract

Tα νευρωνικά δίκτυα αποτελούν ένα εξαιρετικά σημαντικό πεδίο έρευνας τις τελευταίες δεκαετίες, όντας αναπόσπαστο κομμάτι πληθώρας εφαρμογών, με ιδιαίτερη έμφαση στον τομέα της αναγνώρισης προτύπων. Η εκπαίδευση των νευρωνικών δικτύων υλοποιείται με τους αλγορίθμους μάθησης. Aν και υπάρχει σαφής δυσκολία στον ακριβή καθορισμό της διαδικασίας μάθησης, στο πλαίσιο των Τεχνητών Νευρωνικών Δικτύων μπορεί να διατυπωθεί ως το πρόβλημα της αναπροσαρμογής των βαρών, αλλά και της δικτυακής αρχιτεκτονικής των συνδέσεων, ώστε το νευρωνικό δίκτυο, μετά την εκπαίδευσή του, να μπορεί αποτελεσματικά να περατώσει το συγκεκριμένο σκοπό. Το δίκτυο πρέπει να αναπροσαρμόζει τα βάρη των συνάψεών του με βάση την τροφοδότησή του από συγκεκριμένα πρότυπα εκπαίδευσης. Η απόδοση των νευρωνικών δικτύων βελτιώνεται κατά τη διάρκεια της εκπαίδευσης με προσαρμοστική τροποποίηση των τιμών των βαρών τους. Αντί να καθοδηγηθούν από ένα σύνολο κανόνων που καθορίζονται από εμπειρογνώμονες, τα τεχνητά νευρωνικά δίκτυα μαθαίνουν από θεμελειώδεις κανόνες μιας δεδομένης συλλογής χαρακτηριστικών παραδειγμάτων μάθησης. Το γεγονός αυτό αποτελεί ένα από τα σημαντικότερα πλεονεκτήματα των νευρωνικών δικτύων. Στην τρέχουσα εργασία γίνεται μια ανασκόπηση ευρέως χρησιμοποιούμενων νευρωνικών δικτύων (Perceptron, Adaline, Backpropagation, Αναδρομικά, RBF, SVM, Στοχαστικές Μηχανές), αναλύονται τα μοντέλα αυτών, η τοπολογία τους, οι κανόνες μάθησης και η εκπαίδευσή τους. Παράλληλα, δίνεται κώδικας για την υλοποίηση της εκάστοτε κατηγορίας δικτύων στο περιβάλλον του Matlab και κάποια παραδείγματα για τη βαθύτερη κατανόηση κάθε περιγραφόμενου δικτύου.

Neural networks are an extremely important field of research in the last few decades, being an integral part of a variety of applications, with particular emphasis on pattern recognition. The training of neural networks is implemented with learning algorithms. Although there is a clear difficulty in accurately defining the learning process within Artificial Neural Networks, it can be formulated as the problem of weighting, but also of network architecture and connections, so that the neural network after training can effectively accomplish its purpose. The network has to adjust its weights based on its feedback from specific training standards. The performance of neural networks improves during training with adaptive weight changes. Instead of obedience to a set of rules defined by experts, artificial neural networks learn from underlying rules from a given collection of representative learning examples. This is one of the most important advantages of neural networks. In the current textbook, a review of widely used neural networks (Perceptron, Adaline, Backpropagation, Recurrent, RBF, SVM, Stochastic Machines) is analyzed, by means of their model, topology, learning rules and training function. At the same time, particular block of code is given for the implementation of each family, in Matlab environment and some examples are shown for deeper understanding of each described network.