Μια πρόσφατη μελέτη της Apple αποκαλύπτει ότι τα μεγάλα γλωσσικά μοντέλα (LLM), όπως το GPT-4 και το Llama3, αδυνατούν να επιδείξουν πραγματική λογική σκέψη, ιδιαίτερα σε απλές μαθηματικές εργασίες. Παρά τις εντυπωσιακές τους ικανότητες σε αρκετούς τομείς, εξακολουθούν να αντιμετωπίζουν δυσκολίες στην κατανόηση του περιεχομένου και στην επίλυση προβλημάτων που απαιτούν συλλογισμό.
Αποτυχία στην κατανόηση απλών μαθηματικών προβλημάτων
Ένα χαρακτηριστικό παράδειγμα της ανικανότητας αυτών των συστημάτων να σκεφτούν λογικά είναι το εξής πρόβλημα:
“Ο Όλιβερ διάλεξε 44 ακτινίδια την Παρασκευή και 58 το Σάββατο. Την Κυριακή μάζεψε διπλάσια από ό,τι την Παρασκευή, αλλά πέντε ήταν μικρότερα από τον μέσο όρο. Πόσα ακτινίδια έχει ο Όλιβερ;”
Οι περισσότεροι άνθρωποι μπορούν να αγνοήσουν τις άσχετες πληροφορίες, όπως το μέγεθος των ακτινιδίων, και να εστιάσουν στην ουσία του προβλήματος. Ωστόσο, τα LLM δυσκολεύονται να ξεχωρίσουν τις σχετικές από τις άσχετες πληροφορίες και να δώσουν τη σωστή απάντηση.
Ταίριασμα προτύπων αντί για λογική σκέψη
Σύμφωνα με την μελέτη της Apple, τα γλωσσικά μοντέλα δεν σκέφτονται πραγματικά. Αντίθετα, λειτουργούν μέσω της ταύτισης προτύπων, προσπαθώντας να βρουν παρόμοια παραδείγματα στις βάσεις δεδομένων τους για να απαντήσουν σε ερωτήσεις. Αυτή η προσέγγιση, αν και αποδοτική σε κάποιες περιπτώσεις, παραμένει εύθραυστη, καθώς ακόμη και μικρές αλλαγές στη διατύπωση μιας ερώτησης μπορούν να οδηγήσουν σε λάθη.
Ο Mehrdad Farajtabar, ένας από τους ερευνητές της μελέτης, εξηγεί ότι το πρόβλημα δεν βρίσκεται μόνο στα μοντέλα ανοικτού κώδικα, όπως τα Llama και Phi, αλλά και στα κορυφαία κλειστά μοντέλα, όπως το GPT-4. Η μελέτη καταλήγει στο συμπέρασμα ότι η συμπεριφορά αυτών των συστημάτων είναι περισσότερο αποτέλεσμα περίπλοκης ταύτισης προτύπων και όχι λογικής σκέψης. Ακόμη και η αλλαγή ενός ονόματος μπορεί να αλλάξει το αποτέλεσμα κατά 10%, δείχνοντας την αδυναμία των συστημάτων να κατανοήσουν πραγματικά το πρόβλημα.
Προοπτικές για βελτίωση
Οι κατασκευαστές των συστημάτων τεχνητής νοημοσύνης μπορούν να συνεχίσουν να βελτιώνουν τα LLM μέσω καλύτερων δεδομένων εκπαίδευσης και τεχνικών αναβάθμισης. Ωστόσο, όπως αναφέρει ο Farajtabar, αυτές οι βελτιώσεις ενδέχεται να οδηγήσουν σε πιο αποδοτικούς συνδυασμούς προτύπων και όχι απαραίτητα σε καλύτερη λογική σκέψη.
Η ανάγκη για διαφορετική προσέγγιση στη λογική της AI
Η μελέτη της Apple υπογραμμίζει ότι, για να αναπτυχθούν πραγματικά ευφυή συστήματα τεχνητής νοημοσύνης, θα πρέπει να αναζητηθούν νέες προσεγγίσεις στην ανάπτυξή τους. Η απλή βελτίωση των υπαρχόντων μοντέλων δεν φαίνεται να αρκεί για την επίτευξη πραγματικής κατανόησης και λογικής συλλογιστικής. Απαιτείται μεγαλύτερη εστίαση σε μοντέλα που θα βασίζονται στη λογική και την κριτική σκέψη, παρά μόνο στην ταύτιση προτύπων.
Οι εξελίξεις στην λογική της AI
Μελλοντικά, η τεχνητή νοημοσύνη θα μπορούσε να ενσωματώσει πιο εξελιγμένα συστήματα λογικής, χρησιμοποιώντας τεχνολογίες αιχμής όπως τα νευρωνικά δίκτυα και οι αλγόριθμοι μηχανικής μάθησης. Αυτά τα συστήματα θα μπορούσαν να επιτρέψουν την ανάλυση δεδομένων με πιο ορθολογικό τρόπο, κατανοώντας καλύτερα τα ερωτήματα και προσφέροντας ακριβέστερες λύσεις.
