ΑρχικήΔιαδίκτυοΈλλειψη ποιότητας στο ChatGPT ως βοήθημα προγραμματισμού

Έλλειψη ποιότητας στο ChatGPT ως βοήθημα προγραμματισμού

Μια μελέτη αποκάλυψε σημαντικά προβλήματα ποιότητας στις απαντήσεις του ChatGPT σε ερωτήσεις προγραμματισμού και προειδοποιεί τους χρήστες να προσέχουν κατά τη χρήση του AI chatbot στην ανάπτυξη λογισμικού.

Μια έρευνα που διεξήχθη από ερευνητές του Πανεπιστημίου Purdue έθεσε υπό αμφισβήτηση την ακρίβεια και την ποιότητα του ChatGPT στην απάντηση σε ερωτήματα προγραμματισμού που συναντώνται τυπικά στο Stack Overflow. Τα ευρήματα, τα οποία δημοσιεύτηκαν στα πρακτικά της CHI Conference on Human Factors in Computing Systems, εγείρουν σοβαρές ανησυχίες σχετικά με την ορθότητα και την πληρότητα των απαντήσεων του ChatGPT.

Η ερευνητική ομάδα, με επικεφαλής τη Samia Kabir, τον David N. Udo-Imeh, τον Bonan Kou και τον Tianyi Zhang, διεξήγαγε μια λεπτομερή ανάλυση 517 ερωτήσεων προγραμματισμού από το Stack Overflow. Στη συνέχεια, συνέκριναν τις απαντήσεις του ChatGPT σε αυτές τις ερωτήσεις με τις αποδεκτές απαντήσεις που δόθηκαν από ανθρώπινους προγραμματιστές στην πλατφόρμα.

Η μελέτη χρησιμοποίησε μια μεικτή προσέγγιση μεθόδων, η οποία συνδύαζε χειροκίνητες αναλύσεις, γλωσσικές αναλύσεις και μελέτες χρηστών, για να αποκτήσει ολοκληρωμένη εικόνα της απόδοσης του ChatGPT.

Η μάχη του ChatGPT με τις ανακριβείς πληροφορίες

Η μη αυτόματη ανάλυση διαπίστωσε ότι το 52% των απαντήσεων του ChatGPT περιείχαν ψευδείς πληροφορίες. Οι ερευνητές εντόπισαν τέσσερις κύριους τύπους σφαλμάτων: εννοιολογικά (54%), πραγματολογικά (36%), κωδικούς (28%) και ορολογία (12%). Αυτά τα αποτελέσματα υποδηλώνουν ότι ενώ το ChatGPT αγωνίζεται να καταγράψει πλήρως τις αποχρώσεις και το πλαίσιο των ερωτήσεων στον τομέα του προγραμματισμού, ωστόσο δεν τα καταφέρνει με αποτέλεσμα να υπάρχει υψηλό ποσοστό ανακρίβειας στις απαντήσεις, το οποίο δεν δικαιολογείται και είναι αδιανόητο να υφίσταται σε αυτό το επίπεδο τεχνητής νοημοσύνης

Είναι ενδιαφέρον ότι η μελέτη διαπίστωσε πως η συχνότητα και η ηλικία των ερωτήσεων προγραμματισμού επηρέασαν την ορθότητα των απαντήσεων του ChatGPT. Οι απαντήσεις σε κοινές και παλαιότερες ερωτήσεις έτειναν να έχουν λιγότερα σφάλματα από τις λιγότερο συνηθισμένες και νεότερες ερωτήσεις. Αυτό υποδηλώνει ότι η απόδοση του ChatGPT εξαρτάται σε κάποιο βαθμό από τον όγκο των διαθέσιμων πληροφοριών στα δεδομένα εκπαίδευσης.

Οι ερευνητές διαπίστωσαν επίσης ότι, αν και οι απαντήσεις του ChatGPT ήταν συχνά πληθωρικές, το 77% αυτών περιείχαν περιττές, άσχετες ή μη απαραίτητες πληροφορίες. Αυτή η πολυλογία παρατηρήθηκε ιδιαίτερα σε απαντήσεις σε εννοιολογικές ερωτήσεις και οδηγίες. Αντίθετα, οι απαντήσεις για αποσφαλμάτωση κώδικα ήταν πιο συνοπτικές, αν και όχι πάντα ταυτόσημες με τις ανθρώπινες απαντήσεις.

Παρά το υψηλό ποσοστό ανακριβειών, η μελέτη χρηστών έδειξε ότι οι συμμετέχοντες προτιμούσαν τις απαντήσεις του ChatGPT στο 35% των περιπτώσεων. Αιτίες για αυτό αναφέρθηκαν η περιεκτικότητα και η καλή διατύπωση των απαντήσεων του ChatGPT, καθώς και η ευγενική του γλώσσα. Ωστόσο, οι συμμετέχοντες παρέβλεψαν επίσης λανθασμένες πληροφορίες στις απαντήσεις του ChatGPT στο 39% των περιπτώσεων, γεγονός που υπογραμμίζει τους πιθανούς κινδύνους που ελλοχεύουν από την εμπιστοσύνη σε απαντήσεις που παράγονται από τεχνητή νοημοσύνη.

Τα αποτελέσματα της μελέτης τονίζουν την ανάγκη προσοχής κατά τη χρήση του ChatGPT για εργασίες που σχετίζονται με τον προγραμματισμό. Οι ερευνητές τόνισαν τη σημασία της επαλήθευσης της ακρίβειας των απαντήσεων του ChatGPT πριν από την υλοποίησή τους σε πραγματικά σενάρια. Επιπλέον, ζήτησαν περαιτέρω έρευνα για μεθόδους εντοπισμού και εξουδετέρωσης λανθασμένων πληροφοριών που παράγονται από chatbots τεχνητής νοημοσύνης.

Στέλιος Θεοδωρίδης
Στέλιος Θεοδωρίδης
Ο ήρωας μου είναι ο γάτος μου ο Τσάρλι και ακροάζομαι μόνο Psychedelic Trance
RELATED ARTICLES

Πρόσφατα άρθρα

Tηλέφωνα έκτακτης ανάγκης

Δίωξη Ηλεκτρονικού Εγκλήματος: 11188
Ελληνική Αστυνομία: 100
Χαμόγελο του Παιδιού: 210 3306140
Πυροσβεστική Υπηρεσία: 199
ΕΚΑΒ 166