Η ιδέα του John Carmack για οπτική Μνήμη RAM: Ευφυής θεωρία, Πρακτικό αδιέξοδο

Η ιδέα του John Carmack για Οπτική Μνήμη: Γιατί οι οπτικές ίνες δεν θα αντικαταστήσουν τη RAM

Ο προγραμματιστής παιχνιδιών John Carmack είχε μια ιδέα που εκ πρώτης όψεως φάνταζε δελεαστική: Αντί να τοποθετούμε μαζικά τσιπ DRAM στους επιταχυντές τεχνητής νοημοσύνης (AI accelerators), θα μπορούσαμε απλώς να χρησιμοποιήσουμε ένα μακρύ καλώδιο οπτικής ίνας ως μνήμη γραμμής καθυστέρησης (delay line memory).

Τεχνικά, ο Carmack μελέτησε καλά την ιδέα, αλλά πρακτικά υπάρχουν σοβαρά εμπόδια. Ο δημιουργός του Doom αποδεικνύει ότι το μεγαλύτερο μειονέκτημα των μνημών γραμμής καθυστέρησης στο hardware τεχνητής νοημοσύνης μπορεί όντως να παρακαμφθεί.

Σε τέτοια συστήματα, τα δεδομένα μπορούν να αναγνωστούν μόνο όταν εξέλθουν από το τέλος της γραμμής.

Ο Carmack καταλήγει στο συμπέρασμα ότι αυτό δεν αποτελεί πρόβλημα εάν η οπτική ίνα χρησιμοποιείται για την αποθήκευση παραμέτρων βάρους (weight parameters), καθώς η πρόσβαση σε αυτές είναι χρονικά προβλέψιμη. Και αυτό ισχύει. Ακόμα και τεχνικά, οι προκλήσεις είναι διαχειρίσιμες.

Η Φωτονική Πυριτίου (Silicon Photonics) έχει εφαρμοστεί εδώ και καιρό στην πράξη; η Nvidia τη χρησιμοποιεί στους διακόπτες (switches) της σειράς Quantum-X800.

Η σύνδεση μίας ή περισσότερων οπτικών ινών απευθείας σε έναν επιταχυντή AI δεν αποτελεί άλυτο πρόβλημα. Ωστόσο, η ιδέα του Carmack απαιτεί πολύ χώρο.

Πόσο χώρο απαιτεί τελικά μια τέτοια ίνα;

Αυτό γίνεται φανερό αν υπολογίσει κανείς τον όγκο μιας οπτικής ίνας single-mode μήκους 200 χιλιομέτρων. Η ίνα είναι εξαιρετικά λεπτή, με το λειτουργικό τμήμα (πυρήνας και μανδύας) να έχει διάμετρο μόλις 125 μm.

Η επιφάνεια διατομής είναι επομένως μόλις 0,0123 mm². Λόγω του μήκους των 200 χιλιομέτρων – μια απόσταση όσο περίπου Αθήνα-Λαμία – προκύπτει ένας όγκος περίπου 2,45 λίτρων.

Στην πράξη θα απαιτούνταν ακόμη περισσότερος χώρος, καθώς οι οπτικές ίνες δεν σχηματίζουν έναν συμπαγή κύβο.

Για σύγκριση: Η Micron αναφέρει για μια στοίβα HBM3e (High Bandwidth Memory) διαστάσεις 11 x 11 x 0,72 mm. Αυτό αντιστοιχεί σε 87,12 mm³, δηλαδή λιγότερο από το ένα δέκατο του χιλιοστόλιτρου.

Και αυτή η μικρή μονάδα χωράει έως και 36 GByte, δηλαδή 12,5% περισσότερα από τα 200 χιλιόμετρα οπτικής ίνας! Σε τρέχοντες επιταχυντές AI βρίσκονται έως και οκτώ τέτοιες μονάδες, γεγονός που θα αντιστοιχούσε σε 1.800 χιλιόμετρα οπτικής ίνας.

Πίνακας σύγκρισης: HBM3e vs Οπτική Ίνα Carmack

Η μνήμη γραμμής καθυστέρησης θα μπορούσε σίγουρα να σμικρυνθεί, για παράδειγμα χρησιμοποιώντας έναν κύβο αντί για ίνα. Μέσα σε αυτόν, το φως θα μπορούσε να ανακλάται πολλές φορές, κάτι που ωστόσο αυξάνει την πολυπλοκότητα – και φυσικά, αυτός ο κύβος μνήμης θα έπρεπε πρώτα να αναπτυχθεί.

Αλλά και οι οπτικές ίνες δεν είναι ένα απλό προϊόν; πρέπει να κατασκευάζονται με ακρίβεια από καθαρό υλικό.

Ο αγωγός και ο μανδύας πρέπει επίσης να έχουν διαφορετική πρόσμιξη (doping) για να επιτευχθούν οι καθορισμένοι δείκτες διάθλασης, ώστε το φωτεινό σήμα να παραμένει εντός του αγωγού.

Η πρακτική εξέταση δείχνει γιατί οι μνήμες γραμμής καθυστέρησης ως RAM για υπολογιστές ήταν ένα βραχύβιο φαινόμενο. Άλλες τεχνολογίες επέτρεψαν όχι μόνο την τυχαία πρόσβαση (random access), αλλά μπορούσαν επίσης να υλοποιηθούν πιο συμπαγώς.

Το γεγονός ότι οι μνήμες γραμμής καθυστέρησης χρησιμοποιήθηκαν έστω και προσωρινά σε υπολογιστές, οφείλεται πιθανότατα στη διαθεσιμότητά τους εκείνη την εποχή.

Οι μνήμες καθυστέρησης υδραργύρου χρησιμοποιήθηκαν στον Δεύτερο Παγκόσμιο Πόλεμο για συστήματα ραντάρ και ήταν αξιόπιστες λόγω της απλής τεχνολογίας τους. Κάτι που δεν ίσχυε αρχικά για τις λυχνίες κενού.

Οι μνήμες καθυστέρησης υπάρχουν ήδη σε κάθε υπολογιστή

Ως αποθήκευση δεδομένων με την έννοια της RAM, οι μνήμες γραμμής καθυστέρησης, όπως περιγράφηκε, δεν αποτελούν πλέον θέμα συζήτησης για καλούς λόγους. Ωστόσο, είναι ευρέως διαδεδομένες και βρίσκονται σε κάθε υπολογιστή.

Όποιος έχει αναρωτηθεί ποτέ γιατί οι αγωγοί για τη RAM ή το PCIe ελίσσονται τόσο παράξενα πάνω στη μητρική πλακέτα, τις έχει ήδη ανακαλύψει: Οι φαινομενικά ανούσιες θηλιές των αγωγών χρησιμεύουν για την εξισορρόπηση των διαφορών χρόνου μετάδοσης (latency) μεταξύ διαφορετικών αγωγών σήματος.

Επίσης, στην τεχνολογία υψηλών συχνοτήτων είναι συνηθισμένες για την σκόπιμη καθυστέρηση σημάτων.

Εν τούτοις, εδώ μιλάμε για εντελώς διαφορετικές διαστάσεις: Οι αγωγοί κυμαίνονται στην κλίμακα των χιλιοστών ή εκατοστών.

Το πλεονέκτημά τους είναι ότι είναι φθηνοί στην κατασκευή και οι χρόνοι καθυστέρησης μπορούν να ρυθμιστούν με ακρίβεια. Οι μνήμες καθυστέρησης έχουν λοιπόν ακόμα νόημα ύπαρξης.

Ως αποθήκευση δεδομένων για υπολογιστές, όμως, έχουν εκλείψει δικαιολογημένα.

Γιατί η βιομηχανία αναζητά απεγνωσμένα εναλλακτικές της μνήμης;

Η πρόταση του John Carmack, παρότι πρακτικά ανεφάρμοστη λόγω χωροταξικών περιορισμών, υπογραμμίζει ένα από τα μεγαλύτερα προβλήματα της σύγχρονης πληροφορικής: το «Τείχος της Μνήμης» (Memory Wall).

Καθώς οι επεξεργαστές και οι επιταχυντές AI γίνονται εκθετικά ταχύτεροι, η τεχνολογία μνήμης δυσκολεύεται να ακολουθήσει, δημιουργώντας ένα σημείο συμφόρησης.

Τα δεδομένα δεν φτάνουν στους επεξεργαστές αρκετά γρήγορα, αφήνοντας πανίσχυρα τσιπ να «κάθονται» αδρανή περιμένοντας πληροφορίες.

Η αξία της “out-of-the-box” σκέψης

Το γεγονός ότι ένας κορυφαίος νους του software, όπως ο Carmack, ασχολείται με θεμελιώδη προβλήματα hardware, δείχνει την ανάγκη για ριζοσπαστικές λύσεις. Η ιδέα της χρήσης φωτός για αποθήκευση δεν είναι νεκρή.

Αντίθετα, η οπτική υπολογιστική (Optical Computing) θεωρείται από πολλούς το επόμενο μεγάλο βήμα μετά το πυρίτιο.

Ενώ η χρήση οπτικών ινών ως «αποθήκη» μάζας είναι ασύμφορη, η χρήση φωτονικών κυκλωμάτων για τη μεταφορά δεδομένων μέσα στο τσιπ (Optical Interconnects) είναι το μέλλον.

Αυτό θα μπορούσε να μειώσει δραματικά την κατανάλωση ενέργειας και να αυξήσει το εύρος ζώνης, λύνοντας το πρόβλημα που προσπάθησε να αντιμετωπίσει ο Carmack με διαφορετικό τρόπο.

Τι ακολουθεί μετά την HBM;

Η βιομηχανία ήδη κινείται πέρα από τις παραδοσιακές αρχιτεκτονικές:

• CXL (Compute Express Link): Μια νέα τεχνολογία που επιτρέπει τον διαμοιρασμό μνήμης μεταξύ πολλών επεξεργαστών, μειώνοντας την ανάγκη για τοπική αποθήκευση.
• Processing in Memory (PIM): Αντί να μεταφέρουμε δεδομένα στον επεξεργαστή (δαπανώντας ενέργεια και χρόνο), μεταφέρουμε την επεξεργαστική ισχύ μέσα στη μνήμη.

Συμπερασματικά, η “αποτυχία” της ιδέας του Carmack είναι διδακτική. Μας θυμίζει ότι στη μηχανική δεν αρκεί μια λύση να είναι θεωρητικά σωστή· πρέπει να είναι και χωροταξικά και οικονομικά βιώσιμη.

Ωστόσο, τέτοιου είδους πειραματισμοί είναι απαραίτητοι για να σπάσουμε τους περιορισμούς του νόμου του Moore και να περάσουμε στην επόμενη εποχή της υπολογιστικής ισχύος.