Ο ρόλος της GPU στην εποχή της Τεχνητής Νοημοσύνης

Κάθε φορά που ανοίγω το task manager του υπολογιστή μου και βλέπω τη GPU utilization να φτάνει το 99% ενώ τρέχει ένα deep learning model, νιώθω μια περίεργη ικανοποίηση.

Δεν είναι μόνο η ταχύτητα — είναι η συνειδητοποίηση ότι αυτό το κομμάτι του hardware, που αρχικά σχεδιάστηκε για να κάνει τα videogames να φαίνονται όμορφα, έχει γίνει το απόλυτο εργαλείο για να εκπαιδεύουμε τεχνητή νοημοσύνη.

Σήμερα, καθώς τα μεγάλα γλωσσικά μοντέλα κυριαρχούν στις συζητήσεις και οι generative αλγόριθμοι δημιουργούν εικόνες που μοιάζουν πραγματικές, η GPU δεν είναι απλά ένα peripheral — είναι το θεμέλιο πάνω στο οποίο χτίζεται όλη αυτή η επανάσταση.

Από τα Pixels στα Tensors: Η εξέλιξη της Graphics Processing Unit

Όταν η NVIDIA παρουσίασε το GeForce 256 το 1999 ως την πρώτη “GPU”, κανείς δεν φανταζόταν ότι είκοσι χρόνια αργότερα αυτή η τεχνολογία θα έτρεφε ChatGPT και Stable Diffusion.

Εκείνη την εποχή, το μοναδικό που μας ενδιέφερε ήταν αν θα παίζαμε Quake III με καλύτερα frame rates.

Η αρχιτεκτονική των GPU εξελίχθηκε για να επεξεργάζεται γραφικά — κυρίως transformations, lighting και rasterization.

Αυτό που έκανε τις GPU ιδανικές για graphics ήταν η ικανότητα τους να εκτελούν χιλιάδες απλές πράξεις ταυτόχρονα.

Κάθε pixel μιας οθόνης μπορεί να υπολογιστεί ανεξάρτητα, άρα χρειαζόμασταν massive parallelism.

Η στιγμή που άλλαξε όλα ήταν όταν κάποιοι researchers συνειδητοποίησαν ότι οι πράξεις πινάκων που χρειαζόμαστε στο machine learning — matrix multiplications και convolutions — είναι εξαιρετικά παρόμοιες με αυτές που εκτελούν οι GPU για τα γραφικά.

Η CUDA (Compute Unified Device Architecture) που κυκλοφόρησε το 2007 έκανε τις GPU programmable για γενικού σκοπού υπολογισμούς.

Ξαφνικά, είχαμε στα χέρια μας χιλιάδες processing cores που μπορούσαν να τρέξουν παράλληλα οποιονδήποτε αλγόριθμο θέλαμε.

CPU vs GPU: Φιλοσοφίες σχεδιασμού και Architectural Trade-offs

Η θεμελιώδης διαφορά μεταξύ CPU και GPU είναι φιλοσοφική. Ένας σύγχρονος CPU, όπως ο AMD Ryzen 9 7950X ή ο Intel Core i9-13900K, έχει ίσως 16-24 cores.

Κάθε core είναι απίστευτα sophisticated: έχει branch prediction, out-of-order execution, μεγάλες caches (L1, L2, L3), και μπορεί να τρέξει πολύπλοκα threads με minimal latency.

Ο CPU είναι σχεδιασμένος για να εκτελεί σειριακά tasks γρήγορα και αποδοτικά. Έχει την ευφυΐα να μαντέψει τι θα χρειαστείς στη συνέχεια και να το προφορτώσει.

Από την άλλη, μια σύγχρονη GPU όπως η NVIDIA RTX 4090 έχει 16,384 CUDA cores. Το κάθε core είναι απίστευτα απλό σε σχέση με έναν CPU core — δεν έχει όλα αυτά τα fancy features. Αλλά υπάρχουν χιλιάδες από αυτά.

Η φιλοσοφία είναι: “Αντί να κάνω μία πράξη εξυπνότερα, θα κάνω δέκα χιλιάδες πράξεις ταυτόχρονα.”

Για το machine learning, αυτή η προσέγγιση είναι χρυσός.

Όταν πρέπει να πολλαπλασιάσεις δύο matrices 1024×1024, δεν χρειάζεσαι έξυπνο branch prediction — χρειάζεσαι brute force parallelism.

Το memory subsystem είναι επίσης ριζικά διαφορετικό. Οι CPUs έχουν μικρότερο αλλά πιο έξυπνο memory controller με focus στο να μειώνουν το latency.

Οι GPUs έχουν τεράστιο memory bandwidth — η RTX 4090 φτάνει τα 1008 GB/s με GDDR6X memory.

Αυτό είναι κρίσιμο όταν τρέχεις neural networks που χρειάζονται να μετακινούν τεράστιες ποσότητες δεδομένων συνεχώς μεταξύ memory και compute units.

Parallel Computing και η φύση των Neural Networks

Η αλήθεια είναι ότι τα neural networks είναι από τη φύση τους embarrassingly parallel.

Όταν κάνεις forward pass σε ένα convolutional layer, κάθε output neuron υπολογίζεται ανεξάρτητα από τους άλλους.

Όλα τα weights πολλαπλασιάζονται με τα inputs τους, προστίθενται, και περνούν από μια activation function.

Αυτή η διαδικασία επαναλαμβάνεται εκατομμύρια φορές — και κάθε φορά είναι η ίδια πράξη με διαφορετικά δεδομένα.

Αυτό ακριβώς λύνουν οι GPUs: Single Instruction, Multiple Data (SIMD) parallelism.

Όταν πεις στη GPU “πολλαπλασίασε αυτά τα δύο tensors”, δεν το κάνει σειριακά — σπάει το πρόβλημα σε χιλιάδες μικρότερες πράξεις και τις εκτελεί όλες ταυτόχρονα.

Η RTX 4090 με τα 16,384 CUDA cores της μπορεί να εκτελέσει 16,384 floating-point operations στον ίδιο clock cycle.

Σε σύγκριση, ένας 16-core CPU θα έκανε maximum 16 operations ταυτόχρονα (στην πραγματικότητα λιγότερες λόγω hyperthreading και scheduling).

Το throughput είναι τεράστιο. Η RTX 4090 έχει 82.6 TFLOPS (trillion floating-point operations per second) για FP32 operations.

Ο Core i9-13900K έχει περίπου 1.5 TFLOPS. Η διαφορά είναι πάνω από 50 φορές.

Αυτό εξηγεί γιατί το training ενός BERT model που θα έπαιρνε εβδομάδες σε CPU, γίνεται σε λίγες ώρες με μια καλή GPU.

Tensor Cores: Specialized Hardware για Matrix Operations

Το 2017, η NVIDIA εισήγαγε τους Tensor Cores με την αρχιτεκτονική Volta. Αυτό ήταν game-changer.

Οι Tensor Cores είναι specialized processing units σχεδιασμένοι αποκλειστικά για mixed-precision matrix multiply-accumulate operations.

Ενώ ένας κανονικός CUDA core κάνει μία πράξη τη φορά, ένας Tensor Core κάνει ολόκληρη matrix operation σε ένα clock cycle.

Συγκεκριμένα, οι Tensor Cores εκτελούν την πράξη D = A × B + C, όπου A, B, C, D είναι matrices. Για ένα 4×4 matrix, αυτό σημαίνει 64 multiply operations και 64 add operations — συνολικά 128 operations σε ένα single cycle.

Στην πράξη, οι σύγχρονοι Tensor Cores (4th generation στις Ada Lovelace GPUs) μπορούν να δουλέψουν με διάφορα formats:

• FP32 (full precision): Για inference όπου χρειάζεσαι accuracy
• FP16/BF16 (half precision): Για training με λιγότερη memory footprint
• INT8: Για optimized inference με quantization
• FP8: Νεότερο format για ακόμα πιο compressed representations

Η χρήση mixed precision είναι standard practice πια.

Όταν εκπαιδεύω ένα vision transformer, κάνω τους περισσότερους υπολογισμούς σε FP16 για ταχύτητα, αλλά κρατάω τα gradients και τα critical weights σε FP32 για numerical stability.

Αυτό μου δίνει 2-3x speedup χωρίς να θυσιάζω accuracy.

Memory Hierarchy: Το Bottleneck που Κανείς δεν Μιλάει

Εδώ είναι που γίνονται τα πράγματα ενδιαφέροντα. Οι περισσότεροι νομίζουν ότι το compute power είναι το μόνο που μετράει.

Αλλά στην πραγματικότητα, το memory bandwidth και το latency είναι συχνά τα πραγματικά bottlenecks. Οι GPUs έχουν πολύπλοκη memory hierarchy:

Registers: Το πιο γρήγορο memory, κάθε thread έχει το δικό του register file. Ελάχιστο latency, αλλά πολύ περιορισμένο σε μέγεθος.

Shared Memory/L1 Cache: Κοινή μνήμη μεταξύ threads στο ίδιο streaming multiprocessor (SM). Στις Ada GPUs, έχουμε 128 KB combined L1/Shared memory ανά SM. Εδώ κάνουμε tile the computations και reuse data για να μειώσουμε τα global memory accesses.

L2 Cache: Centralized cache που μοιράζονται όλοι οι SMs. Η RTX 4090 έχει 72 MB L2. Αυτό βοηθάει σημαντικά στο να cache-άρουμε frequently accessed data.

Global Memory (VRAM): Το main GPU memory — GDDR6 ή GDDR6X. Μεγάλη χωρητικότητα (24GB στην RTX 4090) αλλά σχετικά υψηλό latency σε σύγκριση με τα άλλα layers.

Το κλειδί για performance είναι να minimize-άρουμε τα global memory accesses. Κάθε φορά που χρειάζεται να πάμε στο VRAM, χάνουμε εκατοντάδες clock cycles.

Γι’ αυτό οι καλοί CUDA programmers κάνουν extensive use της shared memory — φορτώνουν ένα tile του data, κάνουν όλους τους υπολογισμούς τους, και μετά γράφουν πίσω.

Αυτό είναι που λέμε “memory-bound” vs “compute-bound” operations.

Στο training μεγάλων models, το memory capacity γίνεται το limiting factor. Ένα GPT-3 sized model με 175 billion parameters χρειάζεται τεράστια VRAM. Για αυτό χρησιμοποιούμε techniques όπως:

• Gradient checkpointing: Trade compute για memory κάνοντας recompute μερικά intermediate activations
• Mixed precision training: Χρήση FP16 για να μειώσουμε το memory footprint
• Model parallelism: Κατανομή του model σε πολλές GPUs

Training vs Inference: Διαφορετικά Workloads, διαφορετικές Ανάγκες

Υπάρχει μια τεράστια διαφορά μεταξύ training και inference που συχνά παραβλέπεται. Όταν κάνεις training, εκτελείς τόσο forward pass όσο και backward pass (backpropagation).

Πρέπει να κρατήσεις όλα τα intermediate activations στη μνήμη για να υπολογίσεις τα gradients. Τα memory requirements είναι τεράστια — συνήθως 3-4x περισσότερο από το inference.

Για training επίσης χρειάζεσαι higher precision. FP32 ή τουλάχιστον mixed precision FP16/FP32.

Τα gradients μπορεί να είναι πολύ μικρά, και η numerical precision είναι critical για convergence.

Το throughput δεν είναι το μόνο που μετράει — χρειάζεσαι stability και reproducibility.

Στο inference, τα πράγματα είναι πιο απλά. Κάνεις μόνο forward pass, δεν χρειάζεται backpropagation.

Τα memory requirements πέφτουν δραματικά. Μπορείς επίσης να κάνεις aggressive optimizations:

Quantization: Μετατροπή των weights από FP32 σε INT8 ή ακόμα και INT4. Αυτό μειώνει το model size κατά 4-8x και επιταχύνει το inference σημαντικά. Η σύγχρονη post-training quantization μπορεί να κρατήσει >95% του original accuracy.

Pruning: Αφαίρεση weights που έχουν μικρή συνεισφορά. Unstructured pruning μπορεί να αφαιρέσει 50-70% των weights με minimal accuracy loss. Structured pruning (αφαίρεση ολόκληρων channels) είναι πιο hardware-friendly.

Knowledge distillation: Εκπαίδευση μικρότερου “student” model να μιμηθεί ένα μεγαλύτερο “teacher” model. Το student είναι πολύ πιο γρήγορο για inference.

Για production inference, συχνά χρησιμοποιούμε specialized hardware όπως NVIDIA TensorRT ή Intel OpenVINO που κάνουν extensive graph optimizations — fusing operations, eliminating redundant computations, optimizing memory layouts.

CUDA και το Programming Model της GPU

Δεν μπορώ να μιλήσω για GPUs στην AI χωρίς να αναφέρω το CUDA. Η CUDA είναι το programming interface που μας επιτρέπει να γράψουμε κώδικα που τρέχει στη GPU.

Το model είναι σχετικά straightforward: γράφεις kernels (συναρτήσεις που τρέχουν στη GPU) και τις καλείς από τον host (CPU) code.

Ένα απλό παράδειγμα vector addition:

__global__ void vectorAdd(float *a, float *b, float *c, int n) {
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    if (idx < n) {
        c[idx] = a[idx] + b[idx];
    }
}

// Host code
int main() {
    int n = 1024 * 1024;
    size_t bytes = n * sizeof(float);
    
    // Allocate memory on GPU
    float *d_a, *d_b, *d_c;
    cudaMalloc(&d_a, bytes);
    cudaMalloc(&d_b, bytes);
    cudaMalloc(&d_c, bytes);
    
    // Copy data to GPU
    cudaMemcpy(d_a, h_a, bytes, cudaMemcpyHostToDevice);
    cudaMemcpy(d_b, h_b, bytes, cudaMemcpyHostToDevice);
    
    // Launch kernel with 256 threads per block
    int threadsPerBlock = 256;
    int blocksPerGrid = (n + threadsPerBlock - 1) / threadsPerBlock;
    vectorAdd<<<blocksPerGrid, threadsPerBlock>>>(d_a, d_b, d_c, n);
    
    // Copy result back
    cudaMemcpy(h_c, d_c, bytes, cudaMemcpyDeviceToHost);
}

Η βασική ιδέα είναι ότι ορίζεις ένα grid από blocks, και κάθε block έχει multiple threads.

Κάθε thread εκτελεί τον ίδιο kernel code αλλά με διαφορετικό thread ID, άρα δουλεύει σε διαφορετικά data.

Στην πράξη, σπάνια γράφουμε raw CUDA για machine learning. Χρησιμοποιούμε high-level frameworks όπως:

• PyTorch: Το torch.cuda module χειρίζεται όλη τη CUDA complexity
• TensorFlow: Automatic GPU acceleration με tf.device
• JAX: Functional approach με XLA compilation
• cuDNN: NVIDIA’s library για optimized deep learning primitives

Αυτά τα frameworks έχουν highly optimized implementations για όλες τις standard operations (convolutions, matrix multiplications, activations), οι οποίες είναι πολύ πιο γρήγορες από ό,τι θα μπορούσαμε να γράψουμε εμείς.

Multi-GPU Scaling: Στρατηγικές κατανεμημένης εκπαίδευσης

Όταν το model σου είναι τόσο μεγάλο που δεν χωράει σε μία GPU, ή όταν θέλεις να επιταχύνεις το training, χρειάζεσαι multi-GPU setup. Υπάρχουν τρεις κύριες στρατηγικές:

Data Parallelism: Το πιο common approach. Κάθε GPU έχει ένα complete copy του model. Κάθε iteration, διαφορετικό batch πηγαίνει σε κάθε GPU. Μετά το forward και backward pass, τα gradients synchronize-άρονται across GPUs (συνήθως με all-reduce operation) και όλα τα models ενημερώνονται με τα averaged gradients.

Model Parallelism: Το model κόβεται σε κομμάτια και κάθε GPU παίρνει ένα κομμάτι. Για παράδειγμα, τα πρώτα layers σε GPU1, τα μεσαία σε GPU2, τα τελευταία σε GPU3. Τα activations περνάνε από GPU σε GPU σειριακά. Αυτό χρησιμοποιείται όταν το model είναι τόσο μεγάλο που δεν χωράει καν σε μία GPU.

Pipeline Parallelism: Βελτίωση του model parallelism. Αντί να περιμένουμε να τελειώσει ένα mini-batch εντελώς πριν στείλουμε το επόμενο, σπάμε κάθε mini-batch σε micro-batches και τα pipeline-άρουμε. Ενώ GPU1 δουλεύει στο micro-batch 2, η GPU2 δουλεύει στο micro-batch 1.

Πίνακας σύγκρισης των στρατηγικών:

Στην πράξη, τα πολύ μεγάλα models (GPT-3, PaLM) χρησιμοποιούν συνδυασμό όλων αυτών — 3D parallelism: data parallelism + pipeline parallelism + tensor parallelism.

Το communication bottleneck είναι σοβαρό πρόβλημα. Γι’ αυτό χρησιμοποιούμε technologies όπως:

• NVIDIA NVLink: Inter-GPU interconnect με 600 GB/s bandwidth (πολύ ταχύτερο από PCIe)
• InfiniBand: High-speed networking για multi-node setups
• NCCL (NVIDIA Collective Communications Library): Optimized για multi-GPU communication patterns

Τεχνικές ενεργειακής απόδοσης και βελτιστοποίησης

Κάτι που συχνά ξεχνάμε είναι ότι οι GPUs καίνε τεράστια ποσότητα ενέργειας. Η RTX 4090 έχει TDP 450W. Μια DGX A100 με 8 GPUs καίει κυριολεκτικά περισσότερο από 6.5 kW.

Όταν εκπαιδεύεις ένα μεγάλο language model για εβδομάδες, το energy cost είναι σημαντικό — τόσο οικονομικά όσο και περιβαλλοντικά.

Γι’ αυτό η βελτιστοποίηση για efficiency δεν είναι μόνο θέμα ταχύτητας — είναι και sustainability. Κάποιες τεχνικές που χρησιμοποιώ:

Mixed Precision Training: Όπως ανέφερα, FP16 operations είναι 2x πιο γρήγορες και καίνε λιγότερη ενέργεια από FP32. Με automatic mixed precision (AMP) στο PyTorch, παίρνεις αυτό το benefit σχεδόν δωρεάν.

Gradient Accumulation: Αντί να κάνεις backward pass κάθε iteration, accumulate-άρεις gradients για πολλά micro-batches. Αυτό σου επιτρέπει να χρησιμοποιήσεις μεγαλύτερο effective batch size χωρίς να χρειάζεσαι περισσότερη memory.

Efficient Architectures: Νεότερες αρχιτεκτονικές όπως οι EfficientNets ή τα Vision Transformers με linear attention έχουν σχεδιαστεί να δίνουν καλύτερο accuracy-per-FLOP ratio. Ένα EfficientNet-B0 είναι πολύ πιο αποδοτικό από ένα ResNet-50 με παρόμοια accuracy.

Early Stopping και Learning Rate Scheduling: Να μην over-train-άρεις. Χρήση validation metrics για να σταματήσεις όταν δεν βλέπεις βελτίωση. Cosine annealing ή one-cycle learning rate policies μειώνουν το total training time.

Dynamic GPU Utilization: Όταν δεν χρησιμοποιείς τη GPU, downscale-άρε την. Τα σύγχρονα drivers υποστηρίζουν dynamic power management.

Τι έρχεται κατά τα επόμενα χρόνια

Βλέποντας προς το μέλλον, βλέπω ορισμένες σαφείς τάσεις. Τα Transformer models έχουν αλλάξει το landscape εντελώς.

Το attention mechanism είναι memory-intensive αλλά incredible powerful. Οι GPU vendors αντιδρούν με specialized attention engines.

Η H100 Hopper της NVIDIA έχει transformer engine που accelerate-άρει ειδικά τα attention operations.

Το άλλο μεγάλο trend είναι το sparsity. Τα περισσότερα neural networks έχουν πολλά weights κοντά στο zero.

Structured sparsity (όπως το 2:4 sparsity που υποστηρίζουν οι Ampere GPUs) επιτρέπει 2x speedup με minimal accuracy loss.

Το hardware υποστηρίζει natively sparse operations, skipping τα zero computations.

Το photonic computing είναι επίσης στο radar. Αντί για ηλεκτρονικά signals, χρησιμοποιούμε φως για computations. Υπόσχεται dramatically lower latency και power consumption.

Οι πρώτες photonic neural network accelerators αρχίζουν να εμφανίζονται, αν και είμαστε ακόμα χρόνια μακριά από mainstream adoption.

Τέλος, το neuromorphic computing — hardware που μιμείται τον ανθρώπινο εγκέφαλο με spiking neurons.

Το Intel Loihi ή το IBM TrueNorth είναι παραδείγματα. Extreme energy efficiency για συγκεκριμένα tasks, αλλά δεν είναι general-purpose ακόμα.

Συμπεράσματα: Η συμβίωση Hardware και Algorithms

Κοιτάζοντας όλη αυτή την εξέλιξη, είναι φανερό ότι η GPU δεν είναι απλά ένα tool — είναι co-evolving με τα algorithms.

Οι architectures που σχεδιάζουμε (transformers, efficient convolutions, sparse models) επηρεάζονται από το τι μπορεί να κάνει καλά το hardware. Και το hardware εξελίσσεται με βάση τις ανάγκες των algorithms.

Αυτή η συνεργασία μεταξύ silicon και software είναι που οδηγεί την τεχνητή νοημοσύνη μπροστά.

Κάθε φορά που βλέπω ένα νέο state-of-the-art model να εμφανίζεται, σκέφτομαι τα terabytes δεδομένων που επεξεργάστηκαν, τα petaFLOPS που εκτελέστηκαν, και τα kilowatts που κάηκαν για να το εκπαιδεύσουμε.

Πίσω από κάθε εντυπωσιακό AI demo υπάρχει hardware που το κάνει δυνατό.

Είμαστε σε ένα σημείο όπου το computational power δεν είναι πια το μόνο bottleneck — είναι τα δεδομένα, οι αλγόριθμοι, και κυρίως η δημιουργικότητα των researchers που καθορίζουν τα όρια.

Αλλά χωρίς τις GPUs και τις capabilities που προσφέρουν, θα ήμασταν ακόμα στην εποχή των shallow networks και των hand-crafted features.

Η επανάσταση που ζούμε δεν είναι μόνο στα models — είναι στο hardware που τα τρέχει, στα frameworks που τα κάνουν accessible, και στο ecosystem που τα περιβάλλει.

Και αυτό είναι κάτι που αξίζει να εκτιμήσουμε κάθε φορά που κάνουμε Shift+Enter σε ένα Jupyter notebook και βλέπουμε το loss να πέφτει.