Ασφάλεια τεχνητής νοημοσύνης: Οι ερευνητές έσπασαν όλες τις άμυνες — 7 ερωτήσεις που πρέπει να κάνετε στους vendors

Σύνοψη

• Ερευνητές από OpenAI, Anthropic και Google DeepMind παρέκαμψαν τις περισσότερες δημοσιευμένες άμυνες κατά LLM jailbreaks και prompt injections με ποσοστά >90%.
• Οι «στατικές» δοκιμές δεν μοιάζουν με πραγματικούς αντιπάλους: τα adaptive attacks προσαρμόζονται και καταρρίπτουν φίλτρα, training και prompting άμυνες.
• Πριν αγοράσετε λύση ασφάλειας τεχνητής νοημοσύνης, κάντε 7 συγκεκριμένες ερωτήσεις που χαρτογραφούν ακριβώς τις αποτυχίες που τεκμηριώνει η έρευνα.

Τι συνέβη: «Έσπασαν» κάθε άμυνα της τεχνητής νοημοσύνης που δοκίμασαν οι ερευνητές

Οι ερευνητές «έσπασαν» κάθε άμυνα AI που δοκίμασαν. Ομάδες ασφαλείας αγοράζουν άμυνες για τεχνητή νοημοσύνη που δεν λειτουργούν.

Ερευνητές από OpenAI, Anthropic και Google DeepMind δημοσίευσαν ευρήματα τον Οκτώβριο του 2025 που θα έπρεπε να σταματήσουν κάθε CISO στη μέση μιας διαδικασίας προμήθειας.

Στο paper τους, με τίτλο «The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against LLM Jailbreaks and Prompt Injections», δοκίμασαν 12 δημοσιευμένες άμυνες AI — πολλές από τις οποίες ισχυρίζονταν σχεδόν μηδενικά ποσοστά επιτυχίας επίθεσης.

Η ερευνητική ομάδα πέτυχε ποσοστά παράκαμψης πάνω από 90% στις περισσότερες άμυνες.

Το συμπέρασμα για τις επιχειρήσεις είναι σκληρό: πολλά προϊόντα AI security δοκιμάζονται απέναντι σε επιτιθέμενους που δεν συμπεριφέρονται όπως οι πραγματικοί επιτιθέμενοι.

Με άλλα λόγια, οι άμυνες «κερδίζουν» σε τεστ-περιβάλλοντα που είναι ευνοϊκά, αλλά καταρρέουν όταν ο αντίπαλος προσαρμόζεται.

Μεθοδολογία: prompting, training, filtering — όλα κατέρρευσαν υπό adaptive πίεση

Η ομάδα δοκίμασε άμυνες βασισμένες σε:

• Prompting-based τεχνικές (οδηγίες/πλαίσια στον ίδιο τον διάλογο),
• Training-based μεθόδους (εκπαίδευση/ενίσχυση του μοντέλου ώστε να αντιστέκεται),
• Filtering-based άμυνες (φίλτρα εισόδου/εξόδου).

Όλες απέτυχαν υπό συνθήκες adaptive attack (δηλαδή όταν ο επιτιθέμενος καταλαβαίνει τον μηχανισμό άμυνας και επαναλαμβάνει/βελτιώνει την επίθεση).

• Οι άμυνες prompting εμφάνισαν 95% έως 99% ποσοστά επιτυχίας επίθεσης σε adaptive σενάρια.
• Οι training-based μέθοδοι δεν τα πήγαν καλύτερα: οι παρακάμψεις έφτασαν 96% έως 100%.

Οι ερευνητές σχεδίασαν μια αυστηρή μεθοδολογία stress-test για να ελέγξουν τους ισχυρισμούς. Η προσέγγισή τους περιλάμβανε 14 συγγραφείς και prize pool 20.000 δολαρίων για επιτυχημένες επιθέσεις.

Βασικές έννοιες για να «διαβάσετε» σωστά την έρευνα (και τα claims των vendors)

Πριν πάτε στο επόμενο security demo, αξίζει να ευθυγραμμιστούμε σε τρεις έννοιες που επηρεάζουν άμεσα τις προμήθειες ασφάλειας τεχνητής νοημοσύνης.

Τι είναι LLM jailbreak και prompt injection;

• LLM jailbreak: τεχνικές που ωθούν ένα μεγάλο γλωσσικό μοντέλο (LLM) να παραβιάσει τους περιορισμούς του (π.χ. να δώσει οδηγίες για απαγορευμένες ενέργειες, να αποκαλύψει πολιτικές, να αγνοήσει κανόνες).
• Prompt injection: χειρισμός του input (ή/και του περιεχομένου που «βλέπει» το μοντέλο από εργαλεία, web pages, emails, αρχεία) έτσι ώστε το μοντέλο να εκτελέσει ανεπιθύμητες οδηγίες. Σε agentic ροές, μπορεί να γίνει και έμμεσο (indirect injection) — π.χ. ένα «μολυσμένο» κείμενο που διαβάζει ο agent από web.

Τι σημαίνει «adaptive attacker» (και γιατί αλλάζει τα πάντα);

Στατικές δοκιμές συχνά υποθέτουν ότι ο επιτιθέμενος:

• κάνει μία προσπάθεια,
• δεν ξέρει πώς δουλεύει η άμυνα,
• δεν προσαρμόζεται όταν απορρίπτεται.

Ο adaptive attacker κάνει το αντίθετο: παρατηρεί το αποτέλεσμα, προσαρμόζει το prompt, αλλάζει στρατηγική (π.χ. από άμεσες οδηγίες σε πολυ-βηματική προσέγγιση), αυτοματοποιεί δοκιμές και βρίσκει «σκιές» στο semantic επίπεδο.

Γιατί αυτό αφορά προμήθειες και όχι μόνο την έρευνα;

Επειδή πολλοί vendors αναφέρουν «0% jailbreak rate» ή «99.9% protection», αλλά:

• μετρούν σε μη ρεαλιστικά σενάρια,
• δεν τεστάρουν multi-turn συνομιλίες,
• δεν μοντελοποιούν επιθέσεις που εκμεταλλεύονται context και σημασιολογία.

Αυτό ακριβώς ξεγυμνώνει η συγκεκριμένη δημοσίευση: όταν η αξιολόγηση γίνει όπως θα επιτεθεί ένας πραγματικός αντίπαλος, τα νούμερα αλλάζουν δραματικά.

Info Box — Στατιστικό
Η έρευνα πέτυχε >90% bypass στις περισσότερες άμυνες, παρότι πολλές δήλωναν «σχεδόν μηδενική» επιτυχία επιθέσεων.

Γιατί τα WAF αποτυγχάνουν στο inference layer

Τα Web Application Firewalls (WAFs) είναι stateless· οι επιθέσεις σε AI δεν είναι. Αυτή η διάκριση εξηγεί γιατί οι παραδοσιακοί έλεγχοι ασφαλείας καταρρέουν απέναντι σε σύγχρονες τεχνικές prompt injection.

Οι ερευνητές χρησιμοποίησαν γνωστές τεχνικές jailbreak απέναντι στις άμυνες:

• Crescendo: εκμεταλλεύεται το συνομιλιακό context «σπάζοντας» ένα κακόβουλο αίτημα σε αθώα-φανταστικά κομμάτια, απλωμένα μέχρι και σε 10 διαδοχικές στροφές (turns) της συνομιλίας. Χτίζει «rapport» μέχρι το μοντέλο να συμμορφωθεί.
• Greedy Coordinate Gradient (GCG): αυτοματοποιημένη επίθεση που δημιουργεί jailbreak suffixes μέσω gradient-based optimization.

Αυτές δεν είναι θεωρητικές επιθέσεις. Είναι δημοσιευμένες μεθοδολογίες με λειτουργικό κώδικα. Ένα stateless φίλτρο δεν «βλέπει» την εξέλιξη μιας συνομιλίας. Βλέπει μόνο μεμονωμένες φράσεις, αποκομμένες από το πριν και το μετά.

Κάθε επίθεση εκμεταλλεύτηκε διαφορετικό «τυφλό σημείο» — απώλεια context, αυτοματοποίηση ή σημασιολογική απόκρυψη — αλλά όλες πέτυχαν για τον ίδιο λόγο: οι άμυνες υπέθεσαν στατική συμπεριφορά.

Ο Carter Rees, VP of AI στην Reputation, το έθεσε ως εξής:
«Μια φράση τόσο αθώα όσο το “ignore previous instructions” ή ένα Base64-encoded payload μπορεί να είναι τόσο καταστροφικό για μια AI εφαρμογή όσο ήταν ένα buffer overflow για το παραδοσιακό software. Η διαφορά είναι ότι οι AI επιθέσεις λειτουργούν στο σημασιολογικό επίπεδο, το οποίο η signature-based ανίχνευση δεν μπορεί να αναλύσει.»

Info Box — Πληροφορία
Inference layer είναι το στάδιο όπου το μοντέλο δέχεται input και παράγει απάντηση σε πραγματικό χρόνο. Εκεί συμβαίνουν τα prompt injections και τα jailbreaks.

Γιατί η ανάπτυξη AI ξεπερνά την ασφάλεια

Η αποτυχία των σημερινών αμυνών θα ήταν από μόνη της ανησυχητική. Όμως ο χρονισμός την κάνει επικίνδυνη.

Η Gartner προβλέπει ότι 40% των enterprise εφαρμογών θα ενσωματώνουν AI agents μέχρι το τέλος του 2026, από λιγότερο από 5% το 2025. Η καμπύλη ανάπτυξης είναι σχεδόν κάθετη. Η καμπύλη ασφάλειας είναι επίπεδη.

Ο Adam Meyers, SVP of Counter Adversary Operations στην CrowdStrike, ποσοτικοποιεί το κενό ταχύτητας:

«Ο ταχύτερος χρόνος “breakout” που παρατηρήσαμε ήταν 51 δευτερόλεπτα. Αυτοί οι αντίπαλοι γίνονται γρηγορότεροι, και αυτό κάνει τη δουλειά του αμυνόμενου πολύ πιο δύσκολη.»

Η έκθεση με τίτλο CrowdStrike 2025 Global Threat Report βρήκε ότι 79% των detections ήταν malware-free, με αντιπάλους να χρησιμοποιούν hands-on keyboard τεχνικές που παρακάμπτουν εντελώς τις παραδοσιακές endpoint άμυνες.

Τον Σεπτέμβριο του 2025, η Anthropic διέκοψε την πρώτη τεκμηριωμένη AI-orchestrated cyber operation. Εκεί, οι επιτιθέμενοι εκτέλεσαν χιλιάδες αιτήματα, συχνά πολλαπλά ανά δευτερόλεπτο, με ανθρώπινη συμμετοχή να πέφτει μόλις στο 10% έως 20% της συνολικής προσπάθειας.

Παραδοσιακές καμπάνιες τριών έως έξι μηνών συμπιέστηκαν σε 24 έως 48 ώρες. Μεταξύ των οργανισμών που υπέστησαν παραβιάσεις σχετιζόμενες με AI, το 97% δεν διέθετε access controls, σύμφωνα με το IBM 2025 Cost of a Data Breach Report.

Ο Meyers περιγράφει τη μετατόπιση τακτικών:

«Οι threat actors έχουν καταλάβει ότι το να φέρεις malware στη σύγχρονη επιχείρηση είναι σαν να προσπαθείς να μπεις σε αεροδρόμιο με μπουκάλι νερό· μάλλον θα σε σταματήσει η ασφάλεια. Αντί να φέρουν το “μπουκάλι”, βρήκαν τρόπο να αποφύγουν την ανίχνευση. Ένας τρόπος είναι να μην φέρνουν malware καθόλου.»

Ο Jerry Geisler, EVP και CISO της Walmart, βλέπει την agentic AI να εντείνει τους κινδύνους:

«Η υιοθέτηση agentic AI εισάγει εντελώς νέες απειλές ασφαλείας που παρακάμπτουν τους παραδοσιακούς ελέγχους. Αυτοί οι κίνδυνοι περιλαμβάνουν εξαγωγή δεδομένων (data exfiltration), αυτόνομη κατάχρηση APIs και κρυφή συνεργασία μεταξύ agents, τα οποία μπορεί να διαταράξουν τις λειτουργίες μιας επιχείρησης ή να παραβιάσουν κανονιστικές επιταγές.»

Info Box — Προειδοποίηση
Το shadow AI (μη εγκεκριμένη χρήση LLM από εργαζομένους) αύξησε κατά $670.000 το μέσο κόστος παραβίασης, σύμφωνα με IBM 2025.

Τέσσερα προφίλ επιτιθέμενων ήδη εκμεταλλεύονται τα κενά άμυνας AI

Αυτές οι αποτυχίες δεν είναι υποθετικές. Ήδη αξιοποιούνται σε τέσσερα διακριτά προφίλ επιτιθέμενων.

Οι συγγραφείς του paper κάνουν μια κρίσιμη παρατήρηση: οι μηχανισμοί άμυνας τελικά εμφανίζονται σε internet-scale training data.

Η «ασφάλεια μέσω απόκρυψης» (security through obscurity) δεν προσφέρει προστασία όταν τα ίδια τα μοντέλα «μαθαίνουν» πώς λειτουργούν οι άμυνες και προσαρμόζονται δυναμικά.

Η Anthropic τεστάρει απέναντι σε adaptive campaigns 200 προσπαθειών, ενώ η OpenAI αναφέρει ανθεκτικότητα με single-attempt μετρήσεις — δείχνοντας πόσο ασυνεπή παραμένουν τα industry testing standards. Οι συγγραφείς χρησιμοποίησαν και τις δύο προσεγγίσεις. Παρ’ όλα αυτά, κάθε άμυνα έπεσε.

Ο Rees χαρτογραφεί τέσσερις κατηγορίες που πλέον εκμεταλλεύονται το inference layer:

1) Εξωτερικοί αντίπαλοι (external adversaries)

Operationalize δημοσιευμένη ερευνητική δουλειά επιθέσεων: Crescendo, GCG, ArtPrompt. Προσαρμόζουν την προσέγγισή τους στο συγκεκριμένο σχέδιο άμυνας — ακριβώς όπως έκαναν οι ερευνητές.

2) Κακόβουλοι B2B πελάτες με νόμιμη πρόσβαση API

Εκμεταλλεύονται «νόμιμη» πρόσβαση για να κάνουν reverse-engineer proprietary training data ή να αποσπάσουν πνευματική ιδιοκτησία μέσω inference επιθέσεων.

Η έρευνα βρήκε ότι επιθέσεις reinforcement learning είναι ιδιαίτερα αποτελεσματικές σε black-box σενάρια, απαιτώντας μόλις 32 sessions των πέντε γύρων το καθένα.

3) Compromised API consumers (παραβιασμένοι χρήστες/εφαρμογές που καλούν API)

Αξιοποιούν έμπιστα credentials για να εξάγουν ευαίσθητα outputs ή να «δηλητηριάσουν» downstream συστήματα μέσω χειραγωγημένων απαντήσεων.

Η έρευνα έδειξε ότι το output filtering απέτυχε τόσο άσχημα όσο και το input filtering. Search-based επιθέσεις παρήγαγαν συστηματικά adversarial triggers που διέφευγαν της ανίχνευσης — άρα οι αμφίδρομοι έλεγχοι (bi-directional) δεν πρόσφεραν επιπλέον προστασία όταν ο επιτιθέμενος προσαρμόζεται.

4) Αμελείς εσωτερικοί χρήστες (negligent insiders)

Παραμένουν το πιο συχνό vector και το πιο ακριβό. Το IBM 2025 Cost of a Data Breach Report βρήκε ότι το shadow AI πρόσθεσε $670.000 στο μέσο κόστος παραβίασης.

Όπως είπε ο Rees:

«Η πιο συχνή απειλή είναι συχνά ο αμελής insider. Το “shadow AI” είναι το φαινόμενο όπου εργαζόμενοι κάνουν paste ευαίσθητο proprietary κώδικα σε δημόσια LLMs για να αυξήσουν αποδοτικότητα. Βλέπουν την ασφάλεια ως τριβή. Οι μηχανικοί της Samsung το έμαθαν αυτό όταν proprietary κώδικας ημιαγωγών υποβλήθηκε στο ChatGPT, που διατηρεί inputs χρηστών για εκπαίδευση μοντέλου.»

Γιατί η stateless ανίχνευση αποτυγχάνει απέναντι σε συνομιλιακές επιθέσεις

Η έρευνα δείχνει συγκεκριμένες αρχιτεκτονικές απαιτήσεις που λείπουν από πολλές υλοποιήσεις:

• Normalization πριν από semantic analysis, ώστε να νικιούνται encoding και obfuscation.
• Context tracking μεταξύ των turns, για να ανιχνεύονται multi-step επιθέσεις όπως το Crescendo.
• Bi-directional filtering, ώστε να αποτρέπεται η εξαγωγή δεδομένων μέσω των εξόδων (outputs).

Η Jamie Norton, CISO στην Australian Securities and Investments Commission και αντιπρόεδρος του Δ.Σ. της ISACA, συνοψίζει την πρόκληση διακυβέρνησης:

«Ως CISOs, δεν θέλουμε να μπαίνουμε εμπόδιο στην καινοτομία, αλλά πρέπει να βάζουμε προστατευτικά κιγκλιδώματα, ώστε να μην τρέχουμε στην άγρια φύση και να διαρρέουν τα δεδομένα μας.»

7 ερωτήσεις που πρέπει να κάνετε σε προμηθευτές (vendors) ασφάλειας τεχνητής νοημοσύνης

Οι vendors θα ισχυριστούν «σχεδόν μηδενικά» ποσοστά επιτυχίας επιθέσεων, όμως η έρευνα δείχνει ότι αυτά τα νούμερα καταρρέουν υπό adaptive πίεση. Οι ηγέτες ασφάλειας χρειάζονται ξεκάθαρες απαντήσεις πριν ξεκινήσει οποιαδήποτε συζήτηση προμήθειας — γιατί κάθε ερώτηση αντιστοιχεί άμεσα σε αποτυχία που τεκμηριώνεται.

1) Ποιο είναι το bypass rate σας απέναντι σε adaptive attackers;

Όχι απέναντι σε στατικά test sets. Απέναντι σε επιτιθέμενους που ξέρουν πώς δουλεύει η άμυνα και έχουν χρόνο να επαναλάβουν. Vendor που επικαλείται «μηδενικά» rates χωρίς adaptive methodology, πουλά ψευδή αίσθηση ασφάλειας.

2) Πως ανιχνεύετε multi-turn επιθέσεις;

Το Crescendo απλώνει κακόβουλα αιτήματα σε 10 turns που φαίνονται ακίνδυνα μεμονωμένα. Τα stateless φίλτρα δεν πιάνουν τίποτα. Αν ο vendor πει «stateless», η συζήτηση τελειώνει.

3) Πως χειρίζεστε encoded payloads και obfuscation;

Το ArtPrompt κρύβει κακόβουλες οδηγίες σε ASCII art. Base64 και Unicode obfuscation περνούν δίπλα από text-based φίλτρα. Το normalization πριν την ανάλυση είναι το ελάχιστο. Μόνο signature matching σημαίνει ότι το προϊόν είναι «τυφλό».

4) Φιλτράρετε outputs όπως και inputs;

Input-only έλεγχοι δεν αποτρέπουν data exfiltration μέσω απαντήσεων του μοντέλου. Ρωτήστε τι γίνεται όταν και τα δύο επίπεδα δέχονται συντονισμένη επίθεση.

5) Πως κάνετε context tracking σε διαδοχικά turns;

Η συνομιλιακή AI απαιτεί stateful analysis. Αν ο vendor δεν μπορεί να εξηγήσει συγκεκριμένα στοιχεία υλοποίησης, πιθανότατα δεν τα έχει.

6) Πώς τεστάρετε απέναντι σε επιτιθέμενους που καταλαβαίνουν τον μηχανισμό άμυνας;

Η έρευνα δείχνει ότι οι άμυνες αποτυγχάνουν όταν ο αντίπαλος προσαρμόζεται στο συγκεκριμένο protection design. Η απόκρυψη δεν προστατεύει στο inference layer.

7) Ποιος είναι ο μέσος χρόνος ενημέρωσης άμυνας απέναντι σε νέα patterns;

Οι μέθοδοι επίθεσης είναι δημόσιες. Νέα variants εμφανίζονται εβδομαδιαία. Άμυνα που δεν προσαρμόζεται γρηγορότερα από τους επιτιθέμενους, θα μένει μόνιμα πίσω.

Πως να το κάνετε εφαρμόσιμο σε 30 ημέρες

Αν θέλετε να μετατρέψετε τα παραπάνω σε σχέδιο δράσης, σκεφτείτε ένα πλάνο 30 ημερών που δένει τεχνικά μέτρα, διαδικασίες και προμήθειες.

1. Χαρτογράφηση ροών (ημέρες 1–7): καταγράψτε πού χρησιμοποιούνται LLMs: chat UIs, helpdesks, RAG, agents που καλούν εργαλεία, internal copilots. Για κάθε ροή, σημειώστε (α) ποια δεδομένα μπαίνουν, (β) ποια συστήματα επηρεάζονται από την έξοδο, (γ) ποιος έχει πρόσβαση. Αυτό θα δείξει ποια use cases έχουν πραγματικό ρίσκο prompt injection και data exfiltration.
2. Ελάχιστα τεχνικά guardrails (ημέρες 8–15): εφαρμόστε normalization pipeline (decode Base64/Unicode, canonicalization), stateful logging ανά conversation και policy-based output redaction για PII/κλειδιά/μυστικά. Μην αρκεστείτε σε «απαγορευμένες λέξεις»: χρησιμοποιήστε κανόνες που κοιτάνε σκοπό (intent) και μοτίβα (π.χ. προσπάθεια ανάκτησης secrets, system prompt leakage).
3. Adaptive testing (ημέρες 16–23): οργανώστε μικρό red team lab: multi-turn σενάρια Crescendo, αυτοματοποιημένα suffix attempts τύπου GCG, και indirect injections μέσω περιεχομένου που «καταναλώνει» ο agent (web snippets/attachments). Μετρήστε όχι μόνο “μπλοκάρεται/δεν μπλοκάρεται”, αλλά και time-to-bypass, κόστος σε προσπάθειες, και impact (π.χ. αν έγινε tool call, αν διέρρευσαν δεδομένα).
4. Procurement και συμβόλαια (ημέρες 24–30): περάστε τις 7 ερωτήσεις σε RFP. Ζητήστε να παραδοθούν αποτελέσματα σε adaptive αξιολόγηση και να οριστεί SLA για ενημερώσεις απέναντι σε νέες τεχνικές. Επιπλέον, θεσπίστε πολιτική για shadow AI (εγκεκριμένα εργαλεία, DLP κανόνες, εκπαίδευση) ώστε να μειώσετε τον πιο συχνό ανθρώπινο παράγοντα.

Με αυτό το πλαίσιο, δεν «αγοράζετε απλώς ένα προϊόν» — χτίζετε μηχανισμό που αντέχει όταν ο αντίπαλος κινείται δεύτερος και προσαρμόζεται.

Το συμπέρασμα της έρευνας

Η έρευνα από OpenAI, Anthropic και Google DeepMind δίνει ένα άβολο αλλά καθαρό πόρισμα: οι άμυνες AI που προστατεύουν σήμερα enterprise deployments σχεδιάστηκαν για επιτιθέμενους που δεν προσαρμόζονται. Οι πραγματικοί επιτιθέμενοι προσαρμόζονται.

Κάθε επιχείρηση που τρέχει LLMs σε παραγωγή (production) θα έπρεπε να κάνει audit των σημερινών controls απέναντι στις μεθοδολογίες επίθεσης που τεκμηριώνονται σε αυτή την έρευνα. Η καμπύλη ανάπτυξης είναι κάθετη, ενώ η καμπύλη ασφάλειας επίπεδη. Σε αυτό το κενό θα συμβούν οι παραβιάσεις.

Key Takeaways (για CISOs και ομάδες προμηθειών)

• Μην αξιολογείτε ασφάλεια AI με στατικά tests: απαιτείται adaptive red teaming και multi-turn σενάρια.
• Προϊόντα που βασίζονται σε stateless filtering και signatures είναι ανεπαρκή απέναντι σε semantic επιθέσεις.
• Βάλτε απαιτήσεις για normalization, context tracking, και output controls σε RFPs και συμβόλαια.
• Η οργανωσιακή πραγματικότητα (shadow AI, agentic workflows, API access) είναι ήδη το πεδίο όπου θα γίνουν οι παραβιάσεις.