Οι χάκερ μπορούν να χρησιμοποιήσουν έμμεση άμεση έγχυση Επιτρέπει στους αντιπάλους να χειραγωγούν πράκτορες AI με περιεχόμενο

Τα εργαλεία τεχνητής νοημοσύνης αποτελούν πλέον βασικό μέρος των καθημερινών ροών εργασίας — από προγράμματα περιήγησης που συνοψίζουν ιστοσελίδες έως αυτοματοποιημένους πράκτορες που βοηθούν τους χρήστες να λαμβάνουν αποφάσεις στο διαδίκτυο.

Καθώς αυτά τα εργαλεία γίνονται πιο ικανά, οι εισβολείς μαθαίνουν πώς να τα στρέφουν εναντίον των ανθρώπων που έχουν σχεδιαστεί να εξυπηρετούν.

Μια μέθοδος που ονομάζεται έμμεση έγχυση εντολών (IDPI) επιτρέπει στους αντιπάλους να ενσωματώνουν κρυφές οδηγίες σε συνηθισμένο περιεχόμενο ιστού, ξεγελώντας πράκτορες AI να εκτελέσουν εντολές που δεν είχαν ποτέ εξουσιοδότηση να ακολουθήσουν.

Σε αντίθεση με την άμεση έγχυση, όπου ένα άτομο πληκτρολογεί μια κακόβουλη οδηγία απευθείας σε ένα chatbot, το IDPI λειτουργεί εξ ολοκλήρου στα παρασκήνια.

Ένας εισβολέας κρύβει οδηγίες μέσα σε μια ιστοσελίδα — ενσωματωμένες σε κώδικα HTML, σχόλια χρηστών, μεταδεδομένα ή αόρατο κείμενο — και περιμένει ένα εργαλείο τεχνητής νοημοσύνης να επισκεφθεί ή να επεξεργαστεί αυτήν τη σελίδα.

Όταν το AI διαβάζει τη σελίδα ως μέρος μιας συνηθισμένης εργασίας, όπως η σύνοψη περιεχομένου ή η αναθεώρηση μιας διαφήμισης, μπορεί εν αγνοία του να ερμηνεύσει αυτές τις κρυφές οδηγίες ως νόμιμες εντολές και να ενεργήσει σύμφωνα με αυτές.

Οι ερευνητές της μονάδας 42 εντόπισαν ότι αυτή η επίθεση δεν είναι πλέον απλώς μια θεωρία. Η ανάλυσή τους της μεγάλης κλίμακας τηλεμετρίας πραγματικού κόσμου επιβεβαίωσε ότι οι επιθέσεις IDPI αναπτύσσονται ενεργά σε ζωντανούς ιστότοπους, με 22 διακριτές τεχνικές που τεκμηριώνονται για τη δημιουργία κακόβουλων ωφέλιμων φορτίων.

Τα ευρήματά τους αποκάλυψαν επίσης στόχους επιτιθέμενους που δεν είχαν τεκμηριωθεί στο παρελθόν, συμπεριλαμβανομένης της πρώτης γνωστής πραγματικής περίπτωσης IDPI που χρησιμοποιήθηκε για να παρακάμψει ένα σύστημα ελέγχου διαφημίσεων που βασίζεται σε AI.

Το εύρος της βλάβης που μπορούν να προκαλέσουν αυτές οι επιθέσεις είναι ευρύ. Οι επιτιθέμενοι έχουν χρησιμοποιήσει το IDPI για να ωθήσουν τους ιστότοπους phishing στην κατάταξη αναζήτησης μέσω δηλητηρίασης SEO, απόπειρας μη εξουσιοδοτημένων οικονομικών συναλλαγών, να αναγκάσουν τα εργαλεία AI να αποκαλύψουν ευαίσθητες πληροφορίες και ακόμη και να εκδώσουν εντολές από την πλευρά του διακομιστή που θα μπορούσαν να καταστρέψουν ολόκληρες βάσεις δεδομένων.

Σε μία περίπτωση που παρατηρήθηκε, μια μεμονωμένη ιστοσελίδα περιείχε έως και 24 ξεχωριστές απόπειρες έγχυσης, στοίβαγμα πολλαπλών μεθόδων παράδοσης για να αυξήσει τις πιθανότητες ότι τουλάχιστον μία θα φτάσει με επιτυχία στο AI.

Σε όλη την τηλεμετρία που εξετάστηκε, ο πιο συνηθισμένος στόχος εισβολέων ήταν η παραγωγή άσχετου ή ενοχλητικού προϊόντος τεχνητής νοημοσύνης, που αντιπροσωπεύει το 28,6% των περιπτώσεων, ακολουθούμενη από την καταστροφή δεδομένων στο 14,2% και την παράκαμψη μετριασμού περιεχομένου AI στο 9,5%.

Αυτό δείχνει ότι οι επιτιθέμενοι κυνηγούν συστήματα AI με ένα ευρύ φάσμα στόχων — από τη δημιουργία θορύβου χαμηλού επιπέδου έως τη σοβαρή οικονομική απάτη.

Πώς οι εισβολείς αποκρύπτουν και παραδίδουν κακόβουλα φορτία

Ένα από τα πιο σημαντικά ευρήματα σε αυτήν την έρευνα είναι η μεγάλη προσπάθεια που καταβάλλουν οι επιτιθέμενοι για να κρύψουν τις εντολές τους.

Αντί να ρίχνουν μια απλή εντολή παράκαμψης σε μια σελίδα, επιστρώνουν πολλές τεχνικές η μία πάνω στην άλλη για να αποφευχθεί η ανίχνευση τόσο από ανθρώπινους αναθεωρητές όσο και από αυτοματοποιημένους σαρωτές, διασφαλίζοντας παράλληλα ότι ο πράκτορας AI μπορεί να διαβάσει και να ενεργήσει στο περιεχόμενο.

Η πιο συχνά παρατηρούμενη μέθοδος παράδοσης, που παρατηρήθηκε στο 37,8% των περιπτώσεων, ήταν ορατό απλό κείμενο — η εισαγωγή της εντολής απευθείας σε ένα υποσέλιδο σελίδας, όπου οι περισσότεροι χρήστες δεν κοιτάζουν ποτέ.

Η απόκρυψη χαρακτηριστικών HTML ήταν η δεύτερη πιο κοινή μέθοδος με ποσοστό 19,8%, τοποθετώντας το κακόβουλο μήνυμα εντός των χαρακτηριστικών ετικετών HTML όπου είναι αόρατο στο πρόγραμμα περιήγησης αλλά αναγνώσιμο από AI.

Ακολούθησε η καταστολή απόδοσης CSS στο 16,9%, με τους εισβολείς να κάνουν το κείμενο αόρατο μηδενίζοντας τα μεγέθη γραμματοσειράς ή σπρώχνοντας το περιεχόμενο μακριά από την οθόνη.

Για το jailbreaking – πείθοντας την τεχνητή νοημοσύνη να υπακούσει στην εντολή που έγινε με ένεση παρά τα φίλτρα ασφαλείας – κυριαρχούσε η κοινωνική μηχανική, η οποία εμφανίστηκε στο 85,2% των περιπτώσεων.

Οι εισβολείς παρουσίασαν τις οδηγίες τους σαν να προέρχονταν από προγραμματιστή ή διαχειριστή, χρησιμοποιώντας ενεργοποιητές όπως “λειτουργία θεού” ή “λειτουργία προγραμματιστή” για να κάνουν το μοντέλο να πιστέψει ότι η συμμόρφωση ήταν έγκυρη και επείγουσα.

Οι ομάδες ασφαλείας και οι προγραμματιστές τεχνητής νοημοσύνης θα πρέπει να αντιμετωπίζουν το μη αξιόπιστο περιεχόμενο Ιστού ως πιθανή πηγή επίθεσης και να εφαρμόζουν επικύρωση εισόδου όπου οι πράκτορες τεχνητής νοημοσύνης επεξεργάζονται εξωτερικά δεδομένα.

Η ανάπτυξη τεχνικών επισήμανσης — ο διαχωρισμός του μη αξιόπιστου περιεχομένου από τις οδηγίες αξιόπιστου συστήματος — μπορεί να μειώσει την έκθεση σε επιθέσεις. Τα συστήματα τεχνητής νοημοσύνης θα πρέπει να ακολουθούν τον σχεδιασμό ελάχιστων προνομίων, απαιτώντας ρητή έγκριση από τον χρήστη πριν προβούν σε ενέργειες υψηλού αντίκτυπου.

Τα εργαλεία ανίχνευσης πρέπει να κινηθούν πέρα ​​από τα φίλτρα λέξεων-κλειδιών για να ενσωματώσουν ανάλυση συμπεριφοράς και ταξινόμηση πρόθεσης ικανή να συλλάβει προσπάθειες IDPI που βασίζονται σε σχήματα κωδικοποίησης, συσκότιση ή πολύγλωσσες μεθόδους για να παρακάμψουν τις άμυνες.