Καθώς οι πράκτορες τεχνητής νοημοσύνης εξελίσσονται από βοηθούς σε αναλαμβάνοντες δράση, η αυτοματοποίηση «χρήσης υπολογιστή» γίνεται μια από τις πιο ισχυρές και επικίνδυνες δυνατότητες στην επιχειρηματική τεχνητή νοημοσύνη. Όταν ένας πράκτορας μπορεί να χειριστεί ένα λειτουργικό σύστημα και μια διεπαφή χρήστη, κληρονομεί το ίδιο τοπίο απειλής που αντιμετωπίζουν οι άνθρωποι, καθώς και νέους τρόπους αποτυχίας μοναδικούς για αυτόνομα συστήματα. Το ηλεκτρονικό ψάρεμα μέσω εξαπάτησης διεπαφής χρήστη, τα καταστροφικά κλικ και η αθόρυβη διείσδυση δεδομένων δεν αποτελούν πλέον περιπτώσεις αιχμής.
Για να ξεσυσκευάσουμε πώς φαίνεται η ασφαλής ανάπτυξη, μιλήσαμε Άντριου Περςπρώην ηγέτης της McKinsey στο Λονδίνο στον τομέα των ψηφιακών μετασχηματισμών και των μετασχηματισμών τεχνητής νοημοσύνης, ο οποίος ξεκίνησε έναν επιταχυντή GenAI στην EMEA και τώρα κατασκευάζει συστήματα τεχνητής νοημοσύνης ποιότητας προϊόντος που επικεντρώνονται στον μετρήσιμο επιχειρηματικό αντίκτυπο. Ο Andrew μοιράζεται μια πρακτική αρχιτεκτονική αναφοράς για την εξασφάλιση πρακτόρων με λειτουργικό σύστημα και UI, από το sandboxing και τα λιγότερα προνόμια έως τις λειτουργίες ελέγχου και μετά την κυκλοφορία.
Τι είναι θεμελιωδώς διαφορετικό σχετικά με το μοντέλο απειλής όταν ένας πράκτορας μπορεί να κάνει κλικ, να πληκτρολογεί και να πλοηγείται σε διεπαφές χρήστη αντί να δημιουργεί μόνο κείμενο;
Η βασική αλλαγή είναι ότι το μοντέλο παύει να είναι πηγή πληροφοριών και γίνεται χειριστής που αλλάζει πραγματικά συστήματα. Μόνο με κείμενο, ένας άνθρωπος εξακολουθεί να αποφασίζει και να ενεργεί, επομένως οι κύριοι κίνδυνοι είναι λανθασμένες συμβουλές, ψευδαισθήσεις ή χειραγώγηση που οδηγεί ένα άτομο να κάνει κάτι μη ασφαλές. Με τον έλεγχο της διεπαφής χρήστη, ο πράκτορας λαμβάνει μια αλυσίδα αποφάσεων με ασάφεια, όπως ποιον λογαριασμό να επιλέξει, ποιο παράθυρο διαλόγου να επιβεβαιώσει ή τι σημαίνει πραγματικά μια προειδοποίηση. Εκεί είναι που η υπερβολική εξάρτηση γίνεται επικίνδυνη, επειδή τα πρώιμα αποτελέσματα φαίνονται εντυπωσιακά και οι ομάδες μπορεί να αναθέτουν περισσότερα, ενώ δίνουν λιγότερη προσοχή σε κάθε βήμα. Στη συνέχεια, ένα μόνο λάθος μπορεί να έχει άμεσο αντίκτυπο, όπως η διαγραφή δεδομένων, η εσφαλμένη αποστολή πληρωμής, η αλλαγή αδειών ή η διαρροή προσωπικών δεδομένων.
Ποια είναι τα πιο ρεαλιστικά εχθρικά σενάρια εισόδου που περιμένετε να δείτε το 2026 για πράκτορες χρήσης υπολογιστών σε επιχειρήσεις;
Οι πιο ρεαλιστικές επιθέσεις θα κρύβονται μέσα σε κανονικές εισόδους της επιχείρησης, όπως μηνύματα ηλεκτρονικού ταχυδρομείου, εισιτήρια, μηνύματα συνομιλίας, έγγραφα και εσωτερικές σελίδες που διαβάζει ο πράκτορας πριν ενεργήσει. Ένας εχθρικός παράγοντας μπορεί να ενσωματώσει οδηγίες που μοιάζουν με καθοδήγηση διαδικασίας, αλλά στην πραγματικότητα κατευθύνουν τον πράκτορα προς επικίνδυνες ενέργειες, ανάκτηση δεδομένων ή αλλαγές αδειών. Η παραπλάνηση της διεπαφής χρήστη θα είναι επίσης συνηθισμένη, όταν ο πράκτορας οδηγείται σε μια σελίδα που μοιάζει με νόμιμη οθόνη σύνδεσης, έγκρισης ή ρυθμίσεων και προχωρά σαν να ήταν αξιόπιστη. Ένα άλλο συχνό σενάριο είναι η καταστροφική ασάφεια, όπου ο εισβολέας χρειάζεται μόνο τον πράκτορα να πάρει το λάθος κλάδο σε μια ροή εργασίας, να επιβεβαιώσει ένα καταστροφικό παράθυρο διαλόγου, να εξάγει λάθος σύνολο δεδομένων, να επισυνάψει λάθος αρχείο ή να μοιραστεί κάτι με λάθος κοινό. Το βασικό ζήτημα είναι ότι η εχθρική εισροή μπορεί να διαμορφώσει τόσο αυτό που πιστεύει ο πράκτορας όσο και αυτό που κάνει κλικ και οι συνέπειες είναι σιωπηλές μέχρι να γίνει ζημιά.
Πώς πρέπει οι ομάδες να σχεδιάζουν sandboxing για αυτούς τους πράκτορες και τι πρέπει να απομονώνεται από προεπιλογή στο λειτουργικό σύστημα, το πρόγραμμα περιήγησης και τα επίπεδα δικτύου;
Οι ομάδες θα πρέπει να αντιμετωπίζουν το sandboxing ως μια υποχρεωτική ιδιοκτησία υποδομής και όχι ως ένα σύνολο οδηγιών που αναμένεται να θυμάται το μοντέλο. Σε επίπεδο λειτουργικού συστήματος, οι πράκτορες θα πρέπει να εκτελούνται σε περιβάλλοντα μιας χρήσης, ερμητικά κλειδωμένα, χωρίς πρόσβαση στα διαπιστευτήρια κεντρικού υπολογιστή και χωρίς μόνιμη κατάσταση, εκτός εάν απαιτείται ρητά. Σε επίπεδο προγράμματος περιήγησης, χρησιμοποιήστε ένα αποκλειστικό προφίλ χωρίς αποθηκευμένους κωδικούς πρόσβασης, αυστηρούς ελέγχους αποθήκευσης, περιορισμένες λήψεις και πολιτικές που μειώνουν την πιθανότητα μη ασφαλών επεκτάσεων ή απροσδόκητης επιμονής. Σε επίπεδο δικτύου, από προεπιλογή η έξοδος στη λίστα επιτρεπόμενων και περιορισμός της εσωτερικής προσβασιμότητας μέσω ελεγχόμενων πυλών με ισχυρή ταυτότητα και καταγραφή. Αυτό συνδέεται επίσης με την προηγούμενη στρατηγική απόφαση για τη χρήση μοντέλων τρίτων ή εσωτερικών μοντέλων, επειδή η παραμονή δεδομένων, η αποθήκευση και οι εγγυήσεις παρόχου μπορούν να υπαγορεύσουν τον τρόπο δομής της απομόνωσης και το πού μπορεί να συμβεί με ασφάλεια το συμπέρασμα.
Πώς φαίνεται στην πράξη το ελάχιστο προνόμιο για έναν πράκτορα που χρειάζεται ευρεία ικανότητα και πώς μπορείτε να αποτρέψετε το ερπυσμό των προνομίων με την πάροδο του χρόνου;
Το ελάχιστο προνόμιο σημαίνει ότι ο πράκτορας ξεκινά με ελάχιστη πρόσβαση για ανάγνωση ρουτίνας και πλοήγηση και λαμβάνει μόνο αυξημένα δικαιώματα για μια συγκεκριμένη ενέργεια, σε ένα συγκεκριμένο σύστημα, για περιορισμένο χρονικό διάστημα, που συνδέεται με ένα σαφές αίτημα χρήστη. Η ευρεία ικανότητα δεν απαιτεί ευρεία διαρκή δικαιώματα εάν σχεδιάζετε τα δικαιώματα ως προσωρινά και με εύρος. Για να αποφευχθεί η άνοδος των προνομίων, κάθε νέα εφαρμογή σύνδεσης, πεδίο εφαρμογής ή ροή εργασίας θα πρέπει να έχει έναν κάτοχο, μια αιτιολόγηση και μια λήξη και τα αχρησιμοποίητα προνόμια θα πρέπει να αφαιρούνται αυτόματα. Ο πράκτορας θα πρέπει επίσης να περιορίζεται από πολιτική σε επίπεδο πλατφόρμας, επομένως δεν μπορεί να επεκτείνει τη δική του εμβέλεια μόνο και μόνο επειδή μπορεί να κάνει κλικ σε νέες περιοχές μιας εφαρμογής.
Ποια στοιχεία ελέγχου είναι αδιαπραγμάτευτα για ευαίσθητες ενέργειες όπως πληρωμές, αλλαγές αδειών και επικοινωνίες με πελάτες, συμπεριλαμβανομένων των εγκρίσεων και της ενίσχυσης του ελέγχου ταυτότητας;
Για ενέργειες υψηλού αντίκτυπου, το σύστημα πρέπει να θεωρήσει ότι ο πράκτορας δεν είναι αξιόπιστος και να απαιτεί την ανθρώπινη συναίνεση με μια μορφή που δεν μπορεί να παρακάμψει ο πράκτορας. Οι πληρωμές και οι αλλαγές αδειών θα πρέπει πάντα να απαιτούν ρητή έγκριση καθώς και ενιαίο έλεγχο ταυτότητας για τον υπεύθυνο έγκρισης. Οι εγκρίσεις θα πρέπει να διαχωρίζονται από την επιφάνεια λειτουργίας του πράκτορα, ιδανικά σε ένα αξιόπιστο κανάλι ή ένα προνομιακό στοιχείο ελέγχου που ο πράκτορας δεν μπορεί να χειριστεί μέσω της αυτοματοποίησης διεπαφής χρήστη. Επιπλέον, επιβάλλετε αυστηρά όρια πολιτικής, όπως λίστες επιτρεπόμενων παραληπτών, όρια ποσού, περιορισμένες λειτουργίες διαχειριστή και κανόνες εξυγίανσης για ορισμένες αλλαγές. Για επικοινωνίες με πελάτες, απαιτήστε έγκριση για νέα πρότυπα ή αλλαγές τόνου και αυτοματοποιημένους ελέγχους για να μειώσετε τους κινδύνους διαρροής και λανθασμένου παραλήπτη, επειδή ένα μόνο μήνυμα μπορεί να γίνει περιστατικό επωνυμίας και απορρήτου.
Τι πρέπει να καταγραφεί για να επιτευχθεί πραγματική δυνατότητα ελέγχου και δυνατότητας αναπαραγωγής, ενώ παράλληλα προστατεύονται τα ευαίσθητα δεδομένα και το απόρρητο των χρηστών;
Ιδανικά, κάθε βήμα και δευτερεύον βήμα θα πρέπει να καταγράφεται, επειδή αυτή η τεχνολογία εξακολουθεί να εξελίσσεται και η συμπεριφορά του μοντέλου αλλάζει μεταξύ των εκδόσεων. Θέλετε ένα ίχνος ενέργειας που να περιλαμβάνει τι είδε ο πράκτορας, ποια εργαλεία ή λειτουργίες κάλεσε, τις εισόδους και τις εξόδους σε αυτά τα εργαλεία, το χρονοδιάγραμμα και τα σημεία απόφασης που εξηγούν γιατί επέλεξε μια διαδρομή. Αυτό καθιστά δυνατή τη διερεύνηση, την αναπαραγωγή εκτελέσεων σε ένα sandbox και την κατανόηση των ορίων όταν αλλάζετε μοντέλα για λόγους κόστους ή απόδοσης. Ταυτόχρονα, τα αρχεία καταγραφής δεν πρέπει να αποτελούν κίνδυνο απορρήτου, επομένως τα ευαίσθητα δεδομένα θα πρέπει να καλύπτονται, να γίνονται διακριτικά ή να αποθηκεύονται σε ξεχωριστό ελεγχόμενο κατάστημα με αυστηρή πρόσβαση. Στόχος είναι να απαντηθεί τι συνέβη, ποιος το ενέκρινε και ποια πολιτική το επέτρεψε, χωρίς να μετατραπούν τα ίχνη ελέγχου σε άλλη επιφάνεια διαρροής.
Πώς μπορείτε να θέσετε σε λειτουργία την ασφάλεια του πράκτορα μετά την εκκίνηση, συμπεριλαμβανομένης της κόκκινης ομαδοποίησης, των δοκιμών παλινδρόμησης έναντι αλλαγών διεπαφής χρήστη, των σημάτων παρακολούθησης και των κριτηρίων διακόπτη kill;
Λειτουργικά, οι πράκτορες χρειάζονται συνεχή εργασία ασφάλειας επειδή αλλάζουν οι διεπαφές χρήστη, αλλάζουν οι ροές εργασίας και τα μοντέλα αλλάζουν. Η κόκκινη ομαδοποίηση θα πρέπει να είναι συνεχής και να επικεντρώνεται σε ρεαλιστικές εχθρικές εισροές, όπως εισαγόμενες οδηγίες σε εισιτήρια, πλαστά διαλόγους και δύσκολες ροές επιβεβαίωσης. Οι δοκιμές παλινδρόμησης πρέπει να καλύπτουν μετατόπιση διεπαφής χρήστη, επειδή μικρές αλλαγές διάταξης μπορεί να προκαλέσουν λάθος κλικ που δεν θα εμφανίζονταν ποτέ σε μια κανονική δοκιμή ενοποίησης. Η παρακολούθηση θα πρέπει να επικεντρώνεται σε πρότυπα συμπεριφοράς, όπως ασυνήθιστη πλοήγηση, επαναλαμβανόμενες επαναλήψεις, απροσδόκητος όγκος πρόσβασης δεδομένων και αυξήσεις στις απορρίψεις πολιτικών ή αιτήματα έγκρισης. Ένας διακόπτης kill πρέπει να είναι πραγματικός και γρήγορος, με σαφή κριτήρια όπως απόπειρες απαγορευμένων ενεργειών, σήματα εξαπάτησης διεπαφής χρήστη, μη φυσιολογικά μοτίβα πρόσβασης ή ύποπτες διαδρομές διήθησης. Όταν ενεργοποιηθεί, η αυτονομία θα πρέπει να πέσει σε μια ασφαλή λειτουργία όπου ο πράκτορας προτείνει ενέργειες για έναν άνθρωπο αντί να τις εκτελεί.
Επιλεγμένη εικόνα: Freepik
VIA: DataConomy.com
