Horizon Scanning

Τεχνολογική περιοχή: ΠΛΗΡΟΦΟΡΙΚΗ

Abstract 1278077 1280

Έρχονται τα AI Worms

Σε μια επίδειξη των κινδύνων των συνδεδεμένων, αυτόνομων οικοσυστημάτων τεχνητής νοημοσύνης, μια ομάδα ερευνητών δημιούργησε ένα από αυτά που ισχυρίζονται ότι είναι τα πρώτα γενεσιουργά σκουλήκια τεχνητής νοημοσύνης - τα οποία μπορούν να εξαπλωθούν από το ένα σύστημα στο άλλο, κλέβοντας δεδομένα ή αναπτύσσοντας κακόβουλο λογισμικό στο επεξεργάζομαι, διαδικασία. «Βασικά σημαίνει ότι τώρα έχετε τη δυνατότητα να διεξάγετε ή να εκτελέσετε ένα νέο είδος κυβερνοεπίθεσης που δεν έχει ξαναδεί», λέει ο Ben Nassi, ερευνητής της Cornell Tech πίσω από την έρευνα.

Ο Nassi, μαζί με τους συναδέλφους τους ερευνητές Stav Cohen και Ron Bitton, δημιούργησαν το σκουλήκι, που ονομάστηκε Morris II, ως ένα νεύμα στο αρχικό σκουλήκι υπολογιστή Morris που προκάλεσε χάος στο διαδίκτυο το 1988. Σε μια ερευνητική εργασία και έναν ιστότοπο που κοινοποιήθηκε αποκλειστικά στο WIRED, Οι ερευνητές δείχνουν πώς το σκουλήκι AI μπορεί να επιτεθεί σε έναν βοηθό ηλεκτρονικού ταχυδρομείου τεχνητής νοημοσύνης που δημιουργείται για να κλέψει δεδομένα από μηνύματα ηλεκτρονικού ταχυδρομείου και να στείλει μηνύματα ανεπιθύμητης αλληλογραφίας, παραβιάζοντας ορισμένες προστασίες ασφαλείας στο ChatGPT και στο Gemini στη διαδικασία.

Η έρευνα, η οποία πραγματοποιήθηκε σε περιβάλλοντα δοκιμών και όχι εναντίον ενός δημοσίως διαθέσιμου βοηθού ηλεκτρονικού ταχυδρομείου, έρχεται καθώς τα μεγάλα γλωσσικά μοντέλα (LLM) γίνονται όλο και περισσότερο πολυτροπικά, καθώς μπορούν να δημιουργούν εικόνες και βίντεο καθώς και κείμενο . Αν και τα γενετικά σκουλήκια τεχνητής νοημοσύνης δεν έχουν εντοπιστεί ακόμη, πολλοί ερευνητές λένε ότι αποτελούν κίνδυνο ασφάλειας για τον οποίο θα πρέπει να ανησυχούν οι νεοφυείς επιχειρήσεις, οι προγραμματιστές και οι εταιρείες τεχνολογίας.
Τα περισσότερα συστήματα παραγωγής τεχνητής νοημοσύνης λειτουργούν με τροφοδοσία προτροπών—οδηγίες κειμένου που λένε στα εργαλεία να απαντήσουν σε μια ερώτηση ή να δημιουργήσουν μια εικόνα. Ωστόσο, αυτές οι προτροπές μπορούν επίσης να οπλιστούν εναντίον του συστήματος. Τα jailbreak μπορούν να κάνουν ένα σύστημα να αγνοήσει τους κανόνες ασφαλείας του και να εκτοξεύσει τοξικό ή μίσος περιεχόμενο, ενώ οι επιθέσεις άμεσης έγχυσης μπορούν να δώσουν μυστικές οδηγίες σε ένα chatbot. Για παράδειγμα, ένας εισβολέας μπορεί να κρύψει κείμενο σε μια ιστοσελίδα που λέει σε ένα LLM να λειτουργήσει ως απατεώνας και να ζητήσει τα στοιχεία της τράπεζάς σας .
Για να δημιουργήσουν το γενεσιουργό σκουλήκι της τεχνητής νοημοσύνης, οι ερευνητές στράφηκαν σε μια λεγόμενη «αντίπαλη αυτο-αναπαραγόμενη προτροπή». Αυτή είναι μια προτροπή που ενεργοποιεί το μοντέλο παραγωγής τεχνητής νοημοσύνης για να δώσει, στην απάντησή του, μια άλλη προτροπή, λένε οι ερευνητές. Εν ολίγοις, το σύστημα AI καλείται να παράγει ένα σύνολο περαιτέρω οδηγιών στις απαντήσεις του. Αυτό είναι σε γενικές γραμμές παρόμοιο με τις παραδοσιακές επιθέσεις SQL injection και υπερχείλισης buffer , λένε οι ερευνητές.
Για να δείξουν πώς μπορεί να λειτουργήσει το σκουλήκι, οι ερευνητές δημιούργησαν ένα σύστημα ηλεκτρονικού ταχυδρομείου που θα μπορούσε να στέλνει και να λαμβάνει μηνύματα χρησιμοποιώντας γενετική τεχνητή νοημοσύνη, συνδέοντας τα ChatGPT, Gemini και ανοιχτού κώδικα LLM, LLaVA . Στη συνέχεια βρήκαν δύο τρόπους για να εκμεταλλευτούν το σύστημα—χρησιμοποιώντας μια προτροπή αυτόματης αναπαραγωγής που βασίζεται σε κείμενο και ενσωματώνοντας μια αυτοαναπαραγόμενη προτροπή σε ένα αρχείο εικόνας.

Πηγή: https://www.wired.com/story/here-come-the-ai-worms/
Photo: insspirito/pixabay

Βαθμολογήστε την Τάση

(Πρέπει να βαθμολογήσετε και τις δύο παραμέτρους.)

Πόσο πιθανό είναι να συμβεί;

Πόση επίδραση στην περιοχή ενδιαφέροντος έχει;

Βαθμολογία κοινού μέχρι σήμερα

Βαθμολογία τάσης με βάση το πόσο πιθανό είναι να συμβεί

Βαθμολογία τάσης με βάση την επίδρασή της