Riepilogo
ChatGPT ha conquistato il mondo quando ha debuttato lo scorso novembre. I politici sono perplessi, gli scienziati sono preoccupati e i consumatori non ne hanno ancora abbastanza. C'è qualcosa di surreale e alla Willy Wonka in tutta questa faccenda. (Vale la pena notare che Wonka non era esattamente degno di fiducia.) Chiediamo a un'esperta quanto sia preoccupata lei su una scala da 1 a 10. La sua risposta arriva senza esitazione.
HOST: Shawn Surber, direttore senior della gestione degli account tecnici, Tanium
OSPITE: Krystal Jackson, junior AI fellow, Center for Security and Emerging Technology, Georgetown University
Per saperne di più su questo argomento
Consulta questi articoli su Focal Point, il nuovo magazine online di notizie cyber di Tanium, e due recenti avvisi su ChatGPT dei nostri analisti di cyber threat intelligence (CTI).
- È davvero possibile mettere in pausa l’IA? 1.100 Gli esperti (e, sì, anche Elon Musk) dicono di sì
- Sì, ChatGPT potenzierà l'hacking, ma aiuterà anche a combatterlo
- CTI Roundup: Gli hacker usano esche ChatGPT per diffondere malware su Facebook
- Sintesi CTI: Gli autori delle minacce sfruttano ChatGPT
Trascrizione dell'intervista
La seguente intervista è stata modificata per maggiore chiarezza.
Krystal Jackson: Stiamo sicuramente vivendo questo momento GPT proprio ora. E sicuramente come qualcuno che è stato nel settore dell'IA e consapevole dell'IA generativa e delle sue capacità da un po' di tempo, all'inizio non l'ho capito del tutto—perché questo modello questa volta stesse ricevendo così tanta attenzione. Ma penso davvero che in parte sia perché OpenAI abbia in qualche modo trovato la formula vincente per la parte chat di ChatGPT.
Shawn Surber: Può superare esami di livello universitario avanzato, creare codice per siti web e persino elaborare la frase di approccio perfetta basandosi solo sul tuo profilo di un'app di incontri. Può anche potenziare i cyberattacchi, rendendo molto più facile per chiunque creare il proprio malware, email di phishing e altri contenuti pericolosi.
Ciao, sono Shawn Surber, e oggi su Let's Converge, parliamo di ChatGPT—il clamore e la speranza.
Le persone sono ossessionate da ChatGPT e da altri nuovi chatbot alimentati dall'intelligenza artificiale [AI]. Sono anche un po' spaventate. In effetti, stiamo registrando questo nel giorno in cui Elon Musk, il co-fondatore di Apple Steve Wozniak e un gruppo di altri importanti scienziati hanno pubblicato una petizione che chiede una pausa di sei mesi nella corsa all'IA. Affermano che le aziende tecnologiche si stanno muovendo troppo velocemente e stanno implementando tecnologie che non comprendiamo appieno.
I timori che circondano questi chatbot non sono infondati, ma ecco dove entra in gioco la speranza: lo stesso strumento che può essere utilizzato dai criminali informatici può anche alimentare una tempesta di nuove tecnologie difensive per proteggere aziende, agenzie governative e imprese di ogni dimensione.
Oggi ci raggiunge Krystal Jackson, junior AI fellow presso il Center for Security and Emerging Technology della Georgetown University. La ricerca di Krystal si concentra sul futuro dell'IA militarizzata e sull'etica della tecnologia, il che mi sembra assolutamente affascinante. Benvenuta nel podcast, Krystal.
Jackson: Grazie mille per avermi invitata.
Surber: Assolutamente. Quindi, questo mese è uscito un nuovo studio sulle email di phishing—sai, quei messaggi astuti che ci inducono a cliccare su link pericolosi e a scaricare malware. I ricercatori hanno studiato 53.000 utenti di posta elettronica in più di 100 paesi e hanno scoperto che le email di phishing create da esseri umani hanno generato un tasso di clic del 4,2%, mentre le email di ChatGPT hanno ottenuto un tasso di clic di circa il 2,9%. Quindi gli esseri umani sono ancora più bravi a ingannare altri esseri umani. Non so se questo sia motivo di celebrazione o meno, ma dovremmo sentirci ottimisti riguardo a questo? Per quanto avanzati stiano diventando questi chatbot, gli esseri umani sono ancora più bravi dei computer nel crimine?
Jackson: Sì, penso che quella statistica parli davvero da sola. Sai, al cuore delle truffe di phishing e dei messaggi di phishing c'è l'intento di ingannare. E questo è qualcosa che non penso stia ancora accadendo con queste prime iterazioni dei chatbot in particolare. È ancora una tecnologia molto generica pensata per generare testi generali, e quindi non mi sorprende del tutto che non siano così efficaci. Penso che parte della preoccupazione riguardi il volume, la scala e la quantità enorme di messaggi di phishing che potresti riuscire a inviare. Ma certamente anche l'aspetto dell'efficacia è davvero importante.
Surber: Sono d'accordo, e penso che abbia effettivamente senso a questo punto che i red-teamer professionisti siano più bravi a generare email di phishing rispetto ai chatbot che non sono esattamente progettati per farlo. Ma che dire del concetto di un AI-in-the-middle, come un attacco di intercettazione tramite chatbot? Probabilmente non sono il primo a chiamarlo AI-in-the-middle, ma penso che dovrei registrarlo come marchio comunque. Ma sai, quando vai su un sito web e appare un messaggio che dice: 'Ehi, vuoi un po' di aiuto?' Che dire di attori malintenzionati che usano qualcosa come ChatGPT per intercettare quelle connessioni e permettere a quell'IA di rispondere rapidamente ed efficacemente mentre fornisce alla vittima informazioni errate, link dannosi, eccetera?
Jackson: È davvero interessante. Penso che in molti modi questa potrebbe essere la direzione che stiamo prendendo in modo un po' involontario. Quindi una delle cose che mi preoccupa di più è ChatGPT e questi altri chatbot che vengono integrati con altri sistemi del mondo reale. C'è una forte spinta in questo momento per integrare ChatGPT con sistemi che ti permettono di prenotare un volo o ordinare generi alimentari. Molto simile a come Amazon Alexa ti aiuta a ordinare cose, ma per l'intero internet. Quindi posso sicuramente immaginare che qualcosa del genere diventi un obiettivo primario per gli aggressori. Se ogni sistema di pagamento non sicuro e ogni sito web ha improvvisamente un chatbot collegato che ha il potenziale per generare malware, concatenare exploit in modi unici, sembra che faremmo meglio ad avere la sicurezza di questi tipi di sistemi piuttosto elevata prima di iniziare a collegarli. E sicuramente, le persone possono prendere questi sistemi e trasformarli in armi. È sicuramente qualcosa su cui penso che dobbiamo tenere d'occhio andando avanti.
Surber: In realtà ho giocato con una varietà di quelli disponibili ora. Sono bravi nei compiti semplici, ma se provi a fargli scrivere un intero programma, vanno fuori strada. Ma OpenAI ha recentemente rilasciato ChatGPT-4. Quindi cosa c'è di nuovo in 4 e come pensi che influenzerà le cose?
Jackson: GPT-4 è decisamente più grande e più potente nella maggior parte dei modi. Alcuni dei punti salienti sono che è multimodale, il che significa che ora puoi inserire immagini oltre al testo. Non produce ancora immagini, ma questo offre sicuramente una gamma più ampia di cose che può acquisire come informazioni. E può produrre e acquisire porzioni di informazioni più grandi. Quindi, per quanto riguarda le capacità attuali, sembra che tu debba sollecitare molto ChatGPT per farlo collegare piccoli pezzi di codice per mettere insieme quello che sarebbe un malware completo. Con GPT-4, si apre davvero la possibilità di produrre porzioni di codice più grandi e riassumere porzioni di testo più grandi.
Per contestualizzare, GPT-3 ha utilizzato circa 175 miliardi di parametri nel suo addestramento, e GPT-4 ne usa trilioni, il che significa che è davvero di ordini di grandezza migliore nell'eseguire quei compiti di apprendimento, le capacità di risoluzione di problemi complessi e di traduzione. È semplicemente migliore in quelle cose.
Surber: Ora, è vero che ChatGPT esiste in una sorta di bolla temporale, per così dire? Sta guardando solo i contenuti che gli sono stati forniti come parte dell'addestramento? Mentre sto vedendo che i nuovi bot AI di Microsoft e Google stanno pubblicizzando il fatto che stanno guardando il web in tempo reale?
Jackson: Sì, questa è sicuramente una delle limitazioni di alcuni di questi sistemi e qualcosa che diversi sviluppatori stanno cercando di affrontare in modi diversi. Quindi c'erano indicazioni che, per esempio, in alcuni compiti di programmazione ChatGPT sembrava avere un limite temporale. Stava ovviamente guardando alcune delle piattaforme popolari dove si potevano testare le proprie abilità di programmazione e in qualche modo caricarle e confrontarle con quelle di altre persone. E c'era un netto limite temporale a circa settembre 2021 o intorno a quel periodo, dove non era più in grado di competere sulle nuove sfide di programmazione, il che indicherebbe che, sai, semplicemente non era stato addestrato su quei dati. E quindi sta facendo qualcosa di più simile al richiamare informazioni che all'essere davvero creativo o intelligente in qualsiasi modo. Ma alcuni sviluppatori, come hai menzionato, stanno cercando di affrontare questo problema attraverso l'apprendimento continuo, e penso che sia qualcosa di davvero entusiasmante, ma è anche qualcosa che ci dà meno controllo su quali informazioni questi modelli hanno e non hanno. Quindi, sai, è una considerazione maggiore.
Surber: Quindi perché pensi che le persone siano così fissate su questi chatbot AI? Sai, tutti ne parlano, sta generando molto entusiasmo, ma secondo te, è principalmente clamore o è un passo significativo nell'evoluzione della nostra interazione con il mondo digitale?
Jackson: Penso che sia un po' entrambe le cose. Stiamo sicuramente vivendo questo tipo di momento GPT adesso, e sicuramente come qualcuno che è stato nel settore dell'AI e consapevole dell'AI generativa e delle sue capacità da un po', all'inizio non l'avevo capito del tutto—perché questo modello questa volta stava ricevendo così tanta attenzione. Ma penso davvero che in parte sia perché OpenAI abbia in qualche modo trovato la formula vincente per la parte chat di ChatGPT. Per me è molto conversazionale per natura. È in grado di mettere insieme tutti questi pezzi disparati di informazioni che non abbiamo mai visto fare in questo modo prima, in un'interfaccia davvero bella e facile da usare. E per questo motivo, vuoi effettivamente usarlo. È coinvolgente, è conversazionale. Quindi per me sono tutti questi piccoli elementi che lo rendono davvero il fenomeno che stiamo vedendo in questo momento.
Surber: A questo punto, nessuno sa davvero con certezza quanto possano fare questi chatbot, giusto? Quindi su cosa dovrebbero concentrarsi i leader aziendali e i professionisti della cybersecurity? Quali sono le aree di preoccupazione legittima?
Jackson: È una domanda davvero buona. Essenzialmente, fa tre cose molto bene. La prima sarebbe colmare il divario informativo. Ha quindi il potenziale per assistere qualcuno che magari ha un livello di conoscenza inferiore e normalmente non sarebbe in grado di portare a termine alcuni di questi attacchi più sofisticati, elevandolo davvero a un livello di avversario più sofisticato, colmando le sue lacune su diversi argomenti in modo rapido ed efficiente—più di quanto consentirebbe, ad esempio, cercare su Google o seguire un corso.
La seconda cosa è che aiuta davvero nella generazione e nell'automazione di questo codice e nella produzione di testo. Qualche mese fa abbiamo visto questo gruppo di ricerca che è riuscito, con un po' di suggerimenti, a far creare alla piattaforma un virus polimorfico, e ha generato codice per tutto, dall'iniezione DLL [dynamic link library] fino al codice per trovare e cifrare i file. Quindi possiamo sicuramente vedere che quella capacità esiste, ma ci è voluto un team di ricercatori piuttosto avanzati per riuscire a formulare correttamente i suggerimenti, e hanno effettivamente incontrato le protezioni del chatbot, ma alla fine sono stati in grado di aggirarle.
Il terzo è qualcosa che penso sia all'orizzonte, ovvero modelli personalizzati da organizzazioni che forse, ancora una volta, non si preoccupano molto della sicurezza, che potrebbero effettivamente voler creare sulla base di cose come i modelli ChatGPT specificamente progettati per l'hacking e per attività dannose. Quindi penso che queste siano alcune delle cose che, quando le analizzi in quel modo, ti danno un'idea più chiara di quali siano le preoccupazioni. E penso che per tutti questi casi abbiamo ancora gli strumenti per poterli affrontare.
Surber: Quindi, quando tutto è detto e fatto, su una scala da 1 a 10, la tua opinione professionale, dove 1 significa che sei completamente tranquillo, 10, significa che sei piuttosto spaventato, dove ti posizioni sui bot AI come ChatGPT?
Jackson: Direi che sono forse un 4. Non perderò il sonno per questo e dirò che sono piuttosto entusiasta. Ci sarà un'ondata di applicazioni davvero interessanti che emergeranno come risultato di tutto questo. E sebbene riconosciamo di avere molti ostacoli da superare per vedere i veri benefici, mi sento abbastanza fiducioso che possiamo arrivarci.
Surber: Bene, bene. Questo mi fa sentire più fiducioso. Quindi è una buona cosa. Sai, è interessante, quello che sto notando è che queste IA sono davvero brave nelle risposte rapide, nell'analisi di enormi set di dati, quel genere di cose, il che mi sembra essere di maggior valore per i difensori che per gli attaccanti. Sai, come si dice, gli attaccanti devono avere ragione solo una volta, il difensore deve averla ogni volta. Quindi essere in grado di analizzare il proprio ambiente chiuso in modo più efficace, più rapido e di cercare attacchi malevoli, penso che l'IA abbia un valore davvero interessante in questo senso. Cosa ne pensi? Pensi che alla lunga questo sarà più vantaggioso per i difensori che per gli attaccanti?
Jackson: È una domanda davvero interessante. È sicuramente una cosa a cui penso continuamente. È difficile dirlo in un senso o nell'altro, ma devo dire che sicuramente come difensori non stiamo perdendo terreno. Vero? Quindi hai accennato a tutte quelle cose per cui l'IA offre davvero un vantaggio. E una cosa davvero interessante che è appena emersa come novità è Microsoft Security Copilot, un nuovo assistente AI GPT-4 per le attività di cybersecurity. È in grado di fare alcune delle cose che stai menzionando, come analizzare frammenti di codice. E una delle cose principali che mi entusiasma è l'automazione. Di solito, specialmente se si tratta di un'organizzazione più piccola, automatizzare alcuni dei processi di sicurezza può richiedere molto tempo ed essere costoso, e questo sembra che potrebbe davvero dare un grande vantaggio a questo tipo di organizzazioni, avendo le loro analisi o processi di reverse engineering, o alcune delle cose un po' più complesse, con passaggi di automazione lungo il percorso.
E quindi penso che questo tipo di funzionalità siano davvero entusiasmanti. E ancora, è una tecnologia di uso generale, quindi tanto velocemente quanto riescono a creare applicazioni dannose, noi possiamo creare applicazioni difensive. Penso che abbiamo un po' più di vantaggio in termini di strutture e persone che abbiamo dalla nostra parte che cercano di costruirle.
Surber: Ottimo. Mi piace. Quindi raccontaci un po', se puoi, della tua ricerca sull'indagine del potenziale di militarizzazione dell'IA.
Jackson: Alcune delle mie ricerche passate hanno in qualche modo esaminato quella questione offensiva-versus-difensiva che hai posto prima. Ho cercato di fare una modellazione matematica di base su come l'IA potrebbe influenzare diverse aree della sicurezza informatica, come la capacità di sfruttare le vulnerabilità delle patch. Phishing. Attualmente, però, mi sono in qualche modo orientato verso l'uso dell'apprendimento per rinforzo per la difesa informatica autonoma. Quindi, ancora una volta, fornire ai difensori quegli strumenti per potenziare la sicurezza informatica e darci un vantaggio. Questo è il mio obiettivo principale in questo momento.
Surber: Hai appena sollevato un punto davvero interessante nella mia mente, l'uso dell'IA per l'istruzione. Per gli esami di certificazione, molto tempo fa, sono passati a un modello più interattivo—man mano che rispondi correttamente alle domande, salta alcune sezioni di domande. Esiste uno spazio non solo per l'istruzione sulla cybersecurity, ma per l'istruzione in generale, dove gli studenti potrebbero interagire con un'IA per imparare più velocemente, in modo più efficace e, sai, in modo più completo rispetto a quanto ottengono dai libri di testo e cercando cose su Wikipedia—cosa che sono sicuro non dovrebbero fare.
Jackson: Sì, assolutamente. Penso che una delle cose davvero interessanti di questo momento GPT che stiamo vivendo sia che ci stiamo concentrando su tutte queste piccole sotto-aree, o esempi di cose come, sì, potrebbe rendere il comportamento avversariale migliore o peggiore, ecc. Ma penso che ci sia la domanda più grande su come questi modelli cambieranno il modo in cui facciamo istruzione. Come cambieranno il modo in cui pensiamo alla cybersecurity in generale? Ci sta davvero facendo ripensare molte di queste cose, sai, non solo al punto di capire se può aiutarci a imparare meglio e a progredire nell'istruzione, ma anche scoprendo che molte delle cose che facciamo nel settore dell'istruzione potrebbero non essere così efficaci o non potranno essere gli standard che avevamo prima. Sai, abbiamo visto così tanti articoli, tanto quanto ho visto articoli sugli usi malevoli, ho visto che gli studenti stanno copiando. Penso che circa la metà degli studenti stia ora usando GPT in qualche modo. Quindi ci sta sicuramente spingendo ad avere questa conversazione più ampia su, tipo, qual è il ruolo di questi modelli nella società e nella vita quotidiana? E dovremo sicuramente ripensare alcune di queste cose.
Surber: È una cosa importante. In effetti, è stata una delle prime cose a cui ho pensato mentre iniziavo a curiosare qui e ho cominciato a usare ChatGPT per generarmi del testo—'Ehi, sai, scrivi questa storia. Dammi questa, questa idea.' Quando mi sono addentrato nelle cose tecniche, l'ho trovato di utilità media. Ma la capacità di generare testo originale era molto sviluppata, quindi il mio primo pensiero è stato—'Cavolo, sarà fondamentalmente un modo per aggirare i controlli antiplagio o i professori in futuro potranno reinserire il testo dello studente in ChatGPT per vedere se è qualcosa che ChatGPT o un altro bot ha creato? È qualcosa che sarebbe anche possibile? Domande interessanti.
Jackson: Sì, assolutamente. Per quanto ne so, al momento non è possibile. Ma potrei sicuramente vedere applicazioni specifiche che diventerebbero molto popolari in futuro, specialmente quando questo diventerà un problema più grande nel settore dell'istruzione.
Surber: Quali sono le sue prospettive per, diciamo, i prossimi cinque anni?
Jackson: È ancora molto presto per questa tecnologia al momento. Abbiamo questa visione molto miope di cosa sta facendo adesso. Ma vogliamo rimanere creativi, vogliamo rimanere ottimisti. Penso che sia il modo in cui alcune di queste IA generative finiranno per servirci al meglio. Quindi non ho risposte molto specifiche a quella domanda, purtroppo, ma penso che avrà sicuramente enormi impatti sui tipi di cose che le persone creano. È quello per cui sono più entusiasta, nei prossimi cinque anni e in futuro.
Surber: Beh, speravo che ci desse alcune previsioni concrete su cui tenerla, ma non posso biasimarla per questo. Si sta evolvendo tutto troppo rapidamente per stare al passo. Mentre stiamo concludendo, c'è qualcos'altro che vorrebbe condividere con noi e di cui non le ho ancora chiesto?
Jackson: Credo che l'ultima cosa che vorrei dire sia una parola finale di cautela, qualcosa che non credo stia ricevendo abbastanza attenzione: spero davvero che, per quanto straordinaria sia tutta questa IA generativa, non la lasciamo sostituire completamente il processo decisionale umano. L'ho accennato prima, come stiamo integrandola in tutti questi diversi sistemi, e l'ultima cosa che vogliamo è fare così tanto affidamento sulla tecnologia e sull'entusiasmo da dimenticare che è addestrata solo sulle informazioni che le sono state fornite e che erano già disponibili. Alcune delle informazioni su internet sono buone, altre sono davvero cattive, e dobbiamo mantenere un'alta considerazione per il pensiero critico. Ora più che mai, mentre impariamo a usare questa tecnologia e vogliamo evolverci.
Surber: Parole sagge, parole sagge. Non si possono sostituire gli esseri umani, per quanto a volte lo vorremmo. E quindi mi piace, mi piace questa prospettiva. Ci sono molte cose che penso ChatGPT e altri bot di IA possano fare per aiutare a rendere la vita più facile, il lavoro più facile, sperabilmente non rendere la scuola più facile, ma alla fine, la creatività umana penso che sia qualcosa che non possiamo semplicemente replicare con l'IA, almeno non in un futuro prossimo. Quindi grazie mille, Krystal. Apprezzo davvero molto.
Oggi ho parlato con Krystal Jackson, junior AI fellow presso il Center for Security and Emerging Technologies della Georgetown University.
Se volete leggere di più su ChatGPT, consultate Focal Point, la rivista online di notizie informatiche di Tanium. Abbiamo inserito i link a diversi articoli nelle note dello show, oppure visitate semplicemente tanium.com. Assicurati di iscriverti a Let's Converge sulla tua app podcast preferita. E se vi è piaciuto questo episodio, vi preghiamo di darci quella valutazione a cinque stelle.
Grazie per aver ascoltato. Non vediamo l'ora di condividere altri approfondimenti sulla sicurezza informatica nel prossimo episodio di Let's Converge.
