Riepilogo
Molte organizzazioni pensano di non utilizzare l'AI, ma ovviamente i loro dipendenti stanno sperimentando tutti i tipi di nuovi strumenti AI, mentre la curiosità per l'AI si diffonde nella cultura. Quello che questi lavoratori non sanno è come potrebbero stare esponendo i dati aziendali. Sta accadendo rapidamente, e qualsiasi azienda che non dispone di una strategia AI deve stabilire parametri e misure di sicurezza ora.
La chiave è informare i dipendenti del rischio e imparare da loro come questi strumenti aiutano a svolgere il lavoro, in modo che i tuoi limiti proteggano senza impedire la crescita aziendale.
Host: Stephanie Aceves, direttrice senior della gestione dei prodotti, Tanium
Ospite: Candy Alexander, CISO e responsabile della pratica cyber, NeuEon Inc.
Note dello show
Per ulteriori informazioni sia sull'AI ombra che sull'IT ombra, consulta i nostri articoli su Focal Point, la pluripremiata rivista online di notizie informatiche di Tanium, e queste altre risorse utili.
- I dipendenti stanno abbracciando la 'Shadow AI' – e mettendo a rischio i dati aziendali | Focal Point
- Ep. 18: Fare luce sull'IT ombra | Let's Converge
- 4 Priorità di leadership critiche per i CISO nell'era dell'AI | Focal Point
- Prevenire i pregiudizi dell'IA inizia dall'alto – Basta chiedere a queste donne Chief AI Officer | Focal Point
- Cos'è il monitoraggio dell'esperienza digitale? Perché la strategia DEM è importante e rafforza l'esperienza dei dipendenti e dei clienti | Tanium
- 8 Le fasi della 'montagna russa emotiva' dell'AI | Tanium
Trascrizione
La seguente intervista è stata modificata per maggiore chiarezza.
"L'altro giorno ho sentito uno spot pubblicitario su qualcosa di YouTube che stavo guardando, e dicevano: "Oh, con l'uso dell'AI, che è più intelligente degli esseri umani,..." e ho riso… Il marketing si sta aggrappando a questo per i prodotti di consumo, dicendo che l'AI è la cosa migliore di sempre. Quindi è questo che sta sentendo la nostra comunità di utenti finali."Candy Alexander, CISO e responsabile della pratica cyber, NeuEon Inc.
Stephanie Aceves: Ciao, mi chiamo Stephanie Aceves. Sono una senior director della gestione dei prodotti presso Tanium, e oggi su Let's Converge parliamo di shadow IT e shadow AI. Benvenuti alla seconda parte della nostra serie in due episodi che esamina questo problema sempre più pericoloso per le aziende.
Nella prima parte, abbiamo trattato alcuni degli strumenti di gestione dei progetti che i vostri dipendenti potrebbero utilizzare a vostra insaputa – e quello che per alcuni potrebbe essere un fatto sorprendente, ovvero che i vostri dipendenti che utilizzano lo shadow IT hanno davvero buone intenzioni. Nella maggior parte dei casi, stanno semplicemente cercando di capire come svolgere il loro lavoro in modo migliore e più rapido. E non si rendono conto che utilizzando tecnologie non approvate potrebbero mettere a rischio l'azienda.
Ad unirsi a me oggi per parlare di questo problema è Candy Alexander, chief information security officer e responsabile della pratica cyber presso NeuEon Inc., una delle principali società di consulenza nella gestione aziendale. Oltre a sviluppare e gestire programmi di sicurezza aziendale, Candy è stata eletta – due volte – presidente internazionale dell'Information Systems Security Association, ed è stata a lungo membro del consiglio internazionale.
Ok, torniamo alla nostra discussione.
C'è un nuovo protagonista che entra in scena, e questo è lo shadow AI.
Alexander: È davvero un'era rivoluzionaria in cui stiamo entrando con l'IA, e può andare in molte direzioni. Spero solo e ho fiducia che andrà bene, ma penso che ci saranno alcuni momenti spaventosi nel buio della notte.
Aceves: Nelle aziende con cui lavoriamo nel mio lavoro, parliamo con i dirigenti delle preoccupazioni legate alla… rinascita dell'IA, in particolare con l'avvento degli LLM [modelli linguistici di grandi dimensioni]. E quando parliamo con loro, c'è davvero preoccupazione per la perdita di dati, che è un problema simile a quello che abbiamo definito nel tipico shadow IT. E si arriva a capire che molte volte l'IA, specialmente con gli LLM, il rischio è che si stia addestrando il modello con informazioni che potrebbero essere sensibili. Puoi condividere un po' più specificamente dalla prospettiva dell'IA e come sta influenzando o come ti aspetti che influenzerà le aziende mentre continuiamo a evolverci, adattarci e sfruttare questo nuovo tipo di tecnologia?
Alexander: È curioso perché questa è un'interessante introduzione di tecnologie "nuove", ma non è davvero nuova. Voglio dire, ammettiamolo, l'IA esiste da sempre.
Aceves: Assolutamente.
Alexander: Ma ovviamente, ora che è diventata mainstream, tutti hanno iniziato a usare l'IA ed è diventata più significativa con la… disponibilità di ChatGPT. Quindi molte organizzazioni diranno, beh, noi non usiamo l'IA. E ovviamente si fa una sorta di risatina, perché certamente lo fanno. Abbiamo dipendenti che useranno, per esempio, ChatGPT o …Google Bard o Gemini ora, per fare cose come usarlo per abbellire la loro scrittura o i curriculum o il marketing, qualunque cosa. Quindi è davvero difficile avere una comprensione di quell'utilizzo. Oltre a ciò, l'altra parte dello spettro è l'uso di qualche tipo di IA, IA generativa, per il completamento del codice, giusto?
Ho parlato questa settimana riguardo al software della supply chain. E questo è, a mio avviso, uno dei modi in cui saremo in grado di identificare l'uso dell'IA riguardo allo sviluppo e poi essere in grado di valutarlo. Quindi saremo in grado di identificare con, ancora, l'uso del software della supply chain, la supply chain, quali tipi di IA state usando, andremo ad esplorare l'IA spiegabile, di cui tutti ora parlano, e poi mettere dei parametri attorno al suo utilizzo… e valutare costantemente quell'utilizzo. Ed è importante. Ma voglio tornare all'altro lato, dove ci sono le organizzazioni che dicono, beh, non abbiamo davvero una strategia per l'IA. E il mio consiglio per loro è: è meglio che si affrettino a farlo ora e che stabiliscano quei parametri.
E deve iniziare con qualcosa di semplice come la vostra politica di utilizzo accettabile. Stabilite quei parametri, quelle barriere di protezione, quel controllo direzionale su ciò che è accettabile e ciò che non lo è. E… tenete a mente che l'IA generativa è proprio questo: apprende in modo generativo e aumenta la propria conoscenza e portata in base alle informazioni fornite. Quindi pensateci: volete davvero che le informazioni aziendali facciano parte di quel data lake o di quel pool di dati? Assolutamente no. Quindi dovete pensare al caso d'uso. E proprio come con la supply chain del software, [vi suggerisco di] mappare i componenti e come interagiscono tra loro, quando entrano in gioco? Lo stesso vale per un caso d'uso dell'IA per gli utenti finali, che si tratti di Microsoft Copilot o di qualsiasi altro strumento di IA. Dovete capire come verrà utilizzato e se volete usare un'IA open source o un'IA privata per la vostra organizzazione, in modo che le query che vengono inserite in quell'utilizzo dell'IA rimangano all'interno dei confini della vostra organizzazione.
Aceves: Mi piace molto. E sai, alcune delle persone con cui ho parlato, le loro preoccupazioni riguardo all'IA, in particolare con l'IA generativa e questi modelli GPT, è davvero che molti di essi sono ora incorporati in tecnologie che in realtà non avevamo [realizzato] – tipo hey, il mio motore di ricerca ora utilizza qualche tipo di GPT. In queste situazioni, nemmeno l'utente è sempre consapevole. E quindi la politica aziendale diventa più difficile perché un utente non è consapevole di fare qualcosa che è intrinsecamente rischioso per l'organizzazione.
Sentiamo che molte organizzazioni diverse stanno cercando di spostare quei modelli effettivi all'interno, in modo da avere diritti e proprietà dei dati e di qualsiasi apprendimento che avviene su quei modelli, ma come applicano i controlli per verificare se viene reindirizzato a un modello approvato internamente o in generale impedire che venga utilizzato in modi che sono forse un po' più mascherati – e non per ragioni nefaste, ma tutti quelli con cui parliamo, [ogni azienda] parla dell'IA che stanno utilizzando. E mi piace che tu l'abbia sottolineato.
L'IA esiste da molto tempo. La maggior parte delle tecnologie utilizza qualche tipo di apprendimento automatico o stanno prendendo grandi set di dati e traendo davvero conclusioni e intelligenza da essi. Ma è stato davvero l'avvento di GPT reso disponibile ai consumatori a causare questa massiccia esplosione. Quindi, sapendo che l'IA è in agguato in ogni angolo, come possono le aziende iniziare davvero a mitigare il rischio di fuga di dati – mi piacerebbe dire che esiste un elenco di tutti i siti web nel mondo che utilizzeranno qualche tipo di LLM e addestrano i loro modelli sui tuoi dati, ma come facciamo ad anticipare tutto ciò?
Alexander: Wow, è enorme. Perché è ovunque, e a mio modesto avviso, [le soluzioni] dovranno essere multifaccettate. E lo stiamo vedendo. Stiamo vedendo leggi emanate da diversi paesi nel mondo per stabilire quei parametri da una prospettiva normativa. E poi si arriva a una prospettiva tecnologica. Quindi partiamo dal governo, poi si scende all'utilizzo organizzativo dello stesso, e penso che stiamo ancora aspettando e vedremo ulteriori sviluppi su come essere in grado di identificarlo attraverso la tecnologia.
Proprio come, ad esempio, un'analogia a ciò è il cloud computing. Come fai a capire dove si trovano tutte le tue istanze di dati nel cloud? Beh, in questo spazio ci sono solo un paio di player al momento. E uno davvero buono che, a mio modesto parere, ti aiuterà a identificare dove ti trovi nel cloud; dovremo avere lo stesso tipo di tecnologia con l'uso dell'IA che si trova in qualche modo sul perimetro proverbiale di qualunque cosa sia.
Non so se sarà a livello di desktop o altrove, ma quel tipo di filtraggio e sensore. E poi il terzo componente, e mi dispiace dirlo, torna a quel modello di "persone, processi e tecnologia", ovvero rendere i propri utenti consapevoli di ciò che sta accadendo. Perché l'IA è potenzialmente pericolosa? La stanno solo guardando – persino gli spot televisivi… Ho sentito uno spot l'altro giorno su un video di YouTube che stavo guardando e dicevano: "Oh, con l'uso dell'IA, che è più intelligente degli esseri umani…," e ho riso.
Aceves: Oh mio Dio.
Alexander: Il marketing dei [prodotti di consumo] si sta aggrappando a questo, [dicendo] che l'IA è la cosa migliore di sempre. Quindi questo è ciò che la nostra comunità di utenti finali sta sentendo, e lo vedono attraverso l'uso di: "Non è divertente giocare con Gemini o ChatGPT, o anche andare su Facebook e prendere la mia immagine e farmi sembrare una modella?"
Voglio dire, stanno guardando all'IA come qualcosa di fantastico. Non vedono i pericoli intrinseci, non sentono quelle storie dell'orrore che sentiamo noi, come quando un ChatGPT o qualche chatbot interagiva con un individuo in Europa che era depresso e lo ha spinto al punto da togliersi la vita. Quindi non comprendono i rischi, i veri rischi intrinseci all'intelligenza artificiale. Certo, sono state adottate misure per correggere i pregiudizi e le allucinazioni che si verificano con l'IA, ma per un comune cittadino per strada, questi rischi non vengono compresi.
È qui che dobbiamo intervenire come professionisti della sicurezza e consigliare l'azienda e la nostra comunità di utenti che al bene si accompagna il male, per dirla in parole semplici. Consigliare loro il motivo per cui vogliamo attenerci a un'IA aziendale e non utilizzare alcuni di quegli strumenti esterni. E informarli della perdita di dati, della perdita involontaria di dati aziendali. Questo è il motivo per cui si vuole renderli consapevoli dei pregiudizi e delle allucinazioni che si possono ottenere e dell'integrità dei dati. Ci sono moltissime cose intrinseche all'uso dell'IA oggi. È come il Far West. È positivo, ma è pericoloso.
Aceves: E penso anche che il mio ruolo ora sia nella gestione dei prodotti e sento fortemente che i fornitori hanno una responsabilità. E mentre stiamo costruendo prodotti di cui i nostri clienti hanno bisogno, e l'IA è assolutamente uno strumento che può fornire valore e risultati che stanno cercando, c'è una responsabilità sui fornitori e sui provider di software.
Quando GPT è andato online per la prima volta per il consumatore, stavo leggendo articoli ed era interessante vedere i ricercatori di sicurezza, in realtà ce n'era uno anche in Europa, che interagivano con gli LLM ed erano in grado di usare – parlavano della psicologia junghiana e del sé ombra per far ammettere all'IA segreti che non avrebbero dovuto essere rivelati a un consumatore. Ed era affascinante, si approfondisce il lato tecnico, il modo in cui è stato eseguito, e penso che l'azienda abbia rilasciato una dichiarazione in cui si affermava che si trattava di una conversazione prolungata con l'IA.
Quando penso a prolungata, ho le mie idee su quanto tempo richiederebbe. Credo che fosse nell'ordine di otto fino a 10 domande, il che per me, seduto davanti a una nuova tecnologia, non è prolungato.
Alexander: Esatto.
Aceves: Si tratta di un'interazione di forse 5-10 minuti in cui sto chiedendo e valutando. E quindi c'è una responsabilità che i fornitori hanno, specialmente nei confronti dei loro clienti finali, nell'inserire questi limiti di sicurezza. Penso che la sicurezza abbia visto un enorme cambiamento in questo con le pratiche di codifica sicura.
Mi sono laureato in informatica e ingegneria del software, e non ho avuto nemmeno un corso dedicato alla sicurezza. Ora i tempi sono cambiati e ora ci sono pratiche di codifica sicura integrate per impostazione predefinita. E mi aspetto che dovremo adottarle fin dall'inizio con l'IA, perché ci sono troppi rischi qui. Come hai sottolineato, non c'è solo il rischio di perdita di dati, ma come fai, una volta che i modelli iniziano ad apprendere da soli, non hai davvero lo stesso controllo che avresti con qualsiasi altro insieme di codice.
E so che esistono versioni fantascientifiche di questa paura, ma è una preoccupazione legittima riguardo a quali misure di sicurezza siano in atto e come l'IA possa comprenderle e potenzialmente manipolarle nel contesto di un'azienda. Quindi sono contento che tu l'abbia sollevato e ne parliamo con i clienti che vogliono adottare tecnologie più abilitate all'IA. E sono nervosi. E non solo per la perdita di dati. Ma è qualcosa su cui non abbiamo davvero alcun controllo. È quasi come un'intelligenza a sé stante, con regole e paradigmi a cui aderisce che non sono sempre trasparenti nemmeno per il creatore, il che è semplicemente affascinante da considerare.
Alexander: Penso che questa sia la parte spaventosa. E penso che sia per questo che i legislatori stanno entrando in gioco. Perché si riduce a – quello che stai toccando, a mio avviso – è etico, morale. E non è il settore in cui lavoro, ma sono felice di sentire e vedere che i governi lo stanno facendo. Perché è assolutamente terrificante. Ma detto questo, non è il settore in cui opero, ma è mio compito rendere gli utenti consapevoli – come applicheremo tutto questo e saremo consapevoli dei rischi intrinseci.
La buona notizia è che, a meno che tu non sia un ricercatore, probabilmente non entrerai in quel regno, quel regno davvero interessante che è indefinito e in qualche modo mutevole e sfuggente, al contrario dell'uso applicativo aziendale. Ma questo non significa che non ci sia il potenziale per un uso aziendale che vada storto e abbia conseguenze o risultati inaspettati. Ed è questo che, ancora una volta, è il nostro lavoro. Quindi [è un] lunghissimo giro attorno a tutto quel discorso su [come] dobbiamo rimanere consapevoli e rendere consapevoli gli altri dei rischi intrinseci dell'AI ombra.
Aceves: Sì, assolutamente. Stavo guardando qualcosa a caso su YouTube, …qualcosa sulla comunicazione animale, ricercatori che condividevano come stanno usando l'IA per comprendere le balene beluga e possono usare l'intelligenza artificiale per determinare fondamentalmente quale balena sta parlando… E quindi le applicazioni sono così affascinanti, anche al di fuori della sicurezza, si iniziano a vedere questi parallelismi.
Il mio background è nella risposta agli incidenti e nel red teaming. E quindi uno dei problemi più grandi che i team di sicurezza hanno è il volume di rumore, ed è un modello simile a quello di un team di biologia marina che ha tonnellate di registrazioni audio e non riesce a setacciarle. Non sanno. E quindi hanno usato l'intelligenza artificiale per selezionare le cose importanti e identificare, OK, questo è questo linguaggio o questa parola che questa balena sta usando, ed è affascinante vedere la convergenza di tutte queste cose.
Alexander: È davvero rivoluzionario, lo sai, vero? Voglio dire, tutti usano l'IA ed è entusiasmante, favoloso, ma come ho detto, un po' spaventoso allo stesso tempo.
Aceves: Grazie mille per questa conversazione affascinante, Candy.
Ho parlato con Candy Alexander, CISO e responsabile della pratica cyber presso NeuEon Inc.
Se vuoi saperne di più su shadow IT e shadow AI, dai un'occhiata a Focal Point, la rivista online di notizie informatiche di Tanium. Abbiamo inserito i link agli articoli pertinenti nelle note dello show. Visita semplicemente Tanium.com/p per le pubblicazioni.
Per ascoltare altre conversazioni con i principali leader aziendali ed esperti di sicurezza di oggi, assicurati di iscriverti a Let's Converge sulla tua app podcast preferita. E se ti è piaciuto questo episodio, vai avanti e dacci una valutazione a cinque stelle.
Grazie per aver ascoltato. Non vediamo l'ora di condividere altri approfondimenti informatici nel prossimo episodio di Let's Converge.
