Vai al contenuto principale
Uno stormo di occhi fluttuanti fissa un laptop rosso dall'alto.
Approfondimenti degli analisti

I brand e il contraccolpo della biometria: ecco perché la governance dell'IA è così critica

La controversia sul riconoscimento facciale di Wegmans evidenzia il motivo per cui i sistemi biometrici richiedono una maggiore sicurezza dei dati, un controllo più rigoroso e una responsabilità a lungo termine.

Wegmans gode da tempo della reputazione di marchio che mette il cliente al primo posto, noto per i propri punti vendita puliti, il servizio attento e quel tipo di fedeltà verso il negozio di alimentari che rasenta la devozione. Tale reputazione è stata messa alla prova il mese scorso, quando un articolo pubblicato su ha rivelato che l’azienda aveva iniziato, in modo discreto, a raccogliere e archiviare dati biometrici relativi ai clienti in alcune località, tra cui New York City, nell’ambito di un’iniziativa volta alla prevenzione delle perdite.

Secondo quanto riportato su , Wegmans, il sistema è stato progettato per avvisare i dipendenti quando persone che si ritiene abbiano commesso furti in negozio in passato rientrano nel punto vendita. La catena con sede a Rochester ha sottolineato che i dati non vengono condivisi con terzi e vengono utilizzati esclusivamente a fini di sicurezza. (Wegmans non ha risposto a una richiesta di commento da parte di un referente dell’ .)

Ciononostante, la risposta è stata tempestiva. I clienti, i legislatori e i sostenitori della tutela dei dati personali dell’ hanno espresso preoccupazioni in merito al riconoscimento facciale, al consenso e alla questione se la scansione di un gran numero di acquirenti per identificare un numero relativamente esiguo di autori di reati costituisse una risposta proporzionata ai furti nei negozi.

Il problema non riguarda solo Wegmans: anche altre catene di supermercati (come Whole Foods), negozi al dettaglio (come Macy’s), oltre a banche, società di carte di credito, aziende sanitarie, stadi e altre imprese stanno procedendo a grandi passi con l’adozione di sistemi biometrici. L’Assemblea dello Stato di New York ha attualmente all’esame un disegno di legge che imporrebbe “una chiara informativa e misure di tutela della privacy” qualora i rivenditori utilizzassero tecnologie biometriche nei propri punti vendita.

Rachel Barnhart, una consigliera della contea di Monroe, nello Stato di New York, che ha scritto una lettera a Wegmans, afferma di essere rimasta colpita dall’immediatezza e dall’intensità delle reazioni negative. «Si avvertiva una sensazione molto forte del tipo: “Sto solo andando a fare la spesa: perché mi stanno scansionando il viso?”» dice lei.

Le polemiche hanno riguardato anche il modo in cui l’iniziativa è stata attuata: in sordina, con scarse spiegazioni pubbliche e in un momento in cui l’opinione pubblica è già profondamente scettica riguardo al modo in cui le aziende utilizzano l’intelligenza artificiale (IA) — soprattutto quando questa opera in spazi fisici.

“Quando non si dispone di standard chiari o di una normativa coerente, le organizzazioni finiscono per stabilire le proprie regole. Ed è proprio qui che si insinua il rischio.”
Melissa Bischoping, direttrice senior per la sicurezza e la ricerca sulla progettazione dei prodotti, Tanium

Per le organizzazioni che assistono a questi sviluppi, il caso Wegmans evidenzia i rischi legati all’uso dell’intelligenza artificiale a contatto con il pubblico: la fiducia è fragile, le lacune nella governance comportano costi elevati e spesso l’attenzione da parte delle autorità si intensifica solo dopo che i sistemi sono già operativi, osserva Melissa Bischoping, direttore senior della ricerca in materia di sicurezza e progettazione dei prodotti presso Tanium , azienda all’avanguardia nelle soluzioni di sicurezza informatica e nell’IT autonomo (nonché editrice di questa rivista).

«Quando non si dispone di standard chiari o di una normativa coerente, le organizzazioni finiscono per stabilire le proprie regole», afferma Bischoping. «Ed è proprio qui che si insinua il rischio.»

La governance dell’IA e il compromesso tra fiducia e attrito elevato nell’IA

Quando le organizzazioni implementano soluzioni di intelligenza artificiale che influenzano direttamente le persone negli spazi fisici — che si tratti di negozi di alimentari “ ”, aeroporti o strade cittadine — stanno ridefinendo il modo in cui i clienti vivono il marchio.

«I clienti non possono reimpostare i propri dati facciali o vocali qualora si verifichi un problema, pertanto l’azienda si assume una responsabilità permanente per quella che spesso è una problematica temporanea.»
La dott.ssa Saiph Savage, docente associata e direttrice del Civic AI Lab della Northeastern University

La dott.ssa Saiph Savage, docente assistente presso la Northeastern University e studiosa di intelligenza artificiale incentrata sull’uomo, afferma che le organizzazioni spesso sottovalutano il modo in cui le tecnologie orientate alla sorveglianza possano entrare in conflitto con le aspettative in materia di ospitalità o servizio. «Bisogna chiedersi fino a che punto si voglia modificare il rapporto del cliente con il marchio solo per ottimizzare un indicatore operativo», afferma.

Tale tensione diventa particolarmente marcata quando il beneficio percepito è limitato — come, ad esempio, la riduzione dei furti nei negozi — mentre l’intrusione percepita riguarda chiunque varchi la soglia, afferma la dottoressa. Nel caso Wegmans, i critici hanno messo in dubbio che l’azienda avesse spiegato chiaramente perché la raccolta di dati biometrici fosse necessaria, per non parlare del fatto che valesse il rischio di un danno alla reputazione.

[Leggi anche: Il nuovo dilemma della biometria: ci garantirà sicurezza o ci causerà rimpianti?]

Savage, che dirige il Civic AI Lab della Northeastern, definisce la questione come un problema di proporzionalità. La raccolta di identificativi personali immutabili per affrontare una sfida di lunga data nel settore della vendita al dettaglio costringe i dirigenti a confrontarsi con compromessi scomodi. «I dati biometrici costituiscono un bene immutabile», afferma. «I clienti non possono “resettare” il proprio volto o la propria voce qualora si verifichi un problema, pertanto l’azienda si assume una responsabilità permanente per quella che spesso è una problematica temporanea.»

Dati permanenti, responsabilità a lungo termine

Dal punto di vista della sicurezza informatica, i dati biometrici modificano in modo sostanziale il profilo di rischio di un’organizzazione. A differenza dei numeri delle carte di pagamento o delle password , gli identificatori biometrici non possono essere sostituiti in seguito a una violazione. Una volta esposti, rimangono esposti.

". Sono pochissime le persone che necessitano di accedere ai dati grezzi." Meno persone lo vedono, minore sarà il raggio d’azione dell’esplosione qualora qualcosa dovesse andare storto.”
Vescovato

Anche i dati biometrici si trovano in una complessa zona grigia dal punto di vista normativo negli Stati Uniti. Le misure di tutela della privacy variano da Stato a Stato e, come indicato all’indirizzo , non esiste uno standard federale completo che disciplini le modalità di trattamento dei dati biometrici. Per le organizzazioni che operano in diverse giurisdizioni, tale mancanza di uniformità comporta difficoltà in materia di conformità, prima ancora di prendere in considerazione i rischi per la sicurezza.

«C’è un ampio margine di manovra nel modo in cui le aziende descrivono l’uso che fanno dei dati biometrici», afferma Bischoping.

Quel margine di manovra si riduce quando le cose vanno male. In caso di violazione, le conseguenze vanno ben oltre la perdita finanziaria immediata. Bischoping sottolinea che i dati biometrici che a prima vista sembrano anonimizzati possono diventare pericolosi se, nel corso del tempo, vengono combinati con altri set di dati oggetto di violazioni. «Si iniziano a individuare schemi comportamentali: dove le persone fanno acquisti, dove lavorano, dove vivono», afferma, sottolineando che tale esposizione può risultare particolarmente dannosa per le persone esposte al rischio di stalking o di violenza domestica. «Il danno d’immagine non va sottovalutato. «Se i clienti non si sentono al sicuro, smetteranno di venire».

[Leggi anche: Marchi e consigli di amministrazione: reputation—7 misure informatiche per rafforzare la fiducia degli investitori e dei consumatori]

Anziché concentrarsi esclusivamente sui rendimenti a breve termine, Savage esorta i dirigenti a prendere in considerazione l’intero ciclo di vita del rischio. «Vale la pena rischiare una responsabilità civile di 50 anni in caso di violazione dei dati biometrici pur di ridurre i furti nei negozi nell’arco di cinque anni?» chiede, sostenendo che l’esposizione a lungo termine spesso supera i vantaggi operativi a breve termine.

La governance dell’IA prima della sua implementazione, non dopo

Una delle lezioni più evidenti tratte dal caso Wegmans è che la governance non può essere un aspetto secondario, afferma Savage. Spesso le organizzazioni implementano sistemi di intelligenza artificiale — in particolare quelli che coinvolgono dati biometrici — prima di aver definito in modo completo i criteri relativi all’uso accettabile, alla responsabilità o all’uscita dal sistema.

«. Una volta che i dati biometrici sono stati diffusi, non esiste un pulsante “Annulla”.»
Rachel Barnhart, membro dell’Assemblea della contea di Monroe (New York), democratica di Rochester

Savage sottolinea che le misure di sicurezza non riguardano solo la protezione dei dati. «Si tratta di definire i limiti oltre i quali la tecnologia non è più autorizzata a operare», afferma, sottolineando la necessità di soglie chiare in materia di tassi di errore, distorsioni e falsi positivi.

La governance deve estendersi anche alle infrastrutture e ai controlli di accesso . Bischoping sostiene che i dati biometrici non debbano necessariamente essere ampiamente disponibili per risultare utili dal punto di vista operativo. «Sono pochissime le persone che hanno bisogno di accedere ai dati grezzi», afferma. «Meno persone lo vedono, minore sarà il raggio d’azione dell’esplosione qualora qualcosa dovesse andare storto.»

Soggetti terzi e legislazione frammentaria: ostacoli inaspettati per la governance dell’IA

Anche le politiche di fidelizzazione rivestono un’importanza fondamentale. Un linguaggio vago riguardo alla conservazione dei dati “per tutto il tempo necessario” lascia troppo spazio affinché informazioni sensibili rimangano in circolazione a tempo indeterminato, aggiunge Bischoping. «È così che i dati finiscono per essere dimenticati — e i dati dimenticati diventano una miniera d’oro in caso di una futura violazione.»

Considerati i rischi in materia di privacy e normativi associati all’uso della tecnologia biometrica, gli esperti raccomandano che qualsiasi quadro di governance intelligente includa anche una gestione rafforzata della conformità alle norme “ ”. Una maggiore visibilità sui dati personali può comportare problemi di conformità e preoccupazioni in materia di privacy se non gestita nell’ambito di quadri normativi rigorosi; tali rischi sono destinati ad aumentare man mano che il malcontento dell’opinione pubblica nei confronti dell’intelligenza artificiale esercita pressioni sui legislatori delle varie giurisdizioni affinché intervengano, dando luogo a un mosaico di normative.

[Legga anche: Quadri di riferimento per la sicurezza informatica — una guida semplificata ai 10 standard di conformità più diffusi, dall’ NIST , all’HIPAA, fino all’ GDPR]

I fornitori terzi aggiungono un ulteriore livello di rischio. Qualora i dati biometrici vengano trattati o conservati esternamente, le organizzazioni devono sapere dove sono conservati tali dati, chi può accedervi e cosa accade qualora l’attività del fornitore subisca modifiche. Tali scenari sono di gran lunga più facili da gestire quando i quadri di governance li anticipano, piuttosto che reagire solo dopo che la fiducia è già venuta meno, afferma Bischoping.

Le organizzazioni devono partire dal presupposto che qualsiasi dato raccolgano oggi rimarrà disponibile più a lungo di quanto si aspettino, afferma Bischoping.

«Le aziende possono sperimentare questa tecnologia, ma non ne subiscono direttamente le conseguenze in caso di insuccesso», aggiunge Barnhart. «Sono i consumatori a farlo. «E una volta che i dati biometrici sono stati diffusi, non c’è modo di tornare indietro.»