Immagini di insegnare a un adolescente a guidare (fa paura, vero?). Si spiegano le regole del codice della strada, ma le vere lezioni si imparano dall’esperienza al volante: frenare troppo tardi davanti a un segnale di stop provoca un brivido di paura, mentre affrontare una curva con fluidità suscita un cenno di approvazione (o un sospiro di sollievo). Nel corso del tempo, il conducente apprende attraverso tentativi, errori e ricompense.
È sostanzialmente così che funziona l’apprendimento per rinforzo. Si tratta di un tipo di apprendimento automatico di tipo “ ” ( ) in cui il sistema apprende compiendo azioni e ricevendo un feedback — sia positivo che negativo — in base ai risultati ottenuti. Ad esempio, un sistema di apprendimento per rinforzo potrebbe imparare a giocare a un videogioco guadagnando punti per le mosse corrette e perdendone per quelle errate.
L’apprendimento per rinforzo non ha ancora preso piede negli ambienti della sicurezza informatica, ma gli esperti sostengono che valga la pena approfondirlo, considerando il suo potenziale nell’aiutare i sistemi a decidere in modo adattivo e in tempo reale quale sia la mossa successiva in situazioni sconosciute . Gli attacchi possono evolversi troppo rapidamente perché le difese basate sulle firme riescano a stare al passo, e i modelli tradizionali di apprendimento automatico si basano su dati storici che spesso sono scarsi, obsoleti o distorti.
«L’apprendimento per rinforzo è diverso: consiste nell’apprendere sulla base di informazioni valutative che possono assumere la forma di una ricompensa o di una penalità», afferma Andrew Barto, professore emerito di informatica presso l’Università del Massachusetts ad Amherst e autore di * * , *Reinforcement Learning: An Introduction*e **. «Il sistema esegue un’azione e riceve un riscontro sotto forma di punteggio, che cerca di massimizzare.»
«[Un sistema di apprendimento per rinforzo] compie un’azione e riceve un feedback sotto forma di punteggio, che cerca di massimizzare.»”Andrew Barto, professore emerito di informatica presso l’Università del Massachusetts ad Amherst
Se l’apprendimento per rinforzo dovesse affermarsi — e, dati gli attuali tagli ai bilanci destinati alla sicurezza e le incertezze economiche generali, si tratta di un “se” non da poco — i suoi sostenitori ritengono che potrebbe inaugurare una nuova era di “ ” (prevenzione prima della risposta) in materia di sicurezza informatica. Automatizzando le attività di routine e ripetitive fondamentali per la “cyber igiene” (si pensi, ad esempio, alle valutazioni del traffico di rete, alle scansioni alla ricerca di malware e alla gestione delle patch , tra le altre), i team di sicurezza avranno la possibilità di dedicarsi a questioni più complesse e di difendere le reti informatiche in modo più efficace, avvalendosi di una maggiore quantità di dati in tempo reale.
I vantaggi dell’apprendimento per rinforzo nel campo della sicurezza
La sicurezza informatica raramente si svolge come da manuale. Gli autori degli attacchi escogitano continuamente nuovi stratagemmi e le difese basate esclusivamente su dati storici — come le esche di phishing di ieri relative a “ ”, le firme dei malware noti o le scansioni delle vulnerabilità dello scorso anno relative a “ ” — possono avere difficoltà a stare al passo. Tali modelli tradizionali di apprendimento automatico possono essere sia supervisionati (il modello apprende da dati etichettati che dispongono già delle risposte corrette, come immagini contrassegnate con “gatto” o “cane”), sia non supervisionati, in cui il modello individua cluster o schemi in dati non etichettati (come il raggruppamento di clienti con abitudini di acquisto simili).
«L’apprendimento per rinforzo rappresenta una soluzione al problema della scarsità di dati che spesso si presenta nel campo della sicurezza.»»Christoph Landolt, dottorando, CISPA – Centro Helmholtz per la sicurezza informatica
Al contrario, un metodo aiuta i sistemi a capire “E adesso?”. in situazioni che non hanno mai affrontato prima. Per implementare un metodo di apprendimento per rinforzo, il team di sicurezza informatica addestra un agente di intelligenza artificiale — un programma in grado di prendere decisioni in autonomia — affinché riconosca le minacce e adatti le proprie risposte nel corso del tempo. Gli ingegneri sottopongono all’agente scenari di attacco simulati, assegnandogli un punteggio positivo per le azioni che rafforzano le difese e penalizzandolo per quelle che non lo fanno, finché non impara a rispondere in modo efficace alle minacce reali.
Trovare dati sufficienti — o i dati giusti — per determinate tecniche di apprendimento automatico rappresenta spesso una sfida, osserva Anupam Joshi, vice rettore e responsabile dell’intelligenza artificiale presso l’Università del Maryland, Contea di Baltimora. «Disporre di dati non è facile, e questi tendono ad essere molto retrospettivi», afferma.
È proprio in questo ambito che un sistema di apprendimento per rinforzo può funzionare meglio, individuando quali azioni intraprendere in attacco o in difesa anche quando non dispone inizialmente di dati perfetti, aggiunge Joshi. Il ciclo di retroazione — ricompensa o penalità — sostituisce i set di dati etichettati da cui dipende l’apprendimento supervisionato. In altre parole, l’apprendimento per rinforzo non si limita a classificare come dannosa un’e-mail di phishing ; è in grado di apprendere come comportarsi quando rileva uno schema sospetto che non ha mai visto prima.
Un altro punto di forza dell’apprendimento per rinforzo è la sua capacità di apprendere in ambienti simulati e sicuri prima ancora di essere implementato su sistemi reali — aspetto particolarmente importante nel campo della sicurezza informatica, poiché le organizzazioni non possono permettersi di commettere errori su reti operative che potrebbero causare il collasso di infrastrutture critiche, afferma Christoph Landolt, dottorando presso il CISPA Helmholtz Center for Information Security.
«L’apprendimento per rinforzo rappresenta una soluzione al problema della scarsità di dati con cui ci troviamo spesso a confrontarci nel campo della sicurezza», afferma. «Non è consigliabile addestrare i modelli utilizzando dati sensibili e riservati relativi alle minacce, ma è possibile creare simulazioni che aiutino i modelli a imparare come reagire.»
Ciò significa che le organizzazioni possono creare ambienti di attacco sintetici, quali simulazioni di “red team” (in cui hacker etici simulano attacchi reali), test di stress di tipo “ ” (che inondano i sistemi di traffico per verificarne la resilienza) o sandbox per ransomware (laboratori isolati per lo studio in sicurezza del malware) — in cui gli agenti di apprendimento per rinforzo possono esercitarsi nelle risposte, fallire in sicurezza e migliorare, aggiunge Joshi. Per le minacce troppo rare per essere incluse nei set di addestramento basati su casi reali, quali le minacce persistenti avanzate (APT) o gli exploit zero-day di tipo “ ”, questi ambienti offrono alle organizzazioni la possibilità di prepararsi senza dover attendere che si verifichi lo scenario peggiore.
Gli svantaggi dell'apprendimento per rinforzo
La realtà, ovviamente, è più complessa della simulazione. Landolt mette in guardia dal “divario tra simulazione e realtà”, per cui modelli che danno ottimi risultati in un ambiente controllato potrebbero fallire in condizioni reali, quando le condizioni della rete o i comportamenti degli aggressori risultano diversi.
Quando il team di Barto stava addestrando un agente di apprendimento per rinforzo a guidare un'auto da corsa simulata su un circuito, ad esempio, il sistema ha scoperto che sbattere contro il muro alla massima velocità gli consentiva di cambiare direzione e tagliare il traguardo più velocemente. «Quello era chiaramente un segnale di ricompensa errato», afferma Barto. «L’abbiamo visto e abbiamo detto: “Oh, non è quello che vogliamo”».
In un contesto di sicurezza, tale esito potrebbe rivelarsi disastroso. Un sistema di apprendimento per rinforzo mal progettato potrebbe imparare a bloccare il ransomware chiudendo in modo aggressivo i processi legittimi oppure impedire le violazioni limitando eccessivamente la normale attività degli utenti, afferma Joshi. Se non venisse controllata, la soluzione adottata dal sistema potrebbe finire per creare problemi altrettanto gravi quanto l’attacco stesso.
Sebbene l’apprendimento per rinforzo possa apparire promettente, non è certo economico. A differenza dell’apprendimento automatico tradizionale, l’apprendimento per rinforzo deve gestire enormi quantità di informazioni: ogni possibile stato di una rete e ogni azione che un sistema potrebbe intraprendere in risposta. Ciò comporta rapidamente un carico computazionale enorme, afferma Joshi. La sfida non consiste solo nell’addestrare i modelli, ma anche nel gestire l’enorme complessità delle scelte e dei risultati. Per le organizzazioni, ciò significa che l’apprendimento per rinforzo richiede ingenti investimenti in infrastrutture e un’attenta pianificazione prima di poter generare un valore concreto.
Il futuro dell'apprendimento per rinforzo
L’apprendimento per rinforzo rimane oggi in gran parte in fase sperimentale nel campo della sicurezza informatica, afferma Landolt, ma le sue future applicazioni presentano un potenziale enorme.
«. Il reinforcement learning non è un aspetto a cui si tende a pensare quando si parla degli attuali [modelli linguistici di grandi dimensioni].»Anupam Joshi, vice rettore e responsabile dell’intelligenza artificiale presso l’Università del Maryland, Contea di Baltimora
Le aziende che dispongono di un accesso ai propri dati in tempo reale relativi alla visibilità e alle vulnerabilità potrebbero addestrare un agente di apprendimento per rinforzo su tali dati al fine di elaborare sequenze basate sulle migliori pratiche e tempistiche ottimali per l’applicazione delle patch a migliaia di computer, tablet e altri endpoint.
Landolt intravede prospettive promettenti in settori quali le tecnologie di inganno — ad esempio, l’impiego di honeypot che inducono gli aggressori a interagire con sistemi fittizi mentre i difensori raccolgono informazioni. Gli agenti di apprendimento per rinforzo potrebbero imparare come posizionare e adattare al meglio tali esche in tempo reale. Un altro settore promettente è quello della difesa contro bersagli mobili, in cui i sistemi si riconfigurano continuamente, costringendo gli aggressori a confrontarsi con un panorama in costante mutamento.
Landolt sottolinea inoltre che gli attacchi mirati rappresentano un ambito in cui l’apprendimento per rinforzo potrebbe dare il meglio di sé. Simulando i movimenti laterali all’interno delle reti — come il passaggio da un servizio web a un database — gli agenti di apprendimento per rinforzo potrebbero esercitarsi a difendersi dagli avversari che cercano di appropriarsi delle risorse più preziose. Joshi aggiunge che le organizzazioni potrebbero, in futuro, mettere a confronto agenti di apprendimento per rinforzo con agenti offensivi in giochi a due giocatori in stile “red team contro blue team”, consentendo a entrambe le parti di apprendere e migliorare insieme.
D'altro canto, anche gli autori degli attacchi potrebbero ricorrere all'apprendimento per rinforzo. Landolt avverte che gli avversari potrebbero manipolare direttamente gli agenti di apprendimento per rinforzo, alterando i loro segnali di ricompensa o sottoponendoli a osservazioni ingannevoli. Un agente di rilevamento del malware, ad esempio, potrebbe essere indotto a ignorare il traffico dannoso o addirittura a compiere azioni distruttive su file legittimi. Proprio come nel caso dei tradizionali incidenti di “data poisoning” (avvelenamento dei dati) nell’ambito dell’apprendimento automatico ( ), in cui gli autori malintenzionati prendono di mira i dati di addestramento forniti ai modelli linguistici di grandi dimensioni, le aziende farebbero bene a limitare i privilegi di accesso agli agenti di apprendimento per rinforzo e a utilizzare una “software bill of materials” (SBOM) che tenga traccia dei componenti presenti nei prodotti software.
Questo duplice utilizzo, da “buono” e da “cattivo”, sottolinea il motivo per cui le organizzazioni non possono ignorare il percorso di sviluppo dell’apprendimento per rinforzo. «Gli attacchi diventeranno più rapidi grazie all’uso dell’intelligenza artificiale», afferma Landolt. Per i responsabili della sicurezza, stare al passo con i tempi significa non solo prepararsi a implementare l’apprendimento per rinforzo in modo responsabile, ma anche prevedere in che modo gli avversari potrebbero sfruttarlo a fini dannosi.
Il settore dell’ Community , nel suo complesso, sta già effettuando investimenti di grande portata. L’xAI di Elon Musk, ad esempio, ha impiegato 10 volte più potenza di calcolo nell’apprendimento per rinforzo per il proprio modello Grok 4 rispetto a Grok 3—a : un segnale di quanto l’apprendimento per rinforzo sia diventato fondamentale per il miglioramento delle prestazioni dell’IA. Man mano che i laboratori di intelligenza artificiale di tutto il mondo vi investiranno risorse, le relative tecniche matureranno più rapidamente, fino a trovare applicazione nel settore della sicurezza informatica.
«L’apprendimento per rinforzo non è un aspetto a cui si tende a pensare quando si parla dei [modelli linguistici di grandi dimensioni] odierni», afferma Joshi. «Il semplice fatto di essere consapevoli che esiste questo altro modo di agire, particolarmente utile in termini di apprendimento e di crescita nel tempo, è di per sé qualcosa di prezioso.»
