The Science of Where Magazine e The Global Eye intervistano David Heslop, professore associato presso la School of Population Health dell’UNSW Sydney. David è consulente medico senior per la CBRNE dell’esercito australiano e della leadership dell’Australian Defence Force (ADF). Nel corso di una carriera militare di oltre 15 anni, è stato impiegato in una varietà di ambienti di combattimento complessi e ha una formazione internazionale avanzata in medicina chimica, biologica, radiologica, nucleare ed esplosiva (CBRNE). Ha esperienza nella pianificazione e nella gestione di disastri gravi, di incidenti di massa e di situazioni con più vittime. Viene regolarmente consultato e partecipa allo sviluppo e alla revisione della politica e della dottrina nazionale e internazionale in ambito clinico e operativo, militare e CBRNE. I suoi interessi di ricerca riguardano l’innovazione dei sistemi sanitari e medici e la ricerca che utilizza la modellazione e la simulazione computazionale per risolvere problemi altrimenti intrattabili.
Perché e come l’evoluzione dell’intelligenza artificiale potrebbe diventare un rischio nella costruzione di armi chimiche o biologiche?
Si tratta di un fenomeno preoccupante che si sta già verificando e l’intelligenza artificiale rappresenta un rischio per la proliferazione e l’uso di CBRNE in molti contesti. Recentemente alcuni ricercatori svizzeri hanno utilizzato una forma di intelligenza artificiale generativa normalmente applicata alla scoperta di nuove terapie e farmaci per proporre le strutture di migliaia di sostanze chimiche tossiche simili al potente agente nervino VX e alcune con una tossicità probabilmente ancora maggiore. Questi strumenti sono già ampiamente disponibili, con la differenza che gli individui non hanno ancora fatto il passo di “riutilizzare” gli strumenti per intraprendere azioni negative o distruttive (vedi: Urbina, F., Lentzos, F., Invernizzi, C. et al. Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell 4, 189-191 – 2022).
Un recente rapporto di RAND Corporation ha evidenziato i rischi posti da modelli linguistici di grandi dimensioni (LLM) simili a ChatGPT per assistere nella pianificazione e nell’esecuzione di attacchi biologici. Tali strumenti possono ridurre le barriere che impediscono agli individui di comprendere quali fattori sono importanti nella selezione di un agente patogeno candidato, come armare un agente patogeno e come sviluppare tecniche di consegna e diffusione. Ancora più importante, gli LLM possono fornire capacità di “controllo logico” e di “fact checking”, fornendo consigli su quali percorsi sarebbero infruttuosi e riducendo i tempi di sviluppo e implementazione.
Lei scrive che è necessario avviare una “nuova era di controproliferazione nell’era dell’IA”. Che cosa significa?
Le nuove generazioni di strumenti di IA quasi certamente accelereranno rapidamente alcune tendenze di proliferazione che si stavano già verificando. La diffusione di know-how e informazioni rilevanti per l’armamento era un problema già esistente, guidato dalla digitalizzazione e legato a varie tecnologie emergenti a doppio uso. Si è verificato un graduale spostamento verso i dati trasmissibili come vettore della minaccia CBRNE, in contrasto con i precursori fisici, gli ingredienti o il know-how. Gli strumenti di intelligenza artificiale, nella loro forma attuale, forniscono capacità aggiuntive sostanziali per aggirare le barriere informative e di dati per gli attori malintenzionati. Inoltre, alcuni strumenti di IA possono anche aumentare le barriere e le difficoltà per il lavoro dei servizi di intelligence, verifica e audit e di polizia. È urgente affrontare i rischi che l’IA pone alle tradizionali attività di controproliferazione e di intelligence, e ai loro servizi abilitanti. Allo stesso modo, il modo in cui si può contrastare la proliferazione CBRNE legata all’IA è una questione importante e, paradossalmente, potrebbe essere possibile solo attraverso l’uso giudizioso di vari strumenti di IA. In altre parole, potremmo essere costretti a combattere il fuoco con il fuoco.
I rischi a livello globale stanno cambiando sempre più velocemente e radicalmente. In futuro, a causa di molti fattori, tra cui l’evoluzione non regolamentata dell’IA, ritiene che le pandemie potranno rappresentare la nuova forma di guerra?
Sono d’accordo, ma solo a certe condizioni. L’IA e le altre tecnologie emergenti, insieme alla profonda integrazione della popolazione nel mondo cibernetico nella maggior parte delle nostre vite, hanno aperto la porta a operazioni di influenza su scala industriale. Non è difficile concepire un mondo in cui il comportamento umano, e quindi la società, viene manipolato su larga scala per scopi deliberati, utilizzando gli strumenti dell’IA, la connettività digitale e l’interazione online. A mio avviso, la popolazione avrà grosse difficoltà a distinguere tra realtà e finzione e tra ciò che è attendibile, aprendo così la porta a facili manipolazioni da parte di alcuni attori. Gli effetti negativi delle pandemie – autoisolamento, assenteismo, impatti economici, disagi, impatti sulla salute mentale – possono essere facilmente ottenuti creando false narrazioni sui patogeni temuti piuttosto che sull’effettivo rilascio di un agente patogeno. Anche gli eventi realmente significativi, come le epidemie minori, possono essere minimizzati attraverso operazioni di informazione guidate dall’IA con effetti devastanti, accelerando la diffusione delle malattie e minando gli sforzi della sanità pubblica. Le pandemie rappresentano quindi una nuova forma di guerra? Sì, e in molti modi nuovi, compresa la manipolazione dei comportamenti della popolazione anche in assenza di minacce reali.
(Original text)
The Science of Where Magazine and The Global Eye interview David Heslop. He is an Associate Professor at the School of Population Health at UNSW Sydney. He retains military responsibilities as Senior Medical Adviser for CBRNE to the Australian Army and to Australian Defence Force (ADF) leadership. He is a clinically active vocationally registered General Practitioner and Occupational and Environmental Medicine Physician. During a military career of over 15 years he has deployed into a variety of complex and austere combat environments, and has advanced international training in Chemical, Biological, Radiological, Nuclear and Explosive (CBRNE) Medicine. He has experience in planning for and management of major disasters, mass casualty and multiple casualty situations. He is regularly consulted and participate in the development and review of national and international clinical and operational general military and CBRNE policy and doctrine. His research interests lie in health and medical systems innovation and research using computational modelling and simulation to address otherwise intractable problems.
Why, and how, could the evolution of artificial intelligence become a risk in the construction of chemical or biological weapons?
This is, concerningly, already occurring and AI is right now a risk for the proliferation and use of CBRNE in many contexts. Recently Swiss researchers used a form of generative artificial intelligence normally applied to discovering new therapies and medications to propose the structures of thousands of toxic chemicals similar to the potent nerve agent VX and some with likely even greater toxicities. These tools are widely available already, the key distinction being individuals yet to take the step to “repurpose” the tools to undertake negative or destructive acts (see: Urbina, F., Lentzos, F., Invernizzi, C. et al. Dual use of artificial-intelligence-powered drug discovery. Nat Mach Intell 4, 189–191 – 2022).
A recent report by the RAND Corporation highlighted the risks posed by Large Language Models (LLMs) similar to ChatGPT to assist in the planning and execution of biological attacks. Such tools can reduce the barriers for individuals to comprehend what factors are important when selecting a candidate pathogen, how to weaponize a pathogen, and how to develop delivery and dissemination techniques. More importantly, LLMs can provide “logic checking” and “fact checking” capabilities provide advice on what pathways would be unfruitful and reducing development and implementation times (see: The Operational Risks of AI in Large-Scale Biological Attacks: A Red-Team Approach | RAND)
You write that a ‘new era of counter-proliferation in the age of AI’ must be initiated. What does that mean ?
New generations of AI tools are almost certainly going to rapidly accelerate certain trends in proliferation trends that were already occurring. The dissemination of relevant know-how and information relevant to weaponisation was an existing problem driven by digitisation and linked to various emerging dual-use technologies. There has been a gradual shift to transmittable data being the vector of CBRNE threat, in contrast to physical precursors, ingredients or know-how. AI tools in their current form provide substantial additional capabilities to sidestep data and informational barriers for malicious actors. Additionally some AI tools may also increase barriers and difficulty for the work of intelligence, verification and audit, and policing services. Addressing the risks that AI poses to traditional counter-proliferation and intelligence activities, and their enabling services, must be urgently addressed. Equally, how AI linked CBRNE proliferation can be countered is an important questions, and paradoxically may only be possible through the judicious use of various AI tools. In other words, we may be required to fight fire with fire.
Risks on a global level are changing faster and faster and more radically. Do you see, in the future, that – due to many factors including an unregulated evolution of AI – pandemics represent the new form of war ?
I would have to agree, but under certain conditions only. AI and other emerging technologies, coupled with deep integration of the population into the cyber-world in most parts of our lives – has opened the door for influence operations on a industrial scale. It is not difficult to conceive of a world where human behaviour and thus society is manipulated at scale for deliberate purposes using the tools of AI with digital connectivity and online interaction. My view is that the population will now have great difficulty being able to differentiate between fact and fiction and what is trustable, and so opening the door to easy manipulation by certain actors. The negative effects of pandemics – self-isolation, absenteeism, economic impacts, disruption, mental health impacts – may be easily achievable by creating false narratives surrounding feared pathogens rather than the actual release of a pathogen. Actual events of significance such as minor outbreaks may also be embellished, or minimised, through AI driven information operations for devastating effect – accelerating spread of disease and undermining public health efforts. So do pandemics represent a new form of war? Yes, and in many new ways including manipulating population behaviours even in the absence of real world threats.
(riproduzione autorizzata citando le fonti – The Science of Where Magazine e The Global Eye)
