Una recente indagine condotta su grandi compagnie statunitensi e britanniche da Undo, azienda di software specializzata nel debugging, è giunta alla conclusione che l'intelligenza artificiale ha favorito e accelerato i tempi di produzione del codice
ma ha contemporaneamente innalzato il tempo dedicato alla ricerca di errori e alla correzione e all’adeguamento del codice al contesto nel quale avrebbe dovuto funzionare. Gli sviluppatori e ingegneri informatici hanno dedicato mediamente circa 17 ore al debugging contro 10 ore di scrittura del codice.
Di tutti gli intervistati l’81% ha dichiarato che si sono verificati incidenti nel software collegati all'utilizzo di strumenti di intelligenza artificiale per la scrittura del codice, il 79% che i cicli di rilascio del software non sono più veloci rispetto a prima dell'introduzione dell'IA, il 93% che un'allucinazione dell'IA ha portato il team a indagare sulla causa tecnica sbagliata di un problema.
Inoltre, nel 35% dai casi il codice generato dall'intelligenza artificiale arriva in produzione prima che il team di lavoro lo abbia compreso completamente.
Sembra che l'intelligenza artificiale non abbia eliminato il collo di bottiglia, ma lo ha semplicemente spostato in avanti.
Il ragionamento si basa su una distinzione fondamentale: produrre un risultato non equivale ad aver prodotto un risultato corretto, verificato e utilizzabile. Vediamolo con un esempio relativo allo sviluppo software. Un programmatore che utilizza l'IA può generare in pochi minuti centinaia di righe di codice che, scritte manualmente, richiederebbero molto più tempo.
Il programmatore deve capire che cosa fa quel codice, verificare che sia corretto, individuare eventuali errori, controllare i casi limite e accertarsi che non comprometta altre funzionalità.
Anche se il codice sembra corretto, bisogna verificare che funzioni nell'applicazione reale, che rispetti i requisiti e che non introduca problemi di sicurezza o di prestazioni. Il vantaggio iniziale può quindi essere ridimensionato dal tempo necessario per controllare ciò che è stato generato. In alcuni casi, il tempo complessivo si riduce comunque. In altri, il lavoro di verifica e correzione assorbe gran parte del risparmio, o addirittura lo annulla.
Più diaboliche sono le allucinazioni in questo contesto. Un'allucinazione si verifica quando un sistema di intelligenza artificiale produce un'informazione plausibile ma errata. Immaginiamo che un'applicazione smetta di funzionare. Il programmatore chiede all'IA di analizzare il problema e questa suggerisce che la causa sia una particolare funzione. Il programmatore trascorre due ore a esaminare quella funzione, ma il problema dipende in realtà da una configurazione del database.
L'IA non ha semplicemente mancato di risolvere il problema: ha contribuito a indirizzare il lavoro nella direzione sbagliata, consumando tempo prezioso. È proprio questo il rischio evidenziato dal post.
Il tema si presenta anche in altri contesti professionali. Nella preparazione di una relazione che l’IA genererebbe in pochi minuti ma verificare le fonti, i numeri, le ipotesi e le conclusioni può richiedere ore. Nella redazione di un contratto ove una clausola inesatta o incompatibile con il resto del contratto può avere conseguenze importanti. In un sistema di assistenza ai clienti dove una risposta sbagliata o non autorizzata potrebbe generare ulteriori reclami e lavoro correttivo.
Per misurare la qualità di un risultato è indispensabile osservare questi indicatori:
Tempo complessivo di lavorazione, cioè quanto tempo passa dalla richiesta al risultato utilizzabile,
Tempo medio di revisione, cioè quanto lavoro serve per verificare ciò che ha prodotto l'IA,
Tasso di errori dopo la pubblicazione, cioè quanti problemi emergono dopo che il risultato è stato messo in uso,
Risparmio netto di tempo, cioè la differenza tra il tempo risparmiato nella produzione e quello aggiuntivo impiegato per verifiche e correzioni.
L'intelligenza artificiale aumenta la capacità di produrre risultati; non garantisce automaticamente un aumento equivalente della capacità di verificarli. E viene da chiedersi: stiamo diventando più produttivi oppure stiamo semplicemente producendo più cose da controllare?
