Vertrouw niet op AI
Gemiddeld bevatten AI-gegenereerde voorstellen voor wijziging van software (pull requests (PR’s)) ongeveer 10,83 issues per stuk, vergeleken met 6,45 issues in door mensen gemaakte PR’s. Dat is ongeveer 1,7 keer meer wanneer AI wordt gebruikt, wat betekent: langere codebeoordelingen en een groter risico op fouten. De problemen die door AI-gegenereerde PR’s worden veroorzaakt, blijken ook vaak ernstiger te zijn dan menselijke fouten. AI-geschreven PR’s bevatten gemiddeld 1,4 keer meer kritieke issues en 1,7 keer meer grote issues dan door mensen geschreven PR’s, aldus het rapport.
Het CodeRabbit-rapport vond dat AI-gegenereerde code op alle belangrijke probleemcategorieën tekortschiet in vergelijking met door mensen gemaakte code. De bots veroorzaakten meer fouten in logica en correctheid (1,75x), meer fouten in codekwaliteit en onderhoudbaarheid (1,64x), meer beveiligingsproblemen (1,57x) en meer prestatieproblemen (1,42x). Wat specifieke beveiligingsproblemen betreft, was AI-gegenereerde code 1,88 keer vaker verantwoordelijk voor onjuist wachtwoordbeheer, 1,91 keer vaker voor onveilige objectreferenties, 2,74 keer vaker voor XSS-kwetsbaarheden en 1,82 keer vaker voor onveilige deserialisatie (omzetting van data) dan menselijke ontwikkelaars.
Het is redelijk aan bovenstaande feiten de algemene conclusie te verbinden dat AI de kans op fouten vergroot en dat AI ook de ernst van de fouten doet toenemen. Andere studies bevestigen dat AI-code vaak complexere of minder onderhoudbare constructies produceert, wat indirect de kans op fouten vergroot. AI vergroot ook de kans op ernstiger fouten. Niet alle studies komen tot exact dezelfde cijfers. Sommige laten zien dat AI-code simpeler is en in sommige gevallen meer tests doorstaat. Ook is het soms niet zeker dat code die als “menselijk” gelabeld is, niet deels door AI is gemaakt. Het effect kan variëren per type taak en vaardigheid van de persoon die AI gebruikt.
Een logische implicatie is, de feiten vertalend naar een professionele context zoals dat van juristen, dat AI-documenten, adviezen of contracten kan genereren met meer fouten dan een volledig menselijke versie. Sommige van die fouten kunnen substantieel schadelijk zijn (bijvoorbeeld verkeerde contractclausules, onjuiste interpretaties van wetgeving). De professional blijft eindverantwoordelijk voor de inhoud en correctheid van het werk. Het gebruik van AI verandert niets aan deze verantwoordelijkheid; het vergroot juist het risico en/of de beroepsaansprakelijkheid omdat AI verzekert dat de kans en ernst van fouten hoger is. Verzekeraars kunnen hierin aanleiding zien de premie te verhogen voor beroepsaansprakelijkheidsverzekeringen bij professionals die AI gebruiken.