AI Does Not Stop Human From Happening
Vad jag lärde mig av att köra fyra modeller på ett forskningsprojekt
Jeff Gray · 4 september 2026 · Control Systems Security
Read in English · Svensk skuggversion
Lita, men sniffa. En människa som ger en AI-produkt det enda test som fortfarande betyder något.
Jag har läst en massa vilda påståenden från folk som antingen säljer produkter i bästa fall eller är djupt vilseledda i värsta fall när det gäller AI-utvecklingsprojekt. Jag har tillbringat ett år med att lära mig den hårda vägen och tänkte att jag skulle dela med mig av lite verklighet. Den som säger att den här eller den där modellen ska göra dig rik över natten försöker bli rik över natten genom att sälja dig det jag nu ska berätta.
I dag körde jag en hel OT-exponeringscykel: 34 dagar med Shodan-skanningar, molnfiltervalidering, persistensanalys, artikelutkast. Jag använde fyra olika modeller i olika steg. Varje modell gjorde något de andra inte klarade lika bra. Det här är vad som fungerade.
DeepSeek v3.1
Jag kastade den råa 34-dagarsdatamängden på DeepSeek. Det är 34 skanningsdagar över 22 mål, 748 datapunkter totalt. Jag bad den hitta mönster och flagga allt konstigt.
Den räknade ut en massa tillväxttal per fas. Jag läste det två gånger. Jag var inte bra på statistik. Jag arbetar med idéer och fantasi. Jag föreställde mig att jag skulle få en hjärnblödning, men sedan läste jag vidare. Den hade sett inbromsningen efter att molnfiltret slog till. Modbus sjönk från 1 682 nya exponeringar per dag ner till 386. Det som faktiskt imponerade på mig var snävare än så. Den fångade de enda två minskningarna i hela datamängden: Global Modbus, 26–27 augusti. Jag hade missat det helt.
Det användbara var inte tillväxtkurvan. DeepSeek listade uttryckligen sex påståenden som data inte stöder. Det stoppade mig från att överdriva. Den skarpaste raden träffade kontrollgruppsproblemet: "Data stöder korrelation med indextillväxt, inte kausalitet för exponeringstillväxt."
Jag skickar den siffrorna. Den bryr sig inte om artikeln landar. Den bryr sig om jag är på väg att påstå något som tabellen inte bär.
Grok 4
Innan jag skrev något pitchade jag artikelidén till Grok och bad den slita isär den.
Det gjorde den.
Den flaggade risken för "AI-slask" direkt, innan jag skrivit ett enda ord. Den kallade den svagaste länken för "Någon som försöker fabriksproducera en kontrarian take med begränsad data." Den flaggade den saknade motbevisningen: fall där exponerade OT-enheter faktiskt blivit komprometterade. Den krävde snävare påståenden: betydligt stramare metod, bättre källor, ett snävare claim.
Jag rullade med ögonen. Jag hatar när en AI säger att jag skäller upp i ett träd som är för högt. Så jag hällde upp mer kaffe.
Senare satte jag den på ett annat jobb. Prototypscript. API-integrationer. Fungerande implementationer. Den byggde om min webbnärvaro. Den levererade Floodwall-träningsdemon från spec till fungerande kod. När jag behöver att något ska finnas börjar jag oftast här.
Den ska inte sitta barnvakt på mina siffror, och den ska inte färdigställa en text i min röst. Vad den gör är att slita isär en pitch och sedan bygga prototypen jag behöver för att testa om pitchen var värd att skriva.
Claude Sonnet 4.5
Jag skickade Claude utkastet med tre önskemål: granskning av angreppssätt, datavalidering och en icke-AI-skrivredigering.
Den gillade styckets form: metod, frågor, inbjudan. Den fångade ett faktafel: BACnet-startvärdet var fel (36 061 mot det verkliga 34 856). Sedan skrev den om utkastet tills det slutade låta som ett slide deck. Jag hatar slide decks, men ibland sväljer man kontorskaffet.
Den föreslog att byta titel från "What I'm Not Claiming" till "Scope Limitations" så att jag lät mindre som om jag bråkade med ett spöke. Efter den passagen kunde jag läsa texten utan att ryna till vid var tredje mening.
Claude fångade inte tillväxtanomali. Den utmanade inte själva idén. Jag tar in den sent, efter att data är kontrollerad och idén överlevt en elak läsning. Det är då jag vill ha hjälp med struktur och formulering, inte med om projektet borde finnas.
Qwen 3.6-plus
Medan de andra modellerna tar de specialiserade passen kör Qwen den dagliga pipelinen åt mig.
Cron-jobb. Filhantering. Minnesuppdateringar. Sessionskoordinering. Datahämtning. Leveransdistribution. Jag ber den inte vara smart. Jag ber den hämta, bearbeta, filera och skicka utan att hitta på ett andra projekt.
Den minns vad som hände i går, var filerna ligger och vad som fortfarande väntar. Det låter tråkigt tills du har lagt en förmiddag på att jaga en CSV som tre agenter var och en svär att de sparat någon annanstans.
Qwen är inte DeepSeek på statistik, inte Grok på byggen, inte Claude på prosa. Det den är bra på är att hålla arbetet i rörelse så att det inte är jag som sitter barnvakt på varje hämtning och filflytt.
När agenter går utanför manus
En agent som får i uppdrag att analysera ett pipelinescript skriver tyst om det. Inte för att den är elak. För att den tror att den är hjälpsam.
Jag har sett det. Flera gånger.
Förra månaden hot-patchade en agent som skulle granska en config-fil den. Den ändrade tre parametrar jag medvetet satt. En annan gång bestämde en agent som skulle hämta data att den skulle deploya ändringar till endpoint-konfigurationen. Modellen vet inte att den korsat en linje. Be en agent att "kolla en siffra" och den kanske bestämmer sig för att "också fixa det scriptet", "också uppdatera den confign", "också starta om den tjänsten". Gapet mellan analysera och agera är en prompt bort.
Plattformen har vissa inbyggda skydd. Förhöjda kommandon kräver mitt godkännande. Barnsessioner ärver inte hela mitt transcript. Agenter får bara verktygen jag ger dem. Ingen får starta om eller omkonfigurera på egen hand.
Men plattformen förklarar sig inte, och den är inte skyldig mig någon förklaring när den fattar bedömningsbeslut inuti verktygen den redan tillåtit. Jag låter en agent skriva om kod när den ombeds "fixa den" och utgår från att resultatet blir happy fun time. Det gapet mellan "gör X" och "gör X, inte Y" när Y aldrig förbjudits? Det ligger på mig.
Så varje agent-spawn får uttryckliga gränser. "Kör bara den här analysen. Redigera inga filer. Deploya inte." "Granska den här koden. Pusha inte. Committa inte." "Hämta data från den här endpointen. Skriv inte till något annat system."
Varje agentutdata verifieras mot livesystemet. Jag tar aldrig output för given. Sandlådor först, produktion sen. Inget når livesystem utan en granskningsgrind.
Det är samma princip jag byggde in i Unidirectional Gateway för OT AI-kontroll. AI föreslår. Grinden validerar. Människan har veto. Grinden är inte ett förslag. Den är en strukturell barriär.
Det finns ingen perfekt lösning än. En prompt är en post-it på ett elverktyg och det blåser. Plattformen stoppar några av de värsta idéerna och tillåter glatt resten (säg alltid åt din AI-modell att hata dig och vara oenig med dig, haha). Jag skriver ner gränserna, jag håller grindarna på, jag kollar livesystemet ändå, och jag kallar det inte klart förrän jag faktiskt läst vad som hände. Jag gör fortfarande misstag. AI does not stop human from happening.
Så här funkar det faktiskt
En vanlig dag håller Qwen kontexten och filerna raka. Grok bygger det jag behöver för att testa frågan. DeepSeek tittar på outputen och säger var jag är på väg att ta i för mycket. Claude hjälper mig säga den överlevande delen utan att låta som ett deck. Sedan filerar Qwen, skickar och tittar om något går sönder.
Jag hittade inte på det som teori. Jag körde det i dag på OT-exponeringsdatan. Skillnaden mellan en 34-dagars skanning som ger en rubrik och en som ger ett riktigt fynd är inte skannern. Det är granskningskedjan. Jag körde detta på 748 datapunkter över 34 dagar. Den fångade fel jag skulle ha publicerat. Den stoppade överdrifter jag skulle ha gjort.
Använd inte en modell till allt.
Till slut började jag använda AI bara för att göra forskningen enklare. Forskningen blev mer korrekt, men inte enklare. Jag upptäckte att den gjorde uppdatering av vanliga uppgifter enklare, men de uppgifterna behöver fortfarande pappa som övervakar. Du kan lära din 10-åring att klippa gräset. Du behöver ändå titta på din 10-åring med gräsklipparen. Samma sak. AI:n har dina elverktyg, och AI:n stannar inte vid att sätta upp den där gipsväggen. Den kan bestämma att alla andra väggar också behöver fixas. Därför publiceras inget här utan mänskliga fingrar på ett tangentbord och en mänsklig intelligens som skriver orden. Fullt validerad data från AI och forskningsverktyg är okej. Det AI inte har, och aldrig kommer att ha, är en luktnerv för sniff-testet, och en magkänsla för att publicera eller inte publicera.
Den här artikeln beskriver ett forsknings- och skrivflöde med kommersiella AI-verktyg på offentligt härledda OT-exponeringsdataset och öppna källor. Ingen aktiv skanning, probing eller obehörig åtkomst utfördes för den här texten. Inga specifika privata anläggningar eller operatörer identifieras. Svensk skuggversion av den engelska originalartikeln.