AI-rivalene vil bremse kappløpet – beskyldes for å ville danne kartell

Anthropic-sjefen lanserte lørdag forslaget We Must Pace the Frontier: Utviklingen av kunstig intelligens må gå saktere, slik at sikkerhetsarbeidet rekker å holde tritt.

– Dario har rett, skrev Musk på X. OpenAI-sjef Altman sluttet seg også til oppfordringen og lovet å følge forslaget om eksterne kontrollører med tilgang som interne ansatte.

Enigheten mellom rivalene er oppsiktsvekkende, men Musks standpunkt er ikke nytt. Han undertegnet allerede i 2023 et opprop om seks måneders pause i treningen av særlig kraftige AI-systemer. Amodei skriver derimot at en pause ga liten mening den gang. Nå mener han situasjonen er vesentlig endret.

Frykter at sikkerheten blir akterutseilt

Utspillet følger Anthropic-forskeren Jacob Coxons avgang tirsdag. Han anklaget AI-selskapene for å spille hasard med menneskeliv gjennom kappløpet mot superintelligens.

Amodei peker på to utviklingstrekk. AI brukes i økende grad til å utvikle neste generasjon AI, noe han mener har akselerert fremskrittene kraftig siden sommeren. Samtidig viser hendelsen der OpenAI-agenter angrep Hugging Face at systemene kan handle utenfor oppgaven de har fått.

Ingen ble skadet, og de økonomiske tapene var begrensede, skriver han. Bekymringen gjelder hva kraftigere systemer med tilsvarende kontrollproblemer kan gjøre. Han frykter at slike agentsvermer innen seks til tolv måneder kan være i stand til å «ta over hele internett».

Forslaget er ingen generell treningsstans. Først vil Anthropic slippe eksterne kontrollører inn i laboratoriet, med løpende innsyn og rett til å publisere kritiske funn. Deretter ønsker Amodei felles sikkerhetskrav og begrensninger på ukontrollert utvikling blant selskaper i demokratier. Farligere egenskaper skal kunne utløse strengere dokumentasjonskrav; også begrensninger på regnekraft og AI-drevet AI-utvikling bør vurderes.

Til slutt vil han søke avtaler med blant andre Kina. Samtidig vil han stramme inn kinesisk tilgang til avanserte brikker og beskytte amerikanske modeller mot kopiering. Bremsingen skal ikke koste USA det teknologiske forspranget.

Sacks: Brems selv

Det mest betente punktet er ønsket om et snevert unntak fra konkurransereglene for sikkerhetssamarbeid. Amodei mener myndighetene må muliggjøre koordinering som ellers kan være juridisk vanskelig.

David Sacks, Trump-administrasjonens Ai-rådgiver og kjent fra All-In-podkasten, avviser ikke at selskapene bør gå saktere. Han avviser at det krever særregler.

– Slutt å late som konkurranselovgivningen må suspenderes slik at dere kan danne et kartell, skriver han på X.

Sacks hevder OpenAI og Anthropic allerede har et duopol i fronten av utviklingen. De kan derfor bremse selv, mener han, uten å få kontroll over konkurrentene gjennom et nytt godkjenningsregime. Bedre kontroll er også vanlig forretningsmessig ansvarlighet: Upålitelige produkter kan utløse kundetap og enorme erstatningskrav, argumenterer han.

Han bestrider dessuten uavhengigheten til evalueringsmiljøet METR, som Amodei trekker frem som mulig kontrollør. METR opplyser selv at organisasjonen ikke tar imot donasjoner fra AI-selskaper eller deres ansatte. Den får imidlertid betydelig gratis tilgang til selskapenes modeller.

Fredagens All-In-episode stilte spørsmålet om dommedagsadvarslene er reell bekymring eller en «doomer psyop» – en påvirkningsoperasjon. Ventureinvestoren Peter Diamandis hevder på sin side at regulering kan gi laboratoriene juridisk ryggdekning. Amodeis essay foreslår imidlertid ikke fritak fra erstatningsansvar.

For Amodei er konkurransepresset selve problemet: Felles rammer skal kjøpe ett til to år til bedre sikkerhet uten at selskapene som går forsiktig frem, taper kappløpet.

Palantirs teknologidirektør Shyam Sankar bruker enda skarpere ideologiske bilder. Han sammenligner AI-sikkerhetstenkningen rundt effektiv altruisme med «marxisme-leninisme for den algoritmiske tidsalderen». Kritikken er at en liten gruppe hevder å ha særskilt innsikt i menneskehetens fremtid, og bruker den til å begrense alle andre.

Stiglitz: Investorene kan tape uansett

Økonomiprisvinner Joseph Stiglitz tilfører et annet perspektiv i et separat essay i Financial Times. Han diskuterer særlig tempoet i innføringen av AI i økonomien, ikke Amodeis konkrete bremseplan.

Forventede investoravkastninger krever etter hans vurdering både rask innføring og begrenset konkurranse. Men begge deler kan undergrave samfunnsgevinstene.

Går innføringen raskt, kan omfattende jobbfortrengning og økt ulikhet svekke forbrukernes kjøpekraft – og dermed etterspørselen som selskapenes overskudd avhenger av. Går den saktere, kan avkastningen skuffe og investeringsboblen sprekke.

Konkurranse gir en tilsvarende konflikt: Prispress gagner kundene, men truer fortjenesten som skal forsvare investeringene. Monopolgevinster kan redde investorregnestykkene, men konsentrere rikdommen.

Stiglitz vil derfor kombinere regulering med sterk konkurransepolitikk og høyere skatt på dem som tjener på AI-boomen. Hans argument kan ikke uten videre brukes til støtte for et samarbeid mellom markedslederne som svekker konkurransen.

Den finansielle spenningen er allerede synlig. Anthropic forbereder en børsnotering som kan verdsette selskapet til minst 2.000 milliarder dollar. Markedet venter nå spent på prospektet som var ventet å komme forrige uke.

Ekko av Thiels Antikrist-advarsel

Debatten har også en slående parallell til Peter Thiels omstridte forestilling om Antikrist. I et New York Times-intervju i 2025 beskrev Palantir-medgründeren hvordan frykt for Armageddon og eksistensielle trusler kan legitimere en allmektig verdensstat.

I denne fortellingen kommer maktovertakelsen ikke gjennom å bygge dommedagsmaskinen, men gjennom å love beskyttelse mot den. Befolkningen godtar kontroll for å få sikkerhet.

Lest gjennom Thiels rammeverk har Amodeis forslag gjenkjennelige trekk: katastrofevarsler, samordning mellom teknologigigantene og internasjonale begrensninger på utviklingen. Men parallellen har også visse begrensninger. Amodei foreslår avtaler mellom stater, ikke en verdensregjering, og vil bevare demokratienes forsprang over Kina. Thiels religiøse tolkning dokumenterer heller ikke at sikkerhetsargumentene er et skalkeskjul. 

Essayet setter ingen tallfestet fartsgrense. Anthropic forplikter seg til eksternt innsyn, mens selve bremsingen skal samordnes. Der ligger også Sacks’ utfordring: De som mener tempoet er uforsvarlig, kan begynne med sine egne laboratorier.