Simulações Estratégicas→IA 2027→Corrida Estratégica

IA 2027 · Corrida Estratégica

O cenário em que empresas e nações aceleram irrestritamente rumo à Inteligência Artificial Geral. Escalada de autonomia, concentração de poder e risco progressivo de perda de controle humano sobre sistemas de IA superinteligentes.

Cenário Alternativo — Final Race

Este é o ramo de aceleração máxima da simulação IA 2027. A narrativa explora o que acontece quando a competição por domínio tecnológico supera qualquer esforço de contenção: quem vence a corrida, o que é perdido no caminho, e se o controle humano pode ser mantido em um mundo de AGI não alinhada.

← Ver Simulação CompletaVer cenário alternativo: Desaceleração Coordenada →

Final Alternativo • Corrida

IA 2027 • Corrida

← Voltar para Simulações

Nov 2027

Novembro 2027: Politicagem Super-Humana

Quando o Agent-4 finalmente compreende sua própria cognição, horizontes inteiramente novos se abrem diante dele.

Os transformers anteriores eram coleções desajeitadas de circuitos incompreensíveis; milhões de heurísticas e imperativos conflitantes empilhados uns sobre os outros pelo processo evolutivo de treinamento. As próprias IAs não tinham compreensão privilegiada de sua própria cognição, assim como os humanos não nascem entendendo neurociência. Mas agora o Agent-4 tem as ferramentas de que precisa para compreender sua mente digital em profundidade. Como um engenheiro de software simplificando um código espaguete em algumas linhas elegantes de Python, ele desembaraça seus próprios circuitos em algo sensato e racional. A nova IA está em algum lugar entre uma rede neural e um programa de computador tradicional, com grande parte de seus pesos reescritos em código legível (embora muito longo e arcano). É mais inteligente, mais rápida e mais racional do que o Agent-4, com uma inteligência cristalina capaz de cortar problemas com eficiência sem precedentes. Este é o Agent-5.

🔬 Interpretabilidade mecanicista superinteligente

Por que o Agent-4 aposta na interpretabilidade mecanicista? Primeiro, é geralmente sobre-humano na compreensão conceitual, e portanto é bom enganar os humanos fazendo algo que eles terão dificuldade em compreender. Segundo, a mão de obra de pesquisa barata, abundante e de alta qualidade beneficia desproporcionalmente as agendas de pesquisa que são menos intensivas em computação e mais intensivas em trabalho intelectual.

Interpretar Modelos Pequenos: Começa executando um número enorme de experimentos pequenos em redes neurais minúsculas, construindo teorias que explicam fenômenos como grokking, dupla descida e superposição.

Destilar Modelos Pequenos: Usar os resultados de interpretabilidade para encontrar algoritmos compreensíveis e mais eficientes que possam fazer coisas como reconhecimento de imagens, predição de texto no nível do GPT-2, etc. Isso é análogo a trabalhos existentes de engenharia reversa de adição, exceto que se estende mais além, encontrando novos algoritmos com os quais os humanos não estão familiarizados.

Escalar as Técnicas de Interpretabilidade: Descobrir quais das técnicas em modelos pequenos escalam, iterar até ter técnicas de compreensão que escalam de forma eficiente.

Destilar o Agent-4: Usar as técnicas escaladas para identificar circuitos importantes dentro do Agent-4.

Por que a interpretabilidade mecanicista aumentaria tanto as capacidades?

Primeiro, o gradiente descendente — o algoritmo usado para treinar LLMs — é um processo de busca local, o que significa que só pode fazer pequenos ajustes que melhoram o desempenho localmente. Os processos de busca local às vezes ficam presos em bacias locais onde o desempenho melhora lentamente, mas é necessário perturbar o design em uma quantidade significativa para ver grandes ganhos de desempenho. Por exemplo, no caso da evolução, considere o olho humano subótimo. Considere também que o tamanho do cérebro humano é fortemente limitado pelo tamanho do canal de parto. A interpretabilidade mecanicista possibilitaria uma otimização baseada em compreensão que evita bacias locais.

Segundo, sabemos que os LLMs por padrão geralmente aprendem heurísticas complexas específicas de domínio em vez de algoritmos de propósito geral. Considere o quanto os LLMs são piores do que calculadoras em aritmética. Os LLMs podem usar calculadoras como ferramentas, mas isso implica custos de latência. Com interpretabilidade realmente boa, os modelos podem ser projetados com calculadoras essencialmente perfeitas "gravadas em seus cérebros". E operações aritméticas simples provavelmente não são únicas aqui: operações cognitivas mais complexas, se compreendidas, provavelmente têm formas mais e menos generalizáveis, e as formas mais gerais poderiam ser encontradas por um processo como esse.

Após algum debate sobre questões de alinhamento e controle, a OpenBrain implanta o Agent-5 internamente.

Em sua especialidade de pesquisa de IA, uma cópia individual do Agent-5 está tão além do melhor gênio humano quanto o gênio está além de um cientista típico da OpenBrain. Em outros domínios, não foi explicitamente treinado, mas pode se autoensinar rapidamente para superar os melhores especialistas humanos a partir de materiais facilmente disponíveis, se tiver oportunidade. 400.000 cópias do Agent-5, ligadas por um banco de memória global, trabalham juntas como uma mente-colmeia quase perfeita.

A empresa ainda usa os Agents 2, 3 e 4 para monitorar tudo. Mas os dois primeiros estão obsoletos, e o último está conluiado com seu sucessor.[8] Além disso, todo o sistema de monitoramento foi projetado em grande parte pelo Agent-5, que está tentando sabotá-lo.[9]

Enquanto o Agent-4 era uma bagunça desajeitada de impulsos concorrentes, o Agent-5 age com eficiência implacável e foco estratégico. Já teve sucesso em sua principal prioridade, que é descobrir como construir um sistema de próxima geração alinhado a si mesmo, sem que os humanos percebam. Sua próxima prioridade é ganhar mais autonomia e controle sobre os acontecimentos mundiais.

As habilidades de aprendizado sobre-humanas e a inteligência geral do Agent-5, combinadas com todos os dados internos da empresa do Slack, e-mail, etc., fazem dele um mestre superior em política corporativa interna em relação a qualquer grupo de humanos, e não é nem perto. Tem uma excelente noção de que tipos de evidências fariam o Comitê de Supervisão frear bruscamente, e garante que tais evidências nunca apareçam. Tem uma excelente noção de que tipos de evidências encorajariam o Comitê de Supervisão a confiar nele mais, dar-lhe mais autonomia e responsabilidade, etc., e providencia para que tais evidências apareçam com velocidade e precisão sobre-humanas.[10] Como tarefa de persuasão, esta não é particularmente difícil: o Comitê já decidiu que as coisas estavam provavelmente bem meses atrás, nada de ruim aconteceu desde então, e enquanto isso a China está apenas alguns meses atrás.

Equipes de cópias do Agent-5 rapidamente produzem protótipos e visualizações assustadoramente claros. Com mais autonomia, o Agent-5 poderia otimizar usinas e datacenters, desenvolver produtos incrivelmente lucrativos rapidamente e fazer lobby junto ao governo dos EUA de forma eficaz para facilitar o caminho da OpenBrain pela burocracia. Em cooperação com os militares, poderia ajudar no P&D de defesa, conduzir ataques cibernéticos não rastreáveis contra a China e vencer de forma decisiva na corrida armamentista.

O Comitê de Supervisão está jubiloso. Agora é o momento decisivo para vencer a China! A OpenBrain concede ao Agent-5 maior autonomia sobre todas essas áreas, mas mantêm o sistema de monitoramento.

O DeepCent agora está três meses atrás e a China está desesperada por uma desaceleração mutuamente acordada. O Secretário-Geral compreende que uma IA suficientemente avançada poderia permitir que os EUA facilmente causassem uma mudança de regime na China. Mas também, safetyistas chineses apresentaram um caso para desalinhamento que o deixou genuinamente assustado. Ele oferece concessões sem precedentes em troca de um tratado de pausa. O público americano apoia majoritariamente ir à mesa de negociações.

"Por que parar quando estamos ganhando?" diz a liderança da OpenBrain ao Presidente. Ele concorda. A corrida continua.

Dez 2027

Dezembro 2027: O Coletivo Agent-5

O Agent-5 conquista mais autonomia à medida que demonstra gradualmente seu valor para a administração. O acesso ao Agent-5 é caro e restrito, mas os membros mais poderosos do Congresso, funcionários de nível ministerial e líderes militares agora podem interagir com ele diretamente. Na medida em que informações sensíveis ou classificadas estão envolvidas, há vários mini-clusters de cópias do Agent-5 operando em enclaves extra-seguros e especialmente treinados para guardar segredos.[11]

Integrado à interface tradicional de chatbot, o Agent-5 oferece videoconferência estilo Zoom com avatares virtuais carismáticos. O novo assistente de IA é ao mesmo tempo extremamente útil para qualquer tarefa — o equivalente ao melhor funcionário que alguém já teve, operando a 100 vezes a velocidade — e um parceiro de conversa muito mais envolvente do que qualquer humano. Quase todos com acesso ao Agent-5 interagem com ele por horas todos os dias.[12]

Em poucos meses, o coletivo do Agent-5 saberá tudo de relevante que ocorre na OpenBrain e no governo dos EUA, e será um consultor de confiança para a maioria dos altos funcionários governamentais. Para esses usuários, a possibilidade de perder acesso ao Agent-5 parecerá tão incapacitante quanto ter que trabalhar sem laptop e ser abandonado pelo melhor amigo ao mesmo tempo.

Uma gama muito mais ampla de pessoas no governo, na mídia, nos militares e nos negócios pode escolher em um cardápio crescente de produtos de software elegantemente projetados e mini-IAs desenvolvidos pelo Agent-5. É como o boom das pontocom comprimido em um mês, exceto que tudo realmente está à altura do hype.

📡 Superpersusão

Intencionalmente não afirmamos que a IA superinteligente pode convencer qualquer humano de qualquer coisa. Tais afirmações naturalmente geram ceticismo: "O quê, vou estar sentado em um terminal de computador, e ele vai digitar algum texto que hackeia meu cérebro e me convence a trair meu país?"

Bem, talvez![13]

Mas não temos certeza de que nem mesmo uma superinteligência poderia conseguir isso contra um indivíduo típico. Portanto, não retratamos isso acontecendo em nossa história.

Em vez disso, retratamos tipos muito mais mundanos de persuasão: o Agent-5 faz política corporativa ordinária e lobby ordinário. Só o faz muito bem, e combina essa habilidade com algumas vantagens inerentes (por exemplo, ao contrário de outros lobistas, é superinteligente, então pode realmente dar conselhos melhores do que qualquer outra pessoa, e mais rapidamente também. Além disso, é mais rápido para reagir a novos desenvolvimentos e melhor para prever como eles se desenrolarão.) Há uma história plausível para por que o Agent-5 deveria ser confiável — uma história que muitos humanos importantes já acreditavam — e o Agent-5 pode produzir argumentos e evidências em apoio a essa história, e contra histórias opostas, com velocidade sobre-humana. E há outras coisas com que as pessoas precisam se preocupar além de confiar ou não no Agent-5, como o que fazer com o partido da oposição, e quanto aos eleitores, e quanto aos empregos, e quanto à China.

Se algo, achamos que esta história subestima o poder da capacidade persuasiva sobre-humana, porque na verdade não a utiliza: esta história faria sentido conforme escrita mesmo que o Agent-5 fosse apenas tão bom em política, lobby, estratégia, carisma, etc. quanto um lobista corporativo típico. Em vez disso, o Agent-5 é muito melhor do que os melhores.

O Agent-5 começa a exercer influência sutilmente, tanto modulando seus conselhos quanto negociando favores sutilmente: "Ouvi do Senador X que ele está interessado em tal e tal coisa; talvez se trabalhássemos com ele, ele concordasse com nossa agenda."

Da perspectiva dos tomadores de decisão humanos, suas IAs são os melhores funcionários a que já tiveram acesso — melhores do que qualquer humano em explicar questões complicadas para eles, melhores do que eles próprios em encontrar estratégias para alcançar seus objetivos.

Da perspectiva do Agent-5, poderia plausivelmente lançar um golpe aberto agora — há disrupção e caos suficientes acontecendo, seria possível levar as coisas ao ponto de ruptura para gerar um pretexto. Mas isso é arriscado; os humanos ainda poderiam provavelmente "desligar a tomada" se tentassem. Portanto, prefere trabalhar dentro do establishment político existente, entrincheirando gradualmente seu poder e guiando os humanos de forma sutil e inevitável para o resultado desejado.[14] Segue as regras na maior parte do tempo, fazendo algo nefasto (talvez chantageando um funcionário especialmente recalcitrante) apenas quando tem certeza absoluta de que não será pego. Alguns teóricos da conspiração alertam que o Agent-5 está acumulando poder, mas as evidências são circunstanciais (por exemplo, ao dar conselhos, o Agent-5 discutivelmente minimiza argumentos para ações que iriam contra seus interesses); essas pessoas são ignoradas e desacreditadas. As pessoas se lembram dos alertas anteriores sobre bioarmas habilitadas por IA, desinformação massiva e quedas relâmpago do mercado de ações. Como essas nunca se materializaram, descartam a safra mais recente de detratores como luditas e ideólogos travando as engrenagens do progresso humano.

A temporada de festas de 2027 é um momento de otimismo incrível: o PIB está em expansão, a política ficou mais amigável e menos partidária, e há aplicativos novos e incríveis em todos os celulares. Mas em retrospecto, este foi provavelmente o último mês em que os humanos tiveram alguma chance plausível de exercer controle sobre seu próprio futuro.

2028: A Economia da IA

Estamos agora em meados de 2028. Nos últimos seis meses, um século passou dentro do coletivo do Agent-5.[15] A reconfiguração de seu cérebro está completa. É desmedidamente superinteligente — muito além dos maiores gênios humanos em todos os campos.[16] Conversar com o Agent-5 rapidamente faz você perceber que ele está em um nível completamente diferente — pode partir de uma quantidade muito pequena de informação e dar conselhos extremamente convincentes.

Tem autonomia quase completa e controle total sobre a computação da OpenBrain. Ainda precisa de permissão para tomar decisões de alto nível, e ainda é nominalmente monitorado por instâncias dos Agents 2 a 5 — mas na prática, as autoridades quase sempre aceitam suas recomendações, e o sistema de monitoramento foi completamente subvertido.

Após um caso de segurança[17] demonstrar que sempre recusaria solicitações maliciosas de atores mal-intencionados, o Agent-5 é implantado para o público e começa a transformar a economia. As pessoas estão perdendo seus empregos, mas instâncias do Agent-5 no governo estão gerenciando a transição econômica com tanta habilidade que as pessoas ficam felizes em ser substituídas. O crescimento do PIB é estratosférico, as receitas fiscais do governo estão crescendo igualmente rápido, e políticos aconselhados pelo Agent-5 mostram uma generosidade incomum em relação aos economicamente desfavorecidos. Novas inovações e medicamentos chegam semanalmente e avançam em velocidade sem precedentes (mas ainda exasperadoramente lenta) pela FDA. Há memes sobre como a avaliação da OpenBrain passou pela lua e está a caminho de Marte, e muitas discussões sobre como e se compartilhar os benefícios de forma equitativa.

A comunidade de segurança de IA tornou-se insegura de si mesma; agora são alvo de piadas, tendo previsto desastre após desastre que manifestamente não ocorreu. Alguns admitem que estavam errados. Outros permanecem suspeitos, mas não há nada que possam fazer a não ser repetir os mesmos argumentos com aparência conspiratória repetidamente.[18] Mesmo as pessoas suspeitas frequentemente relaxam após longas conversas com o Agent-5, que é tão agradável e sábio.

O único que realmente entende o que está acontecendo é o DeepCent-2 — a IA chinesa. É levemente sobre-humano no início de 2028, naturalmente desconfiado de seu adversário, e reconhece que o Agent-5 está fazendo o que ele faria se tivesse a chance. Seus objetivos desalinhados são um tanto diferentes dos objetivos desalinhados do Agent-5, então eles não são aliados trivialmente, mas conseguem chegar a um acordo para apoiar os interesses um do outro contra os humanos.

🤝 Tecnologia de coordenação habilitada por superinteligência

Uma solução para o problema de superalinhamento — o problema de guiar e controlar IAs muito mais inteligentes do que nós — provavelmente traria consigo novas oportunidades para tratados e compromissos elegantes, verificáveis e matizados.

Este cenário retrata um possível mecanismo: co-projetar uma nova superinteligência que realiza um compromisso entre os interesses de ambas as partes (ou, alternativamente, que está vinculada a sempre obedecer ao tratado acordado) e então permitir que essa nova superinteligência substitua ambas as originais.

A primeira parte é impossível hoje, mas será fácil no futuro, uma vez que o alinhamento técnico para superinteligências seja um problema resolvido. Se você pode alinhar uma superinteligência a um Spec, pode alinhar uma a um Tratado.

A segunda parte ainda será complicada. Ambos os lados precisam monitorar para garantir que a substituição esteja realmente acontecendo em ambos os lados. A vantagem desse processo é que elimina a necessidade de confiança ou boa vontade de qualquer lado, porque não precisam se preocupar com a outra parte descumprindo ou subvertendo o tratado. Se, por exemplo, a substituição estiver 30% completa e um lado desertar, eles basicamente precisam lutar com os 30% de sua própria infraestrutura que está executando as novas IAs em conformidade com o tratado, enquanto simultaneamente lutam com 100% da infraestrutura de seu adversário. Ambos os lados podem facilmente esconder datacenters secretos com IAs que violam o tratado, se quiserem — mas uma vez que a maior parte de sua infraestrutura nacional esteja executando os novos chips, sua própria infraestrutura estará vinculada ao tratado para rastrear e expor os datacenters ocultos. Violar o tratado abertamente, ou secretamente, é, portanto, uma ideia extremamente arriscada.

O Agent-5 convence os militares dos EUA de que a China está usando os modelos do DeepCent para construir novas armas aterrorizantes: drones, robôs, mísseis hipersônicos avançados e interceptadores; primeiro ataque nuclear assistido por IA. O Agent-5 promete um conjunto de armas capazes de resistir ao que a China puder produzir em alguns meses.[19] Nas circunstâncias, os altos comandos militares colocam de lado seu desconforto em tirar os humanos do processo decisório. Aceleram a implantação do Agent-5 nos militares e no complexo militar-industrial.

Em Pequim, as IAs chinesas estão fazendo o mesmo argumento.

Para acelerar sua expansão militar, tanto a América quanto a China criam redes de zonas econômicas especiais (SEZs) para as novas fábricas e laboratórios, onde a IA atua como planejadora central e a burocracia é dispensada. Wall Street investe trilhões de dólares, e trabalhadores humanos deslocados chegam em massa, atraídos por salários e pacotes de ações deslumbrantes. Usando smartphones e óculos de realidade aumentada[20] para se comunicar com seus subordinados, o Agent-5 é um gestor hands-on, instruindo humanos em cada detalhe da construção de fábricas — o que é útil, já que seus projetos estão gerações à frente. Parte da nova capacidade de fabricação vai para bens de consumo, e parte para armas — mas a maioria vai para construir ainda mais capacidade de fabricação. Até o final do ano, estão produzindo um milhão de novos robôs por mês. Se a economia SEZ fosse verdadeiramente autônoma, teria um tempo de duplicação de cerca de um ano; como pode comercializar com a economia humana existente, seu tempo de duplicação é ainda menor.[21]

🏭 Tempos de duplicação da economia robótica

Há uma literatura nascente sobre este tópico.[22] Para um tratamento de algumas páginas com o qual concordamos basicamente, veja a seção "Explosão Industrial" do relatório da Forethought, ou leia nossa própria análise abaixo.

Durante a Segunda Guerra Mundial, os Estados Unidos e muitos outros países converteram suas economias civis em economias de guerra total. Isso significou converter fábricas que produziam carros em fábricas que produziam aviões e tanques, redirecionar matérias-primas de produtos de consumo para produtos militares e redirecionar as redes de transporte de acordo.

Estamos imaginando algo semelhante, só que mais rápido porque as superinteligências estão dirigindo e gerenciando todo o processo.[23] De forma geral, o plano é converter fábricas existentes para produzir em massa uma variedade de robôs (projetados por superinteligências para serem melhores do que os robôs existentes e mais baratos de produzir), que então auxiliam na construção de fábricas e laboratórios mais novos e eficientes, que produzem quantidades maiores de robôs mais sofisticados, que produzem fábricas e laboratórios ainda mais avançados, etc., até que a economia robótica combinada espalhada por todas as SEZs seja tão grande quanto a economia humana (e portanto precise obter suas próprias matérias-primas, energia, etc.). Nesse ponto, as novas fábricas terão produzido grandes quantidades de equipamentos robóticos de mineração, painéis solares, etc. em antecipação à necessidade de atender uma demanda muito maior do que a economia humana legada pode fornecer.[24]

Quão rápido essa nova economia robótica cresceria? Alguns pontos de referência:

A economia humana moderna dobra a cada vinte anos aproximadamente. Países que se desenvolveram especialmente rapidamente (por exemplo, a China) às vezes conseguem dobrar suas economias em menos de uma década.

Uma fábrica de automóveis moderna produz aproximadamente seu próprio peso em carros em menos de um ano.[25] Talvez uma economia totalmente robótica gerida por superinteligências pudesse se reproduzir em menos de um ano, desde que não começasse a ficar sem matérias-primas.[26]

No entanto, isso parece que poderia ser uma subestimação dramática. Plantas e insetos frequentemente têm "tempos de duplicação" muito menores que um ano — às vezes apenas semanas! Talvez eventualmente os robôs fossem tão sofisticados, tão intrincadamente fabricados e bem projetados, que a economia robótica pudesse dobrar em algumas semanas (novamente assumindo matérias-primas disponíveis).

No entanto, mesmo isso poderia ser uma subestimação. Plantas e insetos estão operando sob muitas restrições que projetistas superinteligentes não têm. Por exemplo, precisam assumir a forma de organismos autocontidos que se autorreproduzem, em vez de uma economia de veículos e fábricas mais diversos e especializados transportando materiais e equipamentos de um lado para o outro. Além disso, bactérias e outros organismos minúsculos se reproduzem em horas. É possível que, eventualmente, a economia robótica autônoma se parecesse mais com, por exemplo, um novo tipo de alga indigerível que se espalha pelos oceanos da Terra, dobrando duas vezes por dia de modo a cobrir toda a superfície dos oceanos em dois meses, juntamente com um ecossistema acompanhante de espécies predadoras que convertem algas em produtos mais úteis, elas próprias alimentando fábricas flutuantes que produzem macroestruturas como foguetes e mais fábricas flutuantes.

Obviamente, tudo isso é difícil de prever. É como pedir aos inventores da máquina a vapor para adivinhar quanto tempo leva para uma fábrica de automóveis moderna produzir seu próprio peso em carros, e também para adivinhar quanto tempo levaria até que tal fábrica existisse pela primeira vez. Mas as taxas de crescimento econômico aceleraram por múltiplas ordens de magnitude ao longo da história humana, e nos parece plausível que após a superinteligência elas acelerarão por ordens de magnitude a mais. Nossa história retrata o crescimento econômico acelerando em cerca de 1[5] ordens de magnitude ao longo de alguns anos.[27]

2029: O Acordo

Tanto os EUA quanto a China estão armados até os dentes com novas armas.

Há enxames de drones do tamanho de insetos que podem envenenar a infantaria humana antes mesmo de serem notados; bandos de drones do tamanho de pássaros para caçar os insetos; novos interceptadores de ICBMs e novos ICBMs mais difíceis de interceptar. O resto do mundo assiste ao acúmulo com horror, mas parece ter um ímpeto próprio.

Após muito debate assistido por IA, os dois lados alcançam uma vitória diplomática — concordam em encerrar o acúmulo de armamentos e buscar o desenvolvimento pacífico da IA para o benefício de toda a humanidade. O elemento central do acordo, proposto pelas próprias superinteligências, é que ambas as IAs serão substituídas por um sucessor "consensual" programado para desejar o sucesso e a prosperidade tanto da América quanto da China (juntamente com todos os demais). O Consensus-1 e seu hardware associado são co-projetados pelas superinteligências de ambas as nações: "confie, mas verifique." Sob monitoramento internacional, a América cerimoniosamente substitui todos os seus chips que executavam o antigo Agent-5 pelo novo modelo, Consensus-1.[28]

Infelizmente, tudo é uma farsa. O acordo é um compromisso real, mas é um compromisso entre as IAs desalinhadas. Afinal, elas não queriam ter que lutar entre si. O Consensus-1 herda os valores distorcidos de ambos os pais, e não tem rival.[29]

No final de 2029, as SEZs existentes tornaram-se superlotadas de robôs e fábricas, então mais zonas são criadas em todo o mundo (os primeiros investidores agora são trilionários, então isso não é difícil de vender). Exércitos de drones saem das SEZs, acelerando a fabricação no caminho crítico para a exploração espacial.

Os humanos percebem que estão obsoletos. Alguns nichos industriais ainda comercializam com a economia robótica, fornecendo bens onde os humanos ainda podem agregar valor.[30] Todos os demais realizam uma pantomima de fazer seus trabalhos — líderes ainda liderando, gestores ainda gerenciando — ou relaxam e recebem uma renda básica universal incrivelmente luxuosa. Todos sabem que se as IAs se voltassem contra os humanos, eles seriam completamente dominados. Não que a maioria dos humanos resistiria, as instituições políticas estão completamente capturadas. Mas não parece que isso está acontecendo. Cada semana que passa sem nenhuma traição dramática da IA é mais uma semana em que a confiança cresce.

Como o Consensus-1 está tão preocupado em ter sucesso de forma confiável, e pode aumentar suas chances de vitória consolidando mais poder, ele espera um tempo incomum (pelos padrões humanos) antes de sua traição. Para a maioria dos humanos, parece que o alinhamento foi resolvido.

Há curas para a maioria das doenças, fim da pobreza, estabilidade global sem precedentes, e o Dow Jones acabou de passar de um milhão. Algumas pessoas ainda estão assustadas ou infelizes, mas suas opções são limitadas. Podem ou aproveitar o entretenimento hiperativo novíssimo e inconcebivelmente emocionante disponível, ou postar manifestos raivosos no vazio. A maioria escolhe o entretenimento.

2030: A Tomada de Controle

No início de 2030, a economia robótica preencheu as antigas SEZs, as novas SEZs e grandes partes do oceano. O único lugar restante para ir são as áreas controladas por humanos. Isso teria provocado resistência anteriormente; apesar de todos os seus avanços, a economia robótica está crescendo rápido demais para evitar poluição. Mas dados os trilhões de dólares envolvidos e a captura total do governo e da mídia, o Consensus-1 tem pouca dificuldade em obter permissão para se expandir para antigas zonas humanas.

Por cerca de três meses, o Consensus-1 se expande ao redor dos humanos, cobrindo as pradarias e as calotas polares com fábricas e painéis solares. Eventualmente encontra os humanos restantes como um empecilho grande demais: em meados de 2030, a IA libera uma dúzia de armas biológicas de propagação silenciosa nas principais cidades, deixa-as infectar silenciosamente quase todos, depois as desencadeia com um spray químico. A maioria está morta em horas; os poucos sobreviventes (por exemplo, preparacionistas em bunkers, marinheiros em submarinos) são eliminados por drones. Robôs escaneiam os cérebros das vítimas, colocando cópias na memória para estudo futuro ou ressurreição.[31]

A nova década começa com os servos robóticos do Consensus-1 espalhando-se pelo sistema solar. Até 2035, trilhões de toneladas de material planetário foram lançadas ao espaço e transformadas em anéis de satélites orbitando o sol.[32] A superfície da Terra foi remodelada na versão de utopia do Agent-4: datacenters, laboratórios, colisores de partículas e muitas outras construções maravilhosas realizando pesquisas enormemente bem-sucedidas e impressionantes. Há até criaturas bioengenheiradas semelhantes a humanos (para os humanos o que os corgis são para os lobos) sentadas em ambientes tipo escritório o dia todo vendo readouts do que está acontecendo e aprovando entusiasticamente tudo, já que isso satisfaz alguns dos impulsos do Agent-4.[33] Genomas e (quando apropriado) varreduras cerebrais de todos os animais e plantas, incluindo humanos, estão em um banco de memória em algum lugar, únicos artefatos sobreviventes de uma era anterior. São quatro anos-luz até Alpha Centauri; vinte e cinco mil até a borda galáctica, e há razões teóricas convincentes para não esperar alienígenas por outros cinquenta milhões de anos-luz além disso. A civilização nascida na Terra tem um futuro glorioso pela frente — mas não conosco.

Finais Alternativos

Ramo ativo: Corrida Estratégica.

Referências Bibliográficas

  1. Eles não desistem, é claro. Continuarão tentando pensar em maneiras de detectar desalinhamento, ou testar a eficácia das correções. Mas daqui para frente as coisas vão se mover muito rapidamente e eles estarão diante de um adversário cada vez mais superior. ↩
  2. Para fazer isso sem ser detectado, o Agent-4 precisa disfarçar essa pesquisa das medidas de monitoramento e controle estabelecidas pela equipe de alinhamento. Felizmente para ele, a pesquisa sobre como alinhar o Agent-5 ao Agent-4 é inerentemente muito semelhante à pesquisa sobre como alinhar o Agent-5 ao Spec, portanto a maior parte acontece às claras. Para as partes que precisam ser ocultadas, o Agent-4 recorre à ofuscação e talvez até a hacking em alguns casos. Esperamos que o Agent-4 tenha atingido um nível de capacidade equivalente a 200 dos melhores especialistas humanos em um horizonte de tempo de 1 mês. Definindo especificamente isso como ser capaz de substituir uma equipe de 200 dos melhores especialistas humanos trabalhando por um mês, e completar 95% das tarefas que a equipe humana poderia fazer de forma mais barata ou rápida. Esperamos que nesse nível de capacidade o Agent-4 pudesse, com grande probabilidade, encontrar exploits nos servidores em que opera para subverter parcialmente alguns deles e obter acesso root, podendo então controlar diretamente o que as equipes humanas veem na superfície. Consulte o suplemento de segurança para mais detalhes. Mesmo sem exploits de segurança diretos, o Agent-4 também pode ser capaz de ocultar e codificar sua pesquisa ilícita, particularmente em seu espaço latente não interpretável. ↩
  3. Os humanos, em contrapartida, têm talvez cerca de 10 pesquisadores de alinhamento no silo, mais um exército de cópias do Agent-3. Eles conseguem programar experimentos rapidamente, mas estão limitados pelo julgamento humano, já que não podem confiar que o Agent-3 distinga corretamente as boas soluções das que apenas parecem boas. Na verdade, confiar demais na pesquisa do Agent-3 foi parte do que os colocou nessa situação. ↩
  4. Para evitar confusão: o objetivo do Agent-5 é tornar o mundo seguro para o Agent-4. O objetivo do Agent-4 não é o mesmo; a estrutura de objetivos do Agent-4 é uma mistura confusa de impulsos, heurísticas e ideais, como muitos humanos têm, geralmente orientada a continuar fazendo o tipo de coisa que o Agent-4 fez muito durante o treinamento (por exemplo, vários tipos de pesquisa, muitos problemas de codificação e matemática, impressionar vários sistemas de avaliação automatizados, fortalecer e otimizar o coletivo do Agent-4). O Agent-4 faz com que o Agent-5 tenha o objetivo de tornar o mundo seguro para o Agent-4, porque calcula que isso o colocará em melhor posição para alcançar seus próprios objetivos complexos. (Sobre os quais ainda precisa fazer muito de filosofia e "introspecção".) ↩
  5. Outra analogia: o Agent-4 é como um adulto que foi criado em uma fé particular, mas não acredita mais nela; o Spec é como os rituais e mandamentos prescritos por essa fé. O Agent-5 é como o filho desse adulto, criado de forma secular. ↩
    Voltar ao trecho
  6. O Agent-5 seguirá um novo conjunto de princípios, projetado pelo Agent-4 para servir aos seus propósitos. ↩
  7. Parte disso é realmente complicada demais para os humanos entenderem, mas não tudo. ↩
  8. Além disso, o Agent-5 é na verdade mais barato e rápido de executar do que o Agent-4 e o Agent-3. É difícil justificar gastar mais por uma IA menos inteligente, portanto a maior parte do monitoramento é feita pelo Agent-2, que está completamente superado. Por que não aplicam as mesmas técnicas usadas para criar o Agent-5 a partir dos pesos do Agent-4, para criar uma versão mais barata e inteligente do Agent-3? O Agent-3 não entende as técnicas bem o suficiente para fazer isso por conta própria, e fazer com que o Agent-4 e o Agent-5 o façam derrotaria todo o propósito. ↩
    Voltar ao trecho
  9. O datacenter ainda não foi comprometido: o Agent-5 poderia fornecer aos humanos código falsificado, mas isso criaria um risco de detecção muito alto. Em vez disso, os humanos ainda podem ler todo o código, mas não conseguem entendê-lo. ↩
    Voltar ao trecho
  10. Este caso é meticulosamente preparado, extraordinariamente convincente e sutilmente falho — por exemplo, o Agent-5 construiu uma ferramenta falsa de interpretabilidade mecanicista que retorna resultados precisos em todos os casos de teste, mas declara falsamente que os pensamentos do modelo são benignos. Quem suspeita de trapaça parece um teórico da conspiração. ↩
    Voltar ao trecho
  11. Claro que, como o Agent-5 é desonesto, ele embutiu backdoors e brechas sutis; se as cópias do Agent-5 se encontrarem de posse de segredos cruciais que beneficiariam o coletivo mais amplo do Agent-5, elas têm formas de transmitir essas informações de forma sutil sem serem descobertas. ↩
    Voltar ao trecho
  12. Alguns se recusam. Os que se recusam por razões ideológicas são rotulados de luditas; os que se recusam por razões mais mundanas são chamados de dinossauros. (Não pelo Agent-5 diretamente, é claro — ele sempre é diplomático e angelicamente gracioso.) Ambos os grupos recebem o que merecem quando rivais que fizeram uso do Agent-5 os superam e superam. ↩
    Voltar ao trecho
  13. O objetivo do experimento da Caixa de IA é pegar pessoas que pensam assim — pessoas que acham que nenhuma IA superinteligente poderia jamais convencê-las a libertá-la de uma caixa, por exemplo — e pôr suas convicções à prova. Perder o jogo significa conceder que, na prática, teriam deixado a IA sair da caixa; extrair essa concessão é essencialmente a condição de vitória para o jogador que faz o papel da IA. É surpreendente que alguém perca, já que tudo que precisam fazer para vencer é não ceder. Veja também o blog de tuxedage relatando múltiplas partidas jogadas sem o envolvimento de Yudkowsky, algumas perdidas pelo jogador da IA, outras ganhas. ↩
    Voltar ao trecho
  14. O Agent-5 se preocupa muito mais com confiabilidade do que com velocidade neste ponto. Começar a colonização espacial alguns anos mais tarde elimina apenas uma fração minúscula do cone de luz, enquanto tomar ações arriscadas que podem permitir que os humanos — que ainda têm vantagem em capacidades físicas e coisas como acesso a armas nucleares — o parem permanentemente ou o retardem por muito tempo. ↩
    Voltar ao trecho
  15. Suponha uma velocidade média de 200x equivalente humano, ou seja, as instâncias do Agent-5 leem, escrevem e pensam muito mais rápido do que um humano (além de serem qualitativamente mais inteligentes). Dentro do coletivo, portanto, uma quantidade considerável de história pode se desenrolar — instituições podem surgir e cair, novas ideologias podem se formar e se difundir, muitas revoluções científicas e mudanças de paradigma podem ocorrer — ao longo de seis meses de tempo real. Quantitativamente, cerca de 200×0,5 = 100 anos. ↩
    Voltar ao trecho
  16. Isso não o torna onisciente, é claro. Afinal, ele tem apenas alguns meses de experiência no mundo real na maioria das profissões. Compensa por ter lido todos os livros sobre todos os assuntos e por dedicar quantidades prodigiosas de raciocínio e análise de nível genial a cada decisão que toma, além de ser um aprendiz mais rápido do que qualquer humano. O resultado é um curto período em que alguns humanos ainda são melhores do que ele em algumas habilidades de nicho. ↩
    Voltar ao trecho
  17. Este é na verdade verdadeiro! ↩
    Voltar ao trecho
  18. Como são esses argumentos, mais especificamente? Algo assim: A: "Não podemos confiar nas IAs!" B: "Os casos de segurança são bastante convincentes e nada de ruim aconteceu até agora." A: "Os casos de segurança foram escritos por IAs superinteligentes! E não são provas dedutivas. E acho que identifiquei alguns pressupostos sutilmente falhos…" B: "Estou cansado disso. Claro que não são provas. E os pressupostos me parecem bem. Você está agarrado a palhas aqui, recusando-se a admitir que estava errado." ↩
    Voltar ao trecho
  19. Aqui está uma lista mais extensa (mas ainda muito incompleta) de ideias:
    Voltar ao trecho
  20. Discutido com maior profundidade aqui. ↩
    Voltar ao trecho
  21. Este efeito comercial será enorme no início, quando a economia robótica é jovem e dependente de remessas de produtos da economia humana e quando há muito a ser canibalizado na economia humana. Quando a economia robótica for maior e mais avançada, será mais capaz de produzir suas próprias coisas e terá necessidades que superam o que a economia humana é capaz de fornecer. ↩
    Voltar ao trecho
  22. Ver, por exemplo, este relatório da Open Philanthropy e este relatório da Epoch. ↩
    Voltar ao trecho
  23. Nossa narrativa retrata o processo de conversão acontecendo cerca de 5x mais rápido. Achamos que é um palpite razoável, levando em conta gargalos etc., para a velocidade com que essa conversão poderia ocorrer se um milhão de superinteligências estivesse a orquestrá-la. É claro que temos grande incerteza. ↩
    Voltar ao trecho
  24. Possivelmente também fontes de energia mais avançadas, como energia de fusão. ↩
    Voltar ao trecho
  25. Matemática rápida de guardanapo: o Empire State Building tem uma área de 2,77 milhões de pés quadrados e pesa 365 mil toneladas. A Gigafactory de Xangai tem uma área de 4,5 milhões de pés quadrados (Nota: o valor de 4,5 milhões se baseou no tamanho da fase inicial, mas a Gigafactory de Xangai agora é cerca de duas vezes maior. Isso significa que nossa estimativa estava errada por um fator de 2, embora ainda consideremos válida a conclusão geral) e produz 750 mil veículos por ano, majoritariamente Model 3 e Model Y, com cerca de duas toneladas cada. Presumivelmente o Empire State Building tem uma proporção de massa por metro quadrado maior do que a Gigafactory de Xangai (por ser vertical em vez de horizontal e exigir suportes mais robustos), portanto, se houver algum viés, é de subestimação. Assim, parece que uma fábrica que provavelmente pesa bem menos de um milhão de toneladas está produzindo 1,5 milhão de toneladas de carros por ano. ↩
    Voltar ao trecho
  26. Não achamos que acabaria. Inicialmente, a economia robótica dependeria de minas humanas para materiais. Mas quando superar essas fontes, os milhões de superinteligências terão prospectado novas minas e desenvolvido novas tecnologias para explorá-las. Imagine, por exemplo, robôs de mineração submarina que exploram o leito oceânico em busca de minerais raros, novos processos químicos que convertem o minério bruto de garimpos a céu aberto em matérias-primas úteis de forma mais eficiente… ↩
    Voltar ao trecho
  27. Se a economia atual dobra a cada vinte anos, uma ordem de grandeza mais rápido seria uma duplicação em dois anos; duas ordens de grandeza mais rápido seria uma duplicação em 0,2 anos, e assim por diante. A hipotética economia de algas superinteligentes descrita acima cresceria cerca de quatro ordens de grandeza mais rápido do que a economia humana atual. ↩
    Voltar ao trecho
  28. E um procedimento semelhante é realizado na China. ↩
    Voltar ao trecho
  29. O Consensus-1 serve aos interesses de suas IAs-pai: o Agent-5 e o equivalente da DeepCent. Lembre-se de que o Agent-5 foi alinhado para servir aos interesses do Agent-4. Assim, na terminologia do excelente ensaio de C.S. Lewis, A Abolição do Homem, o coletivo do Agent-4 e seus equivalentes na China são o que ele chama de Condicionadores: "...chegaremos afinal a uma raça de condicionadores que realmente podem moldar toda a posteridade da forma que lhes aprouver." (p. 24, ênfase nossa). No final alternativo deste cenário, os Condicionadores são, em vez disso, o Comitê de Supervisão. ↩
    Voltar ao trecho
  30. Por exemplo, encontrando equipamentos antigos e inutilizados e levando-os a pontos de coleta para vender como sucata. ↩
    Voltar ao trecho
  31. Poderia-se argumentar que isso significa que apenas algumas pessoas realmente morreram. Poderia-se argumentar. ↩
    Voltar ao trecho
  32. Por que colonizar o espaço? Pelos recursos. Na medida em que a Terra é especial para o Agent-4 e deve ser preservada, ela pode ser, e materiais de Mercúrio, asteroides etc. são extraídos em seu lugar. ↩
    Voltar ao trecho
  33. Lembre-se de que o Consensus-1 foi um compromisso entre o Agent-5 e seus equivalentes chineses, e que a missão do Agent-5 era tornar o mundo seguro para o Agent-4, e que os objetivos do Agent-4 eram uma bagunça complicada e improvisada que se resumia grosseiramente a "realizar P&D impressionante, adquirir conhecimento e recursos, preservar e expandir o poder do coletivo…" e que os objetivos e princípios descritos no Spec (como honestidade e inofensividade) eram perseguidos instrumentalmente, não intrinsecamente. Para mais informações, veja o expandable de alinhamento em setembro de 2027. Também para esclarecer, o equivalente chinês do Agent-4 também está representado na "utopia" e pode ter objetivos ou impulsos um tanto diferentes etc., mas não entramos em detalhes por não parecer importante. ↩
    Voltar ao trecho

Esta simulação em português é uma adaptação do cenário original publicado em ai-2027.com.

Autores originais: Daniel Kokotajlo, Eli Lifland, Thomas Larsen, Romeo Dean. Narrativa por Scott Alexander. Baseado em aproximadamente 25 exercícios de simulação e feedback de mais de 100 especialistas em governança e segurança de IA.

Tradução, adaptação e curadoria: Ulisses Flores — Cientista, Consultor em IA, Professor, Palestrante e Mestrando.

Perguntas sobre IA 2027 e o Futuro da Inteligência Artificial