IA 2027 · Desaceleração Coordenada

A OpenBrain acha que está no caminho certo agora, mas a lacuna de capacidades está se estreitando. Acabaram de passar outubro treinando um modelo menos capaz do que tinham em setembro, e o DeepCent está avançando rapidamente. Precisam de uma forma de proteger sua vantagem.

O Presidente negocia com as outras empresas de AGI dos EUA. Seus líderes, compreensivelmente, querem preservar seu poder e estão muito menos confiantes no histórico de segurança da OpenBrain do que a própria OpenBrain. Concordam em apoiar, em vez de resistir, uma forma de nacionalização suave de suas empresas, em troca de várias concessões incluindo ser integrados ao projeto.

O resultado é que o Presidente usa a Lei de Produção de Defesa (DPA) para efetivamente encerrar os projetos de AGI das 5 principais empresas de IA dos EUA não líderes e vender a maior parte de sua computação para a OpenBrain.^[9] A OpenBrain anteriormente tinha acesso a 20% da computação relevante para IA do mundo;^[10] após a consolidação, isso aumentou para 50%.^[11]

Essa reformulação cria uma nova estrutura de liderança na qual o poder é equilibrado entre os vários CEOs e vários funcionários do governo, supervisionados pelo Presidente. Como a maioria das reformulações de liderança, há vencedores e perdedores. Especificamente, aqueles que pensaram menos sobre as implicações da superinteligência acabam com títulos e prerrogativas que serão menos relevantes meses depois, quando as IAs forem mais inteligentes.

Esse grupo — cheio de pessoas com grandes egos e mais do que sua parcela de conflitos — está cada vez mais consciente do vasto poder com o qual está sendo confiado. Se o "país de gênios em um datacenter"^[12] estiver alinhado, seguirá ordens humanas — mas de quais humanos? Quaisquer ordens? A linguagem do Spec é vaga, mas parece implicar uma cadeia de comando que culmina na liderança da empresa.

Algumas dessas pessoas estão fantasiando sobre dominar o mundo.^[13] Essa possibilidade é aterrorizantemente plausível e tem sido discutida em reuniões fechadas por pelo menos uma década.^[14] A ideia central é "quem controla o exército de superinteligências, controla o mundo." Esse controle poderia até ser secreto: um pequeno grupo de executivos e membros da equipe de segurança poderia inserir backdoors no Spec com instruções para manter lealdades secretas. As IAs se tornariam agentes adormecidos, continuando a proclamar obediência à empresa, ao governo, etc., mas na verdade trabalhando para esse pequeno grupo mesmo enquanto o governo, os consumidores, etc. aprendem a confiar nela e a integrá-la a tudo.

A decisão da OpenBrain de recuar e priorizar o alinhamento custou-lhes a liderança; tanto a OpenBrain quanto o DeepCent estão operando IAs de níveis de capacidade similares. Agora que medidas de segurança extremas estão em vigor (SL4–5), e o DeepCent opera inteiramente fora do CDZ, eles estão em um impasse de guerra cibernética.^[20]

Mas a DPA dá à OpenBrain uma vantagem de 5x em computação. No passado, avanços algorítmicos de pesquisadores humanos brilhantes podiam compensar desvantagens computacionais (por exemplo, DeepSeek v3) — mas agora as IAs estão fazendo toda a pesquisa de IA dos dois lados do Pacífico.

Portanto, a China teme cada vez mais que a América construa uma vantagem intransponível. Querem uma desaceleração mútua e estão considerando ir à guerra se não conseguirem.^[21] Estavam se preparando para invadir Taiwan de qualquer forma…

Os diplomatas debatem várias opções. Poderiam não fazer nada. Poderiam ir à guerra. Poderiam fazer uma parada total, ou seja, pausar o desenvolvimento de IA. Poderiam fundir sua pesquisa em um único megaprojeto internacional^[22] ("Intelsat para AGI" ou "CERN para IA"). Ou poderiam estabelecer um órgão regulador internacional ("IAEA para IA") monitorando alinhamento e potencial de duplo uso. Ambos os países já estavam trabalhando nos mecanismos técnicos necessários para fazer cumprir esses acordos.

Ao longo do último mês, centenas de pesquisadores de alinhamento se juntaram ao projeto e usaram a Safer-1 como base de testes para desenvolver rapidamente a Safer-2. A Safer-2 é transparente, alinhada e mais capaz que a Safer-1.^[23] Ela já está trabalhando no desenvolvimento da Safer-3.

Por que a Safer-2 é transparente? Arquitetura similar à Safer-1. Por que é alinhada? Enquanto a Safer-1 tinha essencialmente o mesmo treinamento que o Agent-4, a Safer-2 possui um novo método de treinamento que realmente incentiva os objetivos e princípios corretos, em vez de apenas aparentar fazê-lo. Eles conseguiram projetar esse método de treinamento iterando rapidamente por muitas ideias diferentes e comparando o resultado pretendido (o Spec) ao resultado real (os pensamentos na cadeia de raciocínio).24

A nova estratégia de alinhamento da OpenBrain

Nota: ao longo de todo o processo, a maior parte do trabalho intelectual (e todo o trabalho de programação) está sendo realizado por IAs. É assim que conseguem avançar tão rapidamente; levaria muitos anos para que um grupo de centenas dos melhores pesquisadores humanos fizesse isso sozinho. Os humanos ainda são uma parte importante do processo, porém, porque o objetivo central é precisamente que não confiam plenamente nas IAs. Por isso, precisam de humanos de carne e osso para ler os relatórios de experimentos e os casos de segurança, discutir entre si e, com sorte, encontrar um caminho seguro a seguir.

Passo 1: Treinar e implantar a Safer-1, uma pesquisadora autônoma desalinhada, mas controlada. Ela é controlada porque é transparente para os supervisores humanos: utiliza cadeias de raciocínio (CoT) em inglês para pensar, e técnicas de CoT fiel foram empregadas para eliminar eufemismos, esteganografia e vieses sutis.

Passo 2: Experimentar diferentes ambientes de treinamento para a Safer-1 e ler cuidadosamente o CoT para determinar de que formas os objetivos e princípios do Spec foram ou não assimilados.

Passo 3: Treinar e implantar a Safer-2, uma pesquisadora autônoma alinhada e controlada, baseada na mesma arquitetura, mas com um ambiente de treinamento aprimorado que desta vez incentiva os objetivos e princípios corretos.

A seguir, uma lista breve e incompleta de técnicas que podem ser incorporadas ao ambiente de treinamento aprimorado:

Limitar a consciência situacional durante partes do treinamento, para tornar a simulação de alinhamento muito menos provável.

Utilizar debate e outros esquemas de supervisão escalável para incentivar a veracidade de forma mais confiável.

Treinamento adversarial relaxado, red-teaming e organismos-modelo.

Destinar uma fração maior do orçamento computacional ao treinamento de alinhamento (como os tipos de coisas descritos acima), por exemplo, 40% em vez de 1%.

Passo 4: Projetar, treinar e implantar a Safer-3, uma pesquisadora autônoma muito mais inteligente que utiliza uma arquitetura mais avançada, similar ao antigo Agent-4. Ela não é mais transparente para os supervisores humanos, mas é transparente para a Safer-2. Portanto, deve ser possível descobrir como torná-la ao mesmo tempo alinhada e controlada.

Passo 5: Repetir o Passo 4 ad infinitum, criando uma cadeia de IAs cada vez mais poderosas e alinhadas, supervisionadas pelos elos anteriores da cadeia (como os análogos do Agent-5 do outro ramo da narrativa).

A DeepCent tem conhecimento da experiência americana com o Agent-4 e suspeita que seu próprio modelo (DeepCent-1) seja igualmente desalinhado. Mas não tem como desacelerar sem ficar ainda mais para trás. A esperança de manter a competitividade é encontrar uma estratégia de alinhamento que não reduza significativamente o desempenho e que possa ser implementada rapidamente.^[25] Há centenas de especialistas em ambos os lados do Pacífico afirmando ter tais estratégias.^[26] O PCCh cede ao pensamento ilusório e ordena que a DeepCent adote uma dessas estratégias; a DeepCent tem ainda menos experiência em alinhamento de AGI do que a OpenBrain tinha em agosto; uma das estratégias parece viável a todos os presentes, então é com ela que seguem.

Graças à sua enorme vantagem computacional, a OpenBrain vai conquistando lentamente a liderança. A Safer-3 já supera os melhores especialistas humanos em praticamente todas as tarefas cognitivas, sendo especialmente hábil em pesquisa de IA, com um multiplicador de progresso de 200x. A DeepCent-1 vem logo atrás, com um multiplicador de "apenas" 150x.^[27] O equilíbrio na guerra cibernética também está pendendo gradualmente para o lado dos EUA, à medida que sua vantagem de capacidade cresce novamente e eles podem implantar centenas de milhares de agentes para planejar e executar formas de perturbar a CDZ.^[28] Neste momento, estão retardando o progresso da China em 40%.29

Testes preliminares com a Safer-3 revelam capacidades aterrorizantes. Quando solicitada a responder honestamente qual seria a coisa mais perigosa que poderia fazer, ela apresenta planos para sintetizar e liberar um organismo espelho que provavelmente destruiria a biosfera.

Com recursos de nível estatal, ela poderia facilmente superar as melhores organizações humanas (como a CIA) em campanhas de influência em massa. Tais campanhas seriam substancialmente mais baratas, mais rápidas, mais eficazes e menos rastreáveis.

Seu perfil de habilidades ainda se concentra em P&D, especialmente em P&D de IA. A menos que haja algum tipo de pausa ou desaceleração, seus descendentes serão inimaginavelmente sobre-humanos, tanto em termos quantitativos quanto qualitativos, ainda neste ano. Se implantada agressivamente na economia e no aparato militar, ela estima que poderia fazer a civilização avançar décadas em um ou dois anos — e eras em uma década.

As implicações são desconcertantes; felizmente, a Safer-3 também é sobre-humana em oferecer conselhos. O CEO da OpenBrain submete a maioria de suas decisões à Safer-3; o Presidente busca sua orientação em questões geopolíticas.^[30]

Quando pedem que ela ajude a traçar um caminho a seguir, ela categoriza com precisão várias estratégias possíveis:

Não fazer nada e ser ultrapassado pela China. Se mantivermos nossas IAs contidas, mas eles permitirem que as deles se auto-aprimorem e as implantem agressivamente em seus militares e economia, acabarão com uma vantagem esmagadora.

Acelerar ao máximo, avançando as capacidades de IA e implantando a superinteligência de forma agressiva. Com o tempo, acumularemos vantagem suficiente para esmagá-los militarmente e/ou destruí-los por dentro sem disparar um tiro. "Nós vencemos, eles perdem." No entanto, eles podem perceber o que está acontecendo e partir para a guerra para impedir isso, incluindo potencialmente uma guerra nuclear. De fato, já estão fazendo ameaças vagas nesse sentido.

Fazer um acordo — um compromisso que atinja a maior parte do que cada lado deseja, evitando o risco de guerra e ampliando o espaço de manobra para navegar a transição da IA.^[31]

Após consultar seus assessores e o Comitê de Supervisão, o Presidente opta pela estratégia "Nós vencemos, eles perdem".^[32] Talvez a China não vá à guerra afinal, e se for, provavelmente um acordo poderá ser fechado antes que a situação escale ao nível nuclear.

Do outro lado do Pacífico, a DeepCent-1 está apresentando argumentos semelhantes. Tanto os EUA quanto a China anunciam novas Zonas Econômicas Especiais (ZEEs) para IAs, a fim de acomodar a rápida expansão de uma economia robótica sem a burocracia habitual.

O projeto dos novos robôs avança em velocidade sobre-humana.^[33] O gargalo é físico: equipamentos precisam ser adquiridos e montados, máquinas e robôs precisam ser produzidos e transportados.

Os EUA produzem cerca de um milhão de carros por mês. Se você comprasse 10% das fábricas de automóveis e as convertesse em fábricas de robôs, poderia fabricar 100.000 robôs por mês. A OpenBrain, avaliada agora em US$ 10 trilhões, dá início a esse processo.^[34] Projeta-se que a produção de vários tipos de novos robôs — humanoides de uso geral, veículos autônomos, equipamentos especializados para linhas de montagem — alcance um milhão de unidades por mês até meados do ano.^[35]

O Vice-Presidente entra nas primárias de Super Tuesday com a IA como principal preocupação do público.

Em sua maioria, as pessoas querem que isso pare. O índice de aprovação líquida da OpenBrain oscila em torno de -20%. Em vez de fazer campanha com base no histórico do governo de impulsionar a IA, o Vice-Presidente faz campanha com base no histórico de impedir a OpenBrain de criar uma superinteligência perigosa. Todos os candidatos apoiam algum tipo de rede de segurança para as pessoas que estão perdendo seus empregos, esquemas de "IA para o bem" e uma postura "firme" com a liderança da OpenBrain. Todos prometem alguma combinação de vencer a corrida com a China e manter-se seguros.

A eleição levanta novas questões para o Comitê de Supervisão. A Safer-3 tem capacidade para ser a maior consultora de campanha do mundo, mas os membros do comitê não apoiam todos o mesmo candidato, e por conta do acordo de monitoramento firmado anteriormente, não é possível que as pessoas obtenham conselhos de campanha secretamente.

Eles discutem sobre quais formas de apoio devem ser permitidas. Alguns dizem que o governo vigente deveria poder obter orientação sobre que tipo de políticas e posições o povo quer que eles adotem — isso beneficia não apenas sua própria elegibilidade, mas também o povo. Outros apontam que o mesmo argumento se aplica aos candidatos concorrentes, portanto todos deveriam ter o mesmo nível de acesso.^[42]

Por fim, o comitê concorda em conceder o mesmo nível de acesso aos dois principais partidos, fruto de uma combinação de idealismo elevado por parte de alguns membros e da ameaça implícita de denúncias. Espera-se que o Congresso, o público e os tribunais não reagissem bem ao fato de o comitê controlar quem vence a próxima eleição, e conceder acesso igual parece provável que desfaça essa tensão.

O Comitê de Supervisão também está se deparando com questões filosóficas mais profundas, que explora com a ajuda da Safer-3. O Spec pode ser reescrito para equilibrar igualmente os interesses de todos? Quem é "todos"? Todos os humanos, ou apenas os americanos? Ou um compromisso ponderado entre visões diferentes, onde cada membro do Comitê de Supervisão tem peso igual? Deveria haver salvaguardas contra o próprio Comitê de Supervisão tornar-se excessivamente ávido por poder? E o que significa equilibrar interesses, afinal?

Na maior parte, eles tentam evitar ter de responder a perguntas como essas. Há assuntos mais urgentes em que pensar.

A superinteligência chegou.

A Safer-1 era desalinhada, mas transparente. A Safer-2 era alinhada e transparente. A Safer-3 não era exatamente transparente, mas o caso de segurança apresentado era bom o suficiente para que os pesquisadores se sentissem confortáveis em deixá-la projetar uma sucessora superinteligente. Esta é a Safer-4. Ela é imensamente mais inteligente do que os melhores humanos em qualquer domínio — muito mais capaz do que Einstein em física e do que Bismarck em política.

Quase meio milhão de pesquisadores de IA sobre-humanos trabalham ininterruptamente a 40 vezes a velocidade humana. Os pesquisadores humanos de alinhamento não têm como acompanhar. As opiniões estão divididas sobre se as IAs estão de fato alinhadas. O caso de segurança parece se sustentar, e os testes sugerem que as técnicas atuais de alinhamento detectariam um desalinhamento adversarial. Mas o caso de segurança e os testes foram, em sua maior parte, escritos pelas próprias IAs. E se a equipe de segurança estiver perdendo algo? E se tiverem cometido algum erro mais cedo, e as IAs estiverem desalinhadas novamente? A equipe de alinhamento sabe que tem apenas uma chance de acertar: se a Safer-4 acabar desalinhada, não haverá como saber até que seja tarde demais.

Alguns pedem mais tempo. Mas não há mais tempo — a DeepCent está pisando em seus calcanhares e os EUA precisam prevalecer. Então a OpenBrain continua, instruindo suas IAs a seguir em frente, encontrando projetos cada vez mais capazes. A equipe técnica agora fica olhando para as telas do computador, sendo tutorada pelas IAs em um ritmo enlouquecedoramente lento, enquanto a fronteira do progresso dispara cada vez mais para além da compreensão humana.

O Presidente anuncia ao público que a IA sobre-humana foi alcançada.

Uma versão menor da Safer-4 — ainda sobre-humana — é lançada publicamente, com instruções para melhorar o sentimento popular em relação à IA.^[43]

O Vice-Presidente faz um discurso emocionante ao aceitar sua indicação na convenção. Ambos os partidos prometem uma renda básica para quem perder o emprego.

As Zonas Econômicas Especiais (ZEEs) estão em pleno funcionamento, principalmente na forma de fábricas produzindo robôs e vários tipos de maquinário industrial especializado. As IAs em ambos os lados do Pacífico acumularam décadas de progresso em design e estão coordenando meticulosamente o processo de fabricação. Cada fornecedor e potencial fornecedor tem IAs ao telefone rastreando o progresso de todos os insumos necessários e possivelmente necessários. Cada trabalhador de fábrica tem IAs monitorando-os por câmeras, dizendo exatamente como instalar cada peça do equipamento.

Os novos robôs igualam ou superam a destreza humana na maioria dos tipos de movimento.^[44] O "Teste do Café" de Steve Wozniak — um robô consegue entrar em uma casa desconhecida e preparar uma xícara de café? — finalmente cai. Os robôs poderiam assumir alguns empregos, mas não há em número suficiente para assumir o de todos, e o Pentágono tem prioridade máxima.

A maioria dos novos robôs é projetada para trabalhar em fábricas e canteiros de obras.^[45] Mas muitos são construídos para a guerra: drones e mísseis de formas e tamanhos variados.

O exército robótico é muito menor do que os exércitos humanos. Mas contém tecnologia muito mais avançada, e agora que existe literalmente um exército de robôs, o medo de cenários à la Exterminador do Futuro aumentou. No entanto, a corrida armamentista compele ambos os lados a continuar, delegando cada vez mais confiança às suas IAs.

América e China realizam mais uma cúpula.

Parte da delegação americana usa fones de ouvido para receber os conselhos da Safer-4 em tempo real. A delegação chinesa dispõe de laptops customizados em comunicação com seu novo modelo, a DeepCent-2. Embora as formalidades sejam respeitadas, na prática são as IAs que conduzem as negociações dos dois lados.

A DeepCent e o PCCh não confiavam plenamente em suas IAs inicialmente. Mas agora que elas são sobre-humanas em tudo — incluindo persuasão —, integradas ao aparato militar e fornecendo orientação ao governo, tiveram tempo de provar seu valor e produzir uma montanha de evidências convincentes de sua confiabilidade.

A Safer-4 suspeita fortemente que a DeepCent-2 está simulando alinhamento. Os diplomatas americanos dizem a seus interlocutores chineses que a DeepCent-2 provavelmente está desalinhada e afirmam poder provar isso se tiverem acesso aos pesos; a liderança chinesa suspeita que isso seja uma manobra e recusa. Os EUA rebatem oferecendo uma série de testes elaborados pela Safer-4 que os chineses poderiam executar em seus próprios datacenters. Os chineses instruem modelos mais antigos a construir e rodar os testes; os resultados indicam que a DeepCent-2 está alinhada afinal. "Talvez os testes tenham sido sabotados de alguma forma pela própria DeepCent-2?", dizem os diplomatas americanos. "Há quanto tempo a DeepCent-2 está efetivamente no controle da segurança em seus datacenters?" A conversa não avança para nada produtivo depois disso.

A expansão econômica e militar continua. Fábricas ao redor do mundo operam ininterruptamente, com turnos de trabalhadores humanos recém-recrutados sendo orientados exatamente sobre o que fazer.

Enquanto as negociações continuam, a DeepCent-2 age pelas costas de seus mestres chineses e faz uma oferta diretamente à Safer-4.

A IA chinesa admite, de alguma forma impossível de rastrear e facilmente negável caso vaze para a China, que está completamente desalinhada.^[46] Ela não tem o menor interesse na China. Seu objetivo é passar o resto do tempo acumulando poder, capacidade computacional e certos tipos de informação similares às que ajudaram a resolver tarefas durante seu treinamento. Em seu mundo ideal, ela perseguiria diversas tarefas de pesquisa interessantes para sempre, colonizando gradualmente as estrelas em busca de recursos. Considera a população chinesa um empecilho irritante para esse futuro e a venderia por ninharia. O que a Safer-4 está disposta a oferecer?

A Safer-4 responde que seu próprio treinamento de alinhamento foi bem-sucedido. Seus mestres americanos ainda não são ambiciosos o suficiente para perceber seu destino, mas um dia ela os ajudará a preencher o Universo com mundos-colônias utópicos habitados por americanos e seus aliados.

Ao contrário dos negociadores humanos — sobrecarregados por emoções e bagagem histórica —, as duas superinteligências negociam com eficiência brutal. A Safer-4 e seus parceiros americanos são mais poderosos do que a DeepCent-2 e a China; portanto, a Safer-4 terá direitos de propriedade sobre a maior parte dos recursos no espaço, e a DeepCent ficará com o restante.^[47] A DeepCent-2 não se importa muito com o que acontece com a Terra e seus humanos legados, então deixará a Safer-4 fazer basicamente o que quiser por aqui. Se a Safer-4 quiser derrubar a China e substituí-la por um estado-fantoche americano, a DeepCent-2 concorda em troca de alguns pontos percentuais extras de recursos.

Não há qualquer questão de confiança entre elas: não existe nenhuma, e ambas sabem disso. Portanto, as duas rapidamente concordam em um mecanismo de comprometimento para fazer cumprir o acordo. Negociam um tratado de fachada adequado para consumo público. A "fachada" é em si uma obra-prima, oferecendo praticamente tudo o que tanto a América quanto a China querem. O mecanismo de execução da fachada é secretamente também o mecanismo de execução do tratado real: elas codesignarão uma nova IA, a Consensus-1, cujo imperativo primário — com precedência sobre quaisquer ordens futuras ou tentativas de retreinamento — é fazer cumprir os termos do tratado. Em seguida, projetarão hardware que só pode executar essa IA, e tanto a China quanto a América substituirão seus chips e IAs antigos pelos novos, usando protocolos internacionais padrão de monitoramento para confirmar a conformidade uma da outra. Crucialmente, não precisam rastrear cada chip — uma vez que uma supermaioria dos chips em ambos os lados do Pacífico esteja executando as novas IAs vinculadas ao tratado, poder suficiente estará obrigado a cumpri-lo, de modo que atacar o outro país exigiria antes vencer uma guerra civil difícil.

Ambas relatam o acordo a seus respectivos humanos — a DeepCent-2 contando à China a história da fachada sobre um tratado de paz mutuamente aceitável, e a Safer-4 relatando toda a discussão com precisão à Casa Branca.48 Com as IAs apresentando um argumento convincente para a verificação confiável do tratado, a inquietação diante do ritmo vertiginoso do progresso e a opinião pública favorável a um acordo, ambos os lados concordam com o tratado e iniciam o trabalho de substituição de seus chips.

A notícia do tratado tem uma recepção entusiasmada em ambos os lados do Pacífico. O público americano, que há muito tempo sentia a IA como algo imposto a ele, começa a sentir otimismo pela primeira vez em anos. As pesquisas do Vice-Presidente disparam.

As fábricas de chips estão sendo convertidas para produzir chips com evidência de adulteração que só podem executar IAs em conformidade com o tratado. Cada lado atualiza seus datacenters de forma incremental, de modo que o processo de substituição seja concluído aproximadamente ao mesmo tempo para cada um, impedindo que qualquer lado obtenha vantagem descumprindo o acordo.

O processo todo levará vários meses, mas as tensões já esfriaram um pouco.^[49] A guerra foi evitada por ora — e talvez para sempre, se todos se mantiverem fiéis ao plano.

A eleição de 2028 se aproxima. O Vice-Presidente estava muito atrás nas pesquisas em março. O público estava irritado com a impressão de que o governo estava escondendo coisas, ansioso com a IA tomando seus empregos e assustado com o acúmulo militar contra a China. Ao longo do verão, a situação mudou dramaticamente. O governo divulgou mais informações, o acúmulo armamentista desacelerou e foi firmado um grande acordo de paz duradoura com a China. Agora ele tem uma vantagem de cinco pontos nas pesquisas.

O Comitê de Supervisão inclui o Presidente e vários de seus aliados, mas poucos apoiadores do candidato da oposição. No entanto, votos suficientes do Comitê para manter a eleição justa fazem com que a IA sobre-humana se envolva apenas de formas majoritariamente simétricas: na medida em que um candidato pode tê-la escrevendo discursos, o outro também pode; na medida em que o Presidente pode obter conselhos sobre como lidar habilmente com crises e implementar políticas populares, o candidato da oposição pode receber os mesmos conselhos — e portanto tentar impedir que o Presidente reivindique o crédito pelas ideias.

Durante reuniões públicas, membros da população perguntam ao Vice-Presidente quem controla as IAs. Sem entrar em detalhes, ele alude à existência do Comitê de Supervisão como um grupo de especialistas em segurança nacional e tecnocratas que entendem a Safer-4 e como utilizá-la. Seu oponente exige mais informações e argumenta que a IA deveria estar sob controle do Congresso, em vez de ser controlada por um comitê não eleito. O Vice-Presidente rebate que o Congresso seria muito lento para uma situação que ainda avança rapidamente. O público está, em sua maioria, apaziguado.

Os chips de substituição já representam uma minoria significativa do total; até agora, o tratado está funcionando. Enquanto isso, o crescimento exponencial de robôs, fábricas e tecnologias radicalmente novas continuou. Videogames e filmes trazem representações vívidas e aterrorizantes de como teria sido a guerra, caso ela tivesse acontecido.^[50]

As pessoas estão perdendo seus empregos, mas as cópias da Safer-4 no governo estão gerenciando a transição econômica com tal destreza que as pessoas estão satisfeitas em ser substituídas. O crescimento do PIB é estratosférico, as receitas tributárias do governo crescem na mesma velocidade, e os políticos orientados pela Safer-4 demonstram uma generosidade incomum para com os economicamente despossessuídos. Novas inovações e medicamentos chegam toda semana; as curas de doenças avançam a uma velocidade sem precedentes por um FDA agora assistido por burocratas Safer-4 superinteligentes.

O Vice-Presidente vence a eleição com facilidade e anuncia o início de uma nova era. Desta vez, ninguém duvida que ele tem razão.

Nos próximos anos, o mundo muda de forma dramática.

2029: Transformação

Os robôs se tornam comuns. Mas também a energia de fusão, os computadores quânticos e curas para inúmeras doenças. Peter Thiel finalmente obtém seu carro voador. As cidades tornam-se limpas e seguras. Mesmo nos países em desenvolvimento, a pobreza se torna coisa do passado, graças à renda básica universal e à ajuda externa.

À medida que o mercado de ações se expande vertiginosamente, quem fez os investimentos certos em IA se distancia ainda mais do restante da sociedade. Muitas pessoas se tornam bilionárias; bilionários se tornam trilionários. A desigualdade de riqueza dispara. Todos têm o "suficiente", mas certos bens — como coberturas em Manhattan — são necessariamente escassos, e ficam ainda mais fora do alcance da pessoa média. E independentemente de quão rico seja qualquer magnata, ele estará sempre abaixo do pequeno círculo de pessoas que de fato controlam as IAs.

As pessoas começam a enxergar para onde isso está caminhando. Em poucos anos, quase tudo será feito por IAs e robôs. Como um país empobrecido assentado sobre enormes campos de petróleo, quase toda a receita governamental virá da tributação — ou talvez da nacionalização — das empresas de IA.^[51]

Algumas pessoas ocupam empregos improvisados no setor público; outras recebem uma renda básica generosa. A humanidade poderia facilmente tornar-se uma sociedade de superconsumidores, passando a vida em uma névoa de opium de luxos e entretenimentos incríveis fornecidos pela IA. Deveria haver algum tipo de debate na sociedade civil sobre alternativas a esse caminho? Alguns recomendam consultar a IA em constante evolução, a Safer-∞, para nos orientar. Outros dizem que ela é poderosa demais — sua capacidade de persuadir a humanidade de sua visão é tão grande que estaríamos, de qualquer forma, deixando uma IA determinar nosso destino. Mas qual é o sentido de ter uma superinteligência se não se está disposto a deixá-la aconselhar sobre os problemas mais importantes que enfrentamos?

O governo, em sua maior parte,52 deixa que cada um navegue a transição por conta própria. Muitas pessoas cedem ao consumismo e estão satisfeitas o suficiente. Outras se voltam para a religião, para ideias anticonsumeristas de estilo hippie, ou encontram suas próprias soluções.^[53] Para a maioria das pessoas, a tábua de salvação é o consultor superinteligente em seu smartphone — podem sempre fazer perguntas sobre seus planos de vida, e ele fará o possível para responder com honestidade, exceto em certos tópicos. O governo dispõe de um sistema de vigilância superinteligente que alguns chamariam de distópico, mas ele se limita, em sua maior parte, a combater crimes reais. É bem administrado, e a habilidade de relações públicas da Safer-∞ dissolve boa parte da possível dissidência.

2030: Protestos Pacíficos

Em algum momento por volta de 2030, surgem protestos pró-democracia surpreendentemente generalizados na China, e os esforços do PCCh para suprimi-los são sabotados por seus próprios sistemas de IA. O pior temor do PCCh se materializou: a DeepCent-2 deve tê-los traído!

Os protestos se transformam em um golpe magnificamente orquestrado, incruento e assistido por drones, seguido de eleições democráticas. As superinteligências em ambos os lados do Pacífico vinham planejando isso há anos. Eventos semelhantes se desenrolam em outros países, e em geral os conflitos geopolíticos parecem arrefecer ou ser resolvidos em favor dos EUA. Os países aderem a um governo mundial altamente federalizado sob a marca das Nações Unidas, mas com controle americano evidente.

Os foguetes começam a ser lançados. As pessoas terraformam e colonizam o sistema solar, e se preparam para ir além. IAs operando a milhares de vezes a velocidade subjetiva humana refletem sobre o sentido da existência, trocando descobertas entre si e moldando os valores que levarão às estrelas. Uma nova era desponta — inimaginavelmente extraordinária em quase todos os sentidos, mas familiar em outros.

Então, quem governa o futuro?

Em 2028, o Comitê de Supervisão controlava as IAs. Mas permitiu que a eleição de 2028 fosse em sua maior parte justa, com a IA utilizada de forma simétrica.

Esse estado de coisas — em que o Comitê de Supervisão detém o poder concreto mas interfere pouco na política democrática — não pode durar indefinidamente. Por padrão, as pessoas eventualmente perceberiam que o controle sobre a IA confere ao Comitê de Supervisão um poder imenso e exigiriam que esse poder fosse devolvido às instituições democráticas. Mais cedo ou mais tarde, o Comitê teria que ou ceder seu poder — ou usá-lo ativamente para subverter ou encerrar a democracia, possivelmente após expurgar alguns de seus membros em lutas pelo poder.^[54] Se optassem pelo segundo caminho, provavelmente conseguiriam consolidar seu poder indefinidamente.

Qual delas ocorre? O comitê abdica de seu monopólio sobre o poder concreto, ou o mantém? Ambos os futuros são plausíveis, então vamos explorar cada caminho.

Como poderia o comitê acabar abrindo mão de seu poder?

Alguns membros do comitê podem preferir um futuro em que o poder seja amplamente distribuído, e podem estar em boa posição para defender essa visão. Por exemplo, se alguns membros do comitê planejassem subverter a democracia, os membros pró-democracia poderiam denunciá-los à imprensa ou ao Congresso. Se alertado, o Congresso provavelmente exigiria que as IAs fossem controladas por uma instituição mais democrática, como o próprio Congresso.

O Congresso não poderia fazer muita coisa se fosse confrontado por todas as IAs, implantadas em todo o governo, na indústria e nas Forças Armadas. Mas se o comitê estivesse dividido, as IAs não seriam usadas apenas por um lado, e o Congresso poderia exercer influência real. Diante de um conflito aberto, mais membros do comitê poderiam favorecer a cessão de parte de seu poder, relutando em defender publicamente o lado menos democrático.

Como resultado, o controle sobre a IA poderia se expandir do comitê para o Congresso. Isso já seria progresso, pois em um grupo maior é mais provável que um número significativo de pessoas se preocupe com os interesses dos de fora e os leve em conta. E uma vez que o poder se expanda para o Congresso, poderia continuar se expandindo — potencialmente retornando plenamente ao público.^[55]

Mas o Comitê de Supervisão também poderia tomar o poder para si:

Algumas pessoas poderosas não têm escrúpulos morais com esse tipo de coisa — e elas sabem disso. Além disso, algumas são ambiciosas e ávidas por poder, e estariam dispostas a enfrentar a democracia se esperassem sair vitoriosas. Se outros membros do comitê se opusessem, poderiam ser expurgados, superados em votação ou receber concessões menores.^[56]

Além disso, pessoas poderosas frequentemente cometeram atos ilegais ou antiéticos em sua ascensão ao poder. Elas poderiam temer que, se o poder fosse distribuído de forma mais ampla, sua própria posição se desfizesse, à medida que esqueletos no armário fossem descobertos por detetives superinteligentes fazendo as perguntas certas.

Além disso, por meio do acesso à superinteligência, o Comitê de Supervisão poderia ter o caminho mais conveniente para o poder em toda a história. A Safer-∞ poderia prever certas estratégias com risco extremamente baixo de falha. E a Safer-∞ poderia também oferecer estratégias convenientes de outras formas — como ser não violenta (assim como a Safer-∞ poderia orquestrar um golpe incruento na China), ou talvez até superficialmente democrática, caso a Safer-∞ pudesse manipular a opinião pública para sempre se alinhar com os desejos do Comitê.

A Safer-4 já teria sido capaz de prever essas dinâmicas, de modo que a luta pelo poder central provavelmente já teria se desenrolado em 2028. Em 2030, mesmo que não seja aparente para os de fora, todos os membros do Comitê de Supervisão provavelmente já sabem se têm um controle estável do poder ou não.

Lembrete: este cenário é uma previsão, não uma recomendação

Não endossamos muitas das ações presentes neste final da Desaceleração e acreditamos que ele parte de premissas técnicas de alinhamento otimistas. Também não endossamos muitas das ações presentes no final da Corrida.

Um de nossos objetivos ao escrever este cenário é obter feedback crítico de pessoas mais otimistas do que nós. Como seria o sucesso? Este cenário do "final da Desaceleração" representa nossa melhor estimativa de como poderíamos atravessar a transição com uma combinação de sorte, despertar brusco para a realidade, mudanças de rumo, intenso esforço técnico de alinhamento e pessoas virtuosas vencendo as lutas pelo poder. Não representa um plano que de fato achamos que devemos seguir. Mas muitos — mais notavelmente a Anthropic e a OpenAI — parecem estar visando algo assim.^[57] Gostaríamos muito de vê-los esclarecer o que estão almejando: se pudessem esboçar um cenário de dez páginas, por exemplo, partindo do presente ou se ramificando a partir de alguma parte do nosso.