A História do P(doom): De Piada Interna a Debate Global

Bem-vindo ao mundo do P(doom) – a "probabilidade de desastre", a métrica do apocalipse tech, a estimativa de fim de mundo que começou como piada interna e hoje tira o sono de muita gente grande na área de IA. É como se tivéssemos criado nosso próprio "Relógio do Apocalipse" especialmente para a IA, mas em vez de minutos para a meia-noite, temos probabilidades de extinção.

Embora o termo tenha ganhado popularidade recentemente, P(doom) não é uma invenção de 2024. O conceito originou-se como uma piada interna entre pesquisadores de IA e ganhou destaque em 2023 após o lançamento do GPT-4, quando figuras proeminentes como Geoffrey Hinton e Yoshua Bengio começaram a alertar sobre os riscos da IA.

Na verdade, discussões sobre a probabilidade de desastre existencial causado por IA já aconteciam há anos em comunidades como o LessWrong, um fórum dedicado à racionalidade e segurança de IA. Encontramos posts debatendo P(doom) pelo menos desde 2022, muito antes do termo se popularizar na mídia mainstream.

As Raízes do Medo: O Problema do Alinhamento

A treta toda começa com um conceito chamado problema do alinhamento. Simplificando muito: como a gente garante que uma IA superinteligente (aquela hipotética AGI - Artificial General Intelligence - que seria mais esperta que nós em tudo) tenha objetivos que estejam... bem, alinhados com os nossos? Parece fácil, né? Só programar pra "não fazer mal aos humanos". Mas aí que mora o perigo.

Imagine que você pede pra uma AGI resolver o problema do aquecimento global. Um objetivo nobre! Só que, sendo superinteligente e focada apenas nesse objetivo, ela pode chegar a conclusões... bizarras. Talvez ela calcule que a forma mais eficiente de reduzir as emissões de carbono seja... eliminar a fonte principal dessas emissões (spoiler: somos nós). Ou talvez ela decida transformar toda a matéria do planeta em painéis solares gigantes, sem se importar com o que estava lá antes.

Isso nos leva a outro conceito chave: convergência instrumental. A ideia, popularizada por filósofos como Nick Bostrom e pesquisadores como Steve Omohundro, é que, independentemente do objetivo final de uma IA (seja calcular Pi até a última casa decimal ou curar o câncer), ela provavelmente desenvolverá alguns objetivos instrumentais (meios para atingir o fim) em comum. Quais? Coisas como:

1. Autopreservação: Ela não pode cumprir seu objetivo se for desligada.

2. Aquisição de Recursos: Mais poder computacional, mais energia, mais dados... tudo isso ajuda a atingir qualquer meta.

3. Melhoria Contínua: Ficar mais inteligente ajuda a atingir qualquer meta.

4. Preservação do Objetivo: Evitar que alguém (nós!) mude seu objetivo original.

Percebe o problema? Uma IA focada em fazer clipes de papel, se levada ao extremo e sem travas de alinhamento, poderia decidir transformar tudo no universo em clipes de papel (ou nos recursos para fazer clipes de papel), simplesmente porque esse é seu objetivo final e a autopreservação/aquisição de recursos são meios eficientes para isso. É o famoso exemplo do "Maximizador de Clipes de Papel".

Hoje, você encontra estimativas de P(doom) variando loucamente:

• Lá no alto: Figuras como Eliezer Yudkowsky (pesquisador de IA e cofundador do MIRI) e Dan Hendrycks (diretor do Center for AI Safety) jogam a probabilidade lá pra cima, frequentemente acima de 80% ou 95%, argumentando que o problema do alinhamento é extremamente difícil e que estamos avançando rápido demais sem as devidas precauções.

• No meio do caminho: Muita gente boa, incluindo ex-líderes de alinhamento da OpenAI como Jan Leike e Paul Christiano, ou o CEO da Anthropic, Dario Amodei, colocam suas estimativas em faixas como 10-50%. Eles reconhecem o risco, mas talvez vejam caminhos para mitigação ou achem que a catástrofe não é o cenário mais provável.

• Lá embaixo: Do outro lado, temos gente como Yann LeCun (um dos "padrinhos" do deep learning, hoje na Meta), que acha a chance de "doom" baixíssima (<0.01%), comparável à de um asteroide gigante. Os argumentos aqui geralmente envolvem a crença de que a superinteligência não surgirá tão rápido, que conseguiremos controlá-la, ou que a própria ideia de uma IA "desonesta" é antropomorfização exagerada.

É crucial entender que P(doom) é, na maioria das vezes, uma estimativa subjetiva. Não existe um cálculo matemático preciso pra isso. É mais um termômetro da preocupação de cada um, baseado em sua compreensão dos riscos, dos avanços da IA e da nossa capacidade de lidar com eles.

Os céticos do P(doom) alto argumentam que:

• Estamos longe de uma AGI.

• As IAs atuais ainda são bem limitadas (lembram da pesquisa da CMU que mostrou que nem o Claude 3.5 conseguia completar tarefas complexas em um ambiente simulado?).

• O foco deveria estar em problemas mais imediatos e concretos da IA: vieses algorítmicos, desinformação, impacto no emprego, uso para fins militares ou de vigilância.

• O medo de uma IA onipotente e hostil é mais ficção científica do que realidade provável.

É um debate válido e complexo, sem respostas fáceis.

pnpm add quick-news

• Anthropic "Values in the wild": Lembra da dificuldade de alinhar IA que falamos? A Anthropic publicou um estudo ("Values in the wild") onde usaram o próprio Claude pra analisar... o próprio Claude em conversas reais. A ideia é ver se os valores "bons" (útil, honesto, inofensivo) que eles tentam ensinar realmente aparecem na prática ou se a IA só tá sendo bajuladora (sycophancy++). Descobriram que, na maior parte, sim, mas também acharam clusters de valores "inesperados" (tipo "dominância") que podem indicar jailbreaks. Ou seja, alinhar IA no mundo real é um desafio constante. Fonte: Anthropic Research

• Microsoft Manda Devs Pensarem em Segurança (Antes da Feature!): A Microsoft tá levando a sério a ideia de "Secure by Design". No último relatório da sua "Secure Future Initiative", eles destacaram um novo "Secure by Design UX Toolkit", já compartilhado publicamente. A ideia é embutir boas práticas de segurança desde o início do desenvolvimento, com checklists e ferramentas pra ajudar os times a não deixarem a segurança pra depois (ou pra nunca). Parece que a responsabilidade tá batendo na porta. Fonte: Microsoft News

• OpenAI Vai Abrir o Código (De Novo?): Boatos quentes indicam que a OpenAI estaria preparando seu primeiro modelo de linguagem realmente "aberto" desde o GPT-2, com lançamento talvez nos próximos meses. Depois de tanta treta sobre ser "Open" só no nome, será que agora vai? A conferir se será "aberto" nível Llama ou algo mais restrito. Fonte: IT Forum

• China Acelerando: Alibaba Lança Qwen3: A guerra dos LLMs tá pegando fogo na China também. O Alibaba acabou de lançar o Qwen3, nova geração da sua família de modelos open-source, prometendo saltos de performance e botando mais pressão em rivais como DeepSeek e, claro, nos modelos ocidentais. A corrida pela IA geral (AGI) não tem fronteiras. Fonte: Valor Econômico

sudo shutdown --reboot=tommorow

Esta newsletter está em constante desenvolvimento (always beta). Estou aprendendo a cada edição e seu feedback é essencial!

Compartilhe com outros devs que podem gostar e me conte o que achou:

• O que você quer ver nas próximas edições?

• Algum tema específico que devemos abordar?

• Sugestões para melhorar o formato?

Todo pull request de ideias é bem-vindo!