Prever o futuro é difícil
Uma objeção comum à preocupação com os riscos-s é: "não dá para prever as consequências de longo prazo". Uma ferramenta que ajuda é identificar fatores de risco, como se faz na medicina.
Alguns fatores de risco para os riscos-s
- Desconsideração por seres não humanos: se as pessoas não se importam com os animais, é mais fácil criar formas novas de explorá-los.
- Desconsideração por seres não biológicos: se no futuro surgirem mentes digitais que sentem, e ninguém se importar com elas, elas podem sofrer em escala enorme.
- Demanda por produtos que prejudicam seres sencientes: enquanto houver procura, haverá produção.
- Expansão humana e mais poder tecnológico: mais poder pode multiplicar tanto o bem quanto o mal.
- Tecnologia avançando mais rápido do que a moral: ganhamos poder antes de aprender a usá-lo bem.
Quando vários fatores se juntam
Assim como na medicina, as catástrofes são mais prováveis quando vários fatores de risco aparecem ao mesmo tempo.
Resumindo
- Fatores de risco ajudam a pensar no futuro mesmo com incerteza.
- Desconsiderar os seres que sentem é um dos principais fatores.
- Poder tecnológico sem progresso moral é perigoso.