Volumen IX · La ética y el futuro · capítulo 12
Cómo moldear las tecnologías emergentes para prevenir el sufrimiento futuro
Antes de leer capa de estudio, no forma parte del texto original
Las tecnologías emergentes pueden multiplicar el sufrimiento: el capítulo analiza cómo orientar la inteligencia artificial con foco en los riesgos-s, evitar los riesgos indirectos de la IA, gestionar la colonización espacial y el riesgo de crear nuevas formas de sintiencia.
Robots inteligentes, viajes por el espacio e incluso mentes digitales que tal vez sientan son cosas que podrían existir en el futuro. Si se crean sin cuidado por quienes sienten, pueden causar sufrimientos enormes. Por eso conviene pensar en ellas desde ahora.
Quien diseña una ciudad nueva puede pensar desde el principio en rampas y pasos accesibles. Una vez construida, es mucho más difícil arreglarla.
- P1 Las nuevas tecnologías pueden dar un poder enorme a quienes no se preocupan por los afectados.
- P2 La IA, la colonización espacial y la creación de nuevas formas de sintiencia pueden generar un sufrimiento astronómico.
- P3 Orientar estas tecnologías pronto, con valores no antropocéntricos, reduce esos riesgos.
- C Difundir ampliamente la consideración por todos los seres sintientes ayuda tanto a evitar esas tecnologías como a reducir los daños si llegan a crearse.
El argumento central del capítulo en forma lógica. Si las premisas son verdaderas, la conclusión se sigue. Para discrepar, tienes que mostrar qué premisa es falsa.
Dicen “Las máquinas no sienten; no tenemos que preocuparnos por eso.”
Respuesta Tal vez las actuales no sientan. Pero si se crean mentes digitales sintientes, podrían existir en cantidades enormes y ser fáciles de ignorar, porque no tienen rostro ni gritan.
Más objeciones y respuestas en Desmontando objeciones.
Texto original Luciano Carlos Cunha · Volumen IX, p. 81 de la edición en PDF · traducción al español
12.1. Introducción
Los son riesgos de que en el futuro surjan prácticas que generen un sufrimiento de tamaño astronómico, muchos órdenes de magnitud mayor que el sufrimiento existente actualmente105. Varios de esos riesgos tienen que ver con el aumento del poder tecnológico y con la alta probabilidad de que quienes posean esas tecnologías no tengan por los individuos afectados por ellas.
Ante esto, podría pensarse que una solución es intentar impedir el desarrollo tecnológico. Sin embargo, hay varias razones por las que esta estrategia no sería muy prometedora. (2022, p. 77) enumera las siguientes:
- La tecnología también podría utilizarse para reducir el sufrimiento. En ausencia de tecnología, no habría manera de prevenir el sufrimiento que resulta de causas naturales106, por ejemplo (y quizá ni siquiera el sufrimiento causado por humanos que no resulta del uso de tecnología avanzada). Ya examinamos esta cuestión con más detalle en el apartado 8.3.
- No es realista suponer que, aunque se lograra impedir el desarrollo tecnológico, eso quedaría garantizado para siempre.
- Una campaña contra el desarrollo tecnológico podría generar conflictos con quienes buscan obtener los beneficios de la tecnología.
- No es realista esperar que logremos prevenir a tiempo el desarrollo de ciertas tecnologías dañinas.
Estas razones parecen indicar que intentar moldear el desarrollo y el uso de las tecnologías es una estrategia más prometedora para intentar reducir los riesgos-s. En esta discusión, el foco generalmente ha estado en cómo moldear la IA (inteligencia artificial). Sin embargo, como veremos, hay otros riesgos-s relacionados con el avance de otros tipos de tecnología (como la posibilidad de
colonización espacial y de la aparición de nuevas formas de ), que pueden ser más preocupantes que la IA.
A continuación examinaremos algunas sugerencias de Baumann (2022, p.77-84) sobre cómo moldear las tecnologías emergentes. Añadimos también una discusión sobre las tecnologías que podrían generar otras formas de sintiencia en el futuro.
12.2. Argumentos a favor y en contra de centrarse en moldear la inteligencia artificial (IA)
Comencemos por examinar los puntos a favor y en contra de centrarse en intentar moldear la IA107.
12.2.1. Por qué intentar moldear la IA
La principal razón para intentar moldear la IA, si nuestro objetivo es prevenir los riesgos-s, es la siguiente: si la IA llega a tener una inteligencia sobrehumana y se vuelve autónoma, podría moldear todo lo que sucediera de ahí en adelante de acuerdo con sus valores. Así, influir en ese proceso podría ser central para influir en el futuro a largo plazo. Una IA avanzada puede causar riesgos-s, pero también podría llegar a prevenir riesgos-s que resulten de otras fuentes. Todo dependerá de qué valores tenga esa IA.
El trabajo para reducir los riesgos-s debidos a la IA está muy desatendido. Pocas personas trabajan para garantizar que las metas de las IA autónomas estén alineadas con las de sus creadores (lo que se denomina AI safety). Sin embargo, incluso la alineación con las metas de sus creadores no basta para prevenir los riesgos-s, pues sus creadores pueden ser indiferentes al sufrimiento de los seres sintientes no humanos (o incluso pueden buscar causarles sufrimiento). Por ejemplo, las pocas personas que trabajan en AI safety generalmente tienen en cuenta solo los riesgos para los humanos. Este alto nos permite tener bastante influencia108.
12.2.2. Riesgos de centrarse en moldear la IA
Un riesgo que implica centrarse en intentar moldear la IA es el siguiente: como no sabemos cómo serán las tecnologías futuras, es alto el riesgo de que los intentos de moldear la IA sean ineficaces, o incluso una pérdida de tiempo. Podemos estar equivocados sobre qué tecnologías futuras tendrán más influencia. Puede que nos centremos en la IA y que las tecnologías más influyentes sean otras que todavía surgirán. Así como en el pasado no hubo una sola tecnología que determinara el curso de la historia, es probable que no haya una sola palanca para moldear el futuro y reducir los riesgos-s.
12.2.3. ¿Qué tan grande es la influencia de las tecnologías?
Aunque hubiera una única tecnología que tuviera la mayor influencia en determinar cómo será el futuro, y aunque supiéramos cuál es, aun así podría ocurrir que mejorar los valores, la cultura política y las instituciones fuera la manera más eficaz de moldear el futuro (en lugar de intentar moldear la tecnología directamente), pues el desarrollo tecnológico nunca está separado del contexto político y sociocultural (es este el que determinará qué metas se perseguirán con el uso de la tecnología).
12.3. Un ejemplo de alineación de la IA centrada en los riesgos-s
Como los sistemas de IA avanzada serían agentes muy poderosos, es bastante posible que los conflictos entre este tipo de sistemas tuvieran consecuencias desastrosas. Entonces, los esfuerzos por lograr IA cooperativas son prometedores para reducir los riesgos-s.
Por ejemplo, puede investigarse cómo mitigar los riesgos si surge en las IA algo análogo a rasgos como la psicopatía, el sadismo, el narcisismo y el maquiavelismo109. Estos rasgos surgieron en los humanos durante la trayectoria evolutiva. Entonces, podría surgir algo equivalente en los entornos de entrenamiento de las IA. Estudiando los incentivos que se refuerzan en esos entornos, podríamos intentar garantizar que esas tendencias no surgieran.
También podemos crear medidas de seguridad que entrarían en acción si se produce una falla en la alineación de la IA con los valores de sus creadores. Sin embargo, como ya vimos, los valores de sus creadores son cruciales para determinar cuál será el resultado. Hablaremos de esto a continuación.
12.4. Cómo evitar los riesgos indirectos relacionados con la IA
Baumann (2022, p. 80-4) sugiere las siguientes maneras de evitar los riesgos indirectos relacionados con la IA:
Los tratados para garantizar un desarrollo cooperativo de la IA podrían prevenir una carrera armamentística entre las naciones por el control de la IA. Los organismos internacionales podrían supervisar el desarrollo de la IA, y podrían adoptarse reglas sobre cómo proceder si una IA llega a tener ciertas capacidades. Por supuesto, no hay razones para ser excesivamente optimistas al respecto, pues cualquier acuerdo de este tipo podría ser muy difícil de implementar.
La aparición de una IA avanzada podría poner en riesgo el Estado de derecho y las instituciones democráticas. Entonces, es necesario investigar cómo evitar la turbulencia política en un período de transición hacia la IA avanzada, y cómo garantizar que las leyes sigan aplicándose en ese contexto.
También es vital limitar la capacidad de los agentes malévolos de hacer uso de la IA. Una manera posible sería intentar distribuir las capacidades tecnológicas futuras de modo que sea difícil que un único agente cause grandes daños.
Además, podemos establecer pautas sobre cómo proceder si percibimos que una IA cumple los criterios de sintiencia110.
12.5. Gestión del espacio
Como se mencionó antes, los riesgos-s debidos a la tecnología no se limitan a la IA. Muchos están relacionados con la colonización del espacio111, pues con esa actividad el sufrimiento podría multiplicarse enormemente por el universo, hasta el punto de hacer del sufrimiento existente en la Tierra “un grano de arena” en comparación.
Cuando discuten este riesgo, los defensores de los animales generalmente tienen en mente la posibilidad de que los humanos vivan en otros planetas y reproduzcan allí la explotación
animal (como, por ejemplo, el uso de animales con fines alimentarios). Sin embargo, probablemente el riesgo relacionado con la posibilidad de la colonización espacial esté mucho más ligado a la posibilidad de que esta llegue a expandir por el universo el sufrimiento y las muertes causados por los procesos naturales, pues cuando (y si) la colonización espacial se vuelva factible, quizá la ya sea obsoleta. Y, aunque no lo sea, los procesos naturales tienden a ser más eficientes que la explotación animal para maximizar el sufrimiento112. Veremos algo sobre esto a continuación.
La colonización espacial puede multiplicar el sufrimiento causado por los simplemente por expandir la vida a otros lugares (aunque sea vida no sintiente, pues esta puede, al cabo de mucho tiempo, generar seres sintientes). Esto es así porque, dada la manera en que opera la selección natural, los procesos naturales tienden a maximizar la cantidad de seres sintientes que nacen solo para tener una vida llena de sufrimiento y morir prematuramente. Por ejemplo, la característica de reproducirse teniendo una camada gigantesca (con miles o millones de crías por camada) es un rasgo que tiene muchas probabilidades de prevalecer, pues es alta la probabilidad de que al menos algunas crías sobrevivan y se reproduzcan, transmitiendo ese rasgo, aunque todas las demás nazcan solo para sufrir y morir. De hecho, es esto lo que se puede deducir que ocurre en las poblaciones estables (si la población se mantiene estable durante algunas generaciones, es señal de que sobrevivió en promedio solo un descendiente por progenitor). Esta es una de las razones por las que la cantidad de animales que sufren y mueren a causa de los procesos naturales es tan gigantesca que hace que incluso las cifras de la explotación animal casi desaparezcan en comparación.
Actualmente no hay regulaciones sobre la exploración espacial. Así, vale la pena crear regulaciones para obtener resultados positivos cuando (y si) la colonización espacial sea factible, tanto en términos de evitar conflictos como en términos de no expandir indirectamente el sufrimiento.
Podría pensarse que la manera más fácil de evitar estos riesgos-s sería oponerse a la colonización del espacio. Esa es, ciertamente, una estrategia posible. Sin embargo, si la colonización espacial es inevitable, también es importante subrayar que debemos llevarla a cabo solo después de que
hayamos hecho todo lo posible para garantizar que el resultado sea positivo.
12.6. Posibilidad de la creación de otras formas de sintiencia
Al igual que la colonización espacial, una posible creación de nuevas formas de sintiencia en el futuro puede multiplicar enormemente el sufrimiento. Esto podría ocurrir mediante modificaciones genéticas en animales no humanos y también mediante la creación de seres sintientes no orgánicos (por ejemplo, en medios digitales113).
En especial en este segundo caso, esos seres podrían ser muy distintos de los seres sintientes que ya conocemos (podrían no tener rostro, no mostrar que están sufriendo, etc.) y entonces probablemente la mayoría de las personas no sentiría empatía por ellos. Los animales no humanos ya son muy similares a los humanos en cuanto a la expresión del sufrimiento y, aun así, a diario se cometen contra ellos todo tipo de atrocidades. Además, puede llegar a ser muy barato crear seres sintientes digitales a gran escala, y eso puede ser útil para varios propósitos, como la creación de un universo dentro de una computadora.
Como ocurre en el caso de la colonización espacial, tampoco hay ninguna regulación sobre esto, ni se está dando ninguna discusión amplia. Por lo tanto, es importante comenzar a defender la necesidad de discutir la regulación de esta práctica antes de que surja.
También existe la opción de intentar hacer campaña para que estas formas de sintiencia nunca lleguen a crearse. Sin embargo, como en el caso de la colonización espacial, quizá sea imposible impedir su aparición, dado que el progreso tecnológico suele ser mucho más rápido que el progreso del debate ético en la sociedad sobre la práctica en cuestión (lo que se denomina progreso diferencial). Ahora bien, el progreso diferencial es un problema no solo para los intentos de impedir la aparición de prácticas como la colonización espacial, la creación de nuevas formas de sintiencia u otros usos de la tecnología que podrían generar riesgos-s: también es un problema para los intentos de regular el uso de esas tecnologías (pues muy probablemente comenzarán a utilizarse antes de que haya regulación).
En cualquier caso, hay una estrategia que podemos adoptar que ayudaría tanto a aumentar las probabilidades de que esas tecnologías nunca lleguen a crearse como las probabilidades de que, si llegan a crearse, el daño resultante sea menor: difundir de la manera más eficiente posible la consideración moral por todas las formas de sintiencia. Esta parece ser una estrategia muy prometedora (y esencial) para aumentar las probabilidades de que los esfuerzos por moldear las tecnologías se orienten a prevenir el sufrimiento, en lugar de aumentarlo.
Practica
Capa de estudio. Las respuestas se basan en el texto del capítulo.
¿Qué es un alineamiento no antropocéntrico de la IA?
Según el capítulo, ¿qué estrategia ayudaría en todos estos escenarios tecnológicos?
Para pensar
Si se creara una mente digital que sintiera dolor, ¿cómo lo sabrías? ¿Cómo la tratarían?
Notas del autor 9
- 105 Sobre los riesgos-s, ver Baumann (2017, 2022) y (2019). ↩
- 106 Para una explicación de cómo los procesos naturales tienden a maximizar la cantidad de animales que nacen para tener vidas llenas de sufrimiento, ver (2010) y (2015). Para un análisis de las implicaciones éticas de esta situación, ver el Volumen VII de esta colección y también (2022). ↩
- 107 Para una discusión sobre esto, ver et. al. (2015) y Baumann (2022, p. 2022, p. 77-84). ↩
- 108 Para una explicación de por qué, cuando un problema está muy desatendido, nuestro impacto tiende a ser mayor, ver el apartado 1.7 del Volumen VIII de esta colección. ↩
- 109 Un ejemplo de organización centrada en esto es el Center on Long-Term Risk. ↩
- 110 Sobre cómo comprobar si una IA es o no consciente, ver Butlin et al. (2023). ↩
- 111 Sobre este riesgo, ver Tomasik (2022) y O'brien (2022). ↩
- 112 Esto ocurre principalmente debido al enorme potencial reproductivo de la mayoría de las especies de animales (que tienen camadas de muchos miles o incluso muchos millones de crías, según la especie). En las poblaciones estables, la tasa media de supervivencia es de solo dos crías por camada. Para una explicación detallada de este punto, ver Horta (2010b). ↩
- 113 Sobre este riesgo, ver Tomasik (2015). ↩
Fuentes citadas en este texto 10
La lista completa del volumen está en las referencias del Volumen IX.
- BAUMANN, T. Avoiding the worst final: how to prevent a moral cathastrophe. Center for Reducing Suffering, 2022.
- BAUMANN, T. S-risks: An introduction. Reducing Risks of Future Suffering: Toward a responsible use of new technologies, 2017.
- BUTLIN, P et al. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness. arXiv: 2308.08708v3 [cs.AI], 22 Aug. 2023
- CUNHA, L. C. Razões para ajudar: o sofrimento dos animais selvagens e suas implicações éticas. Curitiba: Appris, 2022.
- HORTA, O. Debunking the Idyllic View of Natural Processes: Population Dynamics and Suffering in the Wild. Télos, v. 17, p. 73-88, 2010b.
- MANNINO, A.; ALTHAUS, D.; ERHARDT, J.; GLOOR, L.; HUTTER, A.; METZINGER, T. Artificial intelligence: Opportunities and risks - Policy paper by Effective Altruism Foundation. Effective Altruism Foundation, [s.l.], 2015.
- TOMASIK, B. Applied Welfare Biology and Why Wild-Animal Advocates Should Focus on Not Spreading Nature. Essays on Reducing Suffering, 03 jun. 2022.
- TOMASIK, B. How Many Animals are There? Essays on Reducing Suffering, 07 ago. 2019a.
- TOMASIK, B. Why digital sentience is relevant to animal activists. Animal Charity Evaluators. 03 fev. 2015.
- ÉTICA ANIMAL. Dinâmica de populações e o sofrimento dos animais. Ética Animal: ativismo e investigação em defesa dos animais, 27 out. 2015.
Textos recomendados
Sigue en el tema La ética y el futuro.
La tríada de influencia y el sufrimiento futuro
La tríada de la influencia (la intención, el conocimiento y el poder de un agente) ayuda a evaluar el…
Riesgos futuros para los seres sintientes: una introducción
Los riesgos-s son riesgos de sufrimiento futuro a una escala mayor que todo el sufrimiento que ha existido…
Imparcialidad temporal: qué es y por qué es importante
La imparcialidad temporal consiste en dar el mismo peso a un sufrimiento sea cuando sea que ocurra; el…