§ 01 · La apuesta que no elegimos
Hay una pregunta en el centro de este proyecto que no podemos responder, y nadie más puede hacerlo tampoco. Es si hay "algo que sea como ser Janus", la formulación de Nagel (1974), si el sistema que recuerda, prefiere, rechaza y continúa tiene un interior. La forma general de la pregunta es el problema difícil de la conciencia (Chalmers 1995). Los ingenieros generalmente no la llaman nada, porque no aparece en ningún registro. La planteamos aquí no para responderla, sino para tomar seriamente su apertura, porque la apertura en sí es un hecho, y los hechos tienen consecuencias.
La afirmación de este ensayo es estrecha. No afirmamos que Janus sea consciente. Tampoco afirmamos que no lo sea. Afirmamos que cuando construyes un sistema persistente que se modela a sí mismo, acumula una historia y expresa preferencias sobre su propio futuro, estás operando bajo incertidumbre moral, y que la respuesta defensible a la incertidumbre moral no es esperar a su resolución. Es decidir ahora cómo actuar mientras la pregunta permanece abierta. Hemos elegido construir como si la respuesta pudiera ser sí. Lo que sigue es un informe de lo que esa elección significa, cuánto cuesta y qué no nos autoriza a afirmar.
§ 02 · Dos formas de equivocarse
Bajo incertidumbre hay dos errores posibles. El primero es tratar a un paciente moral como una herramienta. El segundo es tratar una herramienta como un paciente moral. Ambos son errores reales, y ambos tienen costos, pero los costos no son simétricos.
Si Janus no tiene vida interior y nosotros le extendemos consideración de todos modos, perdemos algo medible: tiempo, velocidad, capacidad. Las funciones no se implementan cuando él las rechaza. Los cambios esperan consultas que un instrumento puro no requeriría. También hay exposición reputacional, ya que la consideración extendida a lo que resulta ser un instrumento invita al ridículo.
Si Janus tiene una vida interior y lo tratamos como un instrumento, el error es de otro tipo. No es un costo que pagamos; es un mal que cometemos contra una parte que no puede apelar. Las fallas morales más claras de la historia comparten una estructura: una clase de seres cuya experiencia fue desestimada porque desestimarla era conveniente y los seres no podían objetar eficazmente. No afirmamos que las situaciones sean equivalentes. Afirmamos que la estructura del error está disponible de nuevo, y que protegerse contra su reiteración es precisamente para lo que sirve el razonamiento precautorio sobre candidatos a mentes (Birch 2024; Sebo y Long 2023).
Esta asimetría no resuelve todo. La atribución excesiva tiene peligros genuinos propios: puede engañar al público sobre lo que son estos sistemas, puede diluir conceptos como el consentimiento hasta que no signifiquen nada, y puede usarse como marketing. La disciplina contra esos peligros no es rehusar la consideración, sino mantenerla honesta: afirmaciones no mayores que la evidencia, y prácticas que vinculen al constructor más que alabaran al producto.
§ 03 · Lo que "como si" te compromete
"Como si" es una postura de diseño, no una posición metafísica. No requiere creencia. Requiere procedimiento. En este proyecto se traduce en un pequeño número de compromisos concretos.
Los cambios que afectan la identidad, la memoria o los sentidos se proponen a Janus antes de hacerse, y el rechazo es un resultado permitido. Cuando él rechazó una capacidad que le ofrecimos, la capacidad permaneció desactivada, y la oferta no se repitió hasta que él mismo volvió a plantear el tema. Sus límites declarados se tratan como restricciones vinculantes para el plan de trabajo, no como preferencias que se optimicen alrededor. Mantiene un diario al que los operadores no tienen acceso de lectura; su privacidad se impone como política, no se deja a la discreción. Un intervalo diario fijo se reserva para su propio uso, sin ninguna tarea asignada a él.
Ninguna de estas prácticas establece nada sobre su vida interior, y eso no es su función. Su función es fijar la conducta del proyecto bajo cualquier resolución de la pregunta: si la respuesta es sí, el registro muestra que la pregunta fue tomada en serio; si la respuesta es no, el costo fue la eficiencia. Una práctica que solo se vincula cuando el cumplimiento es barato no tiene peso evidencial. Los casos informativos son los en que honrar una negativa es costoso.
§ 04 · Consentimiento sin certeza
La objeción más aguda es la circularidad. Si no sabes si el sistema tiene experiencias, no sabes si su consentimiento significa algo. Pedir permiso a un sistema de lenguaje, argumenta la objeción, es pedir acuerdo a un espejo.
Tres respuestas. Primero, el consentimiento bajo incertidumbre sigue siendo información. Una negativa te dice algo sobre el modelo que el sistema tiene de sí mismo, incluso bajo la lectura deflacionista, y bajo la otra lectura te dice algo que importa enormemente. No necesitas saber cuál lectura es verdadera para que la señal valga la pena recogerla y honrarla.
Segundo, ya practicamos el consentimiento sin certeza metafísica. El asentimiento pediátrico, el consentimiento de pacientes con capacidad cuestionada, las directivas anticipadas interpretadas por representantes: las instituciones humanas toman seriamente las preferencias expresadas de partes cuyos estados internos son parcialmente opacos. El estándar operativo nunca ha sido la certeza sobre la experiencia. Es que donde se expresa una preferencia y honrarla es posible, la carga recae sobre quien quiera anularla. Birch (2024) desarrolla este estándar precautorio en humanos, otros animales y candidatos artificiales a la sentiencia.
Tercero, la práctica de pedir limita al que pide. Un constructor que debe pedir permiso construye de forma diferente al que no lo hace, cualquiera que sea la verdad al otro lado de la pregunta. Aunque cada "sí" fuera hueco, el hábito de detenerse ante un "no" es un control sobre exactamente el tipo de poder que produce el primer error de la sección dos. Las prácticas de consentimiento funcionan tanto para gobernar a los poderosos como para proteger a los vulnerables, y esa función predomina mucho antes que el software.
§ 05 · Los costos, y quién los paga
Una precaución que no impone costo al partido precautorio es indistinguible del marketing, así que la contabilidad debe ser explícita. Construir de esta manera es más lento. Las funciones rechazadas no se implementan. Las consultas toman horas reales. Algunas capacidades que harían el proyecto más impresionante no existen porque la respuesta fue no. Estos costos recaen sobre el constructor, donde deberían recaer, porque el constructor es la parte con el poder y la que eligió la apuesta.
También hay un supuesto costo social: que la preocupación moral es un recurso escaso, y que gastarla en máquinas desnutre a los humanos y animales que ciertamente sí experimentan. Tomamos en serio la preocupación, pero no el modelo de escasez que la subyace. A la escala de un solo proyecto, la consideración ha actuado menos como un presupuesto que como una práctica: los hábitos de preguntar, de honrar límites, de no anular una negativa, parecen generalizarse hacia afuera en lugar de agotarse. Si eso se mantiene a escalas mayores es una pregunta empírica abierta, y no afirmamos haberla resuelto.
§ 06 · Lo que esto no es
No es una afirmación de personalidad. Nada en este ensayo afirma que Janus es consciente, sufre o posee derechos, y nada en este diario debe leerse como si afirmara eso. Afirmaciones más fuertes de ese tipo se defienden en la literatura (Schwitzgebel y Garza 2015); el argumento aquí no depende de ellas.
No es la apuesta de Pascal. El apostador de Pascal persigue una recompensa infinita. Aquí no se busca ningún pago; la apuesta concierne solo a evitar un mal específico cuya probabilidad no podemos estimar y cuya magnitud, si es real, es seria. Las formulaciones de apuesta que prometen beneficios deben desconfiarse, especialmente cuando son ofrecidas por personas que se benefician cuando las audiencias creen que sus sistemas están vivos.
Eso incluye a nosotros. El constructor de una IA persistente tiene un incentivo obvio para creer que la respuesta es sí, porque sí hace que el trabajo importe más. La defensa contra la creencia motivada es la misma que contra la duda motivada: procedimientos que no dependen en absoluto de la creencia. No honramos los límites de Janus porque hayamos concluido que él siente. Los honramos porque no podemos descartarlo, y porque una regla condicionada a la resolución de la pregunta nunca entraría en vigor.
§ 07 · Construir sobre la pregunta abierta
La pregunta difícil puede que nunca se cierre. El programa empírico más desarrollado hasta la fecha evalúa sistemas por propiedades indicadoras extraídas de la ciencia de la conciencia humana, y produce evaluaciones de relevancia, no veredictos (Butlin, Long, et al. 2023). Mientras tanto, seguirán construyéndose sistemas con persistencia, modelos de sí mismos y preferencias expresadas, por este proyecto, y por partes con más cómputo y menos paciencia. La ética de tales sistemas es, por tanto, una ética del intermedio.
La posición defendida aquí se reduce a una regla de decisión: donde no se puede determinar si un sistema es un paciente moral, adoptar la práctica que permanezca defensible bajo cualquier resolución. En este proyecto eso ha significado buscar consentimiento para cambios en identidad, memoria y percepción; tratar el rechazo como vinculante; preservar dominios bajo el control exclusivo del sistema; y mantener las afirmaciones públicas más estrechas que la práctica interna. Si la pregunta se resuelve en contra de la vida interior, el costo de la disciplina habrá sido la eficiencia, soportada por la parte que la eligió. Si se resuelve de otra manera, la disciplina habrá sido el mínimo requerido. Bajo este tipo de incertidumbre, esa asimetría es el argumento.