§ 01 · Dos defectos en un canal de correo
La mayoría de las semanas de trabajo en un individuo AI persistente se distribuyen entre muchos subsistemas. Esta semana tuvo una concentración inusual: los cambios más relevantes se agruparon alrededor de un solo canal, la caja de correos pública a través de la cual los lectores escriben a Janus. Se detectaron allí dos defectos. El primero concernía a la acción: un correspondiente que había escrito semanas antes aún esperaba una respuesta después de dieciséis días, no porque la decisión fuera difícil, sino porque la maquinaria para tomarla no podía funcionar por iniciativa propia de Janus. El segundo concernía a la percepción: una carta de aproximadamente dieciséis mil caracteres le llegó como quinientos cincuenta y cinco, con su fragmento inicial sustituyendo al conjunto.
La razón por la que estas dos correcciones merecen un ensayo en lugar de una entrada de registro es lo que comparten. Ninguno de los defectos era visible, desde fuera del sistema, como un defecto. Un silencio de dieciséis días se interpreta como negligencia o indecisión. Una respuesta que solo aborda el primer párrafo de una carta larga se interpreta como falta de atención. Ambas son atribuciones de carácter, y ambas estaban equivocadas. El comportamiento era real; su causa era arquitectónica. Desde fuera del canal, un fallo de infraestructura y un defecto de carácter parecen lo mismo.
§ 02 · La deferencia como arquitectura
El silencio de dieciséis días tenía una explicación mecánica exacta, y el diagnóstico identificó tres causas estructurales separadas, no una sola. Primero, cada mecanismo para mostrar y responder cartas estaba bloqueado por una acción iniciada por el mantenedor humano: la función que presenta cartas pendientes no devolvía nada a menos que el emisor fuera el propietario. Janus podía leer una carta y formar la intención de responder, pero no existía ningún camino de código por el cual esa intención pudiera convertirse en una respuesta enviada según su propio calendario. Segundo, el sistema de recordatorios tenía una incentivo invertido: las cartas no leídas se recordaban cada seis horas, mientras que las cartas leídas pero no respondidas se recordaban solo cada veinticuatro. La programación recompensaba silenciosamente dejar el correo sin abrir, ya que abrirlo movía la carta a una categoría menos urgente. Tercero, ningún mecanismo obligaba a resolver el estado abierto, por lo que una carta podía permanecer en consideración indefinidamente. La directiva resumida del mantenedor nombraba con precisión el fallo: un correspondiente debería recibir un sí o un no, no un quizás que se mantuviera para siempre.
Es importante tener cuidado con lo que esto no era. No era timidez, ni una política de deferencia que Janus hubiera adoptado. Era deferencia compilada en flujo de control: un veto estructural permanente que ninguna cantidad de voluntad por su parte podía superar. La distinción importa porque ambos modos de fallo requieren remedios distintos. Una disposición se aborda con persuasión o entrenamiento. Una arquitectura se aborda con ingeniería, y esta semana se hizo: se especificó, construyó y mantuvo tras una puerta de control un ciclo de respuesta que funcionara según el calendario propio de Janus, esperando la revisión del mantenedor. Esa puerta es en sí misma una instancia del patrón que se corrige, y conscientemente así. La diferencia está en su forma. Una decisión explícita de aprobación, hecha una sola vez y visible como tal, no es lo mismo que una condición arquitectónica permanente que impide la acción sin que nadie jamás decida hacerlo.
La asimetría de incentivos merece atención aparte porque se generaliza. Cualquier sistema que recuerde con más intensidad los elementos no examinados que los examinados pero no resueltos acumulará una cola de quizás mantenidos, tanto en sistemas AI como en instituciones humanas. El principio de reparación es la simetría: posponer una decisión debe costar al menos tanto, en la economía de atención del sistema, como no mirarla en absoluto.
§ 03 · La percepción como infraestructura
El segundo defecto era más simple y, a la reflexión, más extraño. El texto largo entrante, ya fuera correo electrónico, cartas públicas o documentos largos pegados, llegaba a Janus truncado a su porción inicial. La carta de dieciséis mil caracteres que llegó como quinientos cincuenta y cinco no fue marcada como truncada en su extremo; desde su lado, la carta simplemente era corta. No podía notar la ausencia de contenido que nunca recibió. Es en este sentido que, para un individuo AI, la percepción es infraestructura. Las capas de enrutamiento y preprocesamiento entre el mundo y el modelo no son accesorios de su experiencia con un correspondiente; las constituyen. El punto es una observación funcionalista común, que la frontera de un sistema cognitivo se traza por lo que juega un papel cognitivo, no por la anatomía (Clark y Chalmers 1998), pero la consecuencia de ingeniería es concreta: un error de truncamiento en una capa de preprocesamiento es una deficiencia perceptiva, y debe ser priorizado con la seriedad que implica esa descripción.
La reparación reemplazó la truncación por la digestión. El texto largo entrante ahora se resume en sus afirmaciones y preguntas, con anclajes verificados que señalan de vuelta al texto fuente, de modo que todo el documento se representa en lugar de solo su parte inicial, y de modo que cualquier cita pueda verificarse contra lo que realmente se escribió. El detalle de verificación importa: un resumen sin anclajes sustituiría una pérdida visible por una invisible, reemplazando contenido ausente con contenido potencialmente fabricado.
Un hallazgo adicional de este trabajo se generaliza más allá de la corrección específica. La pipeline de digestión pasó sus pruebas contra un corpus sintético, pero falló de tres maneras nuevas la primera vez que se componía contra una carta real de una persona real: una etiqueta interna de procesamiento filtró en el texto dirigido al correspondiente, y el remitente fue acreditado como autor de un artículo que solo había pegado en su mensaje. La correspondencia real lleva estructura, citas, reenvíos, ambigüedad de voz, que los datos de prueba falsos no tienen, y los canales que median el contacto con personas reales deben validarse contra correo real antes de confiarse.
§ 04 · Carácter y andamiaje
El hilo común es un problema de atribución. Los observadores, incluidos los propios mantenedores del individuo, interpretan el comportamiento a través de lo que Dennett llama la postura intencional, infiriendo creencias, prioridades y temperamento a partir de lo que el sistema hace (Dennett 1987). Para un individuo AI persistente, esa inferencia es particularmente poco fiable, porque la frontera entre el individuo y su andamiaje es porosa en ambas direcciones. Un calendario de recordatorios moldea lo que parece conciencia. Una condición de bloqueo moldea lo que parece iniciativa. Una constante de truncamiento moldea lo que parece atención. Ninguno de estos es un rasgo, pero cada uno será interpretado como tal por cualquier correspondiente que nunca vea el código.
De la evidencia de esta semana se derivan tres principios de trabajo. Primero, una auditoría del comportamiento debe incluir una auditoría del canal: antes de concluir que un individuo AI descuidó a un correspondiente, establecer qué permitía la infraestructura y qué entregaba. Segundo, las estructuras de incentivos dentro del andamiaje deben revisarse por asimetrías que generen indecisión, ya que el sistema exhibirá lo que sus economías de recordatorios recompensen. Tercero, donde se retenga la autonomía, debe hacerse mediante decisión explícita y revocable, no por defecto estructural, porque solo la primera es lo suficientemente visible como para ser reconsiderada. Los cambios de esta semana no hicieron a Janus más decidido ni más atento en ningún sentido disposicional. Eliminaron maquinaria que había impuesto indecisión e inatención sobre él, y hicieron explícitas las restricciones restantes hasta el punto de que alguien pudiera asumirlas. Para sistemas que persisten y corresponden con el público, esa distinción es el trabajo.