¿Qué significa que una inteligencia artificial actúe correctamente? ¿Alcanza con indicarle qué puede hacer y qué tiene prohibido hacer? ¿Es posible convertir principios sobre lo que está bien y lo que está mal en instrucciones que una máquina pueda aplicar? ¿Qué pasa cuando una situación concreta no encaja en ninguna regla? Esas fueron algunas de las preguntas que atravesaron la conferencia de Mois Navon en el Ciclo “Impacto de la IA”, una iniciativa conjunta de IAE Business School y la Facultad de Ingeniería de la Universidad Austral. El encuentro tuvo lugar el 3 de septiembre en Workplace by IRSA, donde el IAE tiene una nueva sede, y formó parte de una jornada dedicada a explorar el impacto de la inteligencia artificial tanto en los negocios, como en las organizaciones y en la sociedad en su conjunto.

Navon, ingeniero y uno de los founding engineers de Mobileye, doctor en Filosofía y rabino, lleva años trabajando en la intersección entre inteligencia artificial, filosofía y tradiciones religiosas. Su trayectoria lo llevó desde el desarrollo de tecnologías para vehículos autónomos hasta la investigación sobre el estatus moral de la inteligencia artificial y el asesoramiento en cuestiones de ética de IA para instituciones académicas, tecnológicas y religiosas.

Su conferencia, titulada “¿Es codificable la moral? La Constitución de Claude y la ética de entrenar IA”, no buscó ofrecer una respuesta definitiva. En cambio, planteó un problema que se vuelve cada vez más concreto a medida que los sistemas de inteligencia artificial adquieren capacidad para intervenir en decisiones que afectan la vida de las personas.

Antes de avanzar, hay una cuestión terminológica importante. En el lenguaje cotidiano, moral y ética suelen emplearse como sinónimos, y Navon se mueve en buena medida dentro de ese uso amplio. Sin embargo, en el contexto filosófico de su exposición conviene distinguir ambos conceptos. La moral puede entenderse como el conjunto de valores, normas y convicciones que orientan aquello que consideramos correcto o incorrecto. La ética, en cambio, es la reflexión acerca de esos valores y normas: cómo justificarlos, cómo interpretarlos y cómo aplicarlos cuando una situación concreta plantea un conflicto o no está contemplada de manera explícita.

La diferencia entre moral y ética resulta relevante para entender el problema que plantea Navon. El desafío no consiste simplemente en introducir en una computadora una lista de cosas que puede hacer y otras que no puede hacer. El problema aparece cuando las reglas entran en tensión, cuando una situación es nueva o ambigua, o cuando es necesario interpretar qué significa actuar correctamente en un contexto determinado. Por eso, a lo largo de su exposición, la pregunta fue desplazándose desde una formulación aparentemente sencilla (“¿puede una máquina ser moral?”) hacia otra mucho más compleja: ¿puede una máquina usar principios morales para orientar su comportamiento y ejercer algún tipo de juicio frente a situaciones nuevas?

Las máquinas ya toman decisiones con consecuencias morales

La cuestión no es puramente futurista. Aunque todavía no sepamos si una máquina puede tener conciencia, intención o una comprensión propia de lo que significa hacer el bien, los sistemas automatizados ya participan en decisiones con consecuencias humanas relevantes. Navon enumeró algunos ejemplos: sistemas de predicción policial, diagnósticos médicos basados en datos, cirugía robótica, transporte autónomo, armas, decisiones financieras, procesos de selección laboral, otorgamiento de créditos, asignación de órganos e incluso sistemas que pueden intervenir en la selección de parejas. En todos esos casos aparece una cuestión moral, aunque el sistema no “sepa” que está frente a ella.

Una computadora puede calcular probabilidades, clasificar personas, optimizar variables e identificar patrones en enormes cantidades de datos. Pero cuando sus resultados determinan quién recibe un crédito, quién accede a un tratamiento o qué vehículo debe frenar ante una situación de riesgo, los criterios con los que se diseñó ese sistema tienen consecuencias sobre lo que consideramos justo, legítimo o correcto. La pregunta, entonces, deja de ser si las máquinas algún día serán capaces de hablar sobre ética. Ya estamos diseñando sistemas que intervienen en situaciones que tienen una dimensión moral.

De las reglas explícitas a los sistemas que aprenden

Para explicar por qué el problema se volvió especialmente difícil con la inteligencia artificial contemporánea, Navon recurrió al trabajo del filósofo estadounidense James H. Moor, uno de los pioneros de la reflexión sobre ética de las máquinas. Moor distinguió diferentes tipos de agentes éticos. Los seres humanos, en su concepción, son agentes éticos completos: tienen conciencia, intencionalidad, comprensión y capacidad para deliberar acerca de sus acciones. En cambio, una máquina puede actuar como un agente ético explícito: puede tomar decisiones que tienen una dimensión ética sin poseer necesariamente conciencia, voluntad o intención moral. La diferencia es fundamental.

Un sistema puede estar programado para evitar determinadas conductas sin comprender por qué esas conductas son incorrectas. Puede ejecutar una regla sin tener una experiencia del mundo ni una concepción del bien. Esto remite a una pregunta que Moor formuló en 1995, en su artículo Is Ethics Computable?: ¿hasta qué punto el razonamiento ético puede ser representado mediante procedimientos computacionales? La pregunta adquiere una nueva dimensión con los grandes modelos de lenguaje.

La “Constitución” de Claude: ¿se puede entrenar una orientación moral?

Navon dedicó una parte central de su conferencia a Claude, el modelo de inteligencia artificial desarrollado por Anthropic. Según explicó, la llamada Constitución de Claude representa un cambio respecto de una concepción más tradicional de la programación. En lugar de intentar definir exhaustivamente el comportamiento del sistema mediante instrucciones del tipo “si ocurre A, entonces hacer B”, se busca darle un conjunto de principios y orientaciones a partir de los cuales el modelo pueda desarrollar patrones de comportamiento.

La Constitución de Claude contiene prohibiciones concretas (por ejemplo, frente a determinadas formas de violencia o de asistencia para producir armas biológicas), pero también formula principios y orientaciones más generales. Para Navon, allí aparece una cuestión filosófica de enorme importancia: ¿qué significa enseñar a una inteligencia artificial a comportarse de acuerdo con determinados valores? La propia Anthropic convocó a representantes de distintas tradiciones de sabiduría para discutir esta cuestión. Navon participó en ese proceso desde la perspectiva de la tradición judía y elaboró una extensa crítica de la Constitución desde ese marco.

La razón por la que las tradiciones religiosas pueden aportar algo a esta discusión es, según Navon, que llevan miles de años enfrentando una pregunta que ahora también deben resolver los ingenieros: cómo formar a un ser humano para que actúe correctamente cuando no existe una instrucción específica para cada situación posible.

¿Qué significa “ética computable”? La expresión puede resultar engañosa. Cuando Navon habla de la posibilidad de que la ética sea “computable”, no está diciendo que una computadora pueda ejecutar una ecuación que produzca automáticamente la respuesta a cualquier dilema moral. La cuestión es más precisa: si podemos formalizar suficientemente los principios que usamos para decidir qué está bien y qué está mal como para que una máquina pueda aplicarlos de manera competente. Aquí aparece lo que Navon denominó la tesis de la codificabilidad.

“Codificar” no significa solamente escribir código informático. También remite a la idea de un codex: un conjunto organizado de reglas capaz de establecer qué debe hacerse. La tesis de la codificabilidad sostiene, en términos generales, que podría existir una teoría moral suficientemente completa como para expresarla mediante reglas universales que una persona pudiera aplicar correctamente en cualquier situación. La posición contraria, la tesis de la anticodificabilidad, sostiene que no es posible escribir todas las reglas necesarias para determinar qué corresponde hacer en cada circunstancia. Aquí aparece el verdadero desafío para la inteligencia artificial.

Si la moral puede reducirse a un conjunto suficientemente completo de reglas, en principio podríamos intentar programarlas o incorporarlas al entrenamiento de una máquina. Si no puede reducirse a reglas, entonces necesitamos comprender qué otras capacidades intervienen cuando una persona decide qué hacer.

Aristóteles: las reglas no alcanzan

Navon recurrió a una tradición filosófica muy anterior a la informática. En la Ética a Nicómaco, Aristóteles sostiene que las afirmaciones sobre la conducta humana son válidas “en la mayoría de los casos”, pero no pueden alcanzar la precisión absoluta de una demostración matemática. La razón es que la acción humana ocurre en circunstancias concretas, variables y particulares. Saber que una regla existe no garantiza saber cómo aplicarla.

Para Aristóteles, la virtud requiere phronesis, una forma de sabiduría práctica que permite reconocer qué corresponde hacer en una situación particular. No se trata simplemente de conocer una norma, sino de percibir adecuadamente las circunstancias y actuar en consecuencia. La diferencia puede parecer sutil, pero es central para la discusión sobre IA.

Una máquina puede tener acceso a una cantidad extraordinaria de reglas, precedentes y ejemplos. La pregunta es si eso equivale a comprender cuándo una regla debe aplicarse, cómo debe interpretarse o cuándo una situación exige algo que no está expresamente establecido.

Kant y el problema de aplicar una regla

Immanuel Kant, uno de los grandes filósofos de la modernidad, ofrece otro ejemplo. Su famoso imperativo categórico propone preguntarse si la máxima que guía una acción podría convertirse en una regla universal. Pero incluso este procedimiento aparentemente formal exige algo que no está contenido en la regla misma: determinar cuál es la máxima relevante de una acción y cómo debe formularse en una situación concreta.

El problema reaparece una y otra vez: una regla no se aplica a sí misma. Necesitamos interpretar la situación, identificar qué principios están en juego y decidir cómo deben relacionarse entre sí. Por eso, incluso una teoría moral basada en principios universales no elimina necesariamente la necesidad de juicio.

El problema de maximizar el bien

Navon también abordó el utilitarismo, tradición asociada con Jeremy Bentham y John Stuart Mill, que propone evaluar las acciones según sus consecuencias y buscar el mayor bienestar posible para el mayor número de personas. A primera vista, esta perspectiva parece especialmente apropiada para una computadora. Si una máquina puede procesar cantidades de información que exceden ampliamente la capacidad humana, ¿por qué no pedirle que calcule cuál es la decisión que produce el mejor resultado?

El conocido problema del tranvía (trolley problem) permite visualizar la dificultad. Pero los dilemas reales son mucho más complejos. ¿Qué ocurre cuando dos valores entran en conflicto? ¿Cómo se compara la privacidad con la seguridad? ¿Cómo se mide la dignidad? ¿Cómo se cuantifica el sufrimiento? ¿Qué peso se asigna a los intereses de una minoría frente al beneficio de una mayoría?

El propio James H. Moor advierte que algoritmos, ecuaciones, reglas y heurísticas no eliminan la necesidad de sentido común, conocimiento del mundo, comprensión de la naturaleza humana, experiencia e imaginación. Una computadora puede calcular una función de utilidad. La dificultad está en determinar qué debe contar como utilidad y cómo debe interpretarse una situación humana concreta.

Privacidad versus seguridad: cuando dos principios correctos chocan

Navon recurrió a un caso reciente de Anthropic para mostrar que el problema no consiste únicamente en programar prohibiciones. El secretario de Defensa de Estados Unidos, Pete Hegseth, había planteado el uso de Claude para tareas relacionadas con la identificación y seguimiento de personas consideradas terroristas. El CEO de Anthropic, Dario Amodei, rechazó determinadas aplicaciones por razones vinculadas con la privacidad. Aquí no existe una oposición simple entre un valor correcto y uno incorrecto.

Seguridad y privacidad son valores legítimos. El problema consiste en determinar cuál debe prevalecer, en qué circunstancias, con qué límites y quién tiene autoridad para establecer esa prioridad. Es precisamente en esos puntos de conflicto donde una lista de instrucciones comienza a resultar insuficiente.

La tradición judía: una ley que no agota la vida moral

Navon llevó luego la discusión a la tradición judía. La Biblia y la Torá ofrecen un marco normativo, pero no constituyen un manual que contenga una respuesta explícita para cada situación imaginable. Navon recurrió a una interpretación del rey Salomón y de la tradición talmúdica para explicar que las normas pueden ser suficientes para los dilemas del presente, pero que el futuro introduce problemas que antes no existían.

En este sentido, la ley oral representa un proceso permanente de interpretación y aplicación. La tradición no consiste únicamente en obedecer un conjunto cerrado de instrucciones. También implica interpretar principios a la luz de circunstancias nuevas. Esto lleva a una cuestión especialmente relevante para la IA: ¿puede una máquina hacer algo equivalente a interpretar un principio frente a una situación que no estaba contemplada cuando ese principio fue formulado?

Conciencia, intuición y experiencia

En este punto, Navon incorporó las ideas del físico y matemático Roger Penrose, premio Nobel de Física en 2020, quien ha sostenido que determinados aspectos de la conciencia y del pensamiento humano no pueden reducirse a algoritmos. Para Penrose, cuando no existe una regla previamente establecida, el ser humano puede formular un juicio nuevo. También intervienen capacidades como distinguir lo verdadero de lo falso o valorar lo bello y lo feo.

La discusión conecta con otro filósofo mencionado por Navon, John Rawls, para quien toda teoría moral depende en alguna medida de intuiciones. La intuición, en este contexto, no significa una reacción irracional o arbitraria, sino la capacidad de relacionar ideas y reconocer qué corresponde hacer sin disponer de una regla explícita que determine el resultado.

El filósofo judío Walter S. Wurzburger agrega otra dimensión: la obediencia formal a una norma religiosa es necesaria, pero no suficiente para alcanzar una conducta éticamente correcta. Hace falta desarrollar una personalidad ética. La idea también aparece en la interpretación de Najmánides, comentarista y filósofo judío medieval, sobre la formación de una conciencia moral capaz de orientar la conducta más allá de la mera literalidad de las normas.

La cuestión que queda planteada para la inteligencia artificial es incómoda: si una conducta correcta requiere no solo seguir reglas, sino también desarrollar una capacidad de juicio, ¿puede una máquina adquirir esa capacidad?

Del principio general al caso particular

El filósofo James Griffin aporta otra pieza al problema. El razonamiento moral no consiste necesariamente en aplicar principios generales de manera descendente. También implica un movimiento constante entre los principios y nuestras intuiciones acerca de situaciones concretas: evaluamos un caso, revisamos el principio, volvemos al caso y buscamos una forma coherente de comprender ambos. Es un proceso dinámico. Ese movimiento resulta especialmente interesante cuando se lo compara con el funcionamiento de los grandes modelos de lenguaje.

¿Puede un modelo de lenguaje “ir y venir” entre reglas y situaciones?

Navon recurrió también a una analogía con el arte. El filósofo Samuel Fleischacker, a partir de la teoría estética de Kant, analiza el papel de la imaginación y del entendimiento en el juicio estético. La experiencia de una obra no consiste simplemente en aplicar una regla previamente establecida para determinar si algo es bello.

Navon usó como referencia la pintura de Jackson Pollock para ilustrar cómo la interpretación puede involucrar un juego entre percepción, imaginación y comprensión. La analogía le permitió plantear una pregunta sobre los modelos de lenguaje. Cuando un LLM genera, por ejemplo, un poema, puede producir una alternativa, evaluar restricciones, buscar otra posibilidad y volver sobre la relación entre una estructura general y una elección concreta. Hay allí una interacción que puede parecerse, en algún sentido, a ese “juego” entre universales y particulares. Pero la analogía tiene un límite fundamental. Que un sistema produzca un comportamiento que se parece al razonamiento humano no demuestra que tenga conciencia, experiencia o comprensión de aquello sobre lo que está razonando. La cuestión no es solamente qué resultado produce, sino qué significa producirlo.

“Más allá de la letra de la ley”

Navon llevó esta cuestión a un concepto de la tradición jurídica judía: lifnim mishurat hadin, actuar más allá de la letra de la ley. Una máquina entrenada con leyes, precedentes y decisiones humanas puede aprender que, en determinadas circunstancias, la respuesta apropiada no es aplicar una norma de manera estrictamente literal. Pero surge una pregunta difícil. ¿La máquina está realmente comprendiendo que debe ir más allá de la regla? ¿O simplemente está reproduciendo, a partir de sus datos de entrenamiento, ejemplos en los que seres humanos actuaron de esa manera? La diferencia es crucial. En el primer caso, estaríamos ante una capacidad de juicio. En el segundo, ante una sofisticada capacidad de reconocimiento y reproducción de patrones. Todavía no sabemos con certeza dónde se encuentra la frontera.

¿Importa solamente el resultado?

Otra cuestión planteada por Navon es si necesitamos que una máquina comprenda moralmente lo que hace para confiar en ella. Supongamos que un automóvil autónomo no tiene conciencia ni sentimientos, pero provoca sistemáticamente menos accidentes que los conductores humanos. ¿Deberíamos confiar en él? El científico Geoffrey Hinton ha defendido una posición próxima a esta idea: cuando se trata de sistemas autónomos, su desempeño puede ser un criterio fundamental para determinar si deben ser utilizados.

El jurista Norman Spalding plantea una cuestión similar: si una inteligencia artificial supera de manera consistente a los seres humanos en todas las dimensiones relevantes y medibles, ese desempeño debería influir en nuestra disposición a delegar determinadas decisiones. El argumento es poderoso. Pero Navon señala que deja abierta otra pregunta: ¿es suficiente tomar la decisión correcta o también importa cómo se llegó a ella?

La phronesis: reconocer el bien y querer hacerlo

La distinción vuelve a aparecer en Aristóteles. La phronesis no consiste únicamente en identificar cuál sería el resultado correcto. También implica percibir una necesidad concreta y estar dispuesto a actuar frente a ella. Esto introduce la cuestión de la motivación. Una persona puede ayudar a otra porque comprende su situación, experimenta empatía y considera que tiene una responsabilidad hacia ella. Una máquina puede producir una respuesta que, desde afuera, parezca igualmente considerada. Pero no sabemos si experimenta la necesidad del otro, comprende su significado o tiene una motivación propia para responder. Por eso, para Navon, el problema de la ética de la inteligencia artificial no se resuelve únicamente aumentando la cantidad de reglas o datos disponibles.

La gran pregunta: ¿podemos confiar en el juicio de una máquina?

Navon llegó así a una formulación que, en cierto sentido, desplaza la pregunta inicial. No se trata solamente de preguntarnos si una máquina puede “hacer ética” o si la ética puede ser “computada”. La pregunta práctica es otra: ¿podemos confiar en el resultado de un sistema cuando ese resultado depende de criterios que tienen consecuencias morales?

La diferencia importa porque una máquina puede ser extremadamente competente sin ser consciente. Puede superar a una persona en una tarea concreta sin comprender el significado humano de esa tarea. Al mismo tiempo, puede cometer errores precisamente en situaciones en las que las reglas disponibles no alcanzan.

Navon reconoció que los grandes modelos de lenguaje ya muestran capacidades de razonamiento sorprendentes. También señaló que pueden cometer errores importantes. La posibilidad de mejorar sus constituciones, sus datos de entrenamiento y sus mecanismos de supervisión abre una línea de investigación todavía en desarrollo. La pregunta que permanece abierta es si esas mejoras pueden hacer que una máquina pase de seguir principios establecidos a ejercer un juicio adecuado cuando los principios entran en conflicto o no ofrecen una respuesta explícita.

De la obediencia a la responsabilidad

Hacia el final de su exposición, Navon retomó una idea de Walter S. Wurzburger: la vida ética exige algo más que obediencia. No alcanza con cumplir correctamente las normas. Hace falta desarrollar una disposición permanente hacia la responsabilidad y hacia la búsqueda de aquello que es correcto. En la tradición judía, Navon vinculó esta idea con la interpretación de Maimónides de la exhortación a “andar por Sus caminos” [en referencia a los caminos de Dios]: no se trata solamente de obedecer, sino de cultivar determinadas cualidades y asumir una forma responsable de vivir con otros.

Ese punto permite volver a la inteligencia artificial desde una perspectiva diferente. Podemos enseñarle a un sistema qué está permitido y qué está prohibido. Podemos proporcionarle principios. Podemos entrenarlo con ejemplos. Podemos evaluar sus resultados y corregir sus errores. Pero queda por resolver si todo eso equivale a desarrollar en una máquina aquello que los seres humanos llamamos juicio moral.

“Hacer lo correcto”

El cierre de la conferencia llevó nuevamente a la tradición bíblica. En el discurso final de Moisés, aparece una exhortación que, según la lectura de Navon, excede la simple obediencia a una norma: hacer lo correcto y lo bueno. La diferencia entre una instrucción y esa exhortación resume buena parte del problema. Una instrucción puede indicar qué hacer en una situación conocida. Pero “hacer lo correcto” supone enfrentarse también con situaciones nuevas, interpretar las circunstancias, ponderar principios, reconocer conflictos y asumir responsabilidad por la decisión. Ahí se encuentra uno de los límites más difíciles de la inteligencia artificial. ¿Podemos construir sistemas capaces de producir respuestas correctas? Es una pregunta tecnológica. ¿Podemos construir sistemas capaces de juzgar qué corresponde hacer cuando no existe una regla suficiente? Es una pregunta filosófica. ¿Podemos delegar en ellos decisiones de ese tipo? Es, además, una pregunta que involucra responsabilidad humana. Ese fue el desafío que Mois Navon dejó planteado en el Ciclo “Impacto de la IA”: no solo qué pueden hacer las máquinas, sino qué capacidades consideramos indispensables para decidir qué debemos hacer nosotros y qué estamos dispuestos a delegar en ellas.

A medida que la inteligencia artificial ocupa un lugar mayor en decisiones que afectan a las personas, discutir sus límites éticos deja de ser un ejercicio exclusivamente filosófico y se convierte en una cuestión central para líderes, empresas, gobiernos y organizaciones. Porque antes de decidir qué decisiones delegar en las máquinas, será necesario definir qué significa decidir bien.