Cuidado con las «explicaciones» de IA en selección de talento

En más de un comité de este año me han mostrado un ranking de candidatos con barras de «factores que pesaron» y la misma frase: ya está explicado, podemos decidir. Esa frase es el síntoma. La IA explicable no es un certificado de que entendimos el modelo. Es un intento —a veces útil, a veces dañino— de alinear lo que el sistema hizo con lo que una persona necesita oír.

IA explicable (en la literatura, explainable AI o XAI; no confundir con la empresa homónima) es el campo que desarrolla algoritmos para mostrar por qué un sistema produjo un resultado a partir de un input. Importa en selección porque el reclutamiento es, para los reguladores, un uso de alto riesgo: cambia vidas y organigramas. El problema es que «pedir una explicación» no cierra ese riesgo. A veces lo maquilla.

Eso no es una ocurrencia de vendor. Es la tesis de una research note publicada en 2026 en Business & Information Systems Engineering, firmada por un grupo que incluye a David Martens, Galit Shmueli, Theodoros Evgeniou, Claudia Perlich y Foster Provost, entre otros: Beware of “Explanations” of AI. El paper no pide abandonar la explicabilidad. Pide dejar de tratarla como bala de plata. Una explicación mala, escriben, puede hacer más daño que una predicción en caja negra.

Esta columna no resume el artículo para un congreso. Lo traduce a quien contrata, evalúa o lidera personas en Chile y LATAM: dónde duele hoy un screening de CV, un ranking de finalistas o un informe que «suena técnico».

En síntesis

• Una explicación de IA es «buena» solo si calza con el modelo mental de quién la recibe, para qué y en qué contexto. No existe la explicación universal.
• Pedir SHAP, contrafactuales o un párrafo generado por un LLM no abre la caja negra: añade una segunda capa opaca.
• Hay al menos siete fallas recurrentes (infiel, irrelevante, inestable, incoherente, reveladora, innecesaria, cherry-picked) y siete daños (mala decisión, no adopción, privacidad, IP, manipulación, inequidad, costo inútil).
• En talento, la pregunta «por qué el sistema lo rechazó» no es la misma que «por qué no calza el cargo». Confundirlas es el error caro.
• El antídoto no es más gráfico: es criterio escrito antes del modelo —descriptor y scorecard—, evidencia firmada y un humano que no disuelve la responsabilidad en «lo dijo el algoritmo».

Qué es una explicación de IA (y qué no)

Martens y colegas definen el campo con una frase seca: la IA explicable desarrolla y aplica algoritmos para explicar las salidas de un sistema de IA. El sistema no es solo el modelo: incluye reglas de negocio, listas blancas y negras, umbrales y la lógica que convierte una predicción en una acción (avanzar, pausar, rechazar).

La ironía del paper es difícil de mejorar. Los métodos contemporáneos intentan resolver la opacidad de un modelo complejo añadiendo otro algoritmo complejo. SHAP, LIME, mapas de saliencia, contrafactuales: casi todos son post-hoc y a menudo agnósticos del modelo. Hay un sistema que predice y otro que narra. No es lo mismo.

Wachter, Mittelstadt y Russell ya lo habían advertido al hablar del «derecho a explicación»: una explicación, en su definición, es un intento de transmitir el estado interno o la lógica que llevó a una decisión. «Intento» no es «éxito».

Desde la psicología cognitiva, una explicación es buena cuando hay ajuste entre el modelo mental de quien la recibe y lo que se le muestra. Johnson-Laird lo dijo sin software de por medio: entender es tener un modelo de trabajo del fenómeno en la cabeza. Si el comité cree que «años de experiencia» es lo que importó, y el modelo usó otra cosa, la barra de SHAP que confirma la intuición no está explicando. Está adulando.

Eso conecta con algo que ya veníamos diciendo en sesgo algorítmico en reclutamiento: la interpretabilidad importa. Este paper es la capa siguiente. Interpretabilidad mal hecha no es neutra. Produce ilusión de accountability.

Cynthia Rudin y colegas (2019) van más lejos en decisiones de alto riesgo: en vez de explicar cajas negras, usar modelos que ya sean interpretables. El reclutamiento entra en esa categoría. No siempre hace falta un bosque aleatorio para ordenar CVs frente a un descriptor de cargo explícito.

Dos preguntas que el comité suele confundir

Hay una distinción técnica que el paper ilustra con crédito y que en talento se paga cara.

«Por qué el sistema me negó el crédito» no es «por qué no soy sujeto de crédito». Una es lógica del modelo (proxies, correlaciones, umbrales). La otra es causalidad en el mundo. Los sistemas de IA no tienen por qué representar fielmente los mecanismos reales; a menudo ganan precisión con atajos.

Traducción a un proceso de selección:

Si tu equipo responde la segunda pregunta con la primera, está contratando el proxy. El costo de esa falsa precisión no aparece en el dashboard.

Figura 1. Dos caminos desde la misma decisión. A la izquierda, por qué el sistema produjo un output. A la derecha, por qué esa persona calza —o no— el trabajo real. Una explicación de IA solo cubre el primero.

No hay una explicación para todos

El paper dibuja un ecosistema, no un botón. Quien desarrolla el modelo quiere debuggear, elegir features, mejorar datos. Quien opera el proceso quiere justificar un output ante un gerente. Quien resulta afectado —el candidato— necesita una narrativa distinta a la del auditor o el regulador. Esos intereses compiten.

En alto riesgo (crédito, reclutamiento, salud) la exigencia sube. Eso no es opinión editorial: es la lógica del enfoque basado en riesgo del AI Act europeo, que el paper cita. Una explicación «simple» que tranquiliza al hiring manager puede ser inútil para un fiscal o para la persona rechazada. Una explicación densa que satisface al data scientist puede hundir la adopción: el oficial de crédito del ejemplo se ahoga con veinte valores SHAP, concluye que «solo importa el ingreso» y deja de usar un modelo que sí mejoraría las decisiones. Es el reverso de la aversión y la apreciación al algoritmo que ya documentamos: la explicación, si no calza, empuja a cualquiera de los dos extremos.

Figura 2. Ecosistema de la IA explicable, leído para talento: desarrolladores, comité y candidatos/auditores no necesitan la misma refracción del objeto. Una sola narrativa no sirve a los tres.

Miller, Howe y Sonenberg (2017) lo llamaron, con poca poesía, el problema de «los internos dirigen el manicomio»: mucha investigación de XAI está diseñada para los investigadores, no para quien usa el sistema. Si tu vendor te vende «IA explicable» y el único usuario feliz es el científico de datos, el producto no está listo para un gerente de personas que tiene que firmar una terna el viernes.

Siete fallas de una explicación

El paper no define «la» explicación buena. Lista por qué tantas son malas. Cada causa la ilustran con crédito; acá va la versión selección.

Ninguna de esas fallas es un bug de un proveedor puntual. Salen de tres hechos que el paper insiste: el problema está mal definido (¿buena para quién?), la IA es estadística (varias explicaciones plausibles para el mismo par input-output) y los datos son de personas (explicar es, a veces, filtrar).

Siete daños que eso produce en talento

Las fallas no se quedan en el slide. El paper las mapea a daños. En un proceso de personas, se leen así.

Figura 3. Las fallas de una explicación (arriba, fragmentos brillantes) no se evaporan: caen como consecuencias (abajo). El gráfico de barras «bonito» es el fragmento; la mala contratación o el sesgo no auditado es el cristal pesado.

1. Mala decisión. El sesgo de automatización más una explicación convincente —aunque infiel o incoherente— hace que el comité firme el ranking. El paper cita la ilusión de profundidad explicativa (Rozenblit y Keil, 2002): creemos entender un sistema complejo porque nos contaron una historia que no choca con lo que ya pensábamos. En selección: el hiring manager «siempre supo» que faltaba liderazgo, y el gráfico se lo confirma. Cabitza y colegas (2024) lo dicen sin anestesia: las explicaciones engañosas dañan la precisión en decisiones híbrido humano-IA.

2. No adopción (y oportunidad perdida). La explicación incomprensible da pretexto para ignorar un modelo que sí ayudaría. Es el oficial de crédito ahogado en SHAP. En RR.HH. es el psicólogo que descarta el informe porque el dashboard «no se entiende», y vuelve a la química de la última entrevista.

3. Privacidad. Explicaciones repetidas o contrafactuales pueden filtrar datos de entrenamiento (ataques de vinculación, inferencia de membresía). Un técnico que pide «por qué» muchas veces sobre el mismo caso no está siendo curioso: puede estar reidentificando. En un proceso con evaluaciones psicométricas, eso no es un detalle de compliance: es gente.

4. Fuga de IP. El umbral con el que un banco corta el ingreso, o con el que un ATS corta el match, se puede leer en un contrafactual demasiado generoso. Los competidores —y los que quieren jugar el sistema— aprenden la regla.

5. Manipulación. Como hay varias explicaciones técnicamente «correctas» para el mismo output, quien controla cuál se muestra controla la historia y sigue pudiendo decir que el XAI es válido. El ejemplo del paper es un fabricante de autos que, tras un accidente, explica clima y error humano y omite el frenado tardío del sistema. En un proceso interno: suavizar el informe del finalista preferido del gerente.

6. Decisión injusta (fairwashing). Se descartan automáticamente las explicaciones que revelarían un atributo sensible o su proxy, y se sirve la narrativa legal. El banco «no usa género»; muestra ingreso. El ATS «no usa edad»; muestra «trayectoria lineal». Aïvodji y colegas (2019) le pusieron nombre: racionalizar para parecer justos.

7. Costo inútil. Explicar todo, siempre, a todos, agota presupuesto y atención. El paper calcula, con ironía de back-office, el absurdo de generar SHAP para cada transacción no fraudulenta. En talento: un párrafo de «insights» para cada CV de la long-list que nadie va a leer.

Rahwan, en la psicología moral de la IA, mostró cómo usar un modelo baja la inhibición ética: «yo solo pedí maximizar». Una explicación cherry-picked es el mecanismo. No es que el comité sea cínico. Es que el sistema le entrega una historia defendible.

Cómo pedir (y rechazar) una explicación en un proceso de selección

Esto es lo operativo. El paper pide pasar de cómo generar explicaciones a cuándo son apropiadas. En un proceso de talento, ese «cuándo» empieza antes del software.

1. Escribe el criterio antes del modelo. Abre la ficha del rol en el Diccionario de Cargos —por ejemplo responsable de RR.HH. / reclutador o director de personas— y baja las habilidades esenciales, no las deseables de brochure. Si el modelo mental del cargo no está escrito, ninguna explicación puede «calzar»: no hay contra qué alinearla. Completa el descriptor y el scorecard antes de correr el screener.

2. Nombra al destinatario. ¿La explicación es para el data scientist, para el comité, para el candidato o para un auditor? Si el vendor entrega una sola, pregunta cuál de esos cuatro la diseñó. Los otros tres están desatendidos.

3. Separa borrador de decisión. La IA estructura evidencia; el humano firma. Eso es el modelo híbrido y la gobernanza humano-IA: no es un slogan, es quién queda en el acta.

4. Audita omisiones, no solo lo que se muestra. ¿Qué se cayó del resumen del CV? ¿Qué explicación no se ofreció? El cherry-picking se detecta preguntando qué narrativas alternativas existen para el mismo output.

5. Desconfía de la historia que confirma lo que ya creías. Si el gráfico «explica» exactamente el prejuicio del hiring manager, asume ilusión de profundidad hasta probar lo contrario.

6. No expliques lo que nadie va a usar. Long-list de 200: evidencia estructurada, no un ensayo por persona. Shortlist de 4: caso, pruebas, entrevista, riesgos. El volumen no merece la misma capa.

7. Ponle número al error. Si la explicación convence y la persona no calza, el daño no es «una métrica de fairness». Es sueldo, onboarding y reemplazo. El simulador laboral sirve para que esa conversación no se quede en abstracto.

En Chile, la Ley 21.719 (vigencia plena en diciembre de 2026) limita las decisiones exclusivamente automatizadas sobre personas. El screening de CV con IA entra en esa conversación: estructurar evidencia no es lo mismo que descartar solo. Cumplir el espíritu de esa norma no es pegar un recuadro «explicable» en el ATS. Es que alguien pueda defender, con evidencia, por qué avanzó un candidato y por qué no. El paper, en la misma línea del AI Act, advierte: el caveat emptor (que el usuario haga due diligence) debería moverse hacia el caveat procurator —que quien provee la explicación declare riesgos de contexto, no solo bondades.

Qué implica esto cuando contratas de verdad

Para un cargo operativo de volumen, una capa que estructure CVs y pruebas ahorra fatiga y sesgo de horario. Para un cargo crítico —gerencia, confianza, SPOF— la explicación del modelo no sustituye evaluación psicolaboral ni headhunting. Ahí el daño de una narrativa infiel no es un falso positivo en un funnel: es un equipo que hereda a la persona equivocada.

Obrii App está diseñado al revés del stack «caja negra + SHAP de adorno». El scoring de las evaluaciones es determinista: reglas explícitas, no un LLM que inventa el puntaje. La interpretación con IA, si existe, va etiquetada y aparte. El CV Screener estructura evidencia frente al perfil; no descarta solo. Prueba el trial Pro 14 días y mira la evidencia en un solo lugar, no la narración.

Eso no reemplaza el juicio. Lo deja donde el paper dice que tiene que estar: en un humano que sabe qué se le está explicando, a quién y para qué. Si estás armando o revisando un proceso con IA —screener, ranking, informes— y quieres que el criterio del cargo mande sobre el recuadro de factores, conversemos. El software escala el volumen; en el cargo que duele, el circuito sigue siendo búsqueda con evidencia y evaluación con firma.

Fuente y derechos

Martens, D., Shmueli, G., Evgeniou, T., Bauer, K., Janiesch, C., Feuerriegel, S., Gabel, S., Goethals, S., Greene, T., Klein, N., Kraus, M., Kühl, N., Perlich, C., Verbeke, W., Zharova, A., Zschech, P. y Provost, F. (2026). Beware of “Explanations” of AI. Business & Information Systems Engineering. https://doi.org/10.1007/s12599-026-01015-y (acceso abierto).

Trabajos que el paper usa y que importan para esta lectura: Rudin et al. (2019) sobre modelos interpretables en alto riesgo; Miller, Howe y Sonenberg (2017) sobre XAI y ciencias del comportamiento; Wachter, Mittelstadt y Russell (2018) sobre el derecho a explicación; Aïvodji et al. (2019) sobre fairwashing; Cabitza et al. (2024) sobre explicaciones engañosas en decisiones híbridas; Babic, Gerke, Evgeniou y Cohen (2021), Beware explanations from AI in health care, Science.

Esta columna es análisis aplicado a selección y evaluación de talento. No es un resumen sustituto del artículo original ni asesoría legal sobre el AI Act o la Ley 21.719.