Qué preguntas hacerle a un proveedor de IA antes de firmar

Las preguntas que separan no son técnicas. Son cuatro: quién responde si esto falla, cómo vamos a saber si funcionó, qué pasa con nuestros datos y qué pasa si nos vamos. Un proveedor que contesta esas cuatro con concreción probablemente ha puesto algo en producción. Uno que las esquiva, no.

Puntos clave

• Las cuatro preguntas de fondo son de gobierno, medición, datos y salida. Ninguna requiere saber de modelos.
• El marco de riesgo de IA del NIST es voluntario y no existe certificación en él. Quien lo presente como sello, se delató.
• La mejor pregunta del pliego es por el segundo mes de un cliente real, no por el primero.
• Si hay datos personales de por medio, la LFPDPPP aplica sin importar qué diga el contrato.

¿De dónde salen estas preguntas?

De las cuatro cosas que cualquier marco serio de gestión de riesgo cubre, dichas en español de negocio.

El NIST, el organismo de estándares de Estados Unidos, publica un marco de gestión de riesgo de IA organizado en cuatro funciones: gobernar, mapear, medir y gestionar. Quién manda, qué riesgo hay, cómo se mide y qué se hace con él. No hace falta adoptar el marco para robarle la estructura, que es lo que hacemos aquí.

Ese marco está «intended for voluntary use», según el propio NIST. Es voluntario, es estadounidense y no existe una certificación oficial en él. Va a aparecer en alguna propuesta, y si un proveedor te lo enseña como si fuera un sello obtenido, acabas de aprender algo útil sobre ese proveedor.

¿Cómo suena una mala respuesta?

Vale la pena reconocer los tres patrones antes de estar en la reunión, porque en el momento suenan razonables.

El primero es la respuesta en futuro. Preguntas qué pasa cuando falla y te contestan qué van a construir para que no falle. Es una promesa vestida de procedimiento, y se distingue porque no tiene nombres ni horarios.

El segundo es el desvío técnico. Preguntas quién responde y te explican la arquitectura. Suele ser sincero: quien construyó algo disfruta explicándolo. Pero si insistes dos veces con la pregunta de negocio y sigue sin haber respuesta, la respuesta es que no hay nadie asignado.

El tercero es la referencia sin fricción. Cuentan un caso de éxito donde todo salió bien y nada costó más de lo previsto. Ningún proyecto real se parece a eso. Que no puedan nombrar una sola cosa que se complicó significa que no estuvieron ahí cuando se complicó, o que no quieren decirlo, y las dos posibilidades cuestan lo mismo.

¿Quién responde cuando esto falle?

1. ¿Quién de tu equipo va a estar en la llamada cuando esto falle un martes a las nueve? Con nombre y con horario. La diferencia entre «tenemos soporte» y «Marcela, y contesta en horario de Ciudad de México» es la diferencia entre un proveedor y un formulario de tickets.

2. ¿Qué decide tu sistema por sí solo y qué pasa por una persona? Esta separa a quien diseñó el flujo de quien conectó una API. La respuesta correcta no es «todo automático» ni «todo revisado»: es una lista de qué casos van por cada camino.

3. ¿Qué pasa si el modelo se equivoca y el error llega al cliente? No estás buscando que digan que no pasa. Estás buscando que tengan un procedimiento: cómo se detecta, quién avisa, cómo se corrige. Quien dice que no se equivoca, no lo ha tenido en producción el tiempo suficiente.

¿Cómo vamos a saber si funcionó?

4. ¿Cómo vamos a saber, en noventa días, si esto funcionó? Si la respuesta es «vas a ver la diferencia», falta el proyecto entero. Lo que quieres es un número que se pueda mirar antes y después, elegido por ti y no por ellos.

5. ¿Cómo miden ustedes la calidad de las respuestas? Aquí buscas oír algo sobre un conjunto de casos de prueba que corre de forma automática. Si la respuesta es que revisan una muestra a mano de vez en cuando, va a dejar de pasar el segundo mes. Cómo se arma ese conjunto está en cómo medir si las respuestas de tu agente son buenas.

¿Qué pasa con nuestros datos?

6. ¿Dónde se almacenan nuestros datos y se usan para entrenar modelos? Las dos respuestas tienen que quedar por escrito en el contrato, no en un correo de alguien de ventas. Y si hay datos personales de por medio, la ley mexicana aplica sin importar lo que el contrato diga sobre otras jurisdicciones.

7. ¿Qué pasa con los datos cuando termine el contrato? Plazo, formato y confirmación de borrado. Es la pregunta que nadie hace al firmar y todos hacen al salir, cuando ya no tienen posición para negociarla.

¿Qué nos llevamos si nos vamos?

8. Si mañana quisiéramos irnos, ¿qué nos llevamos? Los datos, sí. Pero también los prompts, las reglas de negocio que se configuraron y el histórico de lo que el sistema decidió. Un proveedor que se queda con la lógica te está vendiendo una dependencia, no una herramienta.

9. Cuéntame del segundo mes de un cliente real: qué se rompió y qué costó más de lo previsto. Esta es la mejor de las nueve y la dejo para el final a propósito. Quien ha operado algo contesta con detalles aburridos: que el formato de entrada cambió, que hubo que rehacer la clasificación de una categoría, que el volumen del cierre de mes tumbó los tiempos. Quien solo tiene demo vuelve a hablar de capacidades.

Ese segundo mes es donde aparece el costo real de operar, y es un tema en sí mismo. Está en dónde entra la IA en tu operación y dónde no.

Qué hacer con las respuestas

Escribirlas. Literalmente, en un documento, mientras las dicen.

Dentro de seis meses, cuando algo no funcione como esperabas, la conversación va a ser sobre qué se dijo en esta reunión. Un documento con las nueve respuestas fechado ese día resuelve esa discusión en treinta segundos.

Y hay una señal que vale más que cualquier respuesta concreta: cómo reaccionan a las preguntas. Un proveedor que ha estado en producción se relaja cuando le preguntas por fallos, porque por fin puede hablar de lo que sabe. Uno que solo ha vendido se pone tenso y reconduce hacia la demo. Esa diferencia se nota en el primer minuto y no falla casi nunca.

Antes de contratar a nadie conviene además tener claro qué proceso quieres atacar primero, porque cambia radicalmente a quién necesitas. Ese ejercicio está en cómo elegir qué proceso automatizar primero con IA.

Si quieres una opinión independiente sobre una propuesta que ya tienes encima de la mesa, el diagnóstico inicial no tiene costo.

Preguntas frecuentes

¿Necesito saber de tecnología para evaluar a un proveedor? No. Las preguntas que separan son de negocio: quién responde si falla, cómo se mide el resultado, qué pasa con tus datos y qué ocurre si te vas. Un proveedor que solo puede contestar en términos técnicos a preguntas de negocio ya te dijo bastante.

¿Sirve que un proveedor diga que sigue el marco del NIST? Sirve como señal de orden, no como garantía. El marco de gestión de riesgo de IA del NIST es de uso voluntario y no existe una certificación oficial en él. Si alguien te lo presenta como certificación o requisito legal, esa es la respuesta que estabas buscando.

¿Qué pregunto sobre mis datos? Tres cosas: dónde se almacenan, si se usan para entrenar modelos y qué pasa con ellos cuando termina el contrato. Las tres tienen que estar por escrito en el contrato, no en un correo. Si hay datos personales, además aplica la LFPDPPP y eso no es negociable.

¿Cómo detecto a quien solo tiene una demo? Pregunta por el segundo mes de un cliente real: qué se rompió, qué costó más de lo previsto, qué tuvieron que rehacer. Quien ha estado en producción contesta con detalles aburridos y específicos. Quien no, vuelve a hablar de capacidades.