Cómo evaluar un piloto de capacitación en IA antes de ampliarlo

El piloto necesita una decisión de salida: ampliar a otra área, repetir con ajustes o frenar. Definí quién la toma, qué tarea se quiere mejorar y qué evidencia va a recibir. Si el grupo elegido ya domina la herramienta, sus resultados no describen lo que pasará con quienes recién empiezan.

Las guías de capacitación de IA para empresas ayudan a elegir formato y proveedor. Acá el punto es otro: revisar un piloto terminado para decidir si comprás una siguiente etapa. La propuesta inicial debería distinguir el taller, la evaluación posterior y cualquier acompañamiento; no des por incluido un seguimiento que no se contrató.

La guía de evaluación de OIT/Cinterfor distingue aprendizaje, transferencia al puesto, impacto y retorno económico. Esa separación permite pedir una prueba adecuada a cada afirmación. Haber aprendido una técnica no demuestra todavía que se use en el trabajo ni que produzca un beneficio monetario.

Usá una tarea que el área reconozca, por ejemplo preparar un reporte operativo. Registrá la entrada permitida, el resultado esperado, quién lo revisa y qué errores obligan a detenerse. Elegí muestras comparables antes y después: mismo tipo de documento, dificultad semejante y criterio de aceptación común.

La ficha puede guardar: rol participante, tarea, versión del material, herramienta autorizada, fecha, tiempo total, correcciones, calidad final y revisión del responsable. Incluí preparación y revisión en el tiempo total. Un borrador rápido que demanda más retrabajo no acredita una mejora del proceso.

Guardá las evidencias en el espacio autorizado de la empresa, con los accesos acordados. Para discutir el programa con un proveedor alcanza inicialmente con describir tareas y restricciones; no hace falta enviar documentos confidenciales ni credenciales.

Esta matriz es una propuesta de trabajo de Duotach para revisar el piloto; no es una escala certificada ni un resultado obtenido en clientes. Completá cada fila con evidencia disponible y marcá lo que siga sin medirse.

Proponé un ejercicio que conserve el tipo de trabajo pero cambie el contenido usado en clase. La persona debe elegir el material pertinente, formular la tarea, revisar el resultado y explicar qué no aceptaría. Si sólo puede repetir la demostración del instructor, todavía falta evidencia de autonomía.

Para el ejemplo del reporte, prepará un juego ficticio con una cifra faltante y dos versiones contradictorias de un dato. El resultado aceptable identifica esas limitaciones y pide revisión; no completa el hueco inventando un número. Es un ejercicio ilustrativo, sin mediciones de eficacia propias.

Definí la rúbrica antes de mirar las entregas: fidelidad a las fuentes, detección de información insuficiente, cumplimiento del formato y revisión humana. No compenses una falla crítica de privacidad o una cifra inventada con un promedio alto. Acordá qué se considera crítico para ese proceso.

Ampliar tiene sentido cuando las tareas acordadas se completan con calidad aceptada, hay uso posterior comprobable y el área receptora puede trabajar con las mismas condiciones. Antes de comprar más grupos, verificá permisos, herramientas y disponibilidad de quien revisa. Un piloto en un equipo voluntario no garantiza adopción en toda la empresa.

Ajustá el piloto si hay aprendizaje pero el uso se corta por falta de acceso, material desactualizado o una tarea mal elegida. Registrá el obstáculo y la corrección concreta antes de contratar otra etapa. Si falta práctica, el siguiente alcance puede ser refuerzo sobre ese trabajo; si falta una integración, eso requiere un alcance técnico separado.

Frená la ampliación cuando no se puede verificar la calidad, siguen ocurriendo fallas críticas o nadie asume la revisión. Un informe sin evidencia suficiente debería dejar la decisión pendiente, con responsable y condición de reapertura. No conviertas la falta de datos en una promesa de retorno.

Los registros de uso muestran actividad. Para hablar de mejora operativa necesitás resultados aceptados y una comparación consistente. Anotá otros cambios del período, como una plantilla nueva o menos carga de trabajo: pueden explicar parte de la diferencia. Un antes y después por sí solo no aísla el efecto de la capacitación.

Un informe original de Coca-Cola Andina del 20 de mayo de 2026 describe la evaluación de una formación en IA y separa evidencias de aplicación de retorno financiero. La empresa explica que no calculó un ROI financiero directo porque no tenía una conversión monetaria suficientemente robusta. Es una referencia externa; no es un cliente ni un resultado de Duotach.

Si Finanzas necesita una estimación, acordá cómo se valorará la mejora y qué costos se incluirán: preparación, formación, licencias, práctica y revisión. Distinguí capacidad liberada de ahorro efectivo de caja. Cuando no hay una base defendible, informá aprendizaje y aplicación observados sin asignarles un ROI.

Prepará un resumen con la tarea probada, participantes y exclusiones, evidencia aceptada, fallas abiertas y decisión propuesta. Para cada obstáculo, indicá si se resuelve con práctica, gestión interna o desarrollo. Así podés comparar el alcance del siguiente proveedor sin comprar un programa mayor para resolver un problema distinto.

Duotach ofrece capacitación en Claude para empresas, con ejercicios ligados al trabajo del equipo. Podés consultar por una etapa de formación acotada indicando área, experiencia actual, tarea y objetivo. El alcance de preparación, evaluación y seguimiento se acuerda en la propuesta; esta consulta no incluye un diagnóstico construido sobre tus datos.