TIMIA publica en código abierto RouterKit, un framework que permite entrenar un enrutador propio de modelos de inteligencia artificial
La adopción de inteligencia artificial generativa en las empresas está dejando ver una pregunta que no siempre aparece cuando una organización utiliza varios modelos de lenguaje: ¿quién determina cuál responde a cada solicitud?
En muchos casos, esa decisión recae en un servicio externo cuyos criterios no son visibles para el cliente, o simplemente suele utilizar siempre el modelo más reciente. TIMIA, compañía especializada en inteligencia artificial, datos y analítica avanzada, ha desarrollado RouterKit, un framework que permite a empresas y profesionales crear y entrenar su propio enrutador de modelos a partir de sus tareas, del catálogo de modelos que ya emplean y de las prioridades que ellos mismos definan. Gracias al uso de enrutadores se pueden reducir significativamente los costes por uso de la IA generativa sin comprometer la calidad que ofrecen los modelos frontera.
La compañía prevé liberar el código bajo licencia Apache 2.0, una licencia que permite su uso, modificación y distribución, también con fines comerciales.
Una capa de decisión, no otro modelo
RouterKit no compite con los grandes modelos de lenguaje: se sitúa entre la aplicación y los modelos disponibles. Cuando recibe una petición, describe sus características sin resolverla y estima qué modelos tienen más probabilidades de dar una respuesta correcta. Después, selecciona una opción según los criterios fijados por la organización, como calidad, tiempo de respuesta o coste.
Si la primera respuesta no supera la evaluación establecida, el sistema puede derivar la solicitud a otro modelo, hasta un límite configurable de intentos.
La propuesta se diferencia de los servicios comerciales de enrutamiento, que suelen operar como una caja negra. El objetivo de RouterKit es que cada decisión sea explicable y auditable, y que el sistema pueda reentrenarse cuando cambien los modelos disponibles o las necesidades del negocio.
«La pregunta ya no es qué modelo utilizar, sino quién decide qué modelo resuelve cada tarea y con qué criterio», explica Sandro Calzada, director de Innovación de TIMIA. «Hemos querido que esa decisión pueda tomarla cada organización, con sus propios datos y de una forma que se pueda explicar».
El resultado: 68 % frente a 66,6 %
Para desarrollar y evaluar el sistema, el equipo utilizó 1.135 tareas de programación en Python procedentes de BigCodeBench, un banco público de pruebas.
La compañía comparó siete modelos, accesibles mediante API o alojados en infraestructura propia, y registró sus resultados en varias ejecuciones para medir tanto la tasa de resolución como la variabilidad de las respuestas. Con esos datos entrenó un modelo predictivo que estima qué alternativas tienen más probabilidades de resolver cada tarea.
La configuración final alcanzó una tasa de resolución del 68 %, frente al 66,6 % del mejor modelo individual evaluado. Según TIMIA, la mejora se explica porque cada modelo acierta en tareas distintas y el enrutador aprende a combinarlos, recurriendo a los de mayor capacidad solo cuando son necesarios.
La comparación se realizó mediante simulaciones basadas en respuestas previamente generadas y verificadas, sin repetir las llamadas a los modelos en cada escenario. La propia compañía precisa que los resultados corresponden a tareas de programación y dependen de los modelos y las condiciones utilizadas.
Programación primero, otros usos después
La evaluación se centró en programación porque es un ámbito en el que las pruebas automáticas como los tests unitarios permiten comprobar de forma objetiva si una solución es correcta. Entre las líneas de evolución que contempla TIMIA están las consultas a bases de datos, la extracción de información de documentos y los procesos con agentes de IA.
Estos escenarios exigirán definir mecanismos de evaluación propios para cada tipo de tarea. La compañía también estudia incorporar el tiempo de respuesta como criterio explícito de optimización y simplificar la incorporación de nuevos modelos.
Con la publicación del código de RouterKit, TIMIA busca que otras organizaciones puedan utilizar el framework, adaptarlo a sus procesos y contribuir a su desarrollo.
Powered by WPeMatico
Ir a la fuente
Author: