Aprobación de un modelo

La gestión de modelos no termina cuando se termina el desarrollo…

El día de hoy me gustaría ser ligeramente más técnico, claro sin olvidar que el objetivo de este blog es platicar de forma sencilla aspectos relacionados con análisis y modelos usando técnicas de Machine Learning.

Hablando de modelos, ¿Cómo se puede asegurar que un modelo será útil para lo que se desarrollo?, para aquellos que les gusta hacer modelos, la primera idea que les llega a la mente será ver métricas precisión,  desempeño, etc., pero no solo es eso, la idea es que el modelo realmente sea usado y funcione de acuerdo a los requerimientos del desarrollo, y para ello se requiere de todo un Proceso de Aprobación de un Modelo.

En un articulo anteriores se platicó sobre qué es un Data Scientist y cómo Documentar un modelo de riesgo, ambos temas son de importancia para poder conseguir una aprobación de tu modelo.

Proceso de Aprobación

Examinación de los datos (ED)

Muchas veces se confunde la validación de los datos con la validación técnica, considerando que una estadística descriptiva de la base datos es suficiente, sin embargo se deben revisar los siguientes puntos que están relacionados a IT:

  1. Accesibilidad de Datos. Fuente oficial y confiable que pueda ser auditable y replicable en cualquier momento.
  2. Integridad de la información. Conciliación de datos entre base de Desarrollo, testing y producción.
  3. Suficiencia histórica de datos. Soportar y generar los respaldos necesarios de datos históricos para desarrollo de modelos.
  4. Integridad en la comunicación de datos entre los sistemas que transportan las variables para el modelo (Input) y el resultado del modelo (Output), ya sea interno o con sistemas externos de un proveedor de modelo.
  5. Continuidad de los sistemas de datos, revisar que se este trabajando con los sistemas actualizados, así como los pasos a seguir para migrar a nuevos sistemas.
  • Examinador: Experto en Tecnología y procesamiento de datos

Examinación Técnica (ET)

  1. Calidad de datos. Estadística descriptiva de las variables, estabilidad de las variables, missing, etc.
  2. Muestreo. Metodología de la muestra, suficiencia, reject inference, etc.
  3. Metodología del desarrollo. Descripción de cada paso del Proceso de desarrollo
  4. Técnica de modelaje. Técnica ocupada en el modelo tales como regresión logística, red neuronal, árbol de decisión, random forest, etc.
  5. Selección de variables. Proceso de reducción, métricas como information value, WOE,  coeficiente de correlación, etc.
  6. Alternativas técnicas. Comparativa entre escenarios con diferentes variable o técnicas aplicadas.
  7. Salida del modelo. Comparativa entre la muestra de desarrollo y testing considerando métricas de  precisión y desempeño, tales como Gini, KS, ROC, matriz de confusión, estabilidad de la población, PDO, etc.
  8. Definición de métricas de desempeño y triggers para alerta temprana para su seguimiento, tales KS, PSI, BD, etc.
  9. Cambios. Que el cambio sea técnicamente justificable.
  10. Criterio vs Código. Asegurar que el código generado esta de acuerdo al criterio para generar la salida del modelo, replicando y validando con diferente muestras de datos.
  • Examinador: Experto en modelos de riesgo

Examinación Funcional (EF)

  1. Objetivo y Justificación del modelo.
  2. Uso del modelo. El modelo debe ser usado para lo que fue solicitado y desarrollado (producto, portafolio, segmento, etc.), ya sea desarrollo interno o pro un proveedor.
  3. Fechas y periodos de desempeño para el Desarrollo y Testing. Que la muestra de desarrollo no tenga comportamientos diferentes a lo que se presenta actualmente.
  4. Exclusión de datos. Racional para categorías de exclusiones ya sea por política o por necesidades técnicas o de negocio.
  5. Definición de la variable objetivo. Verificar que haga sentido con el objetivo del modelo, recuerda el articulo sobre definir la variable objetivo.
  6. Variables de entrada. Si las variables elegidas hacen sentido con el objetivo del modelo y del negocio.
  7. Alternativas funcionales. Comparativa de uso, implementación de diferentes alternativas de modelo.
  8. Desempeño.  Identificar el nivel de separación entre buenos y malos y como impacta en el portafolio.
  9. Alarmas de desempeño. Considerar si las alarmas establecidas son adecuadas para identificar rápidamente cualquier deterioro del modelo con impacto en el portafolio.
  10. Implementación. Examinar si todo el proceso de implementación están alineados a un plan y si las pruebas de implementación fueron exitosas así como un plan de continuidad.
  11. Programa de revisión de desempeño. Observar si las fechas de revisión de desempeño y evaluación son correctas.
  12. Cambios. Que el modelo mantenga su funcionalidad ante un cambio en el modelo.
  • Examinador: Experto de negocio (producto, portafolio y/o segmento).

Gobierno (EG)

  1. Plan de desarrollo.Asegurar que se lleve cada paso del desarrollo de acuerdo a un plan, gestionando los recursos, roles y responsabilidades.
  2. Ciclo de vida de un modelo. Asegurarse que el modelo puede cambiar de status dependiendo de su uso o desempeño (en desarrollo, en uso, sin uso o retirado).
  3. Cambios al modelo y versiones. Seguimiento y control de cambios.
  4. Documentación. que todo este integrado en la documentación.
  5. Limitaciones y su mitigación: Gestión de limitaciones y acciones de mitigación.
  • Examinador: Experto en administración de modelos.  

Regulación (EL)

  1. Regulación actual. Regulación ligada al uso del modelo
  2. Proveedores. Revisar que los contratos con proveedores de modelos se cumplan.

    En esta descripción se explicaron 34 puntos de revisión (ED:5, ET:10, EF:12, EG: 5, EL:2). Todo estas examinaciones están bajo un marco de administración de modelos, usualmente llamado MRM por sus siglas en ingles (Model Risk Management), el cual estaremos platicando a mayor profundidad en otro articulo.

    Como se darán cuenta, de los 3 conceptos que tiene un Data Scientist (Procesamiento de datos, modelaje,  análisis de negocio) se aumentan otros 2 que serian administración de modelos y regulación, si de por si es complicado cubrir todo el perfil de un científico de datos, agregar los otros 2 puntos lo vuelve casi imposible… pero no cuando generas un equipo que compuesto con los diferentes perfiles.

    La aprobación del modelo es respaldada con un formato que a partir del tipo, alcance y rating del modelo, indica si los puntos a examinar son aplicables y que escala de calificación debe utilizarse; de esta manera el examinador dependiendo de lo documentado pone una calificación para cada uno de los puntos que le corresponden.

    Ejemplo: Supongamos que tenemos un total de 15 puntos de revisión y vamos a aprobar un modelo que por su tipo solo aplican 10 puntos de revisión y la escala de cada punto es de 1 a 3, donde 1. Sin información, 2.Incompleta y 3. Satisfactoria. Para ser aprobado el modelo debe ser calificado con un valor > 75%.

    eval

    La calificación general del modelo, se da entre 0% a 100%  considerando el alcance del máximo de puntos a obtener de los puntos de revisión que aplican.

    Para el ejemplo, aunque el promedio es 2.2, para nosotros la calificación final es 83.3% (calif_final = 25/30), siendo mayor a 75%, por lo cual será aprobado.

    Además los examinadores pueden notificar cualquier problema encontrado y solicitar una acción que mitigue dicho problema, dando como posibles resultados:

    • Aprobado sin limitaciones.
    • Aprobado con limitaciones.
    • Rechazado.

    Dado que en el ejemplo se levanta una limitación, este modelo tendrá el status de aprobación como: APROBADO CON LIMITACIONES.

    En algunas aprobaciones se pueden poner algunas condiciones, tales como decir que si ED & ET no tienen una calf > 80% el modelo será rechazado.

    Para el ejemplo, la Examinación Técnica tiene 75%, lo cual es menor al 80% y esto cambia el status de aprobación a: RECHAZADO.

    Esta forma de evaluar es muy común, en mi experiencia la he encontrado en aprobaciones de licitaciones, aprobaciones de proyectos, etc.

    Espero que esta información haya sido de utilidad y si tienes dudas al respecto agrega un comentario y con gusto tratare de apoyarte.

     

     

     

     

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s