¿Consulta Publica sin manipulación para elegir el NAIM, es posible?

No soy experto en temas técnicos pero si se lo que quiero!!!

El tema de moda en México es el Nuevo Aeropuerto Internacional de México (NAIM), mediante una consulta a la población se pretende seleccionar entre dos alternativas…¿Qué resultado se puede esperar?.

Esta consulta publica tan sonada y criticada inició el día de hoy, al parecer el objetivo no es seleccionar el mejor proyecto, por lo que se escucha en las noticias y en voz de la gente el resultado de esta consulta será la consecuencia de una guerra de descalificativos que lleva algunos meses, algo parecido a las elecciones presidenciales, echar tierra a los candidatos (proyectos) y escoger el menos sucio. ¿Será el mejor resultado?

Creo que al final, un segmento de la población estará muy contenta, posiblemente los que tienen un fuerte interés en el proyecto ganador, pero la gran mayoría nos quedaremos con el sabor de que ambos proyectos son malos.

Cuando le preguntas a las personas su opinión, su respuesta se puede encerrar en los siguientes grupos:

  • El experto dice. Siendo no experto su opinión se sesga basado en lo que escucho de un experto en un tema, el problema radica que un proyecto tiene varias aristas: aspectos técnicos, económicos, ambientales, sociales, etc.
  • Mi líder dice. Alguien que no es experto, pero al cual las personas le dan su confianza, esperando que sea la mejor decisión. Ejemplo: “Obrador descarta crisis o devaluación por cancelación del aeropuerto”.
  • Mi vecina dice. Usualmente un rumor negativo que impacta en el miedo de la gente. Ejemplo: “El país se ira a crisis si no se escoge este proyecto”, “Nos quedaremos sin trabajo si el proyecto se va a otro lugar”, “La flora y fauna se acabará si se lleva en este lugar”, etc.
  • Yo digo. Basado en buenas o malas experiencias tener una opinión establecida que no pueda ser modificada por las anteriores.

Al final al no ser expertos tenemos que apoyarnos en los lideres de opinión, y ellos harán el sesgo a una u otra propuesta, y la consulta será considerada con un artilugio mas de manipulación por la clase política o rica del país, no lo digo yo, ya esto se comenta por algunos lideres de opinión…opps! …¿Qué hacer para evitar esto?.

Simple modelo de selección de proyectos usando consulta publica y evaluación por expertos

Selección de variables

Pensemos en hacer un modelo de decisión que califique cada una de las aristas que envuelve el proyecto:  (Considerando los que me vienen a la mente y no siendo un experto en el tema)

  1. Viabilidad técnica. Proyecto bien formulado técnicamente siendo factible y sustentable a futuro.
  2. Viabilidad económica. Proyecto rentable con beneficio socioeconómico, considerando costo de construcción y mantenimiento.
  3. Impacto ambiental. Identificación del nivel de impacto en las condiciones actuales del ambiente.
  4. Impacto Social. Consecuencias positivas o negativas de llevarse acabo un proyecto en una comunidad.
  5. Demanda. Porcentaje de la población que tiene afinidad al proyecto (Se obtiene de una consulta pública).

 

Valor de las variables

Contamos en este momento con 5 variables de decisión, para evitar sesgos o procesos no transparente, cada variable puede ser evaluada por un conjunto de expertos procedente de diferentes organismos o instituciones, otorgando una calificación por ejemplo de -10 a 10. Veamos en la tabla un simple ejemplo:

VT

Consideremos que para el caso de las variables 1 y 2, lo más seguro es que sean positivas, pero para la 3 y 4 (ambiental y social) podríamos tener valores negativos refiriendo a que el impacto en esos tema es de forma negativa, por ejemplo reducción de empleos, etc.

En el caso de la demanda los valores posibles será siempre positivo, de 0 a 10, donde el valor Máximo de afinidad sería 100% de la población queriendo el proyecto lo cual equivale a 10 puntos.  Ahora veamos como quedaría con calificación de las 5 variables para los 2 proyectos:

CalifVar

En el ejemplo gana Texquito, donde nuestros expertos terminan dando una calificación muy similar en ambos proyectos.

Pesos de variables basado en Consulta Publica

Para evitar que entre los expertos terminen peleando en definir que variable es más importante, se puede utilizar la consulta publica, está tomará un mayor papel en la decisión pero para darle peso a cada una de las variables.

Pensemos en 3 amigos, Enrique, Andrés y Javier, para Andrés es más importante la parte ambiental y social, sin embargo Enrique y Javier opina diferente ellos dicen que es mejor la parte técnica y económica. Un ejemplo de como daría su opinión estos amigos es:

OpinionP

Dado lo anterior como cambiaria las calificación considerando los pesos, esto se obtiene  multiplicando la calificación por el peso (en nuestro caso se multiplica por 5 para hacer más visible la diferencia entre los proyectos):

Final

Tendríamos un nuevo ganador Sta Lucha, ese ganador fue con base una calificación por experto y de acuerdo al mayor interés de la población.

Esto es una idea que salió de pensar en como quitar la manipulación a una consulta publica de selección de un proyecto. Esta idea puede mejorarse y si tienes alguna idea que contribuya sería genial contar con tus comentarios.

Esta idea y otras que deriven de esta tenemos que hacer que lleguen a nuestros futuros lideres para que realmente se tomen decisiones en donde los intereses de la población realmente sea escuchados y quitemos vicios con procesos más transparentes.

 

 

 

100% de match – Reclutamiento de personal usando Machine Learning

Candidato, según IA tu y yo somos la pareja perfecta!!!

Cuando inicie este escrito quería platicar sobre como los modelos de Machine Learning  están impactando en la evolución de los procesos de reclutamiento, sin embargo llegó a mi mente 2 situaciones:

  1. Recuerdo de un compañero que antes de contractar a partir de la fecha de nacimiento revisaba el horóscopo del candidato y revisaba la compatibilidad con su signo zodiacal.
  2. Publicación de LinkedIn donde se comentaba que para mitigar un mal proceso de reclutamiento los candidatos al inicio firmaban contratos mensuales (una mala practica que a la fecha se usa en algunas empresas).

No pienso profundizar sobre ambos temas, prefiero enfocarme en que una relación de trabajo exitosa consiste principalmente en la compatibilidad entre el jefe y el nuevo empleado, el mayor sesgo en la selección es la empatía que se produce en las entrevistas que tiene el candidato con el reclutador y el jefe directo.

Si la selección del mejor candidato depende de la empatía entre dos personas, entonces se podría utilizar un algoritmo similar a los sitios de búsqueda de la pareja perfecta para mejorar la selección, suena loco pero podría ser parte de una solución para reducir la rotación de la empresa, gran parte de que un empleado se mantenga en la empresa depende de la relación empleado jefe (fidelización del empleado).

Usualmente un algoritmo de match entre 2 personas tiene una salida de compatibilidad del 0 al 100%, lo cual podríamos considerarlo como un score, esta salida del algoritmo en proceso de reclutamiento no debería considerarse como el remplazo a los actuales procesos, al contrario la salida de este algoritmo sería una variable más en un modelo nuevo que considere otras evoluciones como factores para impulsar el proceso de selección del mejor candidato:

  • Test de Actitudes. Enfoque en las habilidades relacionadas al puesto.
  • Test proyectivos. Predecir comportamiento a partir de la personalidad.
  • Test de nivel intelectual.
  • Test de personalidad. Técnicas introspectiva para descartar rasgos de personalidad no compatibles con el trabajo.
  • Otros Test. Evaluaciones relacionados a temas de ética, y/o el resultado de las entrevistas.

Siendo  que mi conocimiento en dichas evaluaciones, solo serán nombradas como ejemplos más comunes,  y hablemos de forma rápida un como sería el modelo:

  • Variable objetivo:  Empleado adecuado y compatible con la posición, empresa y jefe.
  • Entrada del modelos: Los exámenes y resultados de entrevistas serían las variables a utilizar en el modelo.
  • Salida del modelo: Un score donde el valor más alto indica una mayor probabilidad de cumplir con la variable objetivo y un score bajo que el candidato esta lejos de ser el mejor.

El beneficio de este modelo sería incrementar el volumen de candidatos a evaluar reduciendo el costo unitario del procesos de selección de un candidato. Los reclutadores no solo apuntarían hacia el perfil del candidato, sino tendría mayor conocimiento de la empresa y del futuro jefe.  Esto daría el impulso necesario para mejorar  y continuar con la tendencia mostrada en el siguiente articulo que sin duda es muy interesante: Tendencias de reclutamiento en el 2018:

data trend

Otro articulo que puede darte una mejor visión de como ML será parte del proceso de reclutamiento es el siguiente: Adiós al Reclutamiento tradicional: IA ha llegado para quedarse.

IA

Otras ligas de interés:

Como todo tiene su lado malo, o mejor dicho su área de oportunidad… esto se lo dejo a los expertos de reclutamiento para que nos den su retro de lo que han leído en este articulo…. solo con sus comentario podemos afinar más el futuro del reclutamiento usando Machine Learning (ML).

Si me tratas mal, no te pago!

 Cuidado … un mal servicio post venta afecta el pago de los clientes!

Después de un día de coraje ocasionado por un mal servicio post venta llegó el momento de reflexionar de como esto impacta en el poder de predicción de un modelo.

Consideremos un modelo que su salida es un score que califica a nuestros clientes de manera que una calificación baja nos indica que será un mal pagador y una alta es que será un buen pagador.

Los modelos no siempre logran definir con certeza si un cliente es bueno o es malo, en la matriz de confusión podemos encontrarnos dos conceptos interesantes:

  1. Falso Positivo. Se predijo que el cliente iba a ser bueno y resultó mal pagador.
  2. Falso Negativo. Se predijo que el cliente iba a ser mal pagador y resulto bueno.

Considerando el punto 1 … ¿Por qué un cliente con un alto score, alta probabilidad de ser buen cliente, dejó de pagar? … uniendo piezas, una razón para explicar esta situación son aquellos clientes que castigan a la empresa por recibir un mal servicio, no es difícil de entender esta situación, sin embargo esto impacta a la empresa y al cliente en muchos sentidos.

Seguramente el área de cobranza aplicará las estrategias usuales para este cliente y esto incrementará la molestia del cliente, dando lo siguiente:

  • Paga, pero en cuanto pueda dará mal prestigio a la empresa.
  • No paga y además trata de dañar la reputación de la empresa.

Identificar clientes en atrasos por mal servicio post venta depende de los recurso y el nivel tecnológico que tiene la empresa, pero sobre todo el interés por hacer algo:

  • Sistema de CRM  – Registro de quejas y seguimiento.
  • Modelo de comportamiento – Lanzar alarmas basado en patrones de comportamiento.
  • Modelo de cobranza -Segmentando o calificando para aplicar una estrategia de cobranza.
  •  Buró de Crédito – Desempeño en otras empresas.
  • Organismo o instituciones de gobierno – Registro de quejas.

Uniendo cabos, un cliente con un alto score que cambia su patrón de pago (dejó de pagar), que levantó una o varias quejas y que en otras empresas sigue pagando, muy probablemente esta castigando a la empresa por un mal servicio post venta. Entre más rápido se identifique en menos atrasos caerá.

Post la identificación debe seguir la estrategia de recuperación del cliente, desde mi opinión debe estar bajo el paraguas del CRM, pero debe estar ligado al modelo de cobranza para incluirlos en un programa justo de pago.

Un cliente con una experiencia negativa hará que se pierdan futuros clientes, una gestión de estos clientes molesto no debe considerarse como un “Nice to have”, al contrario esto es básico para la empresa…

¿En tu empresa cómo se identifican y gestionan los malos pagadores por un mal servicio post venta?.

 

AI en la Cobranza

La Inteligencia Artificial como factor para mejorar la Cobranza!!!

Desde mi trinchera he podido ver que conceptos como Big Data, Machine Learning, AI son más aplicados en conceptos de cómo obtener clientes es decir en ventas … pero ¿Qué hay de la cobranza?, ¿Cómo se está impactando estas nuevas tendencias?

Dentro de una empresa se tiene la creencia de que vender solo aplica para la atracción y retención de clientes, y la cobranza es un proceso completamente diferente; yo no estoy de acuerdo con ello, para mi todo los proceso son ventas:

  • Originación. Se vende la idea de ser cliente tiene valor para una persona.
  • Retención. Se vende la idea de que hay más beneficios si se es un cliente leal.
  • Cobranza. Se vende la idea de que pagar es bueno para seguir siendo un cliente y no sufrir consecuencias de ser un mal cliente.

El vender es convencer a una persona para comprar o hacer algo, y en la cobranza se convence con argumentos que van de una forma muy suave hasta aquellas que no son tan suaves, el nivel de rudeza en el argumento de convencimiento usualmente depende de que tanto es el adeudo así como el interés de retener al cliente.

En la gestión de la cobranza, usualmente los clientes se colocan en buckets de acuerdo a los días en atraso, estos bucket servirán para establecer las estrategias de acuerdo a 4 grupos:

  1. Prevención de atrasos. Al darle un crédito al cliente sabes que tan propenso puede caer en atrasos por el score de originación o comportamiento (usualmente no se les hace nada, primer error común).
  2. Detener atrasos tempranos. Aquellos que de acuerdo al tipo de préstamo e institución consideran que el tiempo sin pago puede ser manejable y los clientes tienden a caer en ello y recuperarse principalmente por ellos mismos.
  3. Detener atrasos. El tiempo sin pago ya representa un tiempo considerable y se debe tomar acciones para hacer que el cliente vuelva a pagar.
  4. Recuperación de cartera. La deuda fue declarada como una perdida de forma contable, pero se sigue gestionando la cobranza para recuperar monto perdido, para la institución ya no se considera un cliente.

A cada grupo se le aplican tratamientos que son conocidos como herramientas de contacto como  email, SMS, WhatApps, mail, Call Center, visitas por gestores de cobranza. Estas herramientas tienen diferente nivel de efectividad, cobertura y costos, por ejemplo los SMS tienen alto nivel de contacto, baja efectividad, mayor cobertura y bajo costo, por otro lado los gestores  bajo nivel de contacto, alta efectividad, poca cobertura y costo alto.

Tratamientos

Cobranza Tradicional

En la cobranza tradicional, un experto de cobranza genera la estrategia colocando los tratamientos de acuerdo a su experiencia sobre la cartera, zona geográfica, el saldo a recuperar y un presupuesto limitado para aplicar dichas herramientas. Este gerente de cobranza tiene muy claro que entre más tiempo el cliente deje de pagar es más difícil contactarlo.

Muchas veces la base de datos de los deudores es compartida con Call Centers & Agencias de cobranza y al enviar dicha información se genera un hueco de información en donde el cliente llega a pagar y dichos soportes externos no tienen actualizado el estado del cliente, generando con ello malestar y uso ineficiente de las herramientas al hacer un contacto innecesario y tener que pagar dicho contacto.

Actual situación -Scoring de Cobranza

Las instituciones están utilizan un modelo de Score de cobranza (ML) que arroja la probabilidad de pago construida con variables históricas de comportamiento de pago (la principal es días en atraso), perfil del cliente, información de la operación financiera, etc., como inicio es bueno pero en la mayoría de los casos el calculado de forma mensual y no se considera en la mayoría de los casos que fue lo que hizo que un cliente hiciera un pago; además el resultado del score para prevención utiliza el de comportamiento lo cual lo vuelve parecido al de origination.

En algunos casos se cuentan con consultas a buró de forma mensual para identificar cómo está pagando el cliente en otras instituciones pero no son alarmas en tiempo real, por lo que el tiempo de reacción para prevenir atrasos no es efectiva.

Aun así en la mayoría de los casos la estrategia es decidida por el gerente de cobranza  al decir que tratamiento aplicar durante un mes.

A pesar que las tecnologías han generado más forma de realizar pagos, se sigue teniendo el hueco de información con Call Centers & Agencias Externas.

Futuro de la Cobranza

El siguiente paso es utilizar modelos más especializados de Machine learning, conectar los avances en la tecnología y obtener más información que ayude a predecir cómo es la mejor forma de vender a un deudor que pague. Para obtener mejoras en el proceso como en la toma de decisión del tratamiento a aplicar se debe considerar lo siguiente:

Actuales:

  • Pronóstico de pago por comportamiento del cliente. Usar variables internas de comportamiento de pago.
  • Pronóstico de Pago por perfil. Similar al obtenido de un score de originación o comportamiento.
  • Tecnología aplicada para captación de pagos y manejo de movimientos, las famosas aplicaciones wallets que permiten transferencias y pagos de forma más rápida.

Nuevo:

  • Pronóstico por reacción a tratamiento. Identificar que canal de contacto y argumento de convencimiento es el más adecuado para que el cliente haga un pago.
  • Alarmas temprana . Contar con alarma que indique el alto de pagos en otros producto u otras instituciones (buro de Crédito) y/o si el cliente pierde sus ingreso o un incremento de su adeudo por otros préstamo que lo pueda sobre-endeudar.
  • Reconocimiento de Patrones. Pasar de un simple scoring a modelos de reconocimiento de patrones, que aprenda dinámicamente y reconozca rápidamente a futuro deudor. (Machine Learning)
  • Reconocimiento de tendencias. Utilizar información de big data y otras fuentes, para detectar grupos sociales, zonas geográficas que podrían dejar de pagar.
  • Aumento de canales de contacto. Utilizar redes sociales para incrementar el contacto con el cliente generando nuevas herramientas que tengan mejor cobertura, menor costo y efectividad.
  • Software interno. Un sistema software con la seguridad necesaria para se que se use en tratamientos externos, donde se comparta los datos de los clientes en atraso y se envíen los argumentos que deben seguir los apoyos externos.

Sistema de Inteligencia Artificial – Cerebro de la operación

Por ultimo no se debe mantener con todos los temas anteriores como islas, se debe construir un sistema de Inteligencia Artificial que permita unir toda esta información como un cerebro central que que aprenda dinámicamente para llevar las tareas de segmentación de la cartera, calculo de costos y administres estas herramientas y modelos de forma automática y dinámica para obtener los siguientes aspectos:

  1. Mas información del cliente en menor tiempo basado en alarmas tempranas.
  2. Segmentación de clientes más efectiva. no solo por bucket de atraso, sino por probabilidad de pago por canal de contacto, alarmas tempranas, tendencias y reacción a argumento de convencimiento.
  3. Argumento de convencimiento con mayor poder de acuerdo al perfil del cliente.
  4. Incremento de la tasa de contacto por más canales y re-uso de los actuales
  5. Asignación de tratamiento de forma optima (Menor costo y mayor efectividad).
  6. Incremento de la cobertura y localización del cliente.
  7. Reducción de tiempo de acción. No esperar un mes para aplicar otro tratamiento.
  8. Mayor control de apoyo externo. No huecos de información y mejorar la supervisión en apoyos externos, así como indicar el argumento de convencimiento de acuerdo a las políticas de la empresa.

Finalmente el beneficio de tener una mejor cobranza se verá reflejado en una mayor utilidad.

benef.png

Puede que algunos conceptos o puntos se me hayan ido al escribir este articulo, así que me gustaría saber tu opinión y con ello poder mejorar la información del mismo.

Aprobación de un modelo

La gestión de modelos no termina cuando se termina el desarrollo…

El día de hoy me gustaría ser ligeramente más técnico, claro sin olvidar que el objetivo de este blog es platicar de forma sencilla aspectos relacionados con análisis y modelos usando técnicas de Machine Learning.

Hablando de modelos, ¿Cómo se puede asegurar que un modelo será útil para lo que se desarrollo?, para aquellos que les gusta hacer modelos, la primera idea que les llega a la mente será ver métricas precisión,  desempeño, etc., pero no solo es eso, la idea es que el modelo realmente sea usado y funcione de acuerdo a los requerimientos del desarrollo, y para ello se requiere de todo un Proceso de Aprobación de un Modelo.

En un articulo anteriores se platicó sobre qué es un Data Scientist y cómo Documentar un modelo de riesgo, ambos temas son de importancia para poder conseguir una aprobación de tu modelo.

Proceso de Aprobación

Examinación de los datos (ED)

Muchas veces se confunde la validación de los datos con la validación técnica, considerando que una estadística descriptiva de la base datos es suficiente, sin embargo se deben revisar los siguientes puntos que están relacionados a IT:

  1. Accesibilidad de Datos. Fuente oficial y confiable que pueda ser auditable y replicable en cualquier momento.
  2. Integridad de la información. Conciliación de datos entre base de Desarrollo, testing y producción.
  3. Suficiencia histórica de datos. Soportar y generar los respaldos necesarios de datos históricos para desarrollo de modelos.
  4. Integridad en la comunicación de datos entre los sistemas que transportan las variables para el modelo (Input) y el resultado del modelo (Output), ya sea interno o con sistemas externos de un proveedor de modelo.
  5. Continuidad de los sistemas de datos, revisar que se este trabajando con los sistemas actualizados, así como los pasos a seguir para migrar a nuevos sistemas.
  • Examinador: Experto en Tecnología y procesamiento de datos

Examinación Técnica (ET)

  1. Calidad de datos. Estadística descriptiva de las variables, estabilidad de las variables, missing, etc.
  2. Muestreo. Metodología de la muestra, suficiencia, reject inference, etc.
  3. Metodología del desarrollo. Descripción de cada paso del Proceso de desarrollo
  4. Técnica de modelaje. Técnica ocupada en el modelo tales como regresión logística, red neuronal, árbol de decisión, random forest, etc.
  5. Selección de variables. Proceso de reducción, métricas como information value, WOE,  coeficiente de correlación, etc.
  6. Alternativas técnicas. Comparativa entre escenarios con diferentes variable o técnicas aplicadas.
  7. Salida del modelo. Comparativa entre la muestra de desarrollo y testing considerando métricas de  precisión y desempeño, tales como Gini, KS, ROC, matriz de confusión, estabilidad de la población, PDO, etc.
  8. Definición de métricas de desempeño y triggers para alerta temprana para su seguimiento, tales KS, PSI, BD, etc.
  9. Cambios. Que el cambio sea técnicamente justificable.
  10. Criterio vs Código. Asegurar que el código generado esta de acuerdo al criterio para generar la salida del modelo, replicando y validando con diferente muestras de datos.
  • Examinador: Experto en modelos de riesgo

Examinación Funcional (EF)

  1. Objetivo y Justificación del modelo.
  2. Uso del modelo. El modelo debe ser usado para lo que fue solicitado y desarrollado (producto, portafolio, segmento, etc.), ya sea desarrollo interno o pro un proveedor.
  3. Fechas y periodos de desempeño para el Desarrollo y Testing. Que la muestra de desarrollo no tenga comportamientos diferentes a lo que se presenta actualmente.
  4. Exclusión de datos. Racional para categorías de exclusiones ya sea por política o por necesidades técnicas o de negocio.
  5. Definición de la variable objetivo. Verificar que haga sentido con el objetivo del modelo, recuerda el articulo sobre definir la variable objetivo.
  6. Variables de entrada. Si las variables elegidas hacen sentido con el objetivo del modelo y del negocio.
  7. Alternativas funcionales. Comparativa de uso, implementación de diferentes alternativas de modelo.
  8. Desempeño.  Identificar el nivel de separación entre buenos y malos y como impacta en el portafolio.
  9. Alarmas de desempeño. Considerar si las alarmas establecidas son adecuadas para identificar rápidamente cualquier deterioro del modelo con impacto en el portafolio.
  10. Implementación. Examinar si todo el proceso de implementación están alineados a un plan y si las pruebas de implementación fueron exitosas así como un plan de continuidad.
  11. Programa de revisión de desempeño. Observar si las fechas de revisión de desempeño y evaluación son correctas.
  12. Cambios. Que el modelo mantenga su funcionalidad ante un cambio en el modelo.
  • Examinador: Experto de negocio (producto, portafolio y/o segmento).

Gobierno (EG)

  1. Plan de desarrollo.Asegurar que se lleve cada paso del desarrollo de acuerdo a un plan, gestionando los recursos, roles y responsabilidades.
  2. Ciclo de vida de un modelo. Asegurarse que el modelo puede cambiar de status dependiendo de su uso o desempeño (en desarrollo, en uso, sin uso o retirado).
  3. Cambios al modelo y versiones. Seguimiento y control de cambios.
  4. Documentación. que todo este integrado en la documentación.
  5. Limitaciones y su mitigación: Gestión de limitaciones y acciones de mitigación.
  • Examinador: Experto en administración de modelos.  

Regulación (EL)

  1. Regulación actual. Regulación ligada al uso del modelo
  2. Proveedores. Revisar que los contratos con proveedores de modelos se cumplan.

    En esta descripción se explicaron 34 puntos de revisión (ED:5, ET:10, EF:12, EG: 5, EL:2). Todo estas examinaciones están bajo un marco de administración de modelos, usualmente llamado MRM por sus siglas en ingles (Model Risk Management), el cual estaremos platicando a mayor profundidad en otro articulo.

    Como se darán cuenta, de los 3 conceptos que tiene un Data Scientist (Procesamiento de datos, modelaje,  análisis de negocio) se aumentan otros 2 que serian administración de modelos y regulación, si de por si es complicado cubrir todo el perfil de un científico de datos, agregar los otros 2 puntos lo vuelve casi imposible… pero no cuando generas un equipo que compuesto con los diferentes perfiles.

    La aprobación del modelo es respaldada con un formato que a partir del tipo, alcance y rating del modelo, indica si los puntos a examinar son aplicables y que escala de calificación debe utilizarse; de esta manera el examinador dependiendo de lo documentado pone una calificación para cada uno de los puntos que le corresponden.

    Ejemplo: Supongamos que tenemos un total de 15 puntos de revisión y vamos a aprobar un modelo que por su tipo solo aplican 10 puntos de revisión y la escala de cada punto es de 1 a 3, donde 1. Sin información, 2.Incompleta y 3. Satisfactoria. Para ser aprobado el modelo debe ser calificado con un valor > 75%.

    eval

    La calificación general del modelo, se da entre 0% a 100%  considerando el alcance del máximo de puntos a obtener de los puntos de revisión que aplican.

    Para el ejemplo, aunque el promedio es 2.2, para nosotros la calificación final es 83.3% (calif_final = 25/30), siendo mayor a 75%, por lo cual será aprobado.

    Además los examinadores pueden notificar cualquier problema encontrado y solicitar una acción que mitigue dicho problema, dando como posibles resultados:

    • Aprobado sin limitaciones.
    • Aprobado con limitaciones.
    • Rechazado.

    Dado que en el ejemplo se levanta una limitación, este modelo tendrá el status de aprobación como: APROBADO CON LIMITACIONES.

    En algunas aprobaciones se pueden poner algunas condiciones, tales como decir que si ED & ET no tienen una calf > 80% el modelo será rechazado.

    Para el ejemplo, la Examinación Técnica tiene 75%, lo cual es menor al 80% y esto cambia el status de aprobación a: RECHAZADO.

    Esta forma de evaluar es muy común, en mi experiencia la he encontrado en aprobaciones de licitaciones, aprobaciones de proyectos, etc.

    Espero que esta información haya sido de utilidad y si tienes dudas al respecto agrega un comentario y con gusto tratare de apoyarte.

     

     

     

     

Acabar con la mina de oro de los corruptos!!!

¿Machine learning podrá ser la solución para detectar actos ilícitos a funcionarios públicos?

De un noticiero mañanero escuetamente logre escuchar que entre las propuestas del presidente electo Andrés Manuel López Obrador (AMLO) se tiene pensado agregar revisiones aleatorias, sin duda lo que me llamo la atención fue el concepto de aleatorio, realmente en que podía ser aplicado y qué impacto o beneficio puede lograrse con ello.

Otra palabra que escuche fue Aduana, sin embargo no entendí más que eso, buscando en la red lo único que encontré fue una publicación del periódico proceso con el siguiente párrafo:

“… Esta ley podría incluir, entre muchas otras disposiciones, revisiones aleatorias sobre ingresos, propiedades y depósitos en México y en el extranjero de los juzgadores y demás servidores públicos …”  Ministros el candado del privilegio

Ya que de lo poco que escuche se mencionó la palabra aduana, tenemos que en las aduanas, el SAT manejaba hasta hace poco algo que se llama un semáforo aleatorio, es parte del sistema de control establecido por el gobierno federal  para realizar la verificación de importaciones y exportaciones realizadas en el país, y que tiene como objetivo el verificar que las mercancías cumplan con el pago de impuestos , requisitos y regulaciones establecidas. Aunque el nombre dice que es aleatorio realmente no lo era ya que utilizaba varios factores (tipo de Mercancía, nomenclatura arancelaria, importador o exportador, agencia aduanera, etc.), que determinaban si era necesaria la revisión de dicha mercancía.

Ahora que estamos metidos en modelos predictivos usando técnicas de Machine Learning, empecemos a desmenuzar si una revisión aleatoria es lo mejor para detectar mercancías ilícitas:

Cosas a favor de una revisión aleatoria:

  • Necesidad. El proceso aleatorio se hizo porque los recursos existentes no son suficientes para una revisión total de las mercancías que pasan por una aduana.
  • Mensaje. El mensaje es claro todos tienen las misma probabilidad de caer en revisión y esto parece ser justo para los usuarios.
  • Implementación. Utilizar un algoritmo aleatorio es sencillo, ya que en todos los lenguajes de programación tienen integrados funciones de aleatorios, incluso Excel cuenta con uno.

Cosas en contra de una revisión aleatoria:

  • No aleatoriedad. Ningún algoritmo de computadora es 100% aleatorio, ya que se pueden reproducir las condiciones y función que la genera.
  • Baja eficacia. El volumen de ilícitos identificados dependerá de incrementar recursos y no en la productividad de los mismos.
  • Baja eficiencia. Tendremos recursos desperdiciando tiempo al revisar mercancías que no requieren revisión.
  • Baja Efectividad.   La taza de ilícitos identificados sobre el total de ilícitos será igual a la proporción de mercancías revisadas del total que pasan por la aduana.
  • Molestia. Retrasar la llegada de la mercancía solo por ser aleatorio puede generar perdidas de tiempo, dinero, etc. al importador o exportador que cumple con los lineamientos de ley.

Buscando más información referente a las aduanas me tope con algunas agencias aduanales que ofrecían no pasar por una revisión, ya que sin duda conocen los factores y procesos, además posibles conexiones para evitar la revisión.

No todo lo que encontré fue malo, al contrario me tope con buenas noticias y el uso de modelos (machine learning) ya es una realidad en nuestras aduanas, el SAT cuenta con modelos de riesgo que en combinación con información generada por el Proyecto de Integración Tecnológica Aduanera (PITA)  son más asertivos y menos agresivos en las revisiones. Una prueba de esto es:

“Durante las primeros seis meses del año, gracias al modelo, se han decomisado más de 66 mil piezas de armamento, lo cual es 129 porciento más que el año pasado que no existía el sistema, mientras que se detectaron 15 millones de dólares en efectivo, que es 11 veces más de lo que se detectó el año pasado.”  Con modelos de riesgo agilizan revisión aduanera

Con el texto anterior publicado en el periódico el diario.mx, se ve claramente los beneficios que conlleva el utilizar modelos en aduanas.

Regresando a la propuesta del nuevo presidente de México, esperamos que el próximo gabinete de gobierno tomé el concepto de revisiones aleatorias pero realmente se lleve acabo la implementación y continuidad de modelos que ayuden a identificación actos delictivos. Por ello, me gustaría que llegue principalmente esta necesidad social a Rosalinda López Hernández e Irma Eréndira Sandoval (futuras  responsables del SAT  y Secretaria de la Función Publica respectivamente).

Me gustaría comentar que este modelo son complejos , que una técnica como la regresión logística no es recomendable, porque debe responder rápidamente a las tendencias y nuevas formas de cometer un ilícito, además de que aunque se maneje como una caja negra un buen data scientist podría identificar los factores y replicar el modelo y así saltar la revisión, algo que podrían vender agencias aduanales de dudoso comportamiento.

Finalmente, estos modelos deben ocupar técnicas de autoaprendizaje como redes neuronales o mucho más complejas (machine learning), donde la definición de su Variable objetivo cambia constantemente, así como los factores para identificar el acto ilícito. En la industria financiera, los modelos de fraude tienen este comportamiento principalmente a causa del rápido avance tecnológico y de las nuevas modalidades de fraudes, estos modelos dinamicos lo explicaremos a mayor detalle próximamente.

NO ALCANZAR METAS …

Culpable un modelo sin Variable objetivo bien definida

En una platica de mesa una persona expreso su descontento y preocupación debido a que le habían pedido investigar el porqué cierto producto estaba lejos de lo pronosticado para ese año, el crecimiento de clientes y rentabilidad no era lo que se esperaba y como resultado de su análisis tenia que dar una recomendación… Puedo asegurar que muchos hemos pasado por una situación similar.

Como parte de la conversación se le hicieron preguntas relacionadas con cambios estratégicos (No esperes resultados diferentes si siempre haces lo mismo):

  • Estrategias para incrementar ventas: Campañas comerciales, Promociones, Relajamiento de políticas de otorgamiento, nuevos nichos de mercado, extensión territorial, programas de retención de clientes, incrementar la fuerza de venta y agregar o modificar los canales , etc.
  • Estrategias para mejorar rentabilidad: Reducción de costos, inversión en tecnología, control de riesgos, modificaciones al producto, incrementar la productividad, etc.
  • Otras acciones: Capacitación, alianzas, etc.

Sus respuestas fue rápida y tajante, se ha invertido dinero en casi todos los aspectos, sin embargo se sigue vendiendo igual y el portafolio de clientes se esta deteriorando. Su frustración aumenta cuando expresa que se siente atacado porque en una reunión sucedió algo por este estilo:

El área de Operaciones esta culpando a Mercadotecnia por no ver impacto en el volumen de ventas, esta avienta la bolita a riesgos porque las aplicaciones aumentan y no el volumen de ventas, riesgos asegura que sus modelos trabajan bien y que los rechazados no traen el mejor perfil, además que el área comercial y  finanzas no hicieron bien el presupuesto” … así se vuelve una novela de echar culpas al que se deje!

“Yo no fui, fue teté, pégale, pégale que ella fue …”

Al termino de la reunión todas las áreas llaman a sus equipos de análisis para cubrirse y poder pasar la bola caliente a otra área; en paralelo se generan muchos análisis, lo malo de ello es que no se busca la causa real para resolver el problema y pasando un tiempo  se buscaran factores externos (excusas) como situación económica,  política, crimen o alguna otra causa que pudiera excusar el no alcance a los objetivos.

¿Pero qué es lo que esta mal?, sin duda el presupuesto es incorrecto pero no solo por culpa de quienes hacen el modelo de pronósticos, sino también por los insumos que provienen de los modelos de riesgo, mercadotecnia y el área operativa. Esto malos insumos se deben a que sus modelos no tienen una misma visión o variable objetivo. Por ejemplo, pensemos en las diferentes interpretaciones para la siguiente variable objetivo “Buen Cliente”:

  • Operaciones: El cliente que de mayor comisión
  • Mercadotecnia: El cliente que se convierta fácilmente en venta
  • Riesgos: El Cliente que no cae en alto atrasos/perdida
  • Finanzas: El Cliente más rentable

Los dos últimos suenan similar pero no siempre es lo mismo, consideremos clientes de una institución financiera: un cliente que paga puntal y no renueva es menos rentable comparado con uno que tiene un pequeño atraso, que se le cobra un interés mayor y que renueva su prestamos.

Regresando a las diferentes percepciones que en una empresa se pueden tener de “Buen Cliente”, esto es como darle a cada área un remo y una dirección diferente lo que hace que no haya avance, por ello incremental esperado por invertir en estrategias se reduce cuando:

  • Se atraen prospectos pero no se convierten porque no es la mejor comisión.
  • Se llevan clientes potenciales con buena comisión pero son rechazados.
  • Se vende a los clientes con mayor probabilidad de pago, pero no a los más rentables.

Es más que claro que la generación de un presupuesto es un proceso de estira y afloje entre las áreas, pero la construcción de un presupuesto puede tener un mejor resultado si se siguen los siguientes pasos (sugerencia basada en mi experiencia):

  1. Variable objetivo. Definir qué es un cliente bueno, malo e indeterminado
  2. Generar la distribución de dichos clientes en un histórico representativo de ventas – Distribución normal de probabilidad.
  3. A cada bucket de la distribución agregar comisión promedio, tasa de rechazo por modelos de riesgo, y rentabilidad por cliente. (nos dará una visión clara de como están nuestros esfuerzos y resultados).
  4. Generar una distribución nueva con un volumen mayor de ventas lo cual impactará en el volumen de aplicaciones por parte de Merca con un perfil especifico, un nivel de productividad y costo de comisiones para el área de operaciones.
  5. Generar un pronóstico base considerando estacionalidad, comportamientos periódicos, y otros factores que den forma al presupuesto.
  6. Platicarlo con las áreas para ver la viabilidad de este modelo y construir en conjunto una propuesta de presupuesto, así como la inversión y acciones necesaria para alcanzar las metas.
  7. De igual forma se tendrán que hacer los ajustes necesarios a los modelos de riesgo o políticas, modificación de las comisiones y cambios en producto para hacerlos aun más rentables.
  8. Repetir el paso 6 y 7, como máximo 2 veces para evitar un proceso engorroso.
  9. Construir las metas a detalle, para que el nivel más bajo de la organización este involucrado y comprometido a ellas.
  10. Seguimiento al alcance de metas con frecuencia adecuada, identificando el GAP con base en los supuestos (comisión, tasa de rechazo, rentabilidad) para poder tomar decisiones a tiempo sobre como invertir o ajustar las estrategias actuales, de tal forma que se recupere el GAP y se alcance el objetivo establecido.

Como se darán cuenta es un tema bastante interesante que conlleva aun más variables y áreas involucradas, al crear un modelo, ya sea de pronóstico o un simple score de originación de crédito el error que generalmente se comete es el definir erróneamente la variable objetivo y/o no alinear a las áreas a trabajar con una sola definición.

Finalmente, aquella persona regreso a su trabajo a hacer análisis donde su modelo mostraba buen desempeño de acuerdo a su variable objetivo, y por lo que entendí dicha variable objetivo esta ligeramente ligada con rentabilidad y pero muy lejos del crecimiento de clientes. A este error común se le puede nombrar como ceguera de taller.