KPI Vs TARGET

THE SCIENCE ON KPI CONSTRUCTION

I found an article in LinkedIn regarding to a lot of people is confused with target and KPI, for the writer the differences between both concepts are so important and it should be clear for the people under her/his charge.

Looking for more details about it, some writers explain the differences and how we can identify each one, however I think that here we have three view points to understand:

  • Aim sponsor. According to business needs they establish the goal for all team
  • KPI designer. Team with focus in the performance follow up
  • Workforce. Team with focus on production or commercial areas.

In order to be clear, we can put an example related to financial institution:

  • Aim: Boost the sales as double of previous year
  • Target: 100,000 loans
  • Sales force: 1,000 sale agents

In this case for aim sponsor, the “double in sales” means a challenge and message for the company based on different analysis (financial, operational, legal, market, etc.), this message is not touchable for workforce, but with it, the board try to align the team at the same boat.

Usually the finance department is the source for the target (100k loans), however this figure can not be communicated to a sale agent as goal, that’s why this target is divided among the number of sales team, and follow up time (month, weeks, day); there we find a generic target that is reachable for sale agent. (2 sales per week).

Considering that all agent makes the target of 2 sales per week, the original target should be overpassed, it sounds easy and simple “last year a sale agent issued one loan and this year they have to make two per week”, you do not need a complicated KPI with many metrics.

If you consider that your production machine works as mentioned above your business never reach your business goal, in this case as sample you can put in mind the following aspects:

  • Sales agents that production level is higher than 2 sales per week
  • Sales agents with 0 sales
  • Turnover
  • Rejection rate (% of applications are rejected)
  • Market saturation
  • Seasonality

Therefore we have several variables that need monitoring, there it the reason to built a KPI where the generic target is convert to a specific target by each sale agent, for example one agent who makes 3 loans, for this week he has to make 5. (It is no the double) and maybe it could represents a big challenge for the agent (take care with it), the specific target should be challenger but reachable, but the you have to ask more due to vacants and agents with 0 production.

When you talk we the people who design a KPI (IT team), they are so happy adding since the beginning all metrics and post the KPI was created and distribuited ask for adding a new metric is the worst requirement that you can make for them. A KPI must have a basic metrics and according to target it should be change because the sale force have to aligned to it, also a KPI with a lot of metrics is no useful for team, they never see all metrics and it could be produce confusion.

Given that, a KPI should be have the following metrics and aspects:

  1. Basic metrics
  2. Target progress
  1. Metrics related to target
    History to identify out layers, seasonality and trend
    Sighs for low and high performance and how it could be impact on bonus (use some traffic lights)
    Metrics with simple to understand and easy to calculate

Remember the following point as aspects to check before put a KPI in production environment:

  • KPI without targets metrics –> Team will not be aligned with the goal company.
  • KPI without commission metric –> Sale force will not see/use the KPI 
  • KPI with numerous metrics –> The KPI will no useful for the team
  • KPI with complicate interpretation –> metrics not easy to understand or calculate means a not confident KPI, mainly in metrics related to commission.

According to the level you can built a KPI or dashboard, both tools are not the same, the KPI has detail about the progress for the low level of company, meanwhile the dash board give us a quickly view with charts the status of the business.

A final comment, taking the initial consideration regarding to the difference between goal and KPI, for people in a management position is helpful to understand the difference between these two, but my humble opinion thereby referring the work force is resumed in the following expression: “KPI with my target is the only tool that I need to work”, the difference is no needed.

I wish this information makes sense for experienced  people, and on the other hand for people making a KPI, I hope it to be useful, but if you want more info or any kind of support please feel free to contact me.

Acabar con la mina de oro de los corruptos!!!

¿Machine learning podrá ser la solución para detectar actos ilícitos a funcionarios públicos?

De un noticiero mañanero escuetamente logre escuchar que entre las propuestas del presidente electo Andrés Manuel López Obrador (AMLO) se tiene pensado agregar revisiones aleatorias, sin duda lo que me llamo la atención fue el concepto de aleatorio, realmente en que podía ser aplicado y qué impacto o beneficio puede lograrse con ello.

Otra palabra que escuche fue Aduana, sin embargo no entendí más que eso, buscando en la red lo único que encontré fue una publicación del periódico proceso con el siguiente párrafo:

“… Esta ley podría incluir, entre muchas otras disposiciones, revisiones aleatorias sobre ingresos, propiedades y depósitos en México y en el extranjero de los juzgadores y demás servidores públicos …”  Ministros el candado del privilegio

Ya que de lo poco que escuche se mencionó la palabra aduana, tenemos que en las aduanas, el SAT manejaba hasta hace poco algo que se llama un semáforo aleatorio, es parte del sistema de control establecido por el gobierno federal  para realizar la verificación de importaciones y exportaciones realizadas en el país, y que tiene como objetivo el verificar que las mercancías cumplan con el pago de impuestos , requisitos y regulaciones establecidas. Aunque el nombre dice que es aleatorio realmente no lo era ya que utilizaba varios factores (tipo de Mercancía, nomenclatura arancelaria, importador o exportador, agencia aduanera, etc.), que determinaban si era necesaria la revisión de dicha mercancía.

Ahora que estamos metidos en modelos predictivos usando técnicas de Machine Learning, empecemos a desmenuzar si una revisión aleatoria es lo mejor para detectar mercancías ilícitas:

Cosas a favor de una revisión aleatoria:

  • Necesidad. El proceso aleatorio se hizo porque los recursos existentes no son suficientes para una revisión total de las mercancías que pasan por una aduana.
  • Mensaje. El mensaje es claro todos tienen las misma probabilidad de caer en revisión y esto parece ser justo para los usuarios.
  • Implementación. Utilizar un algoritmo aleatorio es sencillo, ya que en todos los lenguajes de programación tienen integrados funciones de aleatorios, incluso Excel cuenta con uno.

Cosas en contra de una revisión aleatoria:

  • No aleatoriedad. Ningún algoritmo de computadora es 100% aleatorio, ya que se pueden reproducir las condiciones y función que la genera.
  • Baja eficacia. El volumen de ilícitos identificados dependerá de incrementar recursos y no en la productividad de los mismos.
  • Baja eficiencia. Tendremos recursos desperdiciando tiempo al revisar mercancías que no requieren revisión.
  • Baja Efectividad.   La taza de ilícitos identificados sobre el total de ilícitos será igual a la proporción de mercancías revisadas del total que pasan por la aduana.
  • Molestia. Retrasar la llegada de la mercancía solo por ser aleatorio puede generar perdidas de tiempo, dinero, etc. al importador o exportador que cumple con los lineamientos de ley.

Buscando más información referente a las aduanas me tope con algunas agencias aduanales que ofrecían no pasar por una revisión, ya que sin duda conocen los factores y procesos, además posibles conexiones para evitar la revisión.

No todo lo que encontré fue malo, al contrario me tope con buenas noticias y el uso de modelos (machine learning) ya es una realidad en nuestras aduanas, el SAT cuenta con modelos de riesgo que en combinación con información generada por el Proyecto de Integración Tecnológica Aduanera (PITA)  son más asertivos y menos agresivos en las revisiones. Una prueba de esto es:

“Durante las primeros seis meses del año, gracias al modelo, se han decomisado más de 66 mil piezas de armamento, lo cual es 129 porciento más que el año pasado que no existía el sistema, mientras que se detectaron 15 millones de dólares en efectivo, que es 11 veces más de lo que se detectó el año pasado.”  Con modelos de riesgo agilizan revisión aduanera

Con el texto anterior publicado en el periódico el diario.mx, se ve claramente los beneficios que conlleva el utilizar modelos en aduanas.

Regresando a la propuesta del nuevo presidente de México, esperamos que el próximo gabinete de gobierno tomé el concepto de revisiones aleatorias pero realmente se lleve acabo la implementación y continuidad de modelos que ayuden a identificación actos delictivos. Por ello, me gustaría que llegue principalmente esta necesidad social a Rosalinda López Hernández e Irma Eréndira Sandoval (futuras  responsables del SAT  y Secretaria de la Función Publica respectivamente).

Me gustaría comentar que este modelo son complejos , que una técnica como la regresión logística no es recomendable, porque debe responder rápidamente a las tendencias y nuevas formas de cometer un ilícito, además de que aunque se maneje como una caja negra un buen data scientist podría identificar los factores y replicar el modelo y así saltar la revisión, algo que podrían vender agencias aduanales de dudoso comportamiento.

Finalmente, estos modelos deben ocupar técnicas de autoaprendizaje como redes neuronales o mucho más complejas (machine learning), donde la definición de su Variable objetivo cambia constantemente, así como los factores para identificar el acto ilícito. En la industria financiera, los modelos de fraude tienen este comportamiento principalmente a causa del rápido avance tecnológico y de las nuevas modalidades de fraudes, estos modelos dinamicos lo explicaremos a mayor detalle próximamente.

Análisis no parálisis…

… en varias ocasiones un líder de una compañía en donde trabaje me decía esa frase “Análisis no parálisis”, puedo asegurar que la primera vez que me lo dijo no lo entendí, tal vez hasta me ofendí, ¿es que no es importante saber la razón del problema y tomar las decisiones adecuadas a partir de dicho análisis? … ¿las decisiones que tomarás seguramente no son las mejores?

Para entender mejor, les voy a contar una situación real por la que pase: en una ocasión bajo mi cargo contaba con un miembro de mi equipo el cual su nivel de análisis era muy bueno, su talón de Aquiles era la impuntualidad y el manejo del tiempo.

Un día se le asignó un análisis referente a un producto de la empresa, se tenía que dar una recomendación sobre seguir o parar aquel producto basado en el desempeño del piloto. Se contaba con la información histórica suficiente para identificar su comportamiento en diferentes escenarios y tiempos. El detalle como en casi todos los ambientes de análisis para poder colocar el real desempeño del proyecto necesitas quitar factores que alteran los resultados, tales como otro producto corriendo en paralelo, zonas con muy buen o mal desempeño, etc.

El piloto era un requerimiento a nivel internacional, y por ello tenía un soporte financiero y una fecha de terminó. Dado lo anterior el board tenía que tomar una decisión en 3 semanas para poder preparar el lanzamiento general o la salida del mismo.

La primera semana, este analista me dijo estoy limpiando la base y pensando cómo hacerlo, mis respuesta fue platiquemos lo que has pensado, a lo cual solo expresó ideas difusas de su objetivo y sin una hipótesis a refutar o comprobar, final de la platica le dije cuida estos factores que meten ruido al piloto.

La segunda semana, me comentó que había encontrado una cantidad de factores que alteraban el resultado del piloto pero aún no sabía cómo quitarlos, buenas ideas pero eso ya parecía un reto no fácil de alcanzar por lo que le recomendé reducir el número de factores considerando el concepto de Pareto (80-20) basado en una plática que tuvimos con el equipo que operaba el producto. Para el ya era un reto intelectual, así que continuo y descartaba por completo la percepción que tenía el área operativa.

Tercera semana, considerando que para no limitar la creatividad del equipo permites que ellos manejen sus tiempos, pero por otro lado generas un plan B, correr un análisis más sencillos, considerando menos factores y ciertas situaciones operativas que daban un sustento no cualitativo pero real de producto. A dos días de la entrega el contaba con una gran cantidad de información, varios modelos y pronósticos, algunos que convergían en ciertas respuestas pero no concluyente, el tenía que unirlas y convertirla en formato beneficio-costó, algo que no le gusta del todo porque para él ver su análisis desde un punto financiero era quitarle importancia a otros indicadores que quería calcular.

El día de la toma de decisión, Se presentó el plan B, utilizando algunas salidas del análisis que generó el, así como la parte cualitativa por parte del área operativa y se agregó el impacto financiero, de esto la decisión fue no lanzar el producto, se veía un desempeño aceptable con un pequeño impacto positivo en los ingresos de la compañía, pero con varias fallas en la parte operativa debido a que no había la correcta aceptación por aspectos tecnológicos.

Una semana después el analista término, era una presentación impecable donde a regañadientes agregó la parte financiera y sus conclusión fue que el producto era muy rentable, pero este debería ser implementado un segmento muy específico. Al ser solo un segmento muy exclusivo aunque era muy rentable el impacto al negocio seguía siendo muy pequeño y requería incluso mayor complejidad de implementación.

De todas maneras se mandó el análisis con la etiqueta de “Deep analysis”, pero realmente pocos miembros del board lo leyeron, uno de ellos me preguntó: “¿si leo este documento tendremos que cambiar la decisión?, a lo que dije “No”, respuesta seguida de “ok, luego lo leo”, no creo que lo haya leído. El analista me acompañó y se dió cuenta del valor que tiene la información no solo por ser buena sino también por estar en el momento adecuado. (Las mejores enseñanzas no vienen del tutor, sino de entender los errores que cometes).

Años después el producto fue lanzado utilizando tecnología más reciente que hizo que mejorara la aceptación del área de operaciones cubriendo el segmento completo y con un impacto moderado en los ingresos.

Si se hubiera esperado una semana más se hubiera paralizado la toma de decisión, un costo para la compañía y con el mismo resultado, ya que la decisión de este producto mayormente dependía del aspecto operativo. Aunque hubiera sido un producto con fuerte impacto financiero al ser mal implementado y ejecutado podría generar un resultado contrario para la empresa. Hay factores simples y rápidos que definen el camino a seguir… el análisis con fuerte soporte en datos e indicadores no ayudará a cambiar la decisión resultante.

Si ves el cielo lleno de nubes oscuras, a lo lejos se escuchan truenos y te cae una gota, no tiene caso que te quedes parado en ese lugar esperando que cargue en tu celular el pronóstico de lluvia y menos que lo confirmes en varios sitios u otros análisis para estar seguro. Si lo haces seguramente te mojaras y el resultado será el mismo … la lluvia es eminente basado en pocos pero sencillos factores.

Otro ejemplo de parálisis, es el caso en donde por buenos análisis se han tomado buenas decisiones, y por ello los directores no quieren tomar decisiones sin un análisis previo, por lo cual se baja la instrucción de generar análisis por todo proceso o situación en la empresa … esto hará que haya una sobre carga en el equipo de análisis. Con base en anterior ejemplo si bien es claro la información debe estar en tiempo, pero no mal entendamos, un análisis requiere su tiempo para que tenga resultados adecuados. El hecho de que la planta directiva no tome decisiones hasta tener las prueba exhaustivas puede ser más perjudicial para la empresa que tomarlas con la información existente, tales como alarmas, indicadores y retroalimentación de expertos del tema… ¿te ha tocado verlo en tu empresa? … ¿Esto se mejora incrementando el equipo de análisis o mejorando el liderazgo?

Un problema similar, cuando a una organización le da la famosa juntitis por todo, en esas juntas todos van sin ganas, criticando todo pero sin alcanzar fácilmente el objetivo de definir acciones y funciones así como la asignación responsabilidades… esto se vuelve un gasto de recursos sin ser productivo….¿tu que opinas?… ¿Esto mejora incrementando las salas de juntas o se mejoran los procesos donde estén bien definidas las funciones y responsabilidades?