Previsión de tuberías

Métricas de series temporales

Lo primero que hay que definir al seleccionar modelos es la métrica que se quiere mirar. En la parte anterior, vio varios ajustes con diferentes cualidades (piense en regresión lineal versus bosque aleatorio).

Para llevar la selección de modelos más allá, deberá definir una métrica para evaluar sus modelos. Un modelo muy utilizado en la predicción es el error cuadrático medio. Esta métrica mide el error en cada momento y lo eleva al cuadrado. El promedio de estos errores cuadráticos se llama error cuadrático medio. Una alternativa de uso frecuente es el error cuadrático medio: la raíz cuadrada del error cuadrático medio.

Otra medida utilizada con frecuencia es el error medio absoluto: en lugar de tomar el cuadrado de cada error, aquí se toma el valor absoluto. El error porcentual absoluto medio es una variación de esto donde el error absoluto en cada momento se expresa como un porcentaje del valor real. Esto da una medida en forma porcentual, muy fácil de interpretar.

Distribución de pruebas de formación en series temporales.

La segunda cosa a considerar al evaluar el aprendizaje automático es considerar que un modelo que funciona bien con datos de entrenamiento no necesariamente funciona bien con datos nuevos fuera de la muestra. Un modelo de este tipo se denomina modelo de sobreajuste.

Hay dos enfoques comunes que pueden ayudarle a estimar si un modelo se generaliza correctamente: pruebas divididas y validación cruzada.

La división de pruebas de tren significa que elimina algunos de sus datos antes de ajustar el modelo. Como ejemplo, puede eliminar los últimos 3 años de la base de datos de CO2 y utilizar los 40 años restantes para ajustar el modelo. Luego pronosticaría los tres años de datos de prueba y mediría la métrica de evaluación de su elección entre sus predicciones y los valores reales de los últimos tres años.

Para comparar y elegir modelos, puede crear varios modelos a partir de los 40 años de datos y realizar una evaluación del conjunto de pruebas en cada uno de ellos. Según el rendimiento de esta prueba, puede seleccionar el modelo con mejor rendimiento.

Por supuesto, si está construyendo un modelo de pronóstico a corto plazo, usar tres años de datos no tendría sentido: elegiría un período de evaluación comparable al período que realmente pronosticaría.

Validación cruzada de series temporales.

Un riesgo con la distribución de pruebas de trenes es que solo se mide en un momento dado. En el caso de datos que no son series, el conjunto de prueba generalmente se genera mediante una selección aleatoria de puntos de datos. Sin embargo, en series temporales esto no funciona en muchos casos: cuando se utilizan secuencias, no se puede eliminar un punto de la secuencia y seguir esperando que el modelo funcione.

Por lo tanto, es mejor aplicar distribuciones de pruebas de trenes de series temporales seleccionando el período final como conjunto de pruebas. El riesgo aquí es que podría salir mal si tu último período no es muy confiable. Durante los últimos períodos de la covid, podemos imaginar que muchas previsiones económicas se han deteriorado por completo: las tendencias subyacentes han cambiado.

La validación cruzada es un método que realiza evaluaciones repetidas de las pruebas de trenes. En lugar de dividir una prueba de tren, crea varias (el número exacto es un parámetro definido por el usuario). Por ejemplo, si utiliza una validación cruzada triple, dividirá su conjunto de datos en tres partes iguales. Luego ajustará el mismo modelo tres veces en dos tercios del conjunto de datos y utilizará el otro tercio para la evaluación. En última instancia, tiene tres puntajes de evaluación (cada uno en un conjunto diferente de pruebas) y puede usar el promedio como medida final.

Al hacer esto, evita seleccionar aleatoriamente un modelo que funcione en el conjunto de prueba: ahora tiene la seguridad de que funciona en múltiples conjuntos de prueba.

Sin embargo, en series temporales, no se puede aplicar una selección aleatoria para obtener múltiples conjuntos de prueba. Si hiciera esto, terminaría con secuencias a las que les faltan muchos puntos de datos.

Se puede encontrar una solución en la validación cruzada de series temporales. Lo que hace es crear múltiples conjuntos de pruebas de trenes, pero cada uno de los conjuntos de pruebas corresponde al final del período. Por ejemplo, la primera distribución de pruebas de trenes podría basarse en los primeros 10 años de datos (5 trenes, 5 pruebas). El segundo modelo se realizaría sobre los primeros 15 años de datos (10 trenes, 5 pruebas), etc. Esto puede funcionar bien, pero tiene la desventaja de que cada uno de los modelos no utiliza la misma cantidad de años en los datos de entrenamiento.

Una alternativa es hacer una división continua (siempre 5 años de entrenamiento, 5 años de prueba), pero la desventaja aquí es que nunca puedes usar más de 5 años para los datos de entrenamiento.

Experimentos sobre modelos de series temporales.

En conclusión, a la hora de seleccionar modelos de series temporales, es fundamental definir las siguientes cuestiones antes de empezar a experimentar:

• ¿Qué métrica utilizas?
• ¿Para qué período quieres planificar?
• ¿Cómo se asegura de que su modelo funcione en puntos de datos futuros que el modelo no ha visto?

Una vez que tenga la respuesta a las preguntas anteriores, puede comenzar a probar diferentes modelos y utilizar la estrategia de evaluación definida para seleccionar y mejorar modelos.