Documento de trabajo del proyecto, publicado tal como se mantiene. Las rutas de archivos que aparecen en el texto se refieren al repositorio interno del proyecto.
Qué tan bien ha pronosticado este proyecto, medido contra lo que efectivamente ocurrió. Fase 2 de la auditoría, cerrada el 29 de julio de 2026.
El resultado principal es adverso y se publica tal cual: en el tramo evaluable, el modelo pierde contra la caminata aleatoria por un factor de 2,4 y sus probabilidades son peores que la climatología. El encargo de esta auditoría lo previó explícitamente —«si el modelo no le gana a la caminata aleatoria a 30 días, eso se publica igual»— y esto es el cumplimiento de esa regla.
De dónde salen los datos
Cada versión publicada de la nota trae dos tablas de previsión: los cuantiles del precio en bomba y las probabilidades de rebasar umbral, ambas con su horizonte. Recorriendo el historial del fichero publicado se recupera el pronóstico tal como lo leyó el público en cada fecha, sin posibilidad de retocarlo a posteriori.
| Versiones publicadas recorridas | 79 |
| Versiones sin captura | 0 |
| Registros extraídos | 4.606 |
| — cuantiles | 553 |
| — probabilidades de umbral | 4.053 |
| Rango de ciclos | 7 abr – 10 jul de 2026 |
Fecha objetivo. Desde mayo las tablas la imprimen («1 mes (5 ago)»). Las de abril no, y en esas se deriva del horizonte nominal contado desde la fecha del ciclo. Son el 28,7% de los registros y van marcados en el CSV con objetivo_inferido = 1, para que cualquiera pueda excluirlos.
Verificación manual. Se contrastaron a mano cuatro extracciones contra el HTML original —cuantiles y umbrales del ciclo del 10 de julio, umbrales del 7 de abril con fecha inferida, y un horizonte de seis meses que cruza a 2027—. Las cuatro coinciden dígito a dígito.
Contra qué se evalúa. El precio en bomba realizado (mediana de marcas de DACO), 57 observaciones entre el 7 de marzo y el 24 de julio, emparejadas con tolerancia de ±3 días. Quedan 2.121 pronósticos evaluables (258 cuantiles y 1.863 umbrales) con horizontes efectivos de 7 a 91 días.
1. Las probabilidades de umbral
Puntaje de Brier con descomposición de Murphy, sobre 1.863 pares (probabilidad publicada, resultado observado). La frecuencia base de rebasar umbral en la muestra es del 9,4%.
| Componente | Valor |
|---|---|
| Brier | 0,1915 |
| Fiabilidad (mejor cuanto menor) | 0,1192 |
| Resolución (mejor cuanto mayor) | 0,0138 |
| Incertidumbre | 0,0856 |
| Brier de la climatología | 0,0856 |
| Destreza sobre la climatología | −1,24 |
Una destreza negativa significa que predecir siempre la frecuencia base habría sido mejor. Aquí es de −1,24: el error cuadrático más que se duplica respecto a esa referencia trivial. El grueso viene de la fiabilidad, 0,1192 cuando lo deseable es cerca de cero.
Diagrama de fiabilidad
| Probabilidad anunciada | Casos | Media anunciada | Frecuencia observada |
|---|---|---|---|
| 0 – 10% | 552 | 3,4% | 0,0% |
| 10 – 20% | 216 | 15,1% | 0,0% |
| 20 – 30% | 163 | 25,8% | 2,5% |
| 30 – 40% | 130 | 35,3% | 1,5% |
| 40 – 50% | 100 | 45,4% | 14,0% |
| 50 – 60% | 170 | 54,9% | 8,2% |
| 60 – 70% | 116 | 66,3% | 20,7% |
| 70 – 80% | 192 | 76,0% | 24,0% |
| 80 – 90% | 154 | 85,7% | 32,5% |
| 90 – 100% | 70 | 92,3% | 31,4% |
La curva va muy por debajo de la diagonal en todo el recorrido. Cuando el proyecto anunció una probabilidad del 92%, el suceso ocurrió el 31% de las veces. Sobrepredicción sistemática, no ruido.
El único tramo con destreza positiva es el más corto: a 9 y 14 días la destreza es de 0,14 y 0,20. A partir de 26 días pasa a negativa.
2. Los cuantiles
Sesgo por horizonte
Sesgo medio = realizado − mediana proyectada. Se muestran los horizontes con al menos 20 observaciones:
| Horizonte | Días | N | EAM (ch/L) | Sesgo |
|---|---|---|---|---|
| 2 semanas | 9 | 28 | 8,80 | −5,78 |
| 2 semanas | 14 | 34 | 9,96 | −9,96 |
| 1 mes | 26 | 26 | 17,21 | −16,07 |
| 1 mes | 30 | 38 | 14,39 | −14,31 |
| 2 meses | 61 | 35 | 30,21 | −30,21 |
| 3 meses | 91 | 35 | 26,54 | −26,54 |
El sesgo es negativo en todos los horizontes y crece con la distancia: de casi seis chavos por litro a dos semanas hasta treinta a dos meses. El precio realizado quedó sistemáticamente por debajo de lo proyectado.
A partir de un mes, el sesgo y el error absoluto medio casi coinciden, lo que significa que el error no cambia de signo prácticamente nunca: no es dispersión, es desviación en una sola dirección.
Cobertura e histograma PIT
| Intervalo | Cobertura observada | Nominal |
|---|---|---|
| IC 50% | 0,298 | 0,500 |
| IC 95% | 0,965 | 0,950 |
| Quintil del PIT | Casos |
|---|---|
| 0,0 – 0,2 | 133 |
| 0,2 – 0,4 | 96 |
| 0,4 – 0,6 | 21 |
| 0,6 – 0,8 | 8 |
| 0,8 – 1,0 | 0 |
Media del PIT: 0,225, frente al 0,500 de una distribución bien calibrada. Más de la mitad de los realizados cae en el quintil inferior de la distribución proyectada y ninguno en el superior. Que el IC 95% sí cubra es consecuencia de su amplitud, no de que esté centrado.
Pérdida pinball media sobre los cinco cuantiles: 4,82.
3. Contra las referencias tontas
Dos referencias sin modelo. Caminata aleatoria: el precio del día del ciclo vale como pronóstico a cualquier horizonte. Persistencia: se prolonga linealmente la tendencia de los catorce días previos.
| Modelo | Caminata aleatoria | Persistencia | |
|---|---|---|---|
| EAM (ch/L) | 17,67 | 7,32 | 18,28 |
| RECM | 20,42 | 8,86 | 23,74 |
La caminata aleatoria gana con holgura: menos de la mitad del error absoluto medio. La persistencia sí queda por detrás del modelo en error cuadrático, de modo que el problema no es que cualquier cosa gane, sino que la referencia más simple de todas lo hace.
Por horizonte, la caminata gana en 19 de las 25 celdas. Las seis que pierde tienen entre una y ocho observaciones. En las celdas con muestra apreciable la derrota se agranda con el horizonte:
| Horizonte | N | Modelo | Caminata |
|---|---|---|---|
| 2 semanas (9 d) | 28 | 8,80 | 5,48 |
| 2 semanas (14 d) | 34 | 9,96 | 7,05 |
| 1 mes (26 d) | 26 | 17,21 | 10,17 |
| 1 mes (30 d) | 38 | 14,39 | 12,37 |
| 2 meses (61 d) | 35 | 30,21 | 2,55 |
| 3 meses (91 d) | 35 | 26,54 | 3,74 |
A tres meses el modelo yerra siete veces más que suponer que el precio no se mueve.
Qué significa esto, y qué no
Lo que significa. Las previsiones publicadas entre abril y julio de 2026 proyectaron un precio en bomba muy por encima del que se materializó, con intervalos centrados demasiado arriba y probabilidades de rebasar umbral muy sobreestimadas. Un lector que hubiese ignorado la nota y supuesto que el precio seguiría donde estaba habría acertado más.
Esto coincide con lo que la auditoría del código encontró por separado. Las fases 1a y 1b documentaron cuatro defectos —coeficiente sin escalar a frecuencia diaria, varianza contada dos veces, serie al detal aplicada al mayorista, ancla estimada sobre media muestra— que empujaban todos al alza y que, corregidos, bajan la mediana del pico un 15,8% y estrechan el intervalo un 37,6%. El registro de calibración es la confirmación empírica, medida contra la realidad, de un diagnóstico que se hizo leyendo el código.
Lo que no significa. Tres salvedades que hay que tener presentes y que no rescatan el resultado, solo lo acotan:
- Esto evalúa el modelo con los defectos dentro. Mide lo que se publicó, no lo que se publicaría hoy. Las correcciones van justo en la dirección de reducir el sesgo medido, y cuánto lo reducen está por evaluar: hará falta acumular pronósticos con la especificación corregida.
- El período evaluado es de precio a la baja. El crudo bajó desde los máximos de mayo, y una caminata aleatoria luce bien en un mercado que revierte. En un tramo de subida sostenida la comparación sería otra. Dicho esto, el modelo proyectaba subidas que no ocurrieron: el punto no es que la caminata tuviera suerte, sino que el modelo se equivocó de dirección.
- La serie realizada es irregular —57 observaciones con emparejamiento de ±3 días— y el horizonte máximo evaluable es de tres meses. Los pronósticos a cuatro, cinco y seis meses aún no tienen contra qué medirse.
Lo que queda por hacer
- Evaluar el registro con la fecha de corte de E-9. Ese defecto sí tocaba la distribución de escenarios, y las probabilidades publicadas después del cambio de convención subestiman la cola severa mientras las de precio la sobreestiman. Los dos sesgos conviven en la misma serie.
- Rehacer la evaluación cuando haya suficientes ciclos con la especificación corregida, que es la única forma de saber si la corrección basta.
- Publicar la figura de abanico realizado —lo proyectado en cada fecha contra lo ocurrido—, que es la manera más legible de enseñar esto a un lector no técnico.
- Enlazar este documento desde la nota pública. Un registro de calibración que no ve el lector no cumple su función.
Guiones: auditoria_fase2/extraer.py (extracción), auditoria_fase2/calibracion.R (evaluación). Datos en auditoria_fase2/pronosticos.csv y resultados/calibracion.rds.