Para saber si tus probabilidades están bien calibradas, agrupa muchos pronósticos por tramos y compara la probabilidad que diste con la frecuencia real. Si lo que estimas cerca de 70% se cumple cerca del 70% de las veces, estás calibrado; si se cumple bastante menos, hay exceso de confianza o ruido.
Con un solo caso es imposible saberlo. Le das un 70% a un resultado, no se cumple, y eso no prueba nada. La calibración mira el conjunto.
Qué significa estar calibrado
Tus probabilidades están calibradas cuando los resultados a los que les das un 70% ocurren cerca del 70% de las veces. Lo mismo vale para el 50%, el 30% o cualquier otro valor.
No es lo mismo que acertar mucho. Alguien puede acertar poco y estar bien calibrado, si pronostica resultados difíciles y les asigna probabilidades bajas.
Cómo medirla paso a paso
- Anota en tu registro de pronósticos la probabilidad que estimaste para cada uno, además de la cuota.
- Agrupa los pronósticos en tramos, por ejemplo de 25% a 35%, de 45% a 55% y de 65% a 75%.
- En cada tramo, cuenta cuántos se cumplieron y calcula el porcentaje.
- Compara ese porcentaje con la probabilidad promedio que asignaste en el tramo.
Anota la probabilidad antes del partido, nunca después. Si la reconstruyes con el resultado ya conocido, la memoria la empuja hacia lo que pasó y la medición pierde sentido.
Tres tramos de probabilidad en una tabla
| Tramo | Pronósticos | Se cumplieron | Frecuencia real |
|---|---|---|---|
| Cerca de 70% | 40 | 24 | 60,0% |
| Cerca de 50% | 50 | 24 | 48,0% |
| Cerca de 30% | 30 | 12 | 40,0% |
El tramo del 50% calza bien. Los otros dos muestran el dibujo típico del exceso de confianza: las probabilidades altas quedaron demasiado altas y las bajas, demasiado bajas.
Dicho de otra forma, tus estimaciones se alejan del 50% más de lo que la realidad justifica. Es el sesgo de quien tiene una opinión formada sobre el partido.
Los dos dibujos posibles
| Patrón | Qué ves en los tramos | Qué significa |
|---|---|---|
| Exceso de confianza | Lo alto se cumple menos y lo bajo, más | Tus estimaciones son demasiado extremas |
| Falta de confianza | Lo alto se cumple más y lo bajo, menos | Tus estimaciones se quedan pegadas al 50% |
| Desvío en un solo tramo | Un tramo falla y los demás calzan | Puede ser un mercado o una liga puntual |
El tercer caso pide separar el registro por liga o por mercado. A veces el problema está en un solo tipo de pronóstico, como los favoritos claros o los empates.
Cuidado con el ruido
Cuarenta pronósticos siguen siendo pocos. Si la probabilidad real fuera 70%, con 40 casos el porcentaje observado podría alejarse unos 14 puntos hacia cualquier lado solo por azar, en un rango del 95%.
El 60% del ejemplo cae dentro de ese rango, así que todavía no prueba nada. Es la misma lógica de los datos que engañan cuando la muestra es chica. La señal se vuelve creíble cuando el mismo desvío se repite con cientos de pronósticos. Lo mismo vale para el margen de error del rendimiento.
Qué hacer con el resultado
Si el exceso de confianza se sostiene, acerca tus probabilidades al 50% antes de compararlas con la cuota. Si pasa lo contrario y tus extremos se quedan cortos, sepáralas un poco más.
Una forma simple de hacerlo es achicar la distancia al 50% en una proporción fija. Si la achicas al 80%, un 70% pasa a 66% y un 30% pasa a 34%. El 50% queda igual. Después de un tiempo, vuelve a medir y corrige la proporción si hace falta.
Es un ajuste simple y reduce el error de estimación. No convierte un método sin ventaja en uno con ventaja, porque la cuota sigue incluyendo el margen de la casa. Para buscar ventaja, revisa cómo aplicar el valor a una cuota.
Errores al medir la calibración
- Usar tramos tan finos que cada uno queda con cinco o seis casos.
- Mezclar pronósticos de mercados muy distintos sin separarlos después.
- Cambiar el método a mitad de camino y medir todo junto, como si fuera un solo método.
Preguntas frecuentes
¿Cada cuánto revisar la calibración de tus probabilidades?
Cuando cada tramo de probabilidad tenga una cantidad razonable de casos. Revisarla cada semana con diez pronósticos solo muestra ruido. Incluso con cuarenta pronósticos cerca del 70%, el porcentaje observado puede alejarse unos 14 puntos solo por azar. La señal se vuelve creíble cuando el desvío se repite con cientos de casos.
¿Se puede medir la calibración de alguien que publica pronósticos?
Solo si publica probabilidades además del pronóstico. Si indica solo el resultado y la cuota, puedes usar la probabilidad implícita de esa cuota como aproximación. Después agrupas sus pronósticos por tramos y comparas cuántos se cumplieron con la probabilidad asignada.
¿Qué hacer si tus probabilidades muestran exceso de confianza?
Acércalas al 50% antes de compararlas con la cuota. El exceso de confianza se ve cuando lo que estimas cerca de 70% se cumple bastante menos, y lo de 30%, bastante más. Es un ajuste simple que reduce el error, aunque no crea ventaja frente al margen de la casa.
Para la próxima previa
