Roc spanish

54
Entender la característica de funcionamiento relativa Simon J. Mason International Research Institute for Climate and Society

Transcript of Roc spanish

Page 1: Roc spanish

Entender la característica de funcionamiento relativa

Simon J. Mason

International Research Institute for Climate and Society

Page 2: Roc spanish

QUE?El WMO incluye caracteristicas relativas operacionales (ROC) como parte de su sistema estandarizado de verificacio (SVS).

El nombre incomprensible no significa intimidacion! El nombre fue heredado de la teoria de descubrimiento o identificacion.La maioria de los meteorogolos se refieren a ella como ROC simplemente.

El ROC se usa para medir que tan buenos son los pronosticos, pero la misma o es una medida sencilla de prognostico de abilidad como la correlacion, sino que se presenta generalmente gratificante.

Page 3: Roc spanish

¿Por qué?El ROC fue seleccionado como parte del SVS del WMO por muchas rezones, incluyendo las siguientes characteristicas:

1. Se puede utilizar con pronosticos determinantes y de probabilidad.

2. Fue disenado para medir que tan buenos son los pronosticos en el contexto de un modelo muy simple al tomar decisiones determinantes, y por lo tanto es mas conveniente para medir que tan buenos son los prognosticos desde la perspectiva del usuario en comparacion con otras medidas comunmente usadas.

3. Reconoce que la calidad del pronostico no puede ser medida por un simple numero.

Page 4: Roc spanish

¿Cuándo?

El ROC funciona con incognitas binarias. Incognitas binarias son preguntas que tienen respuestas "si" /"no" Por ejemplo:Llovera esta tarde?Estara caliente manana?Producira tornados esta tormenta?

Por supuesto, la Segunda y tercera pregunta tienen que ser definidas exactamente: "Caliente" podria ser definida como "mayor de 30o C," "inusualmente humedo" podria significar "mas de 500 mm de lluvia.

Page 5: Roc spanish

Forecast says event will happen? Event happens? Yes No

Yes Hit Miss

No False Alarm Correct Rejection

As cajas amarillas son pronosticos correctos, las cajas azules son pronosticos incorrectos.

Como veremos posteriormente, el pronostico no tiene que ser expresado con un simple "si" o "no," pero la respuesta si tiene que ser un simple "si"o "no." Si los pronosticos son expresados como ( o convertidos a) "si" o "no," la verificacion es simple:

Page 6: Roc spanish

Como? Forecast says event will happen?

Event happens? Yes No

Yes Hit Miss No False Alarm Correct Rejection

El ROC plantea las siguientes preguntas:1. Para cuantos de los no-acontecimientos las

advertenciasfueron proporcionadas incorrectamente?

2. Para cuantos de los acontecimientos las advertencies fueron proporcionadas corretamente?

Page 7: Roc spanish

La major manera de ilustrar es por medio de un juego.

Page 8: Roc spanish

A Usted le sera mostrado un arreglo de 120 azulejos de Mahjong organizados en 8 filas numeradas y 15 columnas (A-O). Usted tendra un minuto pararecordar las posiciones de 12 "wind" azulejos. Ellos son los unicos azulejos que se distinguen por sus characters Chinos, negros, y grandes (mostrados en el lado opuesto). Hay 3 de cada uno, pero no se preocupe por distinguir entre los azulejos, solo trate de recordar las 12 posiciones. Trate de recordar el mayor numero possible. La mayoria de la gente recordaran unos cuantos.

Page 9: Roc spanish

Por ejemplo, en el subconjunto abajo hay 3 azulejos del viento; están en C1, B3, y G3.

Page 10: Roc spanish

1. Muy confidente (usted recuerda esta localización claramente);

2. Bastante confidente (usted piensa que hay un azulejo del viento aquí, pero puede estar en una localización vecina);

3. Levemente confidente (usted piensa que puede haber un azulejo del viento en alguna parte cerca aquí);

4. Apenas conjeturando (usted piensa que puede haber localizado del azulejo que espera arbitrariamente,hay conseguido por suerte).

Usted debe también indicar cómo estas confidente y se ha recordado la localización correctamente. Utilice las categorías siguientes:

Page 11: Roc spanish

Si usted no puede recordar los 12, intento que enumera un racimo de las localizaciones para ésos usted no es totalmente seguro alrededor. Por ejemplo, si usted piensa hay un azulejo del viento en alguna parte en el centro de la fila 1 pero no puede recordar la columna exacta, enumera el que usted piensa es primer correctos, y después enumerar localizaciones cualquier lado. Proceda solamente cuándo usted es listo para la prueba.

Page 12: Roc spanish

¡no más de tiempo!

Page 13: Roc spanish

Ahora anote las 12 localizaciones como usted las recuerda, e indique su nivel de confianza (1-4). Utilice las referencias de la rejilla abajo.

GRID CONFIDENCE 1 2 3 4 5 6 7 8 9 10 11 12

Page 14: Roc spanish

Usted debe ahora tener una lista de 12 localizaciones con indicaciones en cómo es confidente y se las localizaciones están correctas. Una vez que usted sea feliz con sus respuestas, y haya indicado su nivel de confianza apropiadamente, vaya a continuación y compruebe contra las respuestas en la diapositiva siguiente.

Page 15: Roc spanish
Page 16: Roc spanish

The 12 correct locations are:

A8 C7 D4 E1 E4 H8 I2 K3 L2 L5 L7 M4Cuente el número que usted consiguió derecho e incorrecto para cada nivel de confianza, y después calcule los totales. Por ejemplo, las cuentas del dr Xs eran como sigue:

VERY

CONFIDENT

FAIRLY

CONFIDENT

SLIGHTLY

CONFIDENT

JUST

GUESSING

ALL

CORRECT

4

2

1

0

7

INCORRECT

1

1

2

1

5

Page 17: Roc spanish

VERY

CONFIDENT

CORRECT

4 out of 12 = 33.3%

INCORRECT

1 out of 108 = 0.9%

En el ejemplo, mirando primero solamente las localizaciones que el dr X era muy confidente alrededor, 4 localizaciones esté correcto. Puesto que hay 12 azulejos del viento en total, las localizaciones de el 33% de los azulejos del viento fueron identificadas correctamente. El dr X es tan muy confidente sobre las localizaciones de el 33% de los azulejos del viento.

Pero una localización es incorrecta. Hay 108 azulejos del no-viento, y así que 0,9% de los azulejos del no-viento fueron escogidos erróneamente. El dr X es muy confidente que 0,9% de los azulejos del no-viento son azulejos del viento.

Page 18: Roc spanish

La mayoría de la gente podría conseguir más de los azulejos del viento si ella incluye las localizaciones que esta bastante confidente alrededor. En el ejemplo, ahora hay las localizaciones 4+2=6 correctas, así que las localizaciones de el 50% de los azulejos del viento fueron identificadas correctamente. Pero las localizaciones 1+1=2 son incorrectas, así que 1,9% de los azulejos del no-viento fue escogido erróneamente.

VERY

CONFIDENT

FAIRLY

CONFIDENT

CORRECT

4 out of 12 = 33.3%

4+2=6 6 out of 12 = 50.0%

INCORRECT

1 out of 108 = 0.9%

1+1=2 2 out of 108

= 1.9%

Page 19: Roc spanish

Semejantemente usted puede poder conseguir aún más de los azulejos del viento si incluimos las localizaciones que usted era levemente confidente alrededor, y de ésos para los cuales usted era el conjeturar justo. Sin embargo, como comenzamos a incluir las localizaciones para las cuales usted es menos confidente, el número de las localizaciones escogidas incorrectamente es probable aumentar. La proporción de azulejos del viento escogió tan correctamente aumentos como la confianza disminuye, pero tan también hace la proporción de azulejos del no-viento escogidos incorrectamente.

Page 20: Roc spanish

Calcule la proporción correcta e incorrecta en todos los niveles de la confianza.

Su tabla debe mirar algo como el siguiente

VERY

CONFIDENT

FAIRLY

CONFIDENT

SLIGHTLY

CONFIDENT

JUST GUESSING

CORRECT

4 out of 12 = 33.3%

4+2=6 6 out of 12 = 50.0%

4+2+1=7 7 out of 12 = 58.3%

4+2+1+0=7 7 out of 12 = 58.3%

INCORRECT

1 out of 108 = 0.8%

1+1=2 2 out of 108

= 1.9%

1+1+2=4 4 out of 108

= 3.7%

1+1+2+1=5 5 out of 108

= 4.6%

Podemos trazar estos puntos en un gráfico…

Page 21: Roc spanish

VERY FAIRLY SLIGHTLY JUSTCONFIDENT CONFIDENT CONFIDENT GUESSING

CORRECT 0.333 0.500 0.583 0.583INCORRECT 0.009 0.019 0.037 0.046

Mahjong Memory Game Scores

0.00

0.20

0.40

0.60

0.80

1.00

0.00 0.02 0.04 0.06 0.08 0.10

Proportion of non-wind tiles picked incorrectly

Prop

ortio

n of

win

d til

es p

icke

d co

rrec

tly

Page 22: Roc spanish

¡Felicitaciones!!

¡Usted acaba de dibujar (parte de) un gráfico de ROC!

Antes de que intentemos tener más sentido del gráfico intentemos resolverse cómo es bueno es su cuenta.

Page 23: Roc spanish

¿Cómo podemos determinarnos cómo esta buena su cuenta? Una forma es comparar su cuenta con las cuentas de la gente que no había sido dada una oportunidad de memorizar las localizaciones de los azulejos. Esta gente habría tenido que conjeturar todas las localizaciones.

Enumeran a la gente que conjetura también localizaciones de la lista 12, pero todos como conjetura.Consideremos cuántas localizaciones ella es probable conseguir correcta.

Page 24: Roc spanish

Hay 12 azulejos del viento y 120 azulejos en total:

los tan 10% de los azulejos son azulejos del viento.

¿Hay 108 = 120? 12 azulejos del no-viento:

los tan 90% de los azulejos son azulejos del no-viento.

12 10%120

120 12 108 90%120 120

Page 25: Roc spanish

Alguna de la gente que conjetura será afortunada y conseguirá un número grande correcto, pero otras serán desafortunadas y conseguirán poco correcto. Asumiendo tenemos porciones de conjeturar de la gente, podríamos hacer un promedio de sus cuentas.

NUMBER OF GUESSES

AVERAGE CORRECT

AVERAGE INCORRECT

1 0.1 0.9 2 0.2 1.8 3 0.3 2.7 4 0.4 3.6 5 0.5 4.5 6 0.6 5.4 7 0.7 6.3 8 0.8 7.2 9 0.9 8.1 10 1.0 9.0 11 1.1 9.9 12 1.2 10.8

En promedio el 10% de las localizaciones estarán correcto, y el 90% incorrecto. Tan para cualquier número de conjeturas podemos calcular las cuentas medias.

Page 26: Roc spanish

NUMBER OF GUESSES

AVERAGE CORRECT

AVERAGE INCORRECT

1 0.1 out of 12

= 0.8% 0.9 out of 108

= 0.8%

2 0.2 out of 12

= 1.7% 1.8 out of 108

= 1.7%

3 0.3 out of 12

= 2.5% 2.7 out of 108

= 2.5%

4 0.4 out of 12

= 3.3% 3.6 out of 108

= 3.3%

5 0.5 out of 12

= 4.2% 4.5 out of 108

= 4.2%

6 0.6 out of 12

= 5.0% 5.4 out of 108

= 5.0%

7 0.7 out of 12

= 5.8% 6.3 out of 108

= 5.8%

8 0.8 out of 12

= 6.7% 7.2 out of 108

= 6.7%

9 0.9 out of 12

= 7.5% 8.1 out of 108

= 7.5%

10 1.0 out of 12

= 8.3% 9.0 out of 108

= 8.3%

11 1.1 out of 12

= 9.2% 9.9 out of 108

= 9.2%

12 1.2 out of 12

= 10.0% 10.8 out of 108

= 10.0%

El porcentaje de los azulejos del viento conjeturaba correctamente, y de los azulejos del no-viento conjeturado incorrectamente, es igual.

Agreguemos estas cuentas al gráfico.

Page 27: Roc spanish

La línea para cualquier número de conjeturas se demuestra, pero las marcas se demuestran solamente para la comparación directa con las cuentas del ejemplo.

Page 28: Roc spanish

Las cuentas de la memoria son mejores que conjeturando si hay más azulejos del viento y pocos azulejos del no-viento seleccionados, es decir más de las localizaciones se identifican correctamente que se conjeturan correctamente.

En el ejemplo, 5 azulejos eran?very marcado confidente?, y 4 de éstos estaban correctos. En promedio, solamente 0,5 azulejos estarían correctos conjeturando, así que la memoria del dr X es buena.

En el gráfico, una buena memoria demostraría puntos a la izquierda y sobre la línea para las conjeturas.

Más adelante en nosotros consideraremos la cuestión de cuánto mejor que conjeturando sus cuentas sea. Pero ahora déjenos se aplican qué se ha aprendido a algunos pronósticos del clima.

Page 29: Roc spanish

En el ejemplo de Mahjong le dieron 12 ocasiones de señalar a las localizaciones de 12 azulejos del viento de un total de 120 azulejos. Usted podía utilizar su memoria para mejorar en conjeturar, y podíamos identificar si su memoria mejoró sobre conjeturas.

Esta clase de problema es muy común, tan ahora nos dejó tomar un ejemplo climatológico equivalente…

Page 30: Roc spanish

Esta vez tenemos 30 años de pronósticos de la precipitación, y el problema es identificar los 10 años “secos” sobre el período de 30 años. El problema es similar al juego de Mahjong, pero con las diferencias siguientes:

30 años en vez de 120 azulejos10 años secos en vez de 12 azulejos del viento20 años no-secos en vez de 108 azulejos del no-viento

No tenemos acceso a los datos de la precipitación, y así que no podemos memorizar los años.En lugar utilizaremos los pronósticos para seleccionar el años.

Page 31: Roc spanish

El acercamiento más lógico es utilizar el pronóstico para la menos precipitación (1984 en 0,530) como nuestra indicación más probable de un año seco, el pronóstico para el segundo menos precipitación (1963 en 0,729) como nuestro segundo probable, y el pronóstico para el tercero menos precipitación (1966 en 0,796) como nuestro tercero muy probablemente...

Year Forecast Year Forecast Year Forecast 1961 1.279 1971 0.872 1981 1.023 1962 1.346 1972 0.886 1982 1.060 1963 0.729 1973 1.134 1983 1.221 1964 1.084 1974 1.071 1984 0.530 1965 0.821 1975 0.850 1985 1.042 1966 0.796 1976 0.933 1986 1.120 1967 0.882 1977 0.884 1987 1.002 1968 0.844 1978 1.025 1988 0.928 1969 0.972 1979 1.039 1989 1.025 1970 1.216 1980 1.032 1990 1.223

Page 32: Roc spanish

Podríamos continuar enumerando todos los años en orden de cómo es confidente somos que cada año es uno de los 10 años “secos”. ¿Seríamos los más confidentes que 1984 es “seco” y lo más menos posible confidente que 1962 es “seco”.

Rank Year Forecast Rank Year Forecast Rank Year Forecast 1 1984 0.530 11 1988 0.928 21 1982 1.060 2 1963 0.729 12 1976 0.933 22 1974 1.071 3 1966 0.796 13 1969 0.972 23 1964 1.084 4 1965 0.821 14 1987 1.002 24 1986 1.120 5 1968 0.844 15 1981 1.023 25 1973 1.134 6 1975 0.850 16 1989 1.025 26 1970 1.216 7 1971 0.872 17 1978 1.025 27 1983 1.221 8 1967 0.882 18 1980 1.032 28 1990 1.223 9 1977 0.884 19 1979 1.039 29 1961 1.279 10 1972 0.886 20 1985 1.042 30 1962 1.346

Page 33: Roc spanish

Los años realmente “secos” se destacan arriba. Calculemos una tabla de la cuenta de la misma manera que para el juego de la memoria. Utilizaremos a cada fila como nivel que disminuye de la confianza.

Rank Year Forecast Rank Year Forecast Rank Year Forecast 1 1984 0.530 11 1988 0.928 21 1982 1.060 2 1963 0.729 12 1976 0.933 22 1974 1.071 3 1966 0.796 13 1969 0.972 23 1964 1.084 4 1965 0.821 14 1987 1.002 24 1986 1.120 5 1968 0.844 15 1981 1.023 25 1973 1.134 6 1975 0.850 16 1989 1.025 26 1970 1.216 7 1971 0.872 17 1978 1.025 27 1983 1.221 8 1967 0.882 18 1980 1.032 28 1990 1.223 9 1977 0.884 19 1979 1.039 29 1961 1.279 10 1972 0.886 20 1985 1.042 30 1962 1.346

Page 34: Roc spanish

Rank Year Correct Incorrect Rank Year Correct Incorrect 1 1984 10% 0% 16 1989 70% 45% 2 1963 10% 5% 17 1978 70% 50% 3 1966 10% 10% 18 1980 70% 55% 4 1965 20% 10% 19 1979 70% 60% 5 1968 20% 15% 20 1985 70% 65% 6 1975 30% 15% 21 1982 70% 70% 7 1971 40% 15% 22 1974 70% 75% 8 1967 40% 20% 23 1964 70% 80% 9 1977 40% 25% 24 1986 70% 85% 10 1972 50% 25% 25 1973 80% 85% 11 1988 60% 25% 26 1970 80% 90% 12 1976 60% 30% 27 1983 90% 90% 13 1969 70% 30% 28 1990 90% 95% 14 1987 70% 35% 29 1961 100% 95% 15 1981 70% 40% 30 1962 100% 100%

Nuestra primera selección está correcta, así que hemos identificado 1 (el 10%) de los 10 años “secos” correctamente. El segundo es incorrecto, así que hemos seleccionado 1 (5%) de los 20 ”no-secos” años incorrectamente.Ahora podemos trazar estos puntos?

Page 35: Roc spanish
Page 36: Roc spanish

Podemos determinar cómo los pronósticos están buenos exactamente de la misma manera que para el juego de la memoria. Comparemos las cuentas para los pronósticos con las cuentas para la gente que no tiene ningún pronóstico disponible. Esta gente habría tenido que conjeturar todos años “secos”.

Page 37: Roc spanish

¿Allí son 10 años “secos” y 30 años en total:

tan los cerca de 33% de los años son “secos”.

Hay 20 = 30 10 años “no-secos”:

tan los cerca de 67% de los años son ”no-secos”.

10 33%30

30 10 20 67%30 30

Page 38: Roc spanish

En el promedio el cerca de 33% de los años escogidos esté correcto, y el 67% incorrecto. Tan para cualquier número de conjeturas las cuentas medias estarán:

NUMBER OF GUESSES

AVERAGE CORRECT

AVERAGE INCORRECT

1 1 33% = 0.33 0.33 out of 10

= 3.3%

1 67% = 0.67 0.67 out of 20

= 3.3%

2 2 33% = 0.67 0.67 out of 10

= 6.7%

2 67% = 1.33 1.33 out of 20

= 6.7%

3 3 33% = 1.00 1.00 out of 10

= 10.0%

3 67% = 2.00 2.00 out of 20

= 10.0%

Y podemos agregar estas cuentas al gráfico…

Page 39: Roc spanish
Page 40: Roc spanish

Recuerde eso para que los pronósticos sean mejores que conjeturando, los pronósticos deben identificar correctamente ma's los años “secos” e identifican poco incorrectamente años “no-seco” que las conjeturas. Para los buenos pronósticos la curva estará a la izquierda y sobre la línea diagonal: aquí los pronósticos identifican una proporción grande de años “secos” mientras que escoge solamente una proporción pequeña del años “no-secos” incorrectamente.

Los pronósticos parecen ser buenos en la parte izquierda y media del gráfico solamente. ¿Qué este medio?

Page 41: Roc spanish

Considere otra vez la tabla que demuestra la orden en la cual escogimos el años “secos” . Note que la mayoría de los años “secos” son identificados por nuestras opciones más confidentes. Nuestras selecciones más confidentes eran bastante acertadas.

Rank Year Correct Incorrect Rank Year Correct Incorrect 1 1984 10% 0% 16 1989 70% 45% 2 1963 10% 5% 17 1978 70% 50% 3 1966 10% 10% 18 1980 70% 55% 4 1965 20% 10% 19 1979 70% 60% 5 1968 20% 15% 20 1985 70% 65% 6 1975 30% 15% 21 1982 70% 70% 7 1971 40% 15% 22 1974 70% 75% 8 1967 40% 20% 23 1964 70% 80% 9 1977 40% 25% 24 1986 70% 85% 10 1972 50% 25% 25 1973 80% 85% 11 1988 60% 25% 26 1970 80% 90% 12 1976 60% 30% 27 1983 90% 90% 13 1969 70% 30% 28 1990 90% 95% 14 1987 70% 35% 29 1961 100% 95% 15 1981 70% 40% 30 1962 100% 100%

Page 42: Roc spanish

Sin embargo, después alrededor de la décimotercero selección, los pronósticos no proporcionan la dirección útil para identificar más del años “secos”.

Rank Year Correct Incorrect Rank Year Correct Incorrect 1 1984 10% 0% 16 1989 70% 45% 2 1963 10% 5% 17 1978 70% 50% 3 1966 10% 10% 18 1980 70% 55% 4 1965 20% 10% 19 1979 70% 60% 5 1968 20% 15% 20 1985 70% 65% 6 1975 30% 15% 21 1982 70% 70% 7 1971 40% 15% 22 1974 70% 75% 8 1967 40% 20% 23 1964 70% 80% 9 1977 40% 25% 24 1986 70% 85% 10 1972 50% 25% 25 1973 80% 85% 11 1988 60% 25% 26 1970 80% 90% 12 1976 60% 30% 27 1983 90% 90% 13 1969 70% 30% 28 1990 90% 95% 14 1987 70% 35% 29 1961 100% 95% 15 1981 70% 40% 30 1962 100% 100%

Page 43: Roc spanish

Podemos dibujar la conclusión siguiente del gráfico de ROC:

Cuándo el pronóstico sugiere que las condiciones vayan a ser secas nosotros puedan ser razonablemente confidentes que “secos” las condiciones ocurrirán.Sin embargo, cuando el pronóstico sugiere que las condiciones vayan a ser normales o mojadas no podemos hacer declaración útil sobre la probabilidad de condiciones “secas”.

Page 44: Roc spanish

La correlación entre haber observado y la precipitación del pronóstico es 0,044. De acuerdo con la correlación, no haríamos caso normalmente de estos pronósticos, pero el gráfico de ROC sugiere que puedan ser útiles en el pronóstico condiciones “secas”.

¿El gráfico de ROC indica que los pronósticos son mejores que conjeturas, pero por cuánto?

Page 45: Roc spanish

Podemos utilizar un fórmula especial, conocido como la ecuación hipergeométrica, para calcular la ocasión alguien que conjetura el mismo número de años “secos” como pronosticamos correctamente.

number of dry years number of non-dry yearsnumber of correct warnings number of incorrect warnings

chancenumber of years

number of warnings

Esta ecuación está disponible como función en paquetes tales como MS sobresale (HYPGEOMDIST).

Page 46: Roc spanish

Utilizar esta ecuación para calcular cómo es bueno son los pronósticos, debemos primero elegimos a que los años vamos a tratar como pronósticos de condiciones “secas”.Publiquemos una advertencia de condiciones “secas” cuando el pronóstico es menos de 1,0.Los años realmente “secos”están marcados en azul marino.

Year Forecast Year Forecast Year Forecast 1961 1.279 1971 0.872 1981 1.023 1962 1.346 1972 0.886 1982 1.060 1963 0.729 1973 1.134 1983 1.221 1964 1.084 1974 1.071 1984 0.530 1965 0.821 1975 0.850 1985 1.042 1966 0.796 1976 0.933 1986 1.120 1967 0.882 1977 0.884 1987 1.002 1968 0.844 1978 1.025 1988 0.928 1969 0.972 1979 1.039 1989 1.025 1970 1.216 1980 1.032 1990 1.223

Page 47: Roc spanish

Ahora podemos definir los términos individuales de la ecuación:

número de años secos = 10número de años no-secos = 20número de años = 30número de advertencias correctas = 7número de advertencias incorrectas = 6número de advertencias = 13

number of dry years number of non-dry yearsnumber of correct warnings number of incorrect warnings

chancenumber of years

number of warnings

Page 48: Roc spanish

El resultado nos dice que solamente cerca de 3,9% de la gente que tenía 13 tentativas de conjeturar los 10 años “secos” conseguirían 7 de los años correctos.Pero el resultado solamente nos dice las ocasiones alguien que consigue exactamente el mismo número correcto conjeturando que conseguimos con los pronósticos. Alguna gente podría conseguir más de 7 correctos conjeturando.

Page 49: Roc spanish

Porque alguna de la gente que está conjeturando puramente puede tener más de 7 años de correcto, debemos contar éstos también. Necesitamos tan calcular las ocasiones alguien que hace así como, o mejoramos que, nuestros pronósticos apenas conjeturando.

Las ocasiones de conseguir 8, 9, o 10 conjeturando son cerca de 0,58%, 0,02%, y 0,0004% respectivamente. Adición de éstos, de las ocasiones de 7 que conjeturan o más del los años “secos” son cerca de 4,5%.

Page 50: Roc spanish

Por supuesto, conseguiríamos una diversa respuesta si utilizamos un diverso criterio para decidir cuando publicar una advertencia. Usted debe ser cuidadoso de los muchos problemas en la ejecución de tales pruebas de la significación.

Sin embargo, el gráfico de ROC sugiere que estos pronósticos contengan una cierta información útil, a pesar de una correlación de cerca de cero.

Como medida sumaria del gráfico, el área debajo de la curva de ROC se calcula con frecuencia…

Page 51: Roc spanish

El área debajo de la línea que conjetura es 0,5, y así que un área mayor de 0,5 sugiere que los pronósticos sean buenos. El área debajo del gráfico para nuestros pronósticos es 0,61. ¿Qué este medio?

Page 52: Roc spanish

El área debajo del gráfico nos dice la probabilidad esa el pronóstico para un año “seco” es más que el pronóstico para un año “non-seco”.

Si nos dieron un pronóstico para uno año “seco” y para uno año “non-seco”, identificaríamos el año “seco” correctamente el 61% del tiempo.

En la práctica, esta información no es muy provechosa al usuario. Sin embargo, el gráfico en su totalidad debe ser muy informativo al previsionista.

Page 53: Roc spanish

FeedbackPara supervisar la utilidad de este curso, y llevar a cabo revisiones y mejoras, podían usted remitir por favor cualquier comentario o sugerencias.

Dr Simon J. MasonInternational Research Institute for Climate PredictionColumbia University61 Route 9 WPalisades, NY 10964-8000USA

E-mail: [email protected]

Page 54: Roc spanish

Lecturas recomendadas

• Murphy, A. H., 1993: What is a good forecast? An essay on the nature of goodness in weather forecasting. Weather and Forecasting, 8, 281–293.

• Wilks, D. S., 1995: Statistical Methods in the Atmospheric Sciences, Academic Press, San Diego. Chapter 7, Forecast verification, pp 233–283.

• Mason, S. J., and N. E. Graham, 1999: Conditional probabilities, relative operating characteristics, and relative operating levels. Weather Forecasting, 14, 713–725.

• Mason, S. J., and N. E. Graham, 2002: Areas beneath the relative operating characteristics (ROC), and levels (ROL) curves: statistical significance and interpretation. Quarterly Journal of the Royal Meteorological Society, 128, 2145–2166.