Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Preparando tu análisis cuantitativo

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Al final de esta lección

estarás capaz de:

• Asegurar que tus datos estén listos para

empezar a analizar y ser reportados

• Identificar las métricas claves para

medir el impacto de tu campaña

• Desarrollar una hoja de ruta para

guiarte en los diferentes tipos de

análisis de tus datos

• Reconocer los retos y las oportunidades

mas importantes en la colecta y el

análisis de datos

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Actividad, limpiando los datos

El propósito de esta actividad es alistar tus datos para poder luego

analizarlos, identificando y removiendo todo dato erróneo o mal

ubicado.

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Actividad, son mis datos comparables entre pre y post encuestas?

Antes de generar conclusiones acerca el impacto

de mi campaña, tengo que poder confiar que los

resultados que estoy viendo son realmente debidos

al tratamiento, y no simplemente a alguna

diferencia de fondo, por ej. diferencias a nivel del

diseño de muestreo entre pre y post campaña.

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Cómo mido si mis encuestas están comparables o no?

Las variables clave para probar el carácter comparable serán específicas al sitio pero pueden incluir:

• género • nivel socioeconómico • edad• nivel educativo • tipo de residencia.

Esto se hace para el sitio meta, y para el sitio control

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Como hago esta comparación?

Antes de empezar: visualizo el análisis que quiero lograr:

Por ej., hubo diferentes cantidades de mujeres y hombres en mis dos periodos de encuesta?

Con cruces de variables socio demográficos x periodo de encuesta

Pre campaña Post campaña

Mujeres

Hombres

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Pasos en Surveypro

Paso 1: defino la variable independiente

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Pasos en Surveypro

Paso 2: defino con qué se cruza: siempre periodo de encuesta

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Pasos en Surveypro

Paso 3: veo qué me dice chi cuadrado

Problema: X2 = 99%, diferencias altamente significantes = proporciones de

mujeres y hombres entre pre y post encuestas no son iguales = pre y post no comparables

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Solución posible 1: filtrar por sitio meta

En esta tabla anterior chi cuadrado esta midiendo TODOS los datos para ver donde hay diferencia significante.

Procura ser más específico en el análisis, aislando solo los datos de sitio tratamiento por ejemplo

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Nivel de significancia más baja…pero aún significante!

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Solución posible 2: añadir otro filtro, por audiencia meta

1

23

4

5

67

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Añadiendo el filtro para solo una audiencia…

Solucionado! X2 < 95%, diferencias no son significantes: datos género pre y

post son comparables en sitio meta para propietarios

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Qué pasa si algunos datos persisten en no ser comparables?

Ya no aguanto

!

Diferencias pequeñas (< 10 pp) para algunos variables = pasable. Proceder con resto del analisis y reflejar estas diferencias en el informe.

Diferencias moderadas (10 – 20 pp) o grandes (> 20 pp) para algunos variables = aplicar filtros para los análisis.

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Manos a la obra:verifico la comparibilidad entre mis encuestas

1. Trabajar en Surveypro realizando los cruces

2. Las tablas de resultados aparecen en el “Custom

Report”

3. Colocar los resultados de las tablas de una vez

en el informe de aprendizaje de campaña (Tabla

“comparibilidad de las encuestas”, p. 14)

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Variable Nivel Pre-campaña

Nivel Post-campaña

Diferencia (Post-Pre)

Significancia de la Chi-cuadrada

(X2)

Tipo de residencia

GéneroMujeres 40%Hombres 60%

Mujeres 46%Hombres 54%

Mujeres 6 ppHombres – 6 pp No sig

Grupo de edad

Educación formal

Religión

¿Otros?

Variables independientes para evaluar la comparabilidad de las encuestas

Hacer por cada audiencia.

No olvidar filtrar por sitio (meta / control)

Dónde van los datos de comparabilidad?

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Viernes 25 Noviembre

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Tus datos están listos. Y ahora?

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Qué quieres aprender con tus datos?

Es muy tentador de largarse de una vez a

Surveypro y realizar montones de cruces y

filtros, queriendo contestar estos tipos de

preguntas:

• Subieron los niveles de conocimiento?! (Ay si no, me tiro de la

ventana…!)

• Hubo algún cambio de comportamiento?! (Ay diosito, ojalá que si!)

• Cumplí con mis objetivos SMART?!

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

El Plan Analítico

QUÉ??!! OTRA VEZ PLANIFICANDO??!!

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Organízate!

Solo usuarios en sitio meta

Pre campaña Post campaña

Ha escuchado alguna canción que habla sobre el valor de los bosques por el agua?

Solo propietarios en sitio metaPre campaña Post campaña

Sabe de alguna amenaza que podría disminuir la calidad de agua?A) IncendiosB) GanadoC) Extra terrestresD) Los políticosE) La tala de los bosques

Usando el Plan Analítico, puedes pensar y visualizar los pasos de análisis a seguir en Surveypro

No hay que olvidar hacer el mismo análisis en sitio control para ver el impacto REAL de la campaña (pp sitio meta – pp sitio control)

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Qué voy a analizar?

Comparabilidad de las encuestas pre y post

• Exposición de las audiencias a materiales,

eventos, mensajes

• Los cambios en las métricas de los objetivos

SMART

• Otras preguntas interesantes?

• No te olvides de dar un vistazo a tus preguntas

abiertas (análisis cualitativo: busca patrones)

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Comparable

• Ya verificastes qué datos son o no son comparables entre

tus encuestas pre y post campaña

• En tu Plan Analítico podrás determinar exactamente como

vas a desarrollar el resto de tu análisis

— Si tus datos están comparables

— Para tomar en cuenta cualquier variable que NO está

comparable

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

ExposiciónCómo varió el nivel de exposición de cada material o evento según

audiencia meta?

Puedes repetir este analisis para ver exposición de materiales según

edades, género, nivel de educación, etc.

Sitio Meta Sitio controlAudiencia 1 Audiencia 2 Audiencia 1 Audiencia 2

Spot radio 13% 73% 14% 33%Festival de barrio

7% 47% 0% 8%

Títeres 0% 13% 0% 0%

Procedimiento: pregunta exposición x audiencia filtrando por sitio

PREGUNTA: existe alguna potencial trampa en la forma de interpretar estos resultados?

Si hubo contaminación de mensajes de campaña en sitio control, el sitio control ya no vale como tal!

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Los “falsos positivos”: exposición pre vs post

Metodo: cruce de la pregunta pertinente con periodo de encuestas, filtrando por sitio.

Conclusión: Hubo falso positivo pero también un aumento altamente significante de 61 – 36 = 25 puntos porcentuales de la gente en sitio meta que se han enterado del tema de deforestación y escasez de agua a través del afiche de la campaña.

Mis audiencia(s) meta reportaron haber visto el afiche de campaña antes de que éste existiera?

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

A donde terminan los resultados de exposición?

En el informe de aprendizaje de campaña, sección 3:

Actividad Audiencia meta 1 (% pos-campaña)

Audiencia meta 2

(% pos-campaña)

Audiencia meta 3 (% pos-campaña)

Total % de pos-campaña (todas la

audiencias)

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Midiendo el impacto de la campaña• Recuerda que los objetivos SMART constituyen tus hipótesis

acerca el impacto de tu campaña

• Seguro que tienes preguntas acerca el impacto de tu campaña:

— Hípótesis: es una pregunta formal que se contesta con “si” o

“no”, y por lo tanto es algo que la prueba chi cuadrada puede

contestar. Pero es muy importante la redacción! Mira estas

dos variantes, cual es la diferencia entre ellas?

• H1: “Aumentó el nivel de conocimiento acerca la biodiversidad de

la isla Serena entre las encuestas pre y post campaña?”

• H2: “La campaña aumentó el nivel de conocimiento acerca la

biodiversidad de la isla Serena?”

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Para esto sirve el sitio control

Se supone que en sitio control, no habrá ninguna diferencia significativa entre pre y post

Sitio control

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Donde irán los resultados de los análisis de objetivos SMART?

Por último van como todo lo demás a las secciones relevantes de tu Informe de Aprendizaje de Campaña, pero primero irán a la plantilla Datos de Encuestas de Campaña:

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Qué otras preguntas?

Ejemplo

• Profundiza con preguntas específicas basadas en tus

observaciones, hipótesis, o resultados previos:

— H1: Los niveles de comunicación interpersonal aumentaron

más entre mujeres en cuenca baja que en cuenca alta.

(Sospechas que el conjunto de materiales llegaron a ellas

mejor)

— Pregunta: El indicador de comunicación interpersonal en mi

objetivo SMART aumentó más entre mujeres en cuenca alta o

cuenca baja?

• Identificar los pasos a seguir para el análisis en Surveypro

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Actividad, desarrollo del Plan Analítico

1. Revisa la plantilla del Plan Analítico y la Plantilla de Datos de

Encuesta

2. Piensa en las preguntas más obvias que te interesan contestar

con los datos de encuesta

3. Llena tu propio Plan Analítico en base a estos pensamientos

4. Identifica potenciales retos o dificultades, organízate

Preparing Data for Analysis- Preparing your Quantitative Data for Analysis and Reporting

Ahora deberías estar:

• Con datos listos para empezar a

analizar y ser reportados

• Listo para empezar a identificar las

métricas claves para medir el impacto

de tu campaña

• Listo para desarrollar una hoja de ruta

para guiarte en los diferentes tipos de

análisis de tus datos (Plan Analítico)

• Empezando a reconocer los retos y las

oportunidades mas importantes en la

colecta y el análisis de datos