La competencia científica y su evaluación-Análisis de las pruebas estandarizadas de PISA

8/13/2019 La competencia cientfica y su evaluacin-Anlisis de las pruebas estandarizadas de PISA

1/16

Revista de Educacin, 360. Enero-abril 2013Fecha de entrada: 02-06-2010. Fecha de aceptacin: 27-04-2011

La competencia cientfica y su evaluacin.Anlisis de las pruebas estandarizadas de PISA

Scientific competence and its assessment.Analysis of PISA standardized tests DOI: 10-4438/1988-592X-RE-2011-360-127

Rafael Yus RamosManuel Fernndez NavasMonsalud Gallardo Gil

Javier Barqun RuizMara Pilar Seplveda RuizMara Jos Servn NezUniversidad de Mlaga. Facultad de Ciencias de la Educacin. Departamento de Didctica y Organizacin

Escolar. Grupo de Investigacin HUM-311. Mlaga, Espaa.

Resumen Nos centraremos en la evaluacin internacional PISA (Programme for International Student

Assessment) en el rea especfica deCiencias, entendida como competencia cientfica. El programa PISA,dirigido por la OCDE (Organizacin para la Cooperacin y Desarrollo Econmico), se basa en el anlisis delrendimiento de estudiantes a partir de pruebas estandarizadas que se realizan cada tres aos y que tienen comofin la valoracin internacional de las competencias alcanzadas por los alumnos/as de quince aos. En un primernivel de discusin, hemos realizado un anlisis de las pruebas liberadas de PISA para el rea de ciencias en losaos 2000 a 2006, tomando como matriz seis capacidades cientficas (reproduccin, aplicacin, reflexin,transferencia, heurstica y argumentacin), concluyendo que estas pruebas demandan principalmentecapacidades cientficas de baja complejidad (aplicacin y reflexin), con escasa presencia de la merareproduccin en las mismas. En un segundo nivel de discusin, hemos realizado una valoracin de la distanciaexistente entre el concepto global de competencia propuesto en el informe DeSeCo para la OCDE y lo querealmente parece evaluar el programa PISA a la luz de los resultados de nuestros anlisis. Segn nuestrainvestigacin, PISA parece atomizar la nocin de competencia, alejndose con ello de la concepcin holsticaoriginal, para evaluar nicamente capacidades que, al ser valoradas individualmente, no parecen mostrarrealmente el grado de adquisicin de competencias en la escuela por los estudiantes.

Palabras clave : Evaluacin; pruebas PISA; competencia cientfica; competencia; aprender cmo aprender.

AbstractWe will focus on the international evaluation survey PISA (Programme for International Student

Assessment) , in the specific area of science, understood as 'scientific literacy. The PISA programme, led by theOECD (Organization for Economic Cooperation and Development) analyzes student performance in standardizedtests; they are conducted every three years and are aimed at an international assessment of competencies orliteracies achieved by fifteen-year-old students all over the world. At a first level of discussion, we conducted ananalysis of the PISA released units in the science domain along the years 2000-2006, on six matrix scientificcapabilities (reproduction, implementation, reflection, transference, heuristics and argumentation); we concludethat these tests seem to require low level scientific abilities (implementation and reflection), and same way,


2/16


reproduction capability is not so much requires in the tests. At a second level of discussion, we have tried to assessthe distance between the global concept of competency proposed in the OECD DeSeCo report and what PISAreally seems to assess in the light of the results of our analysis. According to our research, PISA seems to atomizethe notion of competency, thereby moving away from its original holistic approach. When these abilities areassessed individually they do not actually seem to show the student real performance levels.

Keywords : Assessment; PISA tests; scientific competence; competence; learn how to learn.

Introduccin

El presente estudio forma parte de una investigacin del Grupo HUM-3111 del Departamento deDidctica y Organizacin Escolar de la Universidad de Mlaga, desarrollada en el marco del ProyectoI+D (ref. SEJ-2007-66967):La evaluacin educativa de los aprendizajes de segundo orden,aprender cmo aprender, anlisis de proyectos internacionales y experimentacin de estrategiasalternativas, financiado por el Ministerio de Ciencia e Innovacin (Espaa) y dirigido por D. ngelI. Prez Gmez. En el desarrollo de dicho proyecto se abord la temtica de las competencias bsicascomo un mecanismo potencial para el desarrollo de las capacidades tiles para la vida (Prez Gmez,.I., 2007), especficamente las competencias de orden superior que podran agruparse bajo elconstructo de Aprender cmo Aprender (Hargreaves, 2005). Uno de los propsitos del estudio eraanalizar el potencial de las evaluaciones externas y diagnsticas para estimar el grado de adquisicinde estas competencias, recogidas en la nueva reforma educativa espaola: la Ley Orgnica 2/2006 deEducacin (LOE) (Ministerio de Educacin, 2006). Desde este marco, se estableci el objetivo deestudiar y valorar en qu medida las pruebas del Programa de Evaluacin Internacional de Estudiantes(PISA) miden estas competencias y si de ello se pueden obtener orientaciones para la estrategia deaprender cmo aprender, en la lnea que apuntan algunos autores, como Hernndez (2006) y Gil yVlchez (2006), quienes encuentran en los informes de PISA una oportunidad estimuladora pararepensar la tarea que se lleva a cabo en los centros, al ponerse en evidencia que la escuela tiende aensear para la reproduccin, mientras que las pruebas PISA estn dirigidas a la aplicacin otransferencia de conocimientos a situaciones cotidianas. Para este objetivo, dentro del equipo deinvestigacin se establecieron grupos de trabajo especficos para cada rea curricular (como veremosen el apartado de descripcin metodolgica), de modo que en este artculo se resumen las principalesconclusiones del rea de Ciencias, es decir, la llamadacompetencia cientfica , denominada en la LOEcompetencia en el conocimiento y la interaccin con el mundo fsico.

Para contextualizar la investigacin que desarrollamos en estas pginas, comenzaremossealando brevemente el marco general de la investigacin, donde incluiremos algunas anotacionescon respecto a la teora de los tests, para pasar, seguidamente, a la descripcin del procesometodolgico y el anlisis propiamente dicho de las pruebas de PISA en el rea de Ciencias.

1 Grupo de Investigacin del PAIDI (Plan Andaluz de Investigacin, Desarrollo e Innovacin): HUM-311 , Innovacin e Investigacin educativa en Andaluca, del Departamento de Didctica y Organizacin Escolar de la Universidad deMlaga, dirigido por ngel I. Prez Gmez.


3/16


Marco general de la investigacin

El propsito general del Proyecto I+D2 en el que se inserta nuestra investigacin es indagar la posibilidad de identificar en los estudiantes el grado de adquisicin de las competencias deaprendizaje de segundo orden dentro de los propsitos y principios que orientan toda evaluacin

diagnstica y formativa.Teniendo en cuenta lo anterior, el grupo de investigacin HUM-311, de la mano de sudirector, ha tratado de comprender y delimitar la complejidad de competencias y procesos incluidosen los aprendizajes de segundo orden denominados Aprender cmo Aprender (Hargreaves, 2005),tratando de establecer un marco operativo que identifique los componentes bsicos de esta familia decompetencias de segundo orden en los escenarios escolares.

Los aprendizajes de orden superior o las competencias de Aprender cmo Aprender seconceptualizan en nuestra investigacin como constructos complejos que incluyen inseparablesfactores cognitivos y afectivos, que suponen un propsito de autorregulacin del proceso de aprender,una decidida tendencia a comprender los procesos en sus contextos, con el objetivo de facilitar laactuacin competente del sujeto en su entorno, en funcin del propio proyecto personal, social o profesional. Por tanto, la evaluacin de los aprendizajes de segundo orden, o las competencias deAprender cmo Aprender, requiere la atencin simultnea tanto a los factores cognitivos de ordensuperior como a los factores afectivos o motivacionales que impulsan y estimulan los movimientos delos aprendices (Prez Gmez, .I., 2007, 2008).

En consonancia con esto, la evaluacin externa de los rendimientos educativos, basada en testestandarizados, de la que PISA forma parte, ha ido evolucionando desde la medicin de aspectos puramente cognitivos a la intencin de medir competencias complejas en contextos autnticos. Lostest estandarizados centrados en lo cognitivo, a pesar de estar ligados a poderosos sistemas deincentivos, se haban mostrado insuficientes para cambiar las prcticas educativas. Comoconsecuencia, la evaluacin externa ha ido evolucionando intentando proporcionar informacin mstil para que los docentes puedan utilizarla a la hora de analizar sus prcticas al mismo tiempo quecumplen con el propsito de informar a la sociedad y a la administracin educativa. Pero estaevolucin es lenta y refleja las contradicciones de intentar medir competencias complejas ensituaciones autnticas con pruebas estandarizadas de lpiz y papel (Cumming y Wyat-Smith, 2009;Servn, 2011, en prensa).

Con este marco de partida, el grupo de investigacin ha analizado los programas msreconocidos de evaluacin diagnstica de desarrollo de competencias, siendo PISA uno de ellos,tratando de comprobar su adecuacin terica y prctica a las exigencias delimitadas en el marcooperativo propuesto por el equipo de investigacin, como veremos ms adelante. Adems, en esteanlisis, el equipo trata de identificar las fortalezas y debilidades de los programas de evaluacinanalizados, tratando de proponer alternativas a travs de la experimentacin del Portafolios comoestrategia apropiada para la evaluacin del desarrollo de la familia de competencias implicadas en los procesos de Aprender cmo Aprender, a travs de la realizacin de tres estudios de caso.

En el presente artculo, nos centraremos en el anlisis desarrollado de las pruebas PISA. Paracomprender el proceso metodolgico seguido, debemos indicar previamente que el equipo deinvestigacin en su conjunto decidi organizarse en torno a tres grupos diferenciados para el anlisisde las pruebas PISA; a cada uno de estos grupos lo denominamos:comisiones. La constitucin deestas comisiones responde a la necesidad de operativizar los anlisis en cada una de las reas deevaluacin abordadas, correspondiendo el artculo que tienen en sus manos al rea especfica deCiencias.

2 SERVN NEZ, M. J. (COORD.) (2011) La evaluacin externa de los aprendizajes escolares. Revista Cultura y Educacin(en prensa).


4/16


Descripcin del proceso metodolgico de la comisin de Ciencias

La comisin de Ciencias est compuesta por cinco investigadores del grupo HUM-311, del rea deDidctica y Organizacin Escolar: cuatro doctores en Ciencias de la Educacin y un licenciado enPedagoga. Adems, cuenta con un investigador doctor experto en Didctica de las Ciencias, con

amplia trayectoria en este campo, como avalan sus innumerables publicaciones sobre dicha materia.La investigacin de las pruebas de PISA en el rea de Ciencias tiene su inicio en el ao 2008 atravs de la realizacin de un estudio preliminar en profundidad de los diferentes marcos tericosrelacionados tanto con los Informes de PISA como con investigaciones relevantes sobre el mbito delas competencias educativas y el constructo de Aprender cmo Aprender en general (Hargreaves,2005).

Una vez analizados estos marcos tericos, el grupo de Ciencias decidi pasar al anlisis propiamente dicho de las pruebas de PISA en dicha rea. El acceso a todas las pruebas constituy unadificultad aadida al proceso metodolgico, en tanto que tan slo pudieron analizarse las pruebas queya haban sido liberadas en las publicaciones que se especifican a continuacin: Informe Espaol dePISA 2006 (4 unidades), marco de la Evaluacin de PISA 2006 (16 unidades) y los tems liberados dePISA 2000 y 2003 (13 unidades).

Para el anlisis de estas pruebas, diseamos una ficha en formato web, de forma que cadainvestigador/a pudiera analizar los tems de las diferentes pruebas PISA para volcarlos posteriormentea una base de datos comn y analizarlos en SPSS (puede verse, en la figura 1, ficha base de anlisis).Estos anlisis ocuparon todo el ao 2009, sometindose los resultados a continua discusin para llegara una triangulacin de los mismos en los anlisis realizados por cada miembro del grupo. Estosresultados fueron, adems, contrastados con el investigador-experto en Didctica de las Ciencias, conobjeto de validar los hallazgos, lo que tuvo lugar tanto mediante reuniones presenciales mantenidas para tal efecto como a travs de una Plataforma Virtual, basada en el sistema Moodle. De estatriangulacin, el equipo de investigacin en su conjunto, gracias a la gua de su director (el profesorD. ngel I. Prez Gmez), decide emplear en sus anlisis una taxonoma de capacidades similar a la propuesta por Stefan T. Hopmann, Gertrude Brinek y Martin Retzl (2007), como veremosdetenidamente en epgrafe:Anlisis de capacidades.

Analizadas todas las pruebas y extrados los datos estadsticos, as como las particularidadesque cada investigador/a observa en sus pruebas (lo que llamamos incidentes crticos), se vuelve asometer a anlisis las diferentes pruebas, con objeto de redundar y validar los resultados obtenidos.Cada capacidad establecida a priori se vuelve a valorar en funcin primero de su presencia en la prueba y despus de su peso en la misma. As, se establece una gradacin de 1 a 3 para indicar qucapacidad/es aparecen como dominantes y cules son ms secundarias, tratando de establecer almismo tiempo los paralelismos existentes entre stas y las capacidades definidas por PISA. Comoltimo paso, todos los frutos de la investigacin, conclusiones y resultados, quedan plasmados en uncompleto informe sectorial del rea de Ciencias.


5/16


FIGURA I:Ficha base de anlisis


6/16


Sobre la competencia cientfica

Otro nivel de discusin ha discurrido en torno a la validez de las pruebas de PISA para evaluarcompetencias y, en todo caso qu es lo que realmente evala.

Para su discusin, debemos comenzar por recordar que la nocin decompetencia no esunvoca. Heredada de la formacin profesional y las exigencias del mundo empresarial, una personaes competente para un trabajo determinado cuando tiene capacidad para hacerlo de forma adecuada ycreativa (Cockenill, 1989). En el mbito de la enseanza, en el mundo anglosajn este concepto haseguido utilizndose desde hace decenios en movimientos de reforma escolar ms ajustadas a lasdemandas del mercado, siendo los empresarios y empleadores en general los que establecan lascualidades que perfilan un aprendizaje competente (Mirabile, 1998).

La Organizacin para la Cooperacin y Desarrollo Econmico (OCDE) tom, en los aos1990 esta idea y se propuso impulsar a nivel internacional un cambio de rumbo en los sistemaseducativos de los pases miembros, para que enfocaran la enseanza para lograr aprendizajes mscompetentes, con la conviccin de que ello redundar en un mayor desarrollo econmico en estos pases, en una clara identificacin entre aprendizaje competente y aumento de la competitividad(OECD, 1997). As lo reflejaba la famosa escalera del conocimiento de North (1998), mediante la querepresentaba su idea de que el papel del sistema educativo consiste en ensear a los estudiantes a procesar la informacin para adquirir conocimientos y aprender destrezas. Pero, adems, aade elautor: el conocimiento adoptado debera ponerse en un contexto y aplicarse de modo que se adquierancompetencias personales y en equipo, y con ello se alcance lacompetitividad .

En pleno debate sobre la nocin de competencia en la OCDE, Weinert (2001) ya aportaba unavisin compleja de competencia pues consideraba que esta nocin hace referencia a la combinacin dedestrezas cognitivas, motivacionales, morales y sociales, potencialmente asimilables por una persona,que subyacen en el dominio o maestra mediante una comprensin y acciones apropiadas de una seriede demandas, tareas, problemas y metas.

Tras el largo debate sobre este concepto en el seno de la OCDE ( Definition and Selection ofKey Competencies : DeSeCo), Rychen y Salganik (2001), concluyeron que la competencia es unaaproximacin funcional frente a demandas y tareas, en las que se requiere no solamente conocimientosy destrezas sino tambin estrategias y rutinas necesarias para aplicar este conocimiento y destrezas, ascomo emociones y actitudes apropiadas y un manejo efectivo de estos componentes. Algo msadelante Rychen y Tiana (2004), vuelven a resaltar esta concepcin de DeSeCo al definir lacompetencia como un concepto holstico que integra la existencia de demandas externas, losatributos personales (incluida la tica y los valores) as como el contexto. Es decir, entendemos quelas competencias son sistemas complejos de pensamiento y actuacin, que suponen la combinacin deconocimientos, habilidades, actitudes, valores y emociones (Prez Gmez, .I., 2007, 2008).

De este modo, la nocin de competencia conlleva componentes cognitivos pero tambinmotivacionales, ticos, sociales y conductuales. Combina rasgos estables, resultados de aprendizajes,sistemas de creencias y valores, y otras caractersticas psicolgicas. Desde este punto de vista, lasdestrezas bsicas de lectura, escritura y clculo son componentes crticos de numerosas competencias.Mientras que el concepto decompetencia se refiere a la habilidad de enfrentarse a demandas de altogrado de complejidad, e implica sistemas de accin complejos, el trminoconocimiento se aplica ahechos o ideas adquiridas mediante estudio, investigacin, observacin o experiencia, y se refiere a uncuerpo de informacin que es comprendido. El trminodestreza se usa para designar la habilidad deusar el conocimiento propio en relacin con tareas relativamente fciles de desempear. Se reconoceque la lnea entre competencia y destreza es algo borrosa, pero la diferencia conceptual entre estostrminos es real.

Contradictoriamente, cuando se elabor el programa internacional de evaluacin de lascompetencias (PISA), se abandon esta concepcin holstica y se adopt un enfoque analtico,atomizando la competencia en tantas partes como materias acadmicas de niveles no universitarios, prestando ms atencin a una de estas materias en cada trienio, empezando con la competencia lectora


7/16


(PISA, 2000), seguida de la matemtica (PISA, 2003) y finalmente la cientfica (PISA, 2006). Cadacompetencia parcial se defina por un conjunto de capacidades que eran el objeto preciso deevaluacin. Seguramente este enfoque analtico sea ms operativo para realizar una tarea tan arduacomo una evaluacin internacional, en tanto que da ms garantas de implementacin y correccintericamente ms objetivos, pero decididamente no evala la competencia como tal sino meramentecapacidades, como mostramos en la presente investigacin (Figura II).

En el caso particular que nos ocupa, la competencia cientfica fue definida por PISA (2006)como: La capacidad de emplear el conocimiento cientfico para identificar problemas, adquirir nuevosconocimientos, explicar fenmenos cientficos y extraer conclusiones basadas en pruebas sobrecuestiones relacionadas con la ciencia. Adems, comporta la comprensin de los rasgos caractersticosde la ciencia, entendida como un mtodo del conocimiento y la investigacin humanas, la percepcindel modo en que la ciencia y la tecnologa conforman nuestro entorno material, intelectual y cultural,y la disposicin a implicarse en asuntos relacionados con la ciencia y con las ideas sobre la cienciacomo un ciudadano reflexivo (OCDE, 2006). Para el programa PISA, la competencia cientficaimplica tanto la comprensin de conceptos cientficos como la capacidad de aplicar una perspectivacientfica y de pensar basndose en pruebas cientficas.

Se debe destacar que en el rea de Ciencias, PISA muestra una aparente evolucin en sufundamentacin terica desde el ao 2000, en la que hablaba de formacin cientfica, sin alusin alconcepto de competencia (OCDE, 2002). Posteriormente, tras el Informe de DeSeCo (2002), enPISA de 2003 se empieza a abordar la nocin de competencia cientfica, aunque en los mismostrminos que en ao 2000, es decir, como un sumatorio de conocimientos, procesos y situaciones ocontextos (personal, pblico y global) (OCDE, 2004). Finalmente, en el 2006, ao en que se incorporala evaluacin en el rea de Ciencias, se introduce el concepto de competencia cientfica aplicado a unindividuo concreto, pero manteniendo el objetivo de evaluar conocimiento (conceptos) y aplicacindel mismo a una situacin o contexto (capacidades), aadiendo como nica novedad, la disposicin(actitud) del alumnado hacia las pruebas y el conocimiento cientfico (OCDE, 2006).

Competencia general

Competencialectora

Capacidad

1

Capacidad

2

Conocimiento

CompetenciaMatemtica

Capacidad

1

Capacidad

2

Conocimiento

Competenciacientfica

Capacidad

1

Capacidad

2

Conocimiento

FIGURA II. Proceso de atomizacin de la competencia en capacidades para su evaluacin por PISA


8/16


Si se acepta la concepcin holstica de competencia, el dominio de una capacidad sola no hacecompetente al aprendiz, sino el dominio de todas, aplicadas de manera global para resolver problemasde la vida real, mxime cuando algunas de ellas (ej. competencia lectora y competencia matemtica)son claramente transversales. En el caso especfico de la competencia cientfica, es evidente que PISAevala las tres capacidades en que se descompone de forma independiente, no elaborando ninguna prueba que demande la aplicacin combinada o global de las mismas, por lo que ponemos en duda queesta prueba evale realmente la competencia cientfica. Otro nivel de discusin se plantea en relacinal contexto, ya que la adquisicin de una competencia en el contexto acadmico no asegura que sedomine o aplique en un contexto no acadmico, en la vida real del aprendiz, que es el contexto en elque realmente se fraguan las competencias de valor para el mercado de trabajo y la actividad humanaen general.

En suma, para evaluar la competencia sera preciso disear pruebas que integraran todas lascompetencias especficas de reas y, dentro de cada rea, que integraran todas las capacidades en lasque se basan, sin olvidar el componente actitudinal, normalmente ausente en estas pruebas. PISA haoptado por un diseo ms analtico en su afn de facilitar una mayor fiabilidad estadstica en sucorreccin. De este modo, no extraa que durante la aplicacin de pruebas diseadas al estilo del

PISA, se advierta que muchas pruebas dirigidas a la evaluacin de la competencia cientfica obtienen bajos resultados por una baja competencia lectora (ej. no se comprende el enunciado) y/o una bajacompetencia matemtica (ej. no se sabe interpretar un grfico), o simplemente porque el aprendizmuestra actitudes negativas hacia la prueba o su contenido, pero los criterios de correccin no parecenregistrar estas incidencias, perdindose la oportunidad de realizar un diagnstico ms global y cercanoa la realidad.

Anlisis de capacidades

Debe recordarse aqu que PISA trata de poner de manifiesto las competencias cientficas atravs del dominio de los procedimientos cientficos que estn en la base de las preguntas, lacomprensin de las capacidades que estn presentes en su resolucin y la valoracin de lasactitudes que presenta el alumnado hacia la ciencia actual. As, PISA evala el conocimientocientfico a travs de tresdimensiones: a) Los procesos o destrezas cientficas; b) Losconceptos y contenidos cientficos; y c) El contexto en que se aplica el conocimientocientfico. Por otra parte, PISA identifica cincoprocesos cientficos: Reconocer cuestionescientficamente investigables; identificar las evidencias necesarias en una investigacincientfica; extraer o evaluar conclusiones; comunicar conclusiones vlidas; demostrar lacomprensin de conceptos cientficos en determinadas situaciones. Estos procesos cientficosse organizan en tres grupos decompetencias segn el tipo de capacidad de pensamiento predominante que se requiere para resolver las preguntas que se presentan (OCDE, 2006)(Cuadro I).


9/16


CUADRO I.Tipos de capacidades en la competencia cientfica (PISA, 2006)3

Identificar cuestionescientficas

Reconocer cuestiones susceptibles de ser investigadas cientficamenteIdentificar trminos clave para la bsqueda de informacin cientficaReconocer los rasgos clave de la investigacin cientfica

Explicar fenmenoscientficos

Aplicar el conocimiento de la ciencia a una situacin determinadaDescribir o interpretar fenmenos cientficamente y predecir cambiosIdentificar las descripciones, explicaciones y predicciones apropiadas

Utilizar pruebascientficas

Interpretar pruebas cientficas y elaborar y comunicar conclusionesIdentificar los supuestos, las pruebas y los razonamientos que subyacen a lasconclusionesReflexionar sobre las implicaciones sociales de los avances cientficos ytecnolgicos

Con independencia de estas tres capacidades que PISA desglosa como partes de lo quedenomina competencia cientfica, hemos realizado un anlisis de las pruebas utilizando una escala decapacidades cientficas basadas en la propuesta de Stefan T. Hopmann, Gertrude Brinek y MartinRetzl (2007), como ya indicbamos brevemente en el apartado de descripcin metodolgica (CuadroII).

Cuadro II. Capacidades registradas en las pruebas liberadas de PISA (2000-2006)4

Orden Capacidad Significado1 Reproduccin RP Supone repetir de forma mecnica y memorstica los conocimientoscientficos

2 Aplicacin AP Consiste en aplicar los conocimientos cientficos aprendidos previamentea situaciones sencillas y/o conocidas

3 Reflexin RF Implica la comprensin del fenmeno cientfico y reflexionar sobre losconocimientos aprendidos en esta rea.

4 Transferencia TR Supone aplicar el conocimiento aprendido a nuevas situaciones,conectando ideas, conceptos o hechos cientficos.

5 Heurstica HE Requiere el diseo de un plan, o la descripcin de los pasos que sonnecesarios seguir para llegar a dicha solucin.

6 Argumentacin ARRequiere razonar de forma argumentada para explicar el fenmenocientfico que se trate, comunicando la conclusin cientfica a la que sellegue a travs del lenguaje escrito.

3 Elaboracin propia.4 Elaboracin propia.


10/16


Obsrvese que las tareas que requiere cada tipo de capacidad estn ordenadas en un orden

creciente de complejidad. De este modo, el nivel ms bajo estara representado por la merareproduccin del conocimiento cientfico, que aunque requiere una capacidad de memorizacin, norepresenta un tipo de aprendizaje que pueda considerarse de orden superior, ya que repetir unconocimiento declarativo no implica necesariamente su comprensin, y menos an su utilizacin pararesolver problemas, sean acadmicos o de la vida cotidiana. En el nivel ms alto se situara unaheurstica, en la que el aprendiz muestra habilidad para planificar creativamente un procedimiento para averiguar o solucionar un problema, sea acadmico o de la vida cotidiana. Esta escala decapacidades segn su complejidad tambin representa una escala de apertura intelectual, divergencia ycreatividad, pues se pasa de planteamientos cerrados a planteamientos totalmente abiertos (Figura III).

Estas seis capacidades cientficasgrosso modo guardan cierta correspondencia con las trescapacidades definidas y evaluadas por PISA para el rea de Ciencias (Cuadro III). Excluimos aqu lasactitudes por no ser un parmetro de capacidad en sentido estricto, aunque bien evaluado podra

aportar bastante luz sobre los resultados en las capacidades, dada la estrecha relacin entre locognitivo y lo afectivo.

CUADRO III.Equivalencia de capacidades PISA-HUM311

Capacidades de PISA Capacidades HUM-311(Stefan T. Hopmann,Gertrude Brinek, Martin Retzl, 2007)

1. Identificacin de cuestiones cientficas 1.-Comprensin/Reflexin2. Explicacin cientfica de fenmenos 2.-Comunicacin Argumentacin1 3.Utilizacin de pruebas cientficas 3.-Aplicacin/Transferencia4. Actitudes hacia la Ciencia ()(-) 5.-Heurstica/Creacin

(-) 6.-Reproduccin(1) Este apartado incluye la interpretacin de grficos y tablas.

Resultados y discusin. Capacidades que demanda PISA

A partir del anlisis realizado sobre las capacidades que deducimos trata de evaluar las preguntasliberadas de PISA (2000-2006), obtuvimos los siguientes resultados para cada una de las seiscapacidades definidas y en una gradacin de puntuaciones desde el 0 (ausencia) al 3 (Tabla I):

FIGURA III. Jerarqua de capacidades analizadas en pruebas PISA


11/16


TABLA I.Resultados del anlisis de pruebas PISA (% Puntuacin mxima)

RP AP RF TR HE AR No presente 67,73 34,31 1,96 49,02 72,55 54,901 12,75 28,31 12,75 12,75 1,96 4,902 3,92 12,75 26,47 17,65 2,94 9,803 0,00 17,65 56,86 1,96 7,84 17,65NR 19,61 6,86 1,96 18,63 14,71 12,75Presente 16,67 58,5 96,08 32,36 12,78 32,35

Tomando como referencia la puntuacin mxima, los resultados que tomamos como elementode anlisis se refieren a la diferencia entre el total de puntuaciones no presentes y el resto, lo que nosofrece el porcentaje de presencia de cada capacidad en las pruebas analizadas.

A partir del anlisis de las pruebas realizado por el grupo de investigacin (Gallardo, M.;Ferndez, M.; Seplveda, MP.; et al.; 2010), encontramos que la capacidad que se requiere en msocasiones es la que hemos definido como reflexin o comprensin (un 96,08% del total de tems),

que conlleva el entendimiento del fenmeno cientfico en cuestin y la reflexin sobre losconocimientos cientficos implicados. En este sentido, encontramos que, en la mayora de los tems, lacapacidad de comprensin/reflexin no va ms all de la mera recuperacin de informacin queaparece en el texto que se presenta al inicio del tem a modo de estmulo, sin necesidad siquiera de queel estudiante ponga en relacin la informacin del texto con lo que ya sabe. Muy pocas, no obstante,reclaman una reproduccin de conocimientos cientficos tal y como hemos definido esta capacidad,relacionada con la memorizacin mecnica. Concretamente, aparece tan slo en un 16,67% de loscasos, lo que podra relacionarse con la definicin de competencia que se defiende desde el propio programa PISA, donde la reproduccin queda claramente descartada en la valoracin de lascompetencias. Por otra parte, tambin encontramos que son frecuentes las preguntas de aplicacin(58,5% de los tems analizados), estando esta aplicacin generalmente asociada a los contenidos queaparecen en la propia prueba. En este sentido, cabe afirmarse que las pruebas que hemos analizado,

salvo en pocas ocasiones, se pueden responder de forma efectiva comprendiendo la informacin quese aporta en la misma actividad y aplicando los conocimientos que se suelen presentar en el propiotem. En otras ocasiones, hay que aplicar esta comprensin en una situacin nueva, es decir, serequiere transferencia del conocimiento, pero sta aparece tan slo en un 32,36% de los temsanalizados. Del mismo modo, encontramos que otra de las capacidades superiores definidas por elgrupo de investigacin como la capacidad de disear estrategias para resolver la situacin planteada,es decir, la heurstica, aparece en un porcentaje muy bajo en las pruebas analizadas (12,78%).Por otra parte, en las pruebas examinadas, no siempre se estimula la argumentacin, pareciendo que lonico que interesa es la respuesta aplicada por parte del estudiante, el resultado final, y no tanto el proceso que lleva al alumno/a a dar una u otra respuesta. De hecho, an considerndose laargumentacin como una de las capacidades ms interesantes para la evaluacin de competencias ensentido complejo, tan slo est presente en un 32,35% de tems analizados. Nuestro estudio evidenciaque la argumentacin es una de las capacidades centrales en la evaluacin de la competenciacientfica, en tanto que es la capacidad que pone de relieve el pensamiento complejo del estudiante. Enlas pruebas analizadas, cuando la argumentacin est presente, suele implicar un nivel elevado dedificultad, pero slo se suele dar como vlida una sola respuesta, que es la que obtiene mayor puntuacin, desconsiderndose las relaciones que ha podido establecer el estudiante o las reflexionesque haya podido realizar. Las preguntas abiertas, donde est presente la capacidad de argumentacin,exigen que el estudiante est habituado a razonar y a comunicar sus planteamientos, alejndose, portanto, del mero reconocimiento; adems, implica que el estudiante sepa leer comprensivamente yexpresarse correctamente por escrito; todo ello de suma relevancia para una autntica evaluacin decompetencias.


12/16


El Grfico I nos muestra los resultados obtenidos de nuestro anlisis de capacidades de las pruebas liberadas de PISA (2000-2006).

GRFICO I:Modelo obtenido del anlisis de capacidades

Este grfico se obtiene llevando los datos de la tabla anterior (Tabla I) a un sistema decoordenadas en el que, en abscisas, se sitan las capacidades examinadas en las pruebasPISA, ordenadas por orden creciente de complejidad. Con objeto de interpretar este grfico,

en los Grficos II y III se muestra una representacin ideal del grfico que se obtendra conunas pruebas centradas en la evaluacin del aprendizaje competencial (Grfico III) y el que seobtendra con unas pruebas centradas en la evaluacin del aprendizaje culturalista (GrficoII).

Estos grficos representan los resultados esperables en sistemas de evaluacinadaptados a dos modelos pedaggicos extremos en funcin de las capacidades evaluadas: elmodeloculturalist a, ms centrado en la reproduccin del conocimiento cientfico, y por tantoms acorde con la escuela tradicional basada en aprendizajes acadmicos (Grfico II) y elmodelocompetenci al, ms centrado en la funcionalidad del aprendizaje cientfico, y por tantoms acorde con una escuela ms moderna, basada en aprendizajes competenciales (GrficoIII).


13/16


GRFICO II:Modelo de aprendizaje culturalista

GRFICO III:Modelo de aprendizaje competencial

El modelo que se obtiene del anlisis de las preguntas de PISA (Grfico I) nos muestra unmodelo intermedio entre los dos extremos sealados, con un claro sesgo hacia las capacidades menoscomplejas, pues las tres primeras renen el 68,8% de las preguntas, frente al 31,2% de las tres ltimas,consideradas ms complejas. Lo relevante de este anlisis es que, a nuestro juicio, el marco terico de

PISA muestra su objetivo de evaluar una enseanza que corresponde ms con el modelo representadoen el Grfico III, por lo que mostramos nuestras dudas de que, al menos las pruebas liberadas, evalende acuerdo con los objetivos y el modelo de competencia cientfica que maneja PISA.

Conclusiones

PISA pretende establecer un marco comn, internacional, de evaluacin del rendimiento de losestudiantes de quince aos, entendido ste como nivel de competencia. Partiendo de esta premisa


14/16


PISA disea unas pruebas con el objeto de conocer las capacidades de los estudiantes para analizar yresolver situaciones determinadas. Es decir, el enfoque de evaluacin gira en torno a la valoracin delos conocimientos, capacidades y actitudes que activa un estudiante para dar respuesta a un problema.Responder a esta demanda requiere la aplicacin del conocimiento a contextos diversos y que estos posibiliten la resolucin, la comunicacin y la adecuada expresin de la respuesta, esto es, que seantiles. Con lo cual, solventar las situaciones cotidianas supera la mera memorizacin de conceptos yreproduccin de los mismos y, por el contrario, que el alumnado haya adquirido un aprendizajerelevante.

Sin embargo, en nuestro anlisis, encontramos ciertas limitaciones de cara a la evaluacin de lacompetencia cientfica en los trminos que define el propio programa PISA como un saber hacercomplejo. En este sentido, consideramos que se debera potenciar una aproximacin ms holstica einterdisciplinar a las competencias, en tanto que encontramos una falta de correspondencia entre elconcepto de competencia que plantea DeSeCo (2002) y el que plantea PISA (2006), que tiende aatomizarla adoptando un enfoque analtico, a fragmentarla en disciplinas, capacidades, habilidades ydestrezas segn hemos analizado, alejndose con ello de la concepcin holstica original, obvindoselos componentes motivacionales, sociales y ticos, para evaluar nicamente capacidades que, al ser

valoradas individualmente, parecen no mostrar realmente el grado de adquisicin de competencias enla escuela. La competencia cientfica es evaluada por PISA a partir de las tres capacidades en que sedescompone de forma independiente, pareciendo prestar escasa atencin a la aplicacin combinada oglobal de las mismas, lo que nos hace dudar de la viabilidad de la prueba para evaluar la competenciacientfica.

De esta forma, valoramos que PISA parece alejarse de las capacidades de orden superior, comoson la transferencia, la heurstica y la argumentacin, demandando con mayor frecuencia capacidadescientficas de baja complejidad (aplicacin, reflexin), aunque con escasa presencia de la merareproduccin (Stefan T. Hopmann, Gertrude Brinek, Martin Retzl, 2007).

Por otra parte, consideramos que se debera aprovechar todo el potencial crtico de las preguntas, en tanto que un artificio llamativo de las pruebas de PISA parece ser la restriccin de los problemas a contextos puramente acadmicos, con escasa o nula conexin con los temas transversales

y de la vida real. Entendemos que la adquisicin de una competencia en el contexto acadmico noasegura que se domine o aplique en un contexto de la vida real del aprendiz. Es cierto que algunasactividades plantean cuestiones de salud y medio ambiente, pero no parecen profundizar en ellas, no plantean preguntas que revelen en profundidad la actitud del alumno/a, ni plantean reflexiones odilemas ticos ligados a la actividad cientfica.

El hecho de que las pruebas deban ser sometidas al anlisis estadstico, as como su formato depapel y lpiz, quizs puede estar en la base de esta desconexin (Prez Gmez, .I. y Soto Gmez,E.; 2011, en prensa). Entendemos que para realizar un evaluacin internacional esta opcin puedefacilitar la ardua tarea de implementacin y correccin, no obstante, consideramos que no posibilitaevaluar la competencia en los trminos anteriormente sealados. Tal como hemos indicado en elapartado demarco general de la investigacin, creemos que la utilizacin del portafolios puede serun interesante instrumento de evaluacin de aprendizajes relevantes, es decir, de los conocimientos,las habilidades, las actitudes y los valores que un individuo requiere para solventar una situacinconcreta, tomando conciencia de forma activa y reflexiva del problema presentado y adoptandoestrategias de forma consciente en su resolucin (Prez Gmez, .I., 2007). Esta herramienta permiteadentrarnos en las interpretaciones que realizan los estudiantes de los contextos problemas, delcuestionamiento al que se someten para responder de forma ajustada y de los argumentos utilizados para plantear una solucin. Somos conscientes de que este tipo de evaluacin requiere una inversinde tiempo mayor, es ms costosa desde el punto de vista econmico, pero proporciona una mayorinformacin sobre las competencias adquiridas por el alumnado.

A modo de conclusin final, cabra plantearse para futuras investigaciones si este modelo deevaluacin de competencias que plantea PISA (mediante pruebas estandarizadas) es o debe ser el msadecuado para las finalidades que se proponen desde el propio Programa de evaluacin.Consideramos, a la luz de nuestra investigacin, que se precisan otros modelos ms acordes para la


15/16


evaluacin de competencias educativas en sentido holstico. En este sentido, ponemos en duda si lasolucin de la evaluacin de competencias est en el perfeccionamiento de la prueba PISA o en elmodelo elegido para la evaluacin de las mismas.

Referencias bibliogrficas

COCKENILL, T. (1989). The kind of competence for rapid change.Personnel Management , September:52-56.

CUMMING, J. J. Y WYATT-SMITH, C, M. (2009) Framing assessment today for the future : Issues andchallenges. En Cumning, J. J. y Wyat-Smith, C. M. (eds.) Educational assessment in the 21stcentury. Springer : Nueva York.

GIL PEREZ, D. Y VILCHEZ, A. (2006). Cmo puede contribuir el proyecto PISA a la mejora de laenseanza de las Ciencias (y de otras reas de conocimiento)?, Revista de Educacin. NExtraordinario, 1, 295-331.HARGREAVES, D.H. (2005). Personalising learning 3: learning to learn & the new technologies. London: Specialist Schools Trust.

HERNNDEZ, F. (2006). El informe PISA: una oportunidad para replantear el sentido del aprender enla escuela secundaria. Revista de Educacin, extraordinario PISA, 357-379.

HOPMANN, S.T.; BRINEK , G.; R ETZL, M. (Eds.) (2007).PISA zufolge PISA - PISA According to PISA. Hlt PISA, was es verspricht? Does PISA Keep What It Promises? Reihe Schulpdagogik undPdagogische Psychologie, Bd.6. Germany: Wien Lit-Verlag.

LEVY, F. Y MURNANE, R.J. (1999). Are There Key Competencies Critical to Economic Success? An Economics Perspective, DeSeCo Expert Report . Neuchtel: Swiss Federal Statistical Office.

MINISTERIO DEEDUCACIN (2006). Ley Orgnica 2/2006, de 3 de mayo, de Educacin. BoletnOficial del Estado, n196 (4 de mayo), 17158-17207.

MIRABILE, R.J. (1998). Leadership Competency Development. Management DevelopmentForum , 1 (2).

NORTH, K. (1998). Wissenorientierte Unternehmensfhrung . Wiesbaden, Gabler: Westschpfungdurch Wissen.

OECD Y HUMAN R ESSOURCESDEVELOPMENTCANADA (1997). Literacy skills for the knowledgesociety. Further results from the International Adult Literacy Survey . Paris: Organisation forEconomic Cooperation and Development and Human Ressources Development Canada.

ORGANIZACIN PARA LACOOPERACIN Y ELDESARROLLO ECONMICO (OCDE) (2002).Conocimientos y aptitudes para la vida. Primeros resultados del PISA 2000 de la OCDE .Madrid: Santillana-MEC.

ORGANIZACIN PARA LACOOPERACIN Y ELDESARROLLOECONMICO(OCDE) (2004). Marcostericos de PISA 2003. Conocimientos y destrezas en Matemticas, Lectura, Ciencias ySolucin de problemas . Madrid: Santillana-MEC.

ORGANIZACIN PARA LACOOPERACIN Y ELDESARROLLOECONMICO(OCDE) (2006).PISA 2006. Marco de la evaluacin. Conocimientos y habilidades en Ciencias, Matemticas y Lectura .Madrid: Santillana-MEC.

O ORBE, A. (2008). Las pruebas de evaluacin en Ciencias del proyecto PISA. Alambique, 57, 41-52.PREZ GMEZ, .I. (2007). La naturaleza de las competencias bsicas y sus aplicaciones

pedaggicas. Cuadernos de Educacin de Cantabria. Gobierno de Cantabria. Consejera deEducacin.

PREZ GMEZ, .I. (2008). Competencias o pensamiento prctico? La construccin de lossignificados de representacin y accin. En Gimeno, J. (comp.), Educar por competencias, quhay de nuevo? Madrid: Morata.


16/16


PREZGMEZ, .I. Y SOTO GMEZ, E. (2011). Luces y sombras de PISA. Evaluacin de capacidadesde razonamiento sobre problemas cotidianos. Revista Cultura y Educacin (en prensa).

R YCHEN, D.S. Y SALGANIK , L.H. (2001). Defining and Selecting Key Competencies . Seattle: Hogrefe& Huber.

R YCHEN, D.S. Y TIANA, A. (2004). Developing key competencies in education: some lessons frominternational experiencie . Paris: Unesco.

SERVN NEZ, M. J. (COORD.) (2011). La evaluacin externa de los aprendizajes escolares. RevistaCultura y Educacin (en prensa).

WEINERT, F.E. (2001). Concept of competence: A conceptual definition. En Rychen, D.S.; Salganik,L.H. (eds.), Defining and Selecting Key Competences . Seattle, WA: Hogrefe & Huber, 46.

Fuentes electrnicas

GALLARDO, M.; FERNNDEZ, M.; SEPLVEDA, MP.; SERVN, MJ.; YUS, R.; BARQUN, J. (2010). PISA y la competencia cientfica. Un anlisis de las pruebas de PISA en el rea de Ciencias.

RELIEVE: Revista Electrnica de Investigacin y Evaluacin Educativa, 16 (2):http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm ORGANIZACIN PARA LACOOPERACIN Y ELDESARROLLOECONMICO (OCDE) (2002). La

definicin y seleccin de competencias clave (DeSeCo). Resumen ejecutivo , de:http://www.OECD.org/edu/statistics/deseco, http://www.deseco.admin.ch

Direccin de contacto: Manuel Fernndez Navas. Universidad de Mlaga. Facultad de Ciencias de laEducacin. Departamento de Didctica y Organizacin Escolar. Grupo de Investigacin HUM-311.Campus de Teatinos, s/n. 29071 Mlaga. Mlaga, Espaa. E-mail: [email protected]

La competencia científica y su evaluación-Análisis de las pruebas estandarizadas de PISA

Documents

Transcript of La competencia científica y su evaluación-Análisis de las pruebas estandarizadas de PISA