ALED 6, Santiago, Chile, septiembre de 2005, p.1

¿A QUÉ LE LLAMAMOS DISCURSO EN UNA PERSPECTIVA

MULTIMODAL? LOS DESAFÍOS DE UNA NUEVA SEMIÓTICA.

WILLIAMSON, Rodney Universidad de Ottawa

rwilliamson_ca@yahoo.com “Todos los textos son multimodales” afirman Gunther Kress y Theo van Leeuwen en 1998, iniciando una línea de reflexión teórica que los llevará a plantear nuevas perspectivas sobre texto, lectura y competencia comunicativa, estableciendo los fundamentos de una nueva semiótica que pone en tela de juicio la primacía de la expresión verbal. El cambio teórico es desde “una teoría que sólo dio cuenta del lenguaje hacia una teoría que pueda dar cuenta de la gestualidad, el habla, las imágenes, la escritura, objetos tridimensionales, colores, música, entre otros modos de expresión” (Kress 2003). Desde 1996 y el renovado interés por la lectura de imágenes y mensajes visuales con la publicación de obras como Reading images de Kress & van Leeuwen, ha ido creciendo el interés por leer mensajes, ya no en función de códigos discretos para cada vía de comunicación (verbal o visual o auditiva) sino de las conexiones e intersecciones que se dan entre estas varias vías o modos de comunicación. Esta preocupación por la intersección, sobre todo, de elementos verbales y visuales en los mensajes ha cundido en cuatro o cinco distintas corrientes de teoría multimodal a través del mundo. Entre otras, cabe mencionar las iniciativas de Bunt, Beun, Granström y Allwood en el norte de Europa, la colaboración de cuatro universidades italianas en el proyecto de Anthony Baldry con el apoyo de Paul Thibault, el constante interés por la multimodalidad en Australia (en relación, sobre todo, con la lingüística sistémica funcional de Halliday), y las investigaciones multimodales de la conversación en Estados Unidos por Charles Goodwin y Sigrid Norris. Pero es a la corriente británica (Kress, van Leeuwen, Jewitt) que queremos referirnos ahora, por un importante modelo de estratos formulado por Kress & van Leeuwen 2001 que nos servirá de guía en nuestras reflexiones presentes (Fig. 1) DISCURSO formas de conocimiento socialmente “situadas”(¿quién, qué, dónde, cuándo, cómo?) + evaluaciones, propósitos, interpretaciones, legitimaciones DISEÑO conceptualización de la forma del producto semiótico Se diseña: 1) una configuración de discursos 2) una determinada (inter)acción 3) una determinada combinación de modos PRODUCCIÓN

2

articulación material del diseño sea como prototipo, sea como producto final DISTRIBUCIÓN ‘recodificación’ técnica del producto para fines de grabación o difusión

Fig. 1 Estratos analíticos de Kress & van Leeuwen (2001) Un aspecto básico de la semiótica de Kress & van Leeuwen es su insistencia en los recursos semióticos ( a diferencia de los códigos) de los que dispone el emisor de un mensaje. El primero de estos recursos es el acceso a determinado discurso o serie de discursos (entendiendo discursos a la manera de Michel Foucault como saberes socialmente construidos: “socially constructed knowledges of some aspect of reality” (van Leeuwen 2005:94). Sabiendo el emisor qué discursos quiere utilizar, puede proceder luego a integrar sus discursos en un acto comunicativo gracias a un diseño particular, apropiado para la situación. El diseño es un concepto complejo que tiene un lado ideativo (social y conceptual) y un lado material:

El diseño se encuentra a medio camino entre el contenido y la expresión. Es el lado conceptual de la expresión y el lado expresivo de la concepción. Los diseños son (usos de) recursos semióticos, en todos los modos semióticos y combinaciones de modos semióticos. Los diseños tienen la finalidad de realizar discursos en el contexto de una situación comunicativa determinada. (Kress & van Leeuwen 2001:5).1

Por un lado, el emisor se forma una idea de lo que quiere comunicar y lo hace gracias a los discursos a su disposición; por otro lado, busca en su contexto inmediato los medios físicos y técnicos que puede aprovechar como vías de expresión de su mensaje. Un medio explotado conscientemente para fines comunicativos se llama modo. El diseño, como una configuración particular de discursos y modos, es el objeto central del estudio multimodal. Pero el estudio de diseños en sí no basta para apreciar la naturaleza de los actos comunicativos, y mucho menos su significación social. El análisis de los procesos de producción y de distribución (o difusión) del mensaje nos ayuda a apreciar éste en su materialidad y su sentido real. En otras palabras, la teoría multimodal nos propone un enfoque sobre el discurso en el que éste no se ve como un objeto de estudio aislado, sino como parte de un proceso. La teoría multimodal nos habla de discursos en plural porque su única existencia real es a través de actos de comunicación, en los que cada discurso entra en combinación con otros. Foucault nos enseña que el discurso es una construcción social, pero la significación social del discurso sólo se puede apreciar enfocando todo el proceso comunicativo, desde su concepción hasta las condiciones materiales y técnicas de su distribución. La naturaleza histórica y evolutiva de los discursos se aprecia viéndolos como parte de un proceso de difusión a partir de un emisor o emisores hacia uno o varios

1 Traducción nuestra del texto original: “Design stands midway between content and expression. It is the conceptual side of expression, and the expression side of conception. Designs are (uses of) semiotic resources, in all semiotic modes and combinations of semiotic modes. Designs are means to realise discourses in the context of a given communication situation.”

3

públicos, a través de determinadas situaciones comunicativas, es decir, determinados sitios y tiempos. Lo anterior parece obvio, y coincide esencialmente con un enfoque que, entre otros, Norman Fairclough puso en práctica hace décadas. Pero en términos multimodales, tiene consecuencias no tan obvias. A partir del modelo esbozado, podemos concluir que un discurso tiene una presencia en el tiempo y el espacio: por una parte, gracias al conjunto de modos disponibles para su expresión. por otra, gracias a los otros discursos con los que entra en contacto y se combina. El primer factor es sobre todo una cuestión de técnica, de los recursos técnicos a la disposición del emisor. Por ejemplo, diferentes períodos de la historia cultural han sido marcados por un carácter relativamente multimodal (una serie de modos con funciones diferenciadas contribuyen a la construcción de un todo) o monomodal (predomina un modo relegando otros a un nivel secundario o imperceptible, o asimilando sus funciones) y esto siempre refleja o tiene como consecuencia el uso de determinados recursos técnicos de producción o distribución. La monomodalidad delata una tendencia hacia la especialización, la ejecución de un género por profesionales. Un ejemplo es el paso de la Edad Media tardía (notablemente multimodal) hacia el Renacimiento (monomodal). Podemos ilustrar el hecho a través de un género artístico pictórico, la Anunciación. El arte eclesiástico o monástico emplea elementos tanto pictóricos como verbales, con fines didácticos. En el cuadro de Simone Martini (1333; Fig.2), vemos una cadena de palabras que sale de la boca del ángel Gabriel y que se dirige hacia el oído de María. Los iconos del ramo y del florero con lirios se incluyen por sus valores simbólicos asociados con Gabriel y María, respectivamente. La misma cadena de habla que sale de la boca del ángel se ve un siglo más tarde en el cuadro de Fra Angélico (1432; Fig 3). Pero ya fuera del ambiente monástico en el que vive Fra Angélico, todo va cambiando. Las escuelas de arte, arquitectura y escultura del Renacimiento van dando lugar a una práctica artística más profesional. El pintor de carrera debe ahora poder expresarlo todo por modos pictóricos (formas, cromatismo). Representación natural y valor icónico se funden en una sola categoría; los elementos verbales desaparecen. El resultado del proceso se aprecia en el cuadro de Francesco Salviati (1534; Fig.4).

4

Fig. 2 Anunciación, Simone Martini, 1333 Fig. 3 Anunciación, Fra Angelico, 1432

Fig. 4 Anunciación, Francesco Salviati, 1534 Fig. 5 Libro de horas, Flandes, siglo XV La evolución del libro representa un caso paralelo. Todos hemos admirado en museos los libros de horas de los siglos 14 y 15, suntuosamente ilustrados siguiendo la tradición de los manuscritos iluminados de la Edad Media (Fig.5). Los primeros libros impresos por Gutenberg, Caxton y otros se destacan por sus finos grabados e ilustraciones (Fig.6).

5

Fig. 6. Ilustraciones de la primera edición de Los cuentos de Canterbury de Chaucer (Caxton) Pero la re-organización de la página en términos de una coherencia puramente verbal comienza a aflorar desde el siglo 16 (Fig. 7).

Fig.7 Dos portadas de ediciones del siglo XVI, de Gabrieli y Galileo Y el proceso llega a su apogeo en los siglos 18-19 (Fig.8).

6

Fig. 8 Portadas de ediciones de Newton (1730) y de Jane Austen (1811) Aquí triunfa el poder de la palabra escrita. El grado de integración de otros modos de comunicación al arte verbal, el predominio y el poder de la escritura, se puede ilustrar con el siguiente fragmento de un poema de Dante Gabriel Rossetti, típico exponente del arte victoriano en Inglaterra (Fig.9).

Fig..9 Fragmento del poema “The blessed damozel” de Dante Gabriel Rossetti (1870)

7

En el marco de la escritura poética se inserta el lenguaje hablado en forma de una conversación, de una manera que hoy día sería muy poco habitual. Poco importa que se trate de una conversación más imaginada que real, entre la damisela y los ángeles. Los tonos de la voz, las posturas del cuerpo, las expresiones de la cara, se representan a través del yo poético, quien actúa como observador, audiencia real de la escena. De esta manera, una serie de modos de expresión pertenecientes a la situación comunicativa material se subsumen en la expresión escrita: el yo “ve” la sonrisa de la damisela (modo visual) y “oye” su llanto (modo sonoro). Ahora las cosas han cambiado. ¿El lector del siglo 21 compraría un libro de cocina o una novela de Corín Tellado con una presentación al estilo de las portadas de la Figura 10?

Fig. 10 Siglo XIX: portadas de un libro de cocina y de una novela de amor (romance) Probablemente no, porque el proceso inverso, el paso de la monomodalidad a la multimodalidad, se ha producido (según Kress & van Leeuwen 2001) en el paso del siglo 19 hacia el 20. Y así como la invención de la imprenta resaltó la importancia de la letra impresa, las nuevas técnicas electrónicas, con las que los contenidos y formatos visuales se pueden manejar y difundir con enorme facilidad, ahora vuelven a dar prominencia a la imagen. Vuelven a aparecer los iconos, esta vez no con significado filosófico o sagrado, sino comercial: se trata de logotipos, textos-imágenes de marcas registradas, etc. Comentaremos luego más ejemplos de tendencias contemporáneas en el manejo de modos visuales.

8

Habíamos apuntado antes que el discurso revela su carácter histórico, no sólo a través de la serie de modos que en determinado momento sirven para expresarlo, sino también a través de su combinación con otros discursos. El ejemplo del poema de Rossetti nos pone en escena un discurso amoroso y otro religioso que, individualmente y como tales, se encuentran en cualquier sociedad en cualquier época. Pero su particular combinación, junto con el discurso poético descriptivo (arte verbal escrito) y el habla de la protagonista, los sitúa en el siglo 19 en Inglaterra, y en la tradición de la balada romántica. Más familiar, quizá, nos resulta hoy día la combinación discursiva del anuncio del champú Pantene (Fig. 11). La intersección del discurso científico con el comercial es una técnica establecida para vendernos productos apelando a la autoridad de “expertos”. Los “expertos” en este caso son tanto los estilistas del pelo y los “artistas” de la cosmética, como científicos del laboratorio Pantene y médicos. El discurso científico que está en juego en el texto citado es el discurso médico. El tono de consejo reconfortante del médico paternal se funde con las exhortaciones del discurso comercial y los “tips” de los expertos en estética corporal. Pasemos, finalmente, a casos discursivos más problemáticos, generados tanto por la enorme rapidez con la que géneros discursivos y diseños se transforman en el contexto contemporáneo, como por la flexibilidad de los medios empleados. Cuando la combinación de discursos se realiza en el contexto de una fusión de géneros discursivos, se produce un caso de verdadera hibridación discursiva, que puede dar lugar a un mensaje bifurcado, diferente para cada tipo distinto de audiencia contemplado. El emplear el mismo texto para comunicar mensajes diferentes a distintos públicos es una práctica establecida en muchos escenarios comunicativos en el mundo moderno (en escenarios políticos, por ejemplo). Pero hay casos que se pueden calificar de siniestros. El siguiente ejemplo es un video promocional del ejército estadounidense (por razones prácticas no nos es posible reproducir el video digital aquí). Combina escenas realistas (como si fueran de noticiero) con otras de realidad virtual propias de los videojuegos, y el mensaje propagandístico militar se combina con un género que acostumbramos ver en el cine, los avances de estrenos de películas, como si se estuviera promocionando en este caso una película de acción, y no el ejército. De hecho, éste es un anuncio no del ejército en sí, sino del videojuego que han confeccionado para “informar” al joven de catorce o quince años, potencial recluta futuro, sobre la vida militar. Este tipo de hibridaciones en nuestros medios contemporáneos, que señalamos como un problema para el análisis crítico del discurso, se caracteriza por propagar mensajes dobles, combinaciones discursivas disparejas, que parecen coherentes debido a un hábil manejo de recursos multimodales.

9

We're all aware the sun's rays can be harmful, but they are also a boundless source of physical & psychological benefits. With a good sun protection cream and a little bit of common sense we can all shine like a goddess this summer. Click on the experts below to see what they have to say about taking care of your beautiful self this summer!

Fig. 11 Página web de Pantene

10

Vivimos en un mundo de constantes transformaciones de discursos visuales, en gran parte porque las nuevas tecnologías electrónicas e informáticas nos ofrecen un potencial nunca antes visto para el manejo de los modos visuales. De la misma manera que en los medios se ven casos de fusiones discursivas particularmente modernas, también se producen casos de fusión de distintos modos de expresión. En los mensajes publicitarios, por ejemplo, las letras del lenguaje escrito se explotan en su plena potencialidad visual. De esta manera, una letra o morfema se puede convertir en icono, objeto visual, objeto tridimensional con cara delantera y trasera, en una especie de ventana para visualizar otros objetos y referentes, un espacio cromático, etcétera, como en un ejemplo de la marca X (Fig. 12).

Fig. 12 Anuncio de la marca X Fig. 13 Anuncio de la marca OXOXO En la Figura 13, ¿OXOXO es una palabra o un conjunto de iconos (incluyendo el icono del corazón)? Se trata de un recurso lingüístico o de un objeto visual? Sólo un cuidadoso análisis multimodal nos puede ayudar a comprender casos de modos fusionados o superpuestos. La superposición de modos, formas, estructuras en el espacio virtual, creando efectos de aparente instantaneidad o simultaneidad en el tiempo, es un rasgo de los nuevos contextos de comunicación electrónica en el mundo moderno. Los medios contemporáneos también transforman las estructuras discursivas. Un caso es la narración, que acostumbramos concebir en términos verbales, pero que tiene un evidente potencial multimodal. En un ejemplo interesante del sitio web de la revista Vogue (Fig. 14) que me fue proporcionado por mi alumna doctoral Karla Zúñiga, vemos como la estructura narrativa se propone como una especie de plantilla que el usuario puede llenar de manera individual, empleando la técnica de “collage” electrónico tan frecuente en Internet, enhilando en este caso, no palabras ni frases sino imágenes a primera vista disparejas, pero potencialmente combinables por su carga de tiempo y espacio. El sitio de la revista Vogue invita a sus lectoras a conocer la “historia completa” (“the whole story”), pero haciendo clic en este vínculo sólo se llega a una serie de pantallas llamadas “style notes” (apuntes de estilo) con diferentes imágenes y textos

11

breves. La intención es que cada lectora o usuaria formule su propia historia de estilo, a través de una temática, temporalidad y topografía vagamente trazadas (en forma de “apuntes”). La historia completa sólo la conocerán las lectoras de Vogue a través de las construcciones que ellas mismas hacen.

Fig. 14 Página web de la revista Vogue Conclusiones Para resumir lo que podemos aprender de este veloz recorrido de ejemplos:

1) la teoría multimodal plantea el discurso como una realidad cambiante, evolutiva, histórica, que sólo se puede captar a través de un diseño y un contexto comunicativo. En esto, los ejemplos de la historia pasada son útiles para comprender la historia de actos comunicativos “actuales” o recientes.

2) los detalles materiales y técnicos de la producción y distribución de discursos cobran una nueva y especial importancia.

3) para comprender la naturaleza de los discursos, hay que examinar las audiencias que los reciben. El papel creativo del receptor es cada vez más importante en el sofisticado manejo de múltiples modos en la comunicación contemporánea.

4) los aportes de la teoría multimodal son esenciales para un análisis verdaderamente crítico del discurso.

12

Referencias

Bunt, Harry & Robbert-Jan Beun (eds.) 2001. Cooperative multimodal communication. Berlin: Springer

Granström, Björn, David House & Inger Karlsson (eds.), 2002. Multimodality in language and speech systems. Dordrecht: Kluwer

Iedema, Rick, 2001, “Analyzing film and television” en T. van Leeuwen & C. Jewitt (eds.) Handbook of visual analysis. Londres: Sage.

Jewitt, Carey & Gunther Kress, 2003. Multimodal literacy. N.York: Peter Lang.

Kress, Gunther, 2003. Literacy in the new media age. Londres: Routledge.

Kress, Gunther & Theo van Leeuwen, 1996. Reading images. Londres: Routledge.

Kress, Gunther & Theo van Leeuwen, 1998. Front pages: (The critical) analysis of newspaper layout. En: Allan Bell & Peter Garrett (eds.), Approaches to media discourse. Oxford: Blackwell.

Kress, Gunther & Theo van Leeuwen, 2001. Multimodal discourse. The modes and media of contemporary communication. Londres: Arnold.

van Leeuwen, Theo 2005. Introducing social semiotics. Londres: Routledge.

Thibault, Paul, 2000, “The multimodal transcription of a television advertisement” en: Anthony Baldry (ed.) Multimodality and multimediality in the distance learning age. Campobasso: Palladino Editore.