A ATUAÇÃO DO ENTREVISTADOR NA INTERAÇÃO FACE A FACE DO EXAME CELPE-BRAS
-
Upload
stephani-luna-solis -
Category
Documents
-
view
227 -
download
0
Transcript of A ATUAÇÃO DO ENTREVISTADOR NA INTERAÇÃO FACE A FACE DO EXAME CELPE-BRAS
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
1/211
i
LIEKO SAKAMORI
A ATUAO DO ENTREVISTADOR NA INTERAOFACE A FACE DO EXAME CELPE-BRAS
UNICAMPINSTITUTO DE ESTUDOS DA LINGUAGEM
2006
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
2/211
ii
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
3/211
iii
LIEKO SAKAMORI
A ATUAO DO ENTREVISTADOR NA INTERAOFACE A FACE DO EXAME CELPE-BRAS
UNICAMPINSTITUTO DE ESTUDOS DA LINGUAGEM
2006
Dissertao apresentada ao Programa dePs-Graduao em Lingstica Aplicada, doInstituto de Estudos da Linguagem daUniversidade Estadual de Campinas, comorequisito parcial para obteno do ttulo deMestre em Lingstica Aplicada na rea deEnsino-Aprendizagem de Segunda Lngua eLngua Estrangeira.
Orientadora:
Profa. Dra. Matilde Virginia RicardiScaramucci
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
4/211
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
5/211
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
6/211
iv
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
7/211
vi
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
8/211
vii
Aos meus pais, pelo incentivo e carinho.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
9/211
viii
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
10/211
ix
AGRADECIMENTOS
Profa. Dra. Matilde, pela amizade, incentivo, ensinamentos e sugestes que me
ajudaram a amadurecer profissionalmente.
Ao Prof. Dr. Nelson Viana e Profa. Dra. Elza Taeko Doi, pelas sugestes e
direcionamentos durante o exame de qualificao.
Aos funcionrios do IEL, pelo carinho e ateno.
equipe do Celpe-Bras, pela ateno e colaborao sempre que precisei.
Aos participantes desta pesquisa, pela valiosa colaborao.
Aos meus pais, por me incentivarem a lutar pelos meus objetivos.
s minhas irms, pelo apoio e carinho; em especial minha irm Akina, pelas
anlises estatsticas desta pesquisa.
Aos familiares e amigos, por sempre estarem ao meu lado.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
11/211
x
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
12/211
xi
RESUMO
A confiabilidade um aspecto fundamental da avaliao. Um teste considerado
confivel quando no h variveis que possam afetar a avaliao do desempenho do
candidato. Elas podem estar relacionadas s condies de aplicao do teste, ou
atuao dos entrevistadores. No entanto, no caso das avaliaes orais como as
interaes face a face, em que o candidato interage com o entrevistador, o controle
da confiabilidade se torna mais difcil, j que as interaes envolvem inmeras
variveis. Para controlar essas variveis, formam-se entrevistadores e elaboram-se
procedimentos, regras e critrios de avaliao. Mesmo assim, podem existir variveis
que no foram previstas em relao s interaes. O objetivo deste trabalho fazer
uma anlise da atuao dos entrevistadores na interao face a face do exame
Celpe-Bras (Certificado de Proficincia em Lngua Portuguesa para Estrangeiros).
Esse exame, desenvolvido pelo Ministrio da Educao do Brasil e em uso desde
1998, certifica os candidatos estrangeiros em quatro nveis: Intermedirio,
Intermedirio Superior, Avanado e Avanado Superior. Ele composto de duas
partes, uma prova escrita e outra oral. A avaliao oral uma interao face a face,
com durao de 20 minutos. O candidato avaliado por um entrevistador e umobservador. Os resultados do estudo mostraram que houve variaes em relao
atuao dos entrevistadores, podendo ser consideradas colaborativas e/ou no
colaborativas. Espera-se que este trabalho possa contribuir para um maior
entendimento das avaliaes orais em geral, e mais especificamente, servir de
subsdio para o aprimoramento do Manual do Entrevistador do exame Celpe-Bras.
Palavras-chave: avaliao oral, interao face a face, atuao do entrevistador.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
13/211
xii
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
14/211
xiii
ABSTRACT
Reliability is a fundamental concept in assessment. A test is considered to be reliablewhen there are no variables that can affect the candidates performance assessment.
They can be related to the conditions of test application or interviewers performance.
However, in the case of oral assessments such as face to face interactions, in which
the candidate interacts with an interviewer, the control of reliability becomes more
difficult, since the interactions will involve many variables. In order to control those
variables, interviewers are trained and test procedures, rules and criteria are
elaborated. Even though, there can be variables that were not predicted to the
interactions. The aim of this work is to analyze interviewers performance in face to
face interaction of Celpe-Bras examination (Proficiency in Portuguese as a Foreign
Language). This examination, developed by the Ministry of Brazilian Education and in
use since 1998, certifies foreign candidates in four levels: Intermediate, High
Intermediate, Advanced and High Advanced. It has two parts, a writing test and a
speaking one. The oral test is a 20 minutes face to face interaction. The candidate is
evaluated by an interviewer and an observer. The results of this study pointed that
there were variations concerning interviewers performance, which could be
considered collaborative and/or non-collaborative. It is expected that this work can
contribute to a better understanding of oral evaluations in general , and more
specifically, to serve as subsidy to the improvement of Interviewers Manual of Celpe-
Bras examination.
Key words: oral assessment, face to face interaction, interviewers performance.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
15/211
xiv
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
16/211
xv
SUMRIO
1.A Trajetr ia da pesquisa
1.1. Introduo .......................................................................................................01
1.2. O exame Celpe-Bras .......................................................................................05
1.3. O problema da pesquisa e a justificativa da escolha do tpico ......................10
1.4. A interao face a face ...................................................................................15
1.5. Objetivos da pesquisa .....................................................................................18
1.6. Metodologia .....................................................................................................19
1.7. Estruturao da dissertao ...........................................................................20
2. Confiabilidade na avaliao oral: um olhar sobre a atuao de
entrevistadores
2.1 Introduo ........................................................................................................23
2.2. Variao dos entrevistadores na atribuio de notas .....................................24
2.3. Estudos sobre avaliao oral no Brasil ...........................................................30
2.4. Confiabilidade e validade em exames orais ....................................................32
2.5. O aspecto cultural nas entrevistas ..................................................................54
3.Anlise dos dados e discusso dos resultados
3.1. Introduo .......................................................................................................59
3.2. Dados relacionados aos procedimentos do exame ........................................59
3.3. Dados relacionados aos estilos dos entrevistadores ......................................90
3.4. Atribuio de notas pelos entrevistadores e observadores ..........................110
3.5. Consideraes finais .....................................................................................115
Referncias bibliogrficas ....................................................................................121
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
17/211
xvi
Anexos
Anexo 1: Questionrio para estrangeiros que moram no Brasil ..............................127Anexo 2: Elemento provocador ................................................................................131
Anexo 3: Roteiro para aplicao ..............................................................................135
Anexo 4: Elemento provocador: Adeus, olho gordo .................................................139
Anexo 5: Elemento provocador: Co e o carteiro ....................................................143
Anexo 6: Elemento provocador: Ordem na casa, ordem na vida ............................147
Anexo 7: Elemento provocador: Super-heris .........................................................151
Anexo 8: Elemento provocador: Compra pela internet.............................................155
Anexo 9: Elemento provocador: Escolha da profisso ............................................159
Anexo 10: Elemento provocador: Presentes.............................................................163
Anexo 11: Elemento provocador: Quando voc se sente um peixe fora dgua? ...167
Anexo 12: Elemento provocador: Gaiola .................................................................171
Anexo 13: Elemento provocador: Eles e elas ..........................................................175
Anexo 14: Elemento provocador: Amor de sogra ...................................................179
Anexo 15: Elemento provocador: Mulher apaixonada ............................................183
Anexo 16: Instrues para aplicao do exame ......................................................187
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
18/211
xvii
NOTAS DE TRANSCRIOAdaptado de Atkinson & Heritage (1984)
1.Falas simultneas: [[2. Sobreposio de falas: [ ou [ ] (para indicar o comeo e o fim da sobreposio defalas)
3. Falas contnuas: = (quando no h intervalos entre as falas e a segunda falaocorre imediatamente aps a primeira fala)
4. Pausas: ( ) (marcadas por segundos)
5. Prolongamento do som ou da slaba: :
6. Caracterizaes na forma de falar: (( ))
7. Dvidas e suposies do transcritor: ( ) , quando no se sabe o que foi falado:(ininteligvel)
8. Destaques: para sinalizar as falas a serem discutidas
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
19/211
xviii
LISTA DE FIGURA
Figura 1 Caractersticas da avaliao oral .............................................................25
LISTA DE GRFICOS
Grfico 1 Tempo total por entrevistador .................................................................63
Grfico 2 Tempo da primeira parte ........................................................................64
Grfico 3 Tempo do 1. Elemento provocador .......................................................66
Grfico 4 Tempo do 2. Elemento provocador .......................................................67
Grfico 5 Tempo do 3. Elemento provocador .......................................................69
Grfico 6 Porcentagem de cumprimento das etapas por entrevistador .................74
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
20/211
xix
LISTA DE TABELAS
Tabela 1 Durao das entrevistas .........................................................................60
Tabela 2 Tempo total da entrevista por entrevistador ............................................63
Tabela 3 Tempo da primeira parte da entrevista por entrevistador .......................65
Tabela 4 Tempo do 1. Elemento provocador por entrevistador ............................66
Tabela 5 Tempo do 2. Elemento provocador por entrevistador ............................68
Tabela 6 Tempo do 3. Elemento provocador por entrevistador ............................69
Tabela 7 Etapas dos Elementos Provocadores .....................................................72
Tabela 8 Etapas da entrevista por entrevistador ...................................................74
Tabela 9 Elementos caracterizadores dos estilos colaborativos e no-colaborativosdos entrevistadores..........................................................................................108
Tabela 10 Quantidade de notas por avaliador........................................................111
Tabela 11 Associao de avaliador como entrevistador e observador ..................112
Tabela 12 Notas dos candidatos ............................................................................113
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
21/211
xx
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
22/211
1
CAPTULO I
A TRAJETRIA DA PESQUISA1.1 INTRODUO
No contexto escolar, a avaliao oral faz parte do processo de ensino e
aprendizagem de uma lngua estrangeira. Avaliar no significa apenas diagnosticar o
produto, ou seja, se um determinado contedo foi assimilado ou no de maneira
satisfatria pelo aluno, mas tambm serve como um termmetro para o professor,
isto , se h a necessidade de modificaes em relao sua abordagem de ensino,
materiais, etc. Por exemplo, se um determinado contedo no foi bem assimilado
pelos alunos, h a necessidade do professor retom-lo novamente ou rever a sua
prtica de ensino.
A avaliao descrita acima denominada de rendimento e se ope
avaliao de proficincia que, por sua vez, tem como objetivo julgar o nvel de
desenvolvimento de competncia lingstica em que se encontra um candidato.
Nesse caso, a avaliao no est relacionada diretamente a contedos vistos em
sala de aula, mas em identificar o quanto um candidato sabe usar a lngua para
desempenho futuro, tendo em vista uma anlise de necessidades.
Para que uma avaliao seja bem elaborada, necessrio considerar
alguns aspectos, como confiabilidade e validade. O primeiro est relacionado s
variveis de um teste que possam interferir naquilo que se quer avaliar. Por exemplo,
um barulho externo que, de alguma maneira, pode prejudicar a concentrao dos
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
23/211
2
alunos e modificar a sua atuao no teste. J o segundo est relacionado aos
objetivos de um teste, ou seja, se aquilo que ele se prope a avaliar est sendo de
fato avaliado. Se o objetivo avaliar a produo oral de um candidato, uma formaeficaz para isso seria pedir a ele que fale.
Sob uma perspectiva histrica, a avaliao tem se modificado de acordo
com as mudanas em relao s abordagens de ensino e aprendizagem de lngua.
No final dos anos 50, a viso de linguagem era a estruturalista, ou seja, a lngua
poderia ser dividida em pequenas partes e saber uma lngua significava saber como
combinar essas partes para formar estruturas gramaticalmente corretas. Para avaliar
essa viso de lngua, os testes de item isolado (discrete-point test) foram utilizados.
Nesse perodo, a confiabilidade foi enfatizada, pois era importante que a avaliao
fosse feita de forma consistente, sem variaes. Por exemplo, em um teste de
mltipla escolha h apenas uma resposta correta e no h a necessidade de se fazer
julgamentos subjetivos, o que poderia contribuir para variaes em relao
atribuio de notas.
J no final dos anos 60, a viso de linguagem que se destacou foi mais
funcionalista, isto , a lngua, que antes era descontextualizada e dividida em
pores menores, passa a ser vista como um cdigo contextualizado, com enfoque
nas funes da linguagem (pedir um conselho, dar opinio etc.). Com isso, o enfoque
da avaliao tambm se modifica. O foco passa a ser a validade, ou seja, se os
objetivos de um teste esto sendo de fato avaliados. Se o intuito avaliar o
desempenho oral de um candidato, por exemplo, seria necessrio coloc-lo em uma
situao em que ele tivesse que demonstrar esse desempenho. Nesse caso, a
avaliao mais adequada seria uma entrevista oral e no um teste de mltipla
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
24/211
3
escolha. Em outras palavras, passa-se a avaliar o uso ou desempenho e no mais
conhecimentos sobre a lngua. Uma vez que o foco est no uso, a avaliao se
torna mais subjetiva e propcia a variaes, pois h a necessidade de avaliadorespara julgar o desempenho do candidato. Por outro lado, os critrios de avaliao so
criados para garantir a confiabilidade.
Os primeiros exames orais surgem nos anos 50, como a entrevista de
proficincia oral (EPO)1, desenvolvida pelo Instituto de Servio Estrangeiro (FSI),
com o intuito de avaliar, primeiramente, a habilidade oral de militares americanos que
assumiam postos no exterior e, mais tarde, nos anos 60, de alunos estrangeiros que
ingressavam nas universidades norte-americanas. No incio, a preocupao estava
voltada para uma descrio dos nveis de proficincia, com o intuito de assegurar a
confiabilidade da avaliao oral. Em seguida, o enfoque foi voltado para a validade
da avaliao oral, comparando-se as avaliaes orais (entrevistas) com as conversas.
O aspecto da confiabilidade volta a ser tema dos estudos na dcada de 90,
focalizando a atuao dos entrevistadores/avaliadores 2 e dos candidatos nas
entrevistas.
Em suma, embora a nfase na confiabilidade e na validade tenha se
modificado durante os anos, elas no podem ser vistas como dois aspectos que se
opem, mas que se complementam. Para um teste ser vlido, necessrio que
antes seja confivel, pois se houve variaes em relao s condies de aplicao
do teste e que levaram a uma modificao do desempenho do candidato, a amostra
1 O termo original em ingls OPI (Oral Proficiency Interview) foi traduzido neste trabalho como EPO.2 H uma distino entre Entrevistador e Avaliador. Entrevistador aquele que conduz a entrevistaoral e Avaliador aquele que atribui nota ao candidato. Em algumas situaes, o Entrevistadortambm pode atuar como Avaliador.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
25/211
4
desse desempenho no ser significativa, e portanto, a validade do teste tambm
afetada.
Se, por um lado, a avaliao oral como uma entrevista face a face considerada vlida por colocar o candidato em uma situao em que ele tenha que
falar e que representativa das situaes em que ele tenha que se desempenhar na
vida real, por outro, necessrio que as variveis durante a conduo da entrevista
sejam controladas e minimizadas para que a confiabilidade seja garantida.
Portanto, para tornar uma avaliao confivel, necessrio, alm de um
exame bem elaborado, que os entrevistadores recebam uma formao especfica3,
que se estabelea uma grade para definir os aspectos do desempenho a serem
avaliados e que os procedimentos do exame sejam seguidos pelos entrevistadores.
Mesmo que essas condies sejam estabelecidas, a confiabilidade do exame no
est garantida porque no se sabe como ocorrer a interao entre oentrevistador e
o candidato. Por se tratar de interaes, uma ser diferente da outra e com isso,
variaes entre elas existiro. O que se deve observar at que ponto essas
variaes podem criar condies que ameacem a confiabilidade do exame.
Neste estudo, pretendo analisar a atuao dos entrevistadores nas
interaes face a face do exame Celpe-Bras com o intuito de identificar as possveis
variveis que possam ameaar a confiabilidade do exame. Espera-se que este
trabalho possa servir de subsdio para uma descrio mais detalhada em relao
atuao do entrevistador no Manual do Entrevistador.
3 Neste trabalho optei por usar formao em vez de treinamento de entrevistadores porque o termosugere uma viso menos mecanicista.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
26/211
5
Este captulo est organizado em seis partes. Na primeira, o exame Celpe-
Bras apresentado. Na segunda, o problema de pesquisa e a justificativa da escolha
do tpico so abordados. Na terceira, a interao face a face do exame discutida.Na quarta, os objetivos desta pesquisa, operacionalizados atravs de perguntas, so
apresentados. Na quinta, a metodologia utilizada discutida. Por fim, na sexta, a
estruturao da dissertao apresentada.
Na prxima seo, apresentarei de forma mais detalhada as
caractersticas do exame. As informaes foram obtidas a partir do Manual do
Candidato (2003).
1.2. O EXAME CELPE-BRAS
O Celpe-Bras o Certificado de Proficincia em Lngua Portuguesa para
Estrangeiros, desenvolvido e outorgado pelo Ministrio da Educao (MEC) do Brasil
desde 1998. Ele o nico certificado de proficincia em portugus reconhecido pelo
governo brasileiro. O exame aplicado duas vezes ao ano, tanto no Brasil como
tambm em outros pases. Os candidatos ao Celpe-Bras so estrangeiros no-
lusfonos, maiores de 16 anos e que tenham, pelo menos, cursado o ensino
fundamental. No Brasil, o certificado j exigido para ingresso nas universidades
para os cursos de graduao e ps-graduao. Alm disso, algumas empresas e
instituies tambm esto exigindo o certificado para que profissionais estrangeiros
possam atuar na sua rea de formao no Brasil. O Celpe-Bras tambm exigido
pelos Conselhos Regionais de Medicina (CRM) para que um mdico possa
convalidar o seu diploma e exercer a profisso no Brasil.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
27/211
6
A elaborao do Celpe-Bras iniciou-se em junho de 1993, por uma equipe
de pesquisadores das Universidades Federais de Braslia, Rio de Janeiro,
Pernambuco, Rio Grande do Sul e Estadual de Campinas e tambm por tcnicos daSecretaria de Ensino Superior do MEC (SESu). Esse exame teve como ponto de
partida um exame anterior, elaborado por pesquisadores da Universidade Estadual
de Campinas, como parte de um projeto de desenvolvimento de um certificado de
proficincia em lngua portuguesa para estrangeiros para uso interno dessa
universidade (EPPE). A equipe de elaborao do exame Celpe-Bras optou por fazer
desse exame um embrio para a elaborao do exame nacional, porque tanto a
equipe do Celpe-Bras quanto os pesquisadores da Unicamp compartilhavam os
mesmos pressupostos tericos em relao viso de linguagem e avaliao
(SCARAMUCCI, 1995).
Em 1995, o exame foi oficialmente institudo pela Portaria Ministerial no.
1787/95 e s veio a ser aplicado pela primeira vez em 1998. Os candidatos obtinham
certificao em dois nveis: Primeiro Certificado e Segundo Certificado. O primeiro
certificava uma proficincia parcial; o segundo, uma proficincia plena.4
Diferentemente das avaliaes de rendimento, um exame de proficincia
tem como objetivo avaliar o desempenho do candidato em relao ao uso futuro da
lngua-alvo. Em outras palavras, o objetivo do Celpe-Bras avaliar se os candidatos
conseguem:
(...) se comunicar em situaes reais do dia-a-dia: ler e redigir textos,interagir oralmente ou por escrito em atividades dentro do contexto
4Atualmente h a certificao em quatro nveis: Intermedirio, Intermedirio Superior, Avanado eAvanado Superior (MANUAL DO CANDIDATO, 2003).
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
28/211
7
escolar (esclarecer dvidas com o professor, fazer provas, apresentarseminrios, etc.) e externas a ele (fazer relatos, fazer compras,reclamar, ir ao mdico, etc.). Por ser um exame de proficincia, oCelpe-Bras no elaborado com o objetivo de avaliar o que umcandidato aprendeu em um determinado curso, mas o que esse
candidato consegue ou no fazer na lngua-alvo quando se submeteao exame, independentemente de onde, quando ou como essa lnguafoi adquirida (MANUAL DO CANDIDATO, 2003, p.3).
A viso que fundamenta o exame de natureza scio-interacional, isto ,
h a preocupao em avaliar o uso que o candidato faz da lngua em diversas
situaes. As questes relacionadas gramtica e vocabulrio no esto presentes
de forma explcita no exame, embora seu conhecimento seja necessrio para que
um candidato possa redigir um texto, por exemplo.
Com base em uma viso de linguagem como uma ao conjunta departicipantes com um propsito social, e considerando lngua ecultura como indissociveis, o conceito de proficincia quefundamenta o exame consiste no uso adequado da lngua paradesempenhar aes no mundo. Nesse sentido, a prtica dalinguagem tem de levar em conta o contexto, o propsito e o(s)
interlocutor(es) envolvido(s) na interao com o texto (MANUAL DOCANDIDATO, 2003, p.4)
As quatro habilidades so avaliadas de forma integrada: compreenso oral,
compreenso escrita, produo oral e produo escrita. No caso da interao face a
face, por exemplo, tanto a produo oral quanto a compreenso oral e escrita so
levadas em conta para definir o nvel de proficincia de um candidato. O exame est
estruturado em dois mdulos: a) Parte Coletiva, uma prova escrita, com enfoque nas
habilidades de compreenso (oral e escrita) e produo escrita; b) Parte Individual,
uma interao face a face, em que a compreenso (oral e escrita) e a produo oral
so avaliadas.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
29/211
8
A Parte Coletiva, com durao de duas horas e meia, constituda por
tarefas. Segundo os elaboradores do exame, a tarefa definida como um convite
para o uso da linguagem com um propsito social. Dessa maneira, ela compostade uma ao, propsito e interlocutores.
Em cada tarefa h sempre um propsito claro de comunicao(escrever um texto para reclamar, para informar, para discordar) e uminterlocutor (direcionar o texto para um jornal, para um amigo, paraum chefe), de forma que o candidato possa adequar seu texto aopropsito da comunicao e ao interlocutor (MANUAL DOCANDIDATO, 2003, p. 5).
Nessa parte, h duas tarefas que avaliam a compreenso oral (em que so
apresentados um trecho em udio e outro em vdeo) e produo escrita e mais duas
tarefas que, por sua vez, concentram-se na leitura de textos e produo escrita. Por
exemplo, em uma das tarefas, pode ser pedido ao candidato que, aps ter lido uma
reportagem, escreva uma carta para o jornal expressando sua opinio. O material
utilizado para o exame diversificado e constitudo de textos autnticos que circulam
na sociedade, incluindo desde panfletos a textos de jornais, literrios, entrevistas,
documentrios. Os textos orais podem ser em vdeo ou udio.
A Parte Individual, ou interao face a face, foco deste trabalho, tem
durao de 20 minutos e composta de duas etapas. Nos primeiros cinco minutos, o
entrevistador faz perguntas baseadas em um questionrio previamente respondido
pelo candidato a respeito de seus hobbies, os motivos que o levaram a se interessar
pela lngua e cultura brasileira, dentre outros5. Os quinze minutos restantes so
5H dois tipos de questionrio: um para os estrangeiros que moram no Brasil e outro para os quemoram no exterior.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
30/211
9
divididos em trs partes, cada uma relacionada a um elemento provocador
constitudo por pequenos textos, fotos, cartuns etc. sobre tpicos do cotidiano e de
interesse geral que foram montados pela comisso do Celpe-Bras e so usados como intuito de provocar uma interao com o candidato, para que ele possa expressar
suas idias e opinies sobre assuntos variados. Trs elementos provocadores so
escolhidos pelo entrevistador antes do incio da entrevista.
Os candidatos so avaliados atravs de um nico exame e podem receber
certificao em um dos quatro nveis de proficincia: Intermedirio, Intermedirio
Superior, Avanado e Avanado Superior. A certificao do candidato em um nvel
ou outro depende do equilbrio entre as duas partes do exame, ou seja, a Coletiva e
a Individual. Isto significa que se um candidato obtiver um desempenho considerado
Avanado na Parte Individual e no conseguir certificao na Parte Coletiva, ele no
obter a certificao. Os critrios utilizados na correo da Parte Coletiva so:
adequao ao contexto, adequao discursiva e adequao lingstica.
A diferena entre os nveis espelha a qualidade do desempenho docandidato nas tarefas de compreenso e produo textual (oral eescrita), em trs aspectos: adequao ao contexto (cumprimento dopropsito de compreenso e de produo, levando em conta ognero discursivo e o interlocutor), adequao discursiva (coeso ecoerncia) e adequao lingstica (adequao e variedade lexical ede estruturas gramaticais) (MANUAL DO CANDIDATO, 2003, p.6).
Segundo a descrio dos nveis de proficincia no Manual do Candidato,
para obter o Certificado Avanado, o candidato dever ter o domnio amplo da lngua
portuguesa, ou seja, conhece assuntos variados e consegue demonstrar fluncia
(compreenso e produo de textos orais e escritos) em contextos conhecidos e
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
31/211
10
desconhecidos. Alm disso, ele deve ser capaz de usar estruturas complexas da
lngua e vocabulrio adequado. As imprecises e inadequaes so ocasionais e
quando ocorrem, no devem interferir na comunicao. J em relao ao CertificadoAvanado Superior, o candidato apresenta todas as caractersticas de um candidato
com Certificado Avanado, porm as inadequaes e/ou interferncias so menos
freqentes.
Para obter o Certificado Intermedirio, o candidato dever possuir um
domnio parcial da lngua portuguesa, ou seja, compreender e produzirtextos orais e
escritos sobreassuntos limitados (em contextos conhecidos e situaes do cotidiano)
e usarestruturas simples da lngua e vocabulrio adequado a contextos conhecidos.
Porm, quando se trata de contextos desconhecidos, o candidato ainda pode
apresentar imprecises, inadequaes e interferncias da lngua materna que,
entretanto, no comprometem a comunicao. De forma semelhante distino
entre os nveis Avanado e Avanado Superior, o que diferencia o nvel de
Certificado Intermedirio do Intermedirio Superior est na freqncia de
inadequaes e/ou interferncias, sendo elas menos freqentes no ltimo nvel.
Tendo caracterizado o exame, passo, a seguir, para o problema de
pesquisa e a justificativa da escolha do tpico.
1.3. O PROBLEMA DA PESQUISA E A JUSTIFICATIVA DA ESCOLHA DOTPICO
A confiabilidade uma questo bastante discutida na rea de avaliao.
Hughes (1989) afirma que uma avaliao confivel na medida em que a nota
obtida num teste, numa ocasio particular, seja muito similar a uma outra,
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
32/211
11
conseguida numa ocasio posterior, considerando-se que no tenha havido
nenhuma aprendizagem ou esquecimento durante esse perodo e que as condies
de aplicao tenham sido as mesmas. Quanto mais similares forem as notas, maisconfivel a avaliao 6 . Em outras palavras, para que uma avaliao seja
considerada confivel, necessrio que no haja variveis que nela interfiram. Por
exemplo, uma varivel poderia ser a qualidade de som apresentado aos candidatos
para a avaliao de compreenso oral. Se, em uma ocasio, no h problemas em
relao ao som, mas em outra h problemas, isso poderia de alguma forma interferir
no desempenho dos candidatos e, dessa maneira, as notas obtidas por eles no
seriam semelhantes.
Alm da confiabilidade, a validade tambm um aspecto importante na
avaliao. Tornar um teste vlido significa verificar se aquilo que ele se props a
avaliar foi de fato avaliado. Se o objetivo de um teste era avaliar a habilidade escrita
dos candidatos, seria necessrio observar se isso foi realmente feito. Uma forma
direta de avaliar essa habilidade seria pedir para que os candidatos escrevessem um
texto. No entanto, a habilidade escrita tambm pode ser avaliada de forma indireta,
por meio de um teste de mltipla escolha, mas para construir esse teste necessrio
levantar hipteses em relao a quais sub-habilidades esto envolvidas quando um
candidato escreve um texto e, dessa maneira, avali-las no teste.
Se por um lado, uma avaliao direta da habilidade do candidato seria
considerada vlida, por outro, sua confiabilidade seria afetada no sentido de que
poderia haver variveis, por exemplo, no momento da correo desses textos. Dois
avaliadores poderiam atribuir notas diferentes a um mesmo candidato por seguirem
6No original: The more similar the scores would have been, the more reliable the test is said to be.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
33/211
12
critrios prprios de avaliao. No entanto, a fim de minimizar essas variveis, uma
grade de correo com descritores elaborada para controlar os critrios de cada
avaliador.Porm, mesmo havendo essa grade, ainda pode haver variaes na
atribuio de notas. Um avaliador pode ser mais exigente que outro, interpretando a
grade de outra forma e, assim, um mesmo candidato poderia obter duas notas
diferentes (MCNAMARA, 1996).
A relao confiabilidade e validade tambm pode ser pensada em relao
s avaliaes orais semi-diretas e diretas. As avaliaes orais semi-diretas so
aquelas em que no h a presena de um entrevistador. Nessas avaliaes, o
candidato ouve as instrues j gravadas e tem a sua fala gravada, que ser
posteriormente avaliada. Nesse tipo de avaliao, a confiabilidade pode estar mais
garantida porque todos os candidatos passaro pelas mesmas instrues do exame.
Por outro lado, a validade pode ser diminuda porque se, por exemplo, um dos
objetivos do exame avaliar como o candidato interage em relao ao entrevistador,
esse tipo de avaliao no seria considerado o mais apropriado.
J as avaliaes orais diretas so caracterizadas como interaes face a
face entre um entrevistador e um candidato, em que o primeiro ir fazer perguntas a
respeito de diversos assuntos e o segundo ir respond-las. Se, por um lado, a
validade pode ser aumentada, pois a interao se aproximaria de uma situao real
de comunicao, por outro lado, a confiabilidade seria diminuda porque mais
variveis no controladas poderiam aparecer por se tratar de uma interao face a
face. Por exemplo, a reao do entrevistador poderia variar dependendo do
candidato com quem ele interage. Ou ainda, poderia se pensar no apenas em
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
34/211
13
relao s variaes de um determinado entrevistador, como tambm entre os vrios
entrevistadores, isto , se eles atuam de forma semelhante quando esto
entrevistando os candidatos.Observa-se, portanto, que devido a uma tenso entre confiabilidade e
validade, difcil de se obter testes que sejam confiveis e vlidos. Alm disso, no
h como se obter uma totalidade em um desses aspectos porque mesmo que se
faa um controle das variveis, ainda assim no h como prever todas.
Como se pode notar, a confiabilidade nas avaliaes orais diretas se torna
mais difcil de ser obtida pela prpria natureza do exame. A respeito da avaliao
oral, Hughes (1989) argumenta: a avaliao precisa da oralidade no fcil. Leva
um tempo considervel e esforo para se obter resultados vlidos e confiveis 7.
Algumas sugestes so feitas por esse autor tanto em relao aos
procedimentos de um exame (como planejar e conduzir as avaliaes orais) como
tambm em relao formao, caractersticas e atitudes dos entrevistadores.
Quanto durao, Hughes afirma que improvvel obter informao confivel num
tempo inferior a 15 minutos, enquanto 30 minutos seria um tempo ideal. Alm disso,
o avaliador deve coletar o mximo de informao relevante no tempo disponvel da
avaliao oral. Ele tambm deve planejar a avaliao, embora sem seguir um
modelo rgido, pois uma das vantagens das avaliaes orais est no fato do
avaliador adaptar procedimentos em resposta ao desempenho do candidato. O
candidato deve receber vrios fresh starts, isto , vrias possibilidades de dar
7No original: The accurate measurement of oral ability is not easy. It takes considerable time andeffort to obtain valid and reliable results.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
35/211
14
continuidade interao. Especialmente para os candidatos que tm mais
dificuldade, insistir num mesmo tpico no seria recomendvel.
Em relao seleo e treinamento dos entrevistadores, Hughes coloca:Entrevistadores precisam ser compreensveis e flexveis, com um bom comando das
suas linguagens. Mas at mesmo os mais aptos precisam de formao 8. Alm
disso, um segundo examinador aconselhvel para uma observao mais atenta do
desempenho do candidato. O comeo da entrevista tambm um passo importante,
pois a situao de uma avaliao pode ser estressante para o candidato. Hughes
aconselha que o entrevistador deva ser agradvel e iniciar a avaliao com
perguntas pessoais, por exemplo. Ao longo da entrevista, os entrevistadores devem
evitar lembrar constantemente que os candidatos esto sendo avaliados. O
candidato, ao final da entrevista, deve ter uma sensao de tarefa cumprida. E,
finalmente, os avaliadores devem evitar falar muito, deixando que o candidato use
tempo suficiente para falar. Alm disso, eles devem evitar muitas explicaes e
repeties sobre coisas que o candidato no entendeu.
Embora os entrevistadores sejam formados e qualificados para realizar a
aplicao de uma avaliao oral, e dessa maneira, tornando-a mais confivel, ainda
assim h variveis que podem interferir no desempenho dos candidatos. Por
exemplo, apesar dos entrevistadores serem obrigados a seguir os procedimentos,
numa interao no h garantias de que eles os sigam fielmente. Ou ainda, os
estilos dos entrevistadores que podem variar em relao, por exemplo, maneira
8No original: Interviewers need to be sympathetic and flexible characters, with a good command ofthe language themselves. But even the most apt need training.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
36/211
15
como eles elaboram uma pergunta, o que poderia contribuir para a diminuio da
confiabilidade do exame.
Este trabalho tem como objetivo observar se os procedimentos do exametm sido seguidos e entender que variantes podem estar presentes no momento da
interao que, de alguma forma, influenciem o desempenho do candidato, como, por
exemplo, os diferentes estilos dos entrevistadores.
Espera-se que este estudo possa oferecer tanto contribuies tericas
para a rea de avaliao de proficincia oral, como tambm prticas para um
aperfeioamento maior da interao face a face do Celpe-Bras, apontando, dessa
maneira, tanto aspectos positivos quanto negativos com relao s interaes.
Na prxima seo, fao uma descrio mais detalhada da parte individual
do exame CELPE-Bras: a interao face a face, foco deste trabalho.
1.4. A INTERAO FACE A FACE
As interaes face a face so gravadas em udio ou em vdeo e avaliadas
por dois examinadores, que recebem formao especfica para atuarem como
entrevistador e observador.
No momento da entrevista, o entrevistadordeve ter em mos o manual do
aplicador, em que constam instrues gerais em relao aos procedimentos das
duas etapas: a primeira tem a estrutura de uma entrevista, com durao de
aproximadamente 5 minutos e a outra uma conversa motivada por trs elementos
provocadores, com durao de 15 minutos. A primeira parte da interao face a face
conduzida a partir de um questionrio respondido pelo candidato, por ocasio da
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
37/211
16
inscrio, que contm informaes sobre seus hobbies, se tem amigos brasileiros,
etc., como uma maneira de conhec-lo melhor (ver Anexo 1). Antes da entrada do
candidato, o entrevistador deve fazer uma leitura do questionrio respondido pelocandidato e buscar aprofundar (e no repetir) as respostas dadas pelo candidato.
Portanto, essa parte funciona como um aquecimento para a segunda parte, ou seja,
com o intuito de deixar o candidato vontade para que ele inicie a sua produo oral.
J na segunda parte, o elemento provocador, como o nome diz, o material utilizado
pelo entrevistador com o intuito de provocar uma interao com o candidato. Tal
material preparado pela comisso tcnica do Celpe-Bras e consiste de pequenos
textos, fotos, cartuns etc. sobre tpicos do cotidiano e de interesse geral (ver Anexo
2). So apresentados para cada candidato trs elementos provocadores para que
assim ele possa expressar suas idias e opinies sobre assuntos diversos. Cada
elemento provocador tem durao de 5 minutos. Durante a entrevista, o entrevistador
deve ter em mos o roteiro para os elementos provocadores que consiste de
explicaes sobre como cada um dele ser conduzido. Esse roteiro est dividido em
3 etapas. A primeira delas entregar o elemento provocador ao candidato e pedir
para que este o leia ou observe o material silenciosamente por aproximadamente 1
minuto. Em seguida, na segunda etapa, o entrevistador faz a primeira pergunta para
verificar a compreenso do candidato em relao ao tema abordado pelo elemento
provocador. Por fim, na terceira etapa, o entrevistador continua a interao a partir
de um conjunto de outras perguntas (ver Anexo 3).
As interaes so avaliadas pelo entrevistador e pelo observador, de forma
independente. O entrevistadorutiliza uma grade holstica, avaliando o desempenho
do candidato de forma global. J o observador analisa a interao a partir de uma
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
38/211
17
grade analtica. Nas duas grades, seis aspectos so considerados: a competncia
interacional, a fluncia, a pronncia, a adequao gramatical, a adequao lexical e
a compreenso. Porm, o que diferencia a nota atribuda pelo entrevistadorda notadada pelo observador est no fato de o primeiro avaliar todos os seis aspectos de
forma conjunta, chegando a uma nota final numa escala de 0 a 5, enquanto o
segundo avalia cada aspecto, pontuando-o de 0 a 5, totalizando-se seis notas de 0 a
5. Todas as interaes so gravadas em udio ou vdeo para posterior verificao.
Em cada um desses aspectos, so apresentados descritores do
desempenho do candidato para cada um dos nveis do exame. Na competncia
interacional, se o candidato capaz de se ajustar mudana de tpico, se a
conversa adequada ao interlocutor, ao assunto e ao contexto (formal/informal), se
ele contribui para o desenvolvimento da conversa e se ele usa adequadamente as
estratgias (reformulaes, parfrase, correes) para compensar eventuais
problemas lexicais, gramaticais e/ou fonolgicos. Em relao fluncia, verificado
se o candidato faz pausas e se ele hesita com certa freqncia para organizar o seu
pensamento e se isso ocasiona interrupes no fluxo da conversa. Em relao
pronncia, se os sons, ritmo e entonao so adequados ou se ainda h
interferncias de outras lnguas. Na adequao gramatical, a extenso de uso de
variedades de estruturas e a quantidade de inadequaes de estruturas complexas e
simples so consideradas. Na adequao lexical, a amplitude e adequao do
vocabulrio e a freqncia das interferncias de outras lnguas so observadas. E,
por fim, na compreenso, se o candidato apresenta ou no problemas na
compreenso do fluxo natural da conversa e se os pedidos de repetio e de
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
39/211
18
reestruturao so freqentes no caso de palavras mais ou menos freqentes e nos
diferentes ritmos da fala.
O candidato avaliado com duas notas: uma do entrevistador e outra doobservador. No caso do observador, que atribui seis notas, a nota final obtida
atravs de clculos realizados pelo prprio sistema, levando-se em conta um estudo
que mostra uma contribuio diferente para cada um dos aspectos.
Tendo apresentado as caractersticas da interao face a face, passo, a
seguir, aos objetivos desta pesquisa.
1.5. OBJETIVOS DA PESQUISA
O principal objetivo desta pesquisa fazer uma anlise da atuao dos
entrevistadores nas interaes face a face do exame Celpe-Bras, com enfoque em
dois elementos distintos, responsveis pela confiabilidade do exame: um relacionado
com os procedimentos do exame e outro relacionado com os estilos que os
entrevistadores apresentaram nas interaes.
Esse objetivo geral ser operacionalizado atravs das seguintes perguntas:
1. Como a atuao dos entrevistadores em relao aos procedimentos
do exame?
2. Que estilos os entrevistadores apresentam nas interaes face a face?
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
40/211
19
1.6. METODOLOGIA
Com as perguntas de pesquisa colocadas na seo anterior, o intuito deste
trabalho fazer uma anlise da atuao dos entrevistadores, e para isso, foram
analisadas 58 entrevistas de exames realizados em outubro de 2004 em trs
diferentes universidades, localizadas em um mesmo estado brasileiro.
Nessas universidades, costuma-se gravar as entrevistas em udio. Para o
presente estudo, porm, havia a necessidade de coletar os dados em vdeo para
uma anlise mais detalhada (j que os estilos podem tambm ser caracterizados por
linguagem no-verbal, incluindo gestos, expresses faciais etc.). A escolha dessas
trs universidades se deu em funo do deslocamento da pesquisadora para a
realizao das gravaes em vdeo.
16 entrevistadores participaram das 58 entrevistas, sendo 15 do sexo
feminino e 1 do sexo masculino. O nmero mnimo de entrevistas por entrevistador
foi 2 e o mximo 6. Os entrevistadores foram identificados com letras do alfabeto e
separados em: instituio I, de (A) a (C); instituio II, de (D) a (J) e instituio III, de
(L) a (Q).
J em relao aos candidatos, estes foram identificados com nmeros de 1
a 58. 49 dos 58 candidatos que prestaram o exame eram em sua maioria hispano-
falantes. Dentre eles, 35 eram mdicos que precisavam o certificado em nvel
avanado para poder exercer a profisso no Brasil. Devido ao grande nmero de
mdicos que prestaram o exame para a obteno de nvel avanado, o nvel de
proficincia mais freqente na Parte Individual foi o avanado, com 21 candidatos.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
41/211
20
Na primeira etapa, foi feito um levantamento em relao aos
procedimentos do exame, isto , se os entrevistadores cumpriam o tempo
estabelecido para cada parte da interao face a face e se eles seguiam ou no asetapas para cada um dos elementos provocadores.
A partir desse levantamento, pode-se fazer uma anlise mais apurada
sobre as implicaes que o cumprimento (ou no) dos procedimentos do exame
poderiam ter em relao confiabilidade do exame.
Um segundo levantamento foi realizado em relao aos estilos dos
entrevistadores. Primeiramente, os estilos foram observados e posteriormente
analisados, identificando-se quais deles eram colaborativos e quais eram no-
colaborativos. Os trechos mais significativos das entrevistas foram transcritos e
citados como exemplos no Captulo 3.
1.7. ESTRUTURAO DA DISSERTAO
Este trabalho est estruturado em 3 captulos.
No Captulo I, uma breve introduo do assunto a ser estudado
apresentada, caracterizando, de maneira geral, o exame Celpe-Bras, e de maneira
mais especfica, a Interao face a face. Alm disso, so colocados o problema de
pesquisa, os objetivos e a metodologia a ser utilizada.
No Captulo II, os estudos mais significativos na rea de avaliao oral
so abordados. Esse captulo est dividido em quatro partes. A primeira delas refere-
se aos estudos sobre a variao dos entrevistadores na atribuio de notas. A
segunda apresenta alguns estudos sobre avaliao oral no Brasil. A terceira focaliza
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
42/211
21
os estudos sobre confiabilidade e validade em exames orais. Por fim, a quarta
discute o aspecto cultural nas entrevistas.
No Captulo III, so apresentadas a anlise dos dados e a discusso dosresultados. Esse captulo composto de trs partes. Na primeira, os dados so
analisados e os resultados discutidos em relao aos procedimentos do exame, e na
segunda, os dados e os resultados relacionados aos estilos dos entrevistadores. No
fim do captulo, as consideraes finais so apresentadas.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
43/211
22
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
44/211
23
CAPTULO II
CONFIABILIDADE NA AVALIAO ORAL: UM OLHAR SOBRE A
ATUAO DE ENTREVISTADORES
2.1. INTRODUO
Embora as avaliaes orais, como a entrevista de proficincia oral (EPO),
sejam aplicadas desde a dcada de 50, os estudos em relao a elas surgem de
forma mais significativa nas dcadas de 80 e 90. Os primeiros estudos enfocavam a
confiabilidade e a construo de grades e seus descritores. Mais tarde, com a
incluso de contribuies de outras reas como a da Anlise Conversacional, os
estudos se voltaram para a validade dos testes orais, tentando buscar uma definio
mais clara acerca do discurso das entrevistas orais e da interao estabelecida entre
entrevistador e candidato. A partir desses estudos, outros surgiram, com enfoque na
variao do discurso do entrevistador e do candidato, por exemplo, como os
entrevistadores elaboram e reelaboram as suas perguntas, o que levam em conta
quando esto avaliando um candidato, etc. Embora algumas variveis tenham sido
testadas para averiguar a mudana no desempenho do candidato, como os gneros
e os tipos de tarefas, por exemplo, ainda h outras variveis que foram menos
testadas, tais como personalidade do entrevistador e os elementos paralingsticos,
mas que tambm podem influenciar o desempenho do candidato de forma
significativa.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
45/211
24
Neste captulo, discutirei os conceitos de confiabilidade, validade e
autenticidade, trazendo estudos sobre entrevistadores e suas variaes de
comportamento, atitudes e atribuio de notas.
2.2. VARIAO DOS ENTREVISTADORES NA ATRIBUIO DE NOTAS
O termo avaliao de desempenho teve suas origens nas reas de
educao geral e vocacional e se refere a:
(...) uma avaliao que pressupe a demonstrao direta daproficincia almejada ou das capacidades adquiridas, em vez delimitar-se a avaliar indiretamente essa proficincia atravs deinstrumentos que focalizam itens isolados de gramtica(SCARAMUCCI, 2004, p. 366).
Se o objetivo avaliar, por exemplo, se o candidato tem capacidade de
interagir numa lngua estrangeira, seria preciso coloc-lo numa situao que
simulasse uma interao de situao real, em que ele tivesse que demonstrar essa
capacidade. Dessa maneira, a avaliao seria feita com base na amostra daquilo que
o candidato desempenhou.
Para McNamara (1996), os testes de proficincia em geral envolvem dois
tipos de avaliao: a tradicional de resposta fixa e a avaliao baseada no
desempenho. A figura 1, a seguir, esquematiza as diferenas entre elas.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
46/211
25
Avaliao tradicional Avaliao baseadade resposta fixa no desempenho
INSTRUMENTO NOTA AVALIADOR NOTA (ATRIBUIO)
CANDIDATO ESCALA
DESEMPENHO
INSTRUMENTO
CANDIDATO
Figura 1: Caractersticas da avaliao oral (MCNAMARA, 1996, p.9)
Na avaliao tradicional de resposta fixa, h foco apenas no instrumento e
no no avaliador. A avaliao consiste, em geral, de questes de mltipla escolha,
em que apenas uma resposta a correta. Esse tipo de avaliao eficaz quanto
confiabilidade, uma vez que em sua correo no haver variaes na correo
dessas questes. J numa avaliao baseada no desempenho, a correo se torna
mais complexa porque o desempenho do candidato passa pelo julgamento de um
avaliador. Para que os avaliadores no julguem o desempenho dos candidatos de
acordo com seus prprios critrios, uma escala usada para garantir a confiabilidade
desse tipo de avaliao.
Um exemplo de avaliao baseada no desempenho a entrevista oral. No
caso das entrevistas face a face, o candidato interage com o entrevistador e um
avaliador ir atribuir uma nota para o desempenho do candidato, por meio de uma
grade de descritores. Embora haja essa grade para assegurar que todos os
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
47/211
26
avaliadores atribuam notas semelhantes para um mesmo candidato, ainda assim
pode haver variaes na correo:
1. Dois avaliadores podem simplesmente diferir na sua tolernciacomo um todo.2. Avaliadores podem apresentar padres particulares de rigidez outolerncia em relao a apenas um grupo de candidatos, no outros,ou em relao a tarefas particulares, no outras.3. Avaliadores podem diferir um do outro na maneira comointerpretam a escala de avaliao que esto usando.4. Avaliadores podem diferir em termos de sua consistncia (ouinconsistncia), ou seja, a extenso de erros aleatrios associadoscom suas avaliaes. (MCNAMARA, 1996, p.123-124)9
Mesmo com uma definio clara dos critrios de avaliao bem como a
preparao dos avaliadores, no se garante a confiabilidade mxima de uma
avaliao. Pode haver situaes em que h dois avaliadores com nveis diferentes
de exigncia: um deles sendo exigente e o outro, generoso. A nota 7 (numa escala
de 10 pontos) de um candidato que tenha feito a avaliao com um avaliador
exigente indicar que ele tem uma habilidade mais alta do que a de um candidato
que tenha feito a avaliao com um avaliador generoso e obtido nota 8.
H ainda outros fatores que contribuem para a variao entre avaliadores,
tais como os gneros do avaliador e do candidato, as condies fsicas e o horrio
9 No original: 1.Two raters may simply differ in their overall leniency. 2. Raters may display particularpatterns of harshness or leniency in relation to only one group of candidates, not others, or in relationto particular tasks, not others. 3. Raters may differ from each other in the way they interpret the ratingscale they are using. 4. Raters may differ in terms of their consistency (or inconsistency); that is, theextent of the random error associated with their ratings.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
48/211
27
em que so feitas as correes, assim como o tipo de entrevista (MCNAMARA,
1996).
Pollitt e Murray (1996) realizaram um estudo para observar a que aspectosos entrevistadores realmente prestavam ateno quando atribuam notas. A
metodologia foi um pouco diferente, pois a preocupao dos autores era verificar as
percepes de julgamento desses entrevistadores e no o uso que eles faziam de
uma grade de avaliao. Para isso, cinco candidatos foram comparados uns com os
outros em pares, totalizando uma combinao de dez pares. Os entrevistadores
deveriam comparar os candidatos, julgando, dentro de cada par, qual dos dois havia
sido melhor e depois justificar a sua escolha. Os resultados mostraram que os
entrevistadores se preocuparam com aspectos no contemplados em sua grade
como a compreenso do candidato e as caractersticas paralingsticas que
acompanham a fala, tais como personalidade, maneiras, expresso facial e
impresso de amizade. Alm disso, a proficincia foi entendida de maneira diferente
dependendo do nvel do candidato. Se o candidato tinha proficincia alta, ele era
julgado em comparao ao comportamento de um falante nativo, com enfoque no
que ele estava dizendo. Com um candidato de proficincia mais baixa, esse enfoque
estava em como ele estava dizendo, ou seja, na forma como ele falava, se estava
correta ou no.
A variao do estilo do entrevistador abordada de forma mais detalhada
no artigo de Brown (2003). A autora conclui que, dependendo do estilo do
entrevistador, pode-se perceber desempenhos diferentes de um mesmo candidato.
Nesse estudo, um mesmo candidato passou por dois entrevistadores com estilos
diferentes; em um momento posterior, avaliadores externos atriburam notas para
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
49/211
28
essas duas interaes. Um dos entrevistadores tinha estilo caracterstico de
professor, demonstrando interesse na conversa e utilizando dois tipos de perguntas
durante a avaliao oral, as abertas e as fechadas. As perguntas abertas, tais comoVoc pode me dizer sobre..., requerem do candidato respostas mais extensas e
explicitadas. J as perguntas fechadas so aquelas que tm como resposta sim ou
no e so utilizadas pela entrevistadora apenas como maneira de resumir o que j foi
dito na conversa. Alm disso, durante a entrevista, ela freqentemente fornecia
feedback positivo para o candidato, conseguia formular outro tpico, quando um
tpico anterior falhava e mantinha o fluxo da conversa.
J o outro entrevistador tinha estilo mais casual, que remetia a uma
interao real num contexto no-avaliativo. Nas interaes reais, as perguntas
fechadas so usadas constantemente como uma maneira de fazer a pessoa falar. Ao
se fazer uma pergunta fechada, no se espera que a pessoa responda apenas sim
ou no, mas que ela continue falando. Foi pensando provavelmente nesse aspecto
pragmtico, cabvel numa interao fora do contexto de avaliao, que esse segundo
entrevistador utilizava as perguntas fechadas como uma maneira de fazer o
candidato responder de forma mais extensa. Porm, o candidato no percebia esse
aspecto pragmtico durante a entrevista. Como conseqncia, a entrevista
caracterizada por silncios e as respostas do tipo sim ou no do candidato se
resumiam a confirmaes, e assim, ele no conseguia expandir suas respostas.
Alm disso, o entrevistador falhava quando tentava reformular tpicos no sucedidos
e, portanto, os feedbacks no eram freqentes. Brown conclui o artigo apresentando
os comentrios feitos pelos avaliadores que deram as notas para essas duas
entrevistas. Para o primeiro entrevistador, o candidato fluente, comunica-se bem,
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
50/211
29
compreende o que o entrevistador fala, expressa suas idias de forma correta. J
para o segundo entrevistador, o candidato caracterizado como sendo um falante
em fase inicial, que no tem iniciativa nas respostas, sendo elas mnimas efrustrantes e hesita muito na hora de falar.
Amarante (1995) realizou uma pesquisa semelhante no Brasil em relao
avaliao do desempenho oral de lngua inglesa de alunos iniciantes de uma
instituio particular de ensino superior. Uma mesma aluna foi entrevistada por um
professor e por um aluno. No primeiro caso, o professor atuou como interagente e
avaliador e no segundo, como organizador e avaliador, j que a entrevista foi
conduzida pelo aluno. Os dados mostraram que o desempenho da candidata foi
melhor quando interagia com o aluno do que com o professor, pois os turnos foram
mais longos, as pausas menos freqentes e os risos indicavam conhecimento
compartilhado.
Claro est que interagir com um colega atividade mais costumeira e,portanto, mais real, autntica do que interagir com o professor.
Ademais a interao entre pessoas de igual status se caracterizapelo balanceamento das relaes de poder. (AMARANTE, 1995, p.239)
As perguntas do tipo sim/no e de informao foram feitas mais pelo
professor do que pelo aluno. Quando a aluna no entendia uma pergunta de
informao, o professor reformulava com perguntas do tipo sim/no. J o aluno fazia
a mesma pergunta mais pausadamente.
(...) ele (professor) busca fazer com que o aluno produza, da ogrande nmero de perguntas que se observa em E1(professor-
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
51/211
30
entrevistador). Tambm procura fazer com que o aluno compreenda,da o grande nmero de refraseamentos, complementaes,exemplificaes. Atua ainda como rbitro da produo do aluno,aceitando ou rejeitando suas respostas, da a ocorrncia deperguntas de clarificao e das repeties para aprovao, das
apreciaes, das correes e reformulaes. (AMARANTE, 1995,p.242-243)
Essa autora conclui que necessrio repensar em uma entrevista oral que
proporcione ao aluno usar a lngua como uma operao comunicativa autntica, j
que a avaliao atual ainda apresenta falhas nesse aspecto.
Os estudos de Brown (2003) e Amarante (1995) referem-se a uma
situao experimental, em que foi verificado o impacto de dois diferentes estilos de
entrevistadores no desempenho de um candidato. No entanto, o presente trabalho
no ir enfocar o impacto em si, pois para isso os candidatos teriam que ser
avaliados por dois entrevistadores diferentes, mas analisar os estilos que os
entrevistadores do Celpe-Bras tm apresentado e suas possveis implicaes em
relao confiabilidade da interao face a face do exame.
Na prxima seo, discutirei outros estudos sobre a avaliao oral no
Brasil.
2.3. ESTUDOS SOBRE AVALIAO ORAL NO BRASIL
Os estudos de avaliao oral no Brasil so poucos e se referem
geralmente lngua inglesa e ao contexto de sala de aula. Por exemplo, o estudo de
Vigia-Dias (1995) teve como objetivo analisar a construo da consonncia entre
abordagem de ensino e a avaliao da habilidade oral em sala de aula. J o de
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
52/211
31
Amarante (1998) foi enfocado no discurso da avaliao de uma instituio particular
de ensino superior. Nesse trabalho, um dos aspectos que ela discute a relao
assimtrica entre entrevistador e candidato nas entrevistas de avaliao oral. Esseestudo ser retomado mais adiante.
Em seu estudo, Giosa (1994) analisou as caractersticas da fala
colaborativa em uma aula de conversao com aprendizes de nvel bsico de lngua
inglesa. O termo colaborativo usado na rea de ensino de lnguas referindo-se ao
processo colaborativo entre professores e alunos em sala de aula (WELLS, 1991,
apud GIOSA). o processo de colaborao mtua que o aluno desenvolve seus
mecanismos de negociao social, ou seja, sua habilidade oral no idioma
estrangeiro. (GIOSA, 1994). Quando o aluno apresentava dificuldades, o professor
elaborava a prxima pergunta usando exemplos como forma de manter a interao
com o aluno. Esse mecanismo foi visto de maneira positiva pelos alunos. No entanto,
quando o professor fazia correes gramaticais, essa atitude era vista de forma
negativa, pois interrompia a interao. Alm disso, o professor fazia perguntas
reflexivas com o intuito de aproximar a discusso de sala de aula com a realidade do
aluno.
Consolo (2004), por sua vez, elaborou e analisou um teste de proficincia
em lngua inglesa (TEPOLI) para alunos de graduao do curso de Letras. O teste
consistia em uma interao entre entrevistador e aluno e era composto de trs partes.
Na primeira delas, o entrevistador passava, em portugus, as instrues do exame
para o candidato. Na segunda, a avaliao se baseava em duas gravuras, em que o
entrevistador faria perguntas em relao a elas. Finalmente na terceira, era
perguntada a opinio do candidato sobre o exame que acabara de fazer.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
53/211
32
Alm da elaborao do teste, houve a preocupao em definir as faixas de
proficincia dos alunos. Foram criadas cinco faixas de notas, sendo A para o aluno
que apresentasse proficincia mais alta e E a mais baixa. Como os alunos estoaprendendo o ingls para mais tarde atuarem como professores, a faixa E
corresponderia a um nvel de proficincia abaixo daquilo que se esperaria de um
professor.
O trabalho de Schoffen (2003) analisou as interaes face a face do
Celpe-Bras com o intuito de descrever de forma detalhada o desempenho dos
candidatos falantes de espanhol. Como o portugus e o espanhol so lnguas
prximas, h aspectos que no so devidamente contemplados pela grade de
avaliao, pois ela foi construda pensando-se em todos os candidatos, abarcando
diversas nacionalidades. Esse trabalho, portanto, levantou caractersticas dos
falantes de espanhol em cada um dos quatro nveis de proficincia do exame.
Como se pode observar, poucos so os estudos sobre avaliao oral. Em
relao avaliao de proficincia oral, h os estudos de Schoffen (2003) e Consolo
(2004), porm no h o enfoque em relao atuao dos entrevistadores.
A seguir, apresento outros estudos sobre confiabilidade e validade em
exames orais.
2.4. CONFIABILIDADE E VALIDADE EM EXAMES ORAIS
Se um mesmo teste for aplicado vrias vezes para os mesmos alunos,
espera-se que estes consigam obter notas semelhantes. No entanto, isso nem
sempre possvel porque h variveis que podem interferir no desempenho do
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
54/211
33
candidato. As variaes nas notas dos alunos podem ser atribudas por variveis
sistemticas, como um aprendizado que tenha ocorrido entre as aplicaes do teste,
ou por variveis no-sistemticas, como um barulho externo que distrai os alunosdurante a aplicao de uma prova, ou ainda por ansiedade ou fadiga. Um teste
confivel, portanto, aquele em que pode haver a presena de variveis
sistemticas mas no de no-sistemticas (ALDERSON et al. 1995).
Em relao s avaliaes orais, as variveis no sistemticas podem estar
relacionadas a fatores tais como o no cumprimento dos procedimentos ao conduzir
uma entrevista e atribuio de notas de forma inconsistente. Por isso, a fim de
aumentar a confiabilidade dos exames orais, necessrio verificar se os
procedimentos esto sendo seguidos e se os avaliadores avaliam de maneira
homognea.
No justo para os alunos se, para alguns se requer apenascomentrios simples, mas apropriados, enquanto outros, igualmentebons, so forados a usar linguagem complexa que revela suasinadequaes. Os entrevistadores tambm precisam ser formadospara deixar os candidatos vontade, conseguir uma conversasincera, sem dizer muito sobre eles mesmos, estar interessados emcada entrevista e saber como fazer as perguntas que produziro alinguagem requerida. (ALDERSON et al., 1995, p.62)10
A obteno de confiabilidade em uma avaliao oral se torna ainda mais
complicada porque cada entrevista ir ocorrer de uma maneira que no ser
exatamente igual outra. Embora haja os procedimentos estabelecidos para que os
10No original: It is not fair to the students if some of them are only required to make simple butappropriate comments, while other equally good ones are forced to use complex language whichbetrays their inadequacies. Interviewers also need to be trained to put candidates at their ease, to geta genuine conversation going without saying much themselves, to manage to appear interested ineach interview and to know how to ask questions which will elicit the language required.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
55/211
34
entrevistadores os cumpram, a elaborao de perguntas, por exemplo, depende
muito do entrevistador, de como ele as realiza, ou ainda, quando o candidato no
entende uma pergunta, como ele a reformula. Se, ao contrrio, a entrevista fosseuma reproduo de perguntas prontas, isto , em que o entrevistador tivesse que
apenas reproduzi-las, a confiabilidade, nesse caso, seria aumentada porque todas as
entrevistas seriam padronizadas, diminuindo-se a ocorrncia de variaes. Por outro
lado, a validade dessa avaliao seria afetada porque a entrevista se tornaria
artificial, sem envolvimento entre entrevistador e candidato.
Complementando a noo de confiabilidade exposta por Alderson et al.,
Bachman (1990) coloca que a investigao da confiabilidade est relacionada
seguinte pergunta: O quanto do desempenho individual em um teste est
relacionado ao erro da medio ou a outros fatores, alm da habilidade lingstica
que queremos medir? 11 Em outras palavras, um teste considerado confivel
quando o desempenho de um candidato no est relacionado aos erros de medio
ou a outros fatores.
(...) quanto menos esses fatores afetarem as pontuaes de um teste,maior ser o efeito relativo das habilidades lingsticas que queremosmedir, e dessa maneira, a confiabilidade das pontuaes de um testede lngua. (BACHMAN, 1990, p. 160)12
Por outro lado, a investigao da validade, para esse mesmo autor, est
relacionada outra pergunta: O quanto do desempenho individual em um teste est
11No original: How much of an individuals test performance is due to measurement error, or to factorsother than the language ability we want to measure?12No original: (...) the less these factors affect test scores, the greater relative effect of the languageabilities we want to measure, and hence, the reliability of language test scores.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
56/211
35
relacionado s habilidades lingsticas que queremos medir? 13 Se o objetivo
avaliar a habilidade oral de um candidato, o teste deve ser desenvolvido para que se
obtenha uma amostra significativa da habilidade oral e no outra habilidade. Se outrahabilidade estiver sendo avaliada, a validade desse teste diminui.
Bachman considera que os conceitos confiabilidade e validade no
podem ser vistos de forma separada e oposta porque de alguma forma um ir afetar
o outro. Por exemplo, para um teste ser considerado vlido, necessrio que
primeiro ele seja confivel. Ou ainda, no adianta um teste ser confivel se a
validade no est assegurada.
Muitas discusses sobre confiabilidade e validade enfatizam asdiferenas entre essas qualidades, mais do que suas semelhanas.Mas, ao invs de consider-las como dois conceitos totalmentedistintos, acredito que ambos podem ser melhor entendidos aoreconhec-los como dois aspectos complementares de umapreocupao comum em medio identificando, estimando, econtrolando os efeitos dos fatores que afetam as pontuaes no teste.
(BACHMAN, 1990, p.160)14
Alm da confiabilidade e validade, h ainda a autenticidade. Dizer que um
teste autntico pode ter vrios significados. Bachman definiu autenticidade de
acordo com duas abordagens: uma relacionada vida real e outra habilidade
interacional.
13No original: How much of an individuals test performance is due to the language abilities we want tomeasure?14No original: Many discussions of reliability and validity emphasize the differences between thesequalities, rather than their similarities. But instead of considering these as two entirely distinctconcepts, I believe both can be better understood by recognizing them as complementary aspects of acommon concern in measurement identifying, estimating, and controlling the effects of factors thataffect test scores.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
57/211
36
Na primeira abordagem, um teste seria autntico na medida em que o
desempenho apresentado se aproximasse ao de uma situao real de comunicao.
No entanto, no h como replicar o uso lingstico j que a lngua complexa pornatureza e, portanto, no h como prever tudo o que pode acontecer em todos os
contextos em que a lngua usada.
Em contraposio, na segunda abordagem, a autenticidade reside na
interao entre candidato, tarefa do teste e contexto de avaliao. Ao invs de
replicar os usos de lngua partindo de contextos reais de comunicao, essa
abordagem tem como objetivo elaborar testes que reflitam o conhecimento da
natureza das habilidades lingsticas e do uso da lngua.
van Lier (1989) discute a validade das entrevistas de proficincia oral
(EPOs doravante), descrevendo o que elas so e o que os participantes fazem nelas.
Em outras palavras, ele analisa que tipo de evento de fala a EPO e os papis que o
entrevistador e o candidato assumem durante a entrevista. Diferentemente da
maioria dos estudos anteriores, que enfocavam questes referentes aos
procedimentos das avaliaes e s atribuies de notas, nesse estudo houve uma
preocupao em relao a uma definio mais clara acerca da natureza da avaliao
de proficincia oral, ou seja, mais especificamente, se a EPO poderia ser equiparada
a uma conversa ou no.
Segundo van Lier, a conversa pode ser definida como interao face a
face num contexto de lngua da vida real 15. Como no h maneiras de se avaliar os
candidatos interagindo numa situao real de comunicao, as entrevistas de
proficincia oral tentam se assemelhar s situaes fora do contexto de avaliao.
15No original: () face-to-face interaction in a real-life language context.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
58/211
37
Complementando essa definio, as caractersticas bsicas da conversa so, alm
da interao face a face, o no planejamento, a imprevisibilidade da seqncia e do
resultado e a distribuio igualitria de direitos e deveres na conversa. (SACKS;SCHEGLOFF; JEFFERSON, 1974 apud VAN LIER)
Embora tal definio tenha sido baseada no princpio cooperativo e nas
mximas de Grice16, van Lier questiona essas caractersticas. Sugere, por exemplo,
que os vrios nveis de planejamento devem ser considerados, isto , se a interao
ser planejada, com perguntas j pr-estabelecidas ou se ocorrer de forma no-
planejada. No entanto, as interaes so mais ou menos planejadas ou
improvisadas. Ao mesmo tempo em que os participantes tm que ser sensveis ao
aqui e agora, eles tambm tm que relacionar o que vo dizer com aquilo que o
interlocutor j disse. Alm disso, os participantes, continuamente, fazem previses
em relao seqncia e ao resultado. Em relao aos direitos e deveres, eles
nunca so iguais em sua totalidade. Embora haja desigualdades das relaes de
status e papis, isso no significa que os direitos e os deveres na interao devam
ser desiguais.
Uma vez colocada sua definio de conversa, van Lier define ento a
entrevista como uma contingncia assimtrica (JONES; GERARD, 1967 apud VAN
LIER), ou seja, o entrevistador tem um plano e ir conduzir e controlar a entrevista de
acordo com esse plano. A entrevista um encontro em que as relaes j esto pr-
estabelecidas, isto , de um lado, o entrevistador que ir fazer as perguntas e de
16As mximas de Grice (1989) so Quantidade, Qualidade, Relao e Maneira. A primeira afirma quea contribuio para a conversa deve ser informativa e no conter mais informao do que foirequerida. A segunda se refere veracidade da contribuio, ou seja, no fazer uma contribuio queseja falsa ou em que haja pouca evidncia adequada. A terceira em relao a ser relevante. Aquarta est relacionada ao como dito, evitando-se obscuridade e ambigidade da expresso; deveser breve e de forma organizada.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
59/211
38
outro, o entrevistado, que ir apenas respond-las. Alm disso, tudo o que for dito
pelo entrevistado ser avaliado para decises futuras.
Analisando partes de algumas entrevistas, van Lier notou que elasrealmente apresentam uma assimetria, isto , o entrevistador mantm o controle do
discurso ao fazer perguntas e avaliar respostas. Alm disso, questes ticas foram
aparecendo, por exemplo, quando o entrevistador fazia perguntas de natureza
pessoal e emocional. Nesse caso, o fato de o entrevistado no responder pergunta
do entrevistador pode ter duas explicaes: talvez ele (o entrevistado) no queira
responder e no que no saiba faz-lo.
Resumindo, para van Lier, a EPO pode no ser caracterizada como
conversa uma vez que h uma assimetria entre os seus participantes. O objetivo
desse tipo de entrevista avaliar se a produo lingstica foi bem sucedida e no se
a conversa foi bem sucedida. Em outras palavras, a entrevista tem como intuito
conseguir uma amostra daquilo que o candidato consegue falar na lngua alvo,
avaliando como o candidato fala e no o que ele fala.
Shohamy e Reves (1985) tambm abordam a autenticidade em
entrevistas, comparando o desempenho do candidato ao seu desempenho numa
situao real de comunicao. Segundo as autoras, o problema j comea pelo
prprio termo autenticidade, isto , o que um teste autntico, ou como deve ser a
linguagem desse teste, uma vez que a linguagem produzida numa situao real de
comunicao vai depender de variveis como o que est sendo dito, para quem,
quando e porqu. Um teste ideal teria que observar esse candidato em diversos
contextos (e assim diversas variveis seriam abordadas), sem que ele esteja
consciente de que est sendo avaliado. Dessa maneira, para diferenciar da
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
60/211
39
linguagem autntica, ou seja, aquela que d conta de todas essas variveis,
Shohamy e Reves denominam a linguagem de um teste como linguagem autntica
de teste.
(...) a linguagem de testes autnticos no uma representaoverdadeira da linguagem de vida real. Foi mostrado que difcil, seno impossvel, at mesmo aproximar o uso de linguagem de vidareal nos testes de lngua. O mximo que ns podemos obter, nomomento, linguagem autntica de teste. (SHOHAMY; REVES,1985, p. 57)17
As autoras mencionam cinco fatores que contribuem para a reduo da
linguagem autntica para linguagem autntica de teste:
a) o objetivo da interao, no caso de uma avaliao oral, avaliar o
desempenho lingstico do candidato. Em situaes reais de comunicao, so
vrios os objetivos da interao, embora nenhum deles seja de avaliar como que a
pessoa est falando;
b) os participantes numa avaliao oral geralmente no se conhecem e
precisam conversar sobre algum assunto. Por no estarem acostumados a conversar
um com o outro e desconhecerem a vida do outro, a interao se torna artificial,
embaraosa e difcil. A no familiaridade pode afetar o desempenho do candidato,
pois ele pode no se sentir vontade ao responder perguntas sobre aspectos da sua
vida pessoal para algum com quem nunca tenha conversado. Nesse caso, o
entrevistador, percebendo esse tipo de reao do candidato, ao invs de fazer
17No original: () the language of authentic tests is not a true representation of real-life language. Itwas shown that it is difficult, if no impossible, to even approximate real-life language use on languagetests. The most we can obtain, at the moment, is authentic test language.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
61/211
40
perguntas de cunho mais pessoal, deve tentar elaborar outras perguntas, de cunho
mais geral;
c) a ambientao tambm diferente porque numa situao de avaliao,h uma sala em que o entrevistador se senta em um dos lados da mesa e o
candidato do outro. Em situaes reais, os lugares em que a interao ocorre so
variados e informais, como nas ruas, lojas, sala de estar etc;
d) Numa situao de comunicao real, o tpico est ligado ao contedo
da conversa, isto , o contedo no est pr-determinado e as circunstncias vo
determinar o andamento da conversa. Numa situao de entrevista, os papis esto
marcados. o entrevistador que ir conduzir a entrevista, introduzindo e finalizando
os tpicos enquanto ao candidato caber apenas responder s perguntas feitas;
e) o tempo limitado em uma avaliao oral, diferentemente das
interaes reais, em que no h esse limite.
Dando continuidade aos estudos de van Lier (1989) e Shohamy e Reeves
(1985), Johnson e Tyler (1998) tambm avaliaram a EPO no apenas de forma
qualitativa, mas tambm quantitativa. Nesse estudo, uma mesma candidata foi
entrevistada por dois avaliadores. Os resultados mostraram que houve diferenas,
por exemplo, na negociao de um tpico, uma vez que o entrevistador quem
controlou a entrevista, mais especificamente, introduziu e fechou os assuntos. Alm
disso, no parecia haver envolvimento dos entrevistadores na interao, isto , no
sentido de explorar aspectos/subtpicos que foram ditos pela candidata. Nesse
estudo notou-se que os entrevistadores, ao fazerem perguntas, tinham como objetivo
principal avaliar a produo de uma determinada estrutura gramatical pela candidata
e no o contedo, em outras palavras, aquilo que a candidata estava dizendo. Uma
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
62/211
41
vez que o objetivo da EPO nesse estudo era o enfoque na produo de estruturas
gramaticais, as perguntas no davam uma seqncia quilo que a candidata est
falando. Outro problema que tambm apareceu em relao ao tpico que acandidata no dominava, ou seja, no sabia o que falar, causando certo desconforto
durante a entrevista.
Concluindo, os estudos sobre validade mostram que h diferenas entre
uma avaliao oral e uma conversa natural. Porm, pode haver variaes nas
entrevistas, no sentido de algumas se aproximarem mais a uma conversa, devido a
um envolvimento maior entre entrevistador e candidato.
Outro aspecto que tambm tem sido foco de estudo so as variaes em
relao atuao dos entrevistadores que podem contribuir para a diminuio da
confiabilidade e validade de um exame.
Morton et al. (1997) fizeram um estudo sobre o comportamento do
entrevistador, partindo do pressuposto de que ele no neutro e que pode interferir
no discurso do candidato.
Com base nos questionrios de avaliao sobre o desempenho dos
entrevistadores, respondidos por avaliadores externos18, foram selecionados os dez
melhores entrevistadores e os dez piores, tomando por base as caractersticas da
interao. Bons entrevistadores sempre do feedback variado e apoiador, que se
aproxima do que as pessoas fazem em uma conversa natural. J os entrevistadores
ruins provocam quebras na interao, na medida em que no do feedback e podem
ser comparados a uma mquina pelo seu distanciamento. Os candidatos com
18Avaliadores externos so aqueles que apenas atribuem notas posteriormente para as entrevistasgravadas em udio.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
63/211
42
proficincia baixa so os mais afetados pelos entrevistadores ruins, porque eles
necessitam de feedbacks e reformulaes de perguntas com mais freqncia.
Observou-se tambm que bons entrevistadores do a mximaoportunidade para o candidato expandir suas respostas, atravs de perguntas
adicionais, repetio e explicao. Ao contrrio, entrevistadores ruins do pouco
encorajamento para o candidato expandir suas respostas. Alm disso, bons
entrevistadores no dominam a interao, ou seja, no falam muito. Em outras
palavras, se o candidato tiver mais tempo para falar, o entrevistador poder avaliar
melhor seu desempenho. Se, ao invs disso, o entrevistador fala mais que o
candidato, a amostra que ele obter do candidato ser mnima, e pode no refletir
aquilo que realmente o candidato consegue dizer. o que enfatiza o estudo de
McNamara e Lumley (1997):
() o efeito da falta de desempenho pode ter sido o interlocutor quetomou para si a interao, dando ao candidato pouco tempo parafalar, e dessa maneira, a evidncia disponvel para o avaliador podeter sido restringida, e como resultado, o avaliador deu ao candidato obenefcio da dvida. (MCNAMARA; LUMLEY, 1997, p. 152-153) 19
Morton et al. concluem que ao avaliar candidatos com baixa proficincia,
os bons entrevistadores adaptam a sua linguagem, ou seja, falam mais devagar e de
forma mais simples, com explicaes e repeties. E, nos casos em que os
candidatos tm proficincia alta, estes so desafiados com questes adicionais.
Alm disso, os bons entrevistadores fazem parfrase quando um candidato no
19No original: () the effect of the lack of competence may have been that the interlocutor hoggedthe interaction, giving the candidate too little time to speak, so that the evidence available to the ratermay have been restricted, with the result that the rater gave the candidate benefit of the doubt.
-
7/30/2019 A ATUAO DO ENTREVISTADOR NA INTERAO FACE A FACE DO EXAME CELPE-BRAS
64/211
43
entende uma pergunta; j os entrevistadores ruins apenas repetem a pergunta feita
anteriormente.
Ross & Berwick (1992) analisaram as diversas formas de acomodaodas falas dos entrevistadores da EPO em relao aos vrios nveis de proficincia
dos candidatos, isto , como os entrevistadores acomodavam as suas falas s dos