Mais de 7,1 milhões de estudantes farão neste sábado (26) e domingo (27) a maior edição Exame Nacional do Ensino Médio (Enem), um número recorde para concursos e vestibulares brasileiros. Porém, ao contrário dos processos seletivos tradicionais, as provas de múltipla escola do Enem são elaboradas segundo uma metodologia que vai além da simples soma de acertos das questões. Chamada de Teoria de Resposta ao Item, ou TRI, a metodologia confunde muitos candidatos acostumados com outros vestibulares, mas é considerada pelos especialistas como a forma mais adequada de avaliar um grande número de estudantes.
Uma das principais dúvidas sobre a TRI é o fato de que é impossível o aluno tirar nota 1.000 na prova de múltipla escolha (na redação, isso é possível). Por meio dessa metodologia, mesmo que o aluno acerte todas as 45 questões de cada prova, sua nota nunca será 1.000. Da mesma forma, um candidato que erre todas as questões não acaba com a nota zero (ou, no caso do Enem, a pontuação mínima, que é 200 pontos). Isso acontece, segundo Tadeu da Ponte, professor do Insper, porque a nota não retrata o desempenho individual do candidato, mas a posição que ele ocupou na escala de proficiência onde todos os milhões de outros candidatos também são incluídos.
Teoria de Resposta ao Ítem aponta quando aluno acerta questão por acaso (Foto: Reprodução/ TV Globo)“A nota 1.000 é como se fosse o infinito da escala, e ninguém vai ter uma habilidade que nunca possa ser superada por outros”, diz Tadeu, que também é sócio-fundador da empresa de avaliação educacional Primeira Escolha. Mesmo que todos os candidatos acertassem todas as questões, explica ele, a nota média seria próxima de 1.000, mas a nota 1.000 é uma meta jamais alcançável.
Renato Júdice, professor e diretor acadêmico do Uno Internacional lembra que “as escalas de proficiências são como uma reta numérica, ou seja, os números representam posições”. É por isso que, ao divulgar o resultado do Enem, o Ministério da Educação também informa as notas máxima e mínima de cada prova –são elas que indicam os candidatos mais proficientes e os menos proficientes.
Essa escala, segundo ele, é uma forma “poderosa” de avaliação do candidato, pois as diferentes posições na escala indicam os diferentes níveis de proficiência. Quanto mais próximo da nota mínima, menos se pode confiar que o estudante domina os conhecimentos exigidos na prova, assim como a previsão do tempo indica os diferentes níveis de frio e calor na escala Celsius.
As escalas de proficiências são como uma reta numérica, ou seja, os números representam posições”
Tadeu da Ponte, professor do Insper
“Você pode tomar decisões pedagógicas [com base na nota do Enem] assim como toma a decisão ao arrumar uma mala com base na temperatura.”
Isso pode parecer injusto, a princípio, com alguém que tenha acertado muitas questões. Porém, o professor Tadeu afirma que, se um exame com 7 milhões de candidatos os avaliasse apenas na porcentagem de acertos nas 180 questões totais das provas, haveria um número muito grande de empates que colocariam no mesmo nível pessoas que, na realidade, apresentam proficiência diferente.
Para explicar essa diferença, ele dá como exemplo uma fita métrica marcada apenas como centímetros, que seria o vestibular tradicional, e outra, mais detalhada, que também mede os milímetros. Se a prova medisse a altura dos candidatos, com a primeira fita métrica haveria muitos deles empatados em 177 centímetros, por exemplo. Mas, usando a fita métrica com milímetros, seria possível perceber que alguns são mais altos que outros. “A TRI pega fita métrica de milímetros”, explica Tadeu.
É impossível calcular a própria nota Como o cálculo da nota de um aluno no exame não depende só de seus acertos, os candidatos do Enem reclamam que é impossível calcular sua própria nota comparando as respostas com o gabarito oficial e, quando chega o resultado, criticam o fato de colegas com números semelhantes de acertos terem recebido uma pontuação diferente.
“O Inep não quer contar quantas questões o aluno acerta, quer saber a competência do aluno em matemática, em linguagens, em várias áreas”, afirma o professor Renato. Júdice explica que, além da quantidade de questões certas em relação ao total, o Enem também avalia quais questões o candidato acertou, quais questões ele errou e quais foram as respostas dos outros candidatos para as mesmas questões.
Para fazer isso, o Inep “calibra” todas as questões do Enem antes de elaborar as provas em eventos conhecidos como pré-teste, quando as questões são aplicadas a centenas de alunos e o resultado indica seu grau de dificuldade a partir da porcentagem de acertos. Quanto menos alunos acertarem a questão, mais difícil ela é.
Assim, o exame se torna “comparável”. Isso quer dizer que é possível comparar notas de candidatos de uma edição do Enem com as notas de outras edições, porque o nível de todas as edições é similar.
O Inep não quer contar quantas questões o aluno acerta, quer saber a competência do aluno em matemática, em linguagens, em várias áreas”
Renato Júdice, diretor acadêmico do Uno Internacional
Questões com pesos diferentes De acordo com os especialistas em TRI, não é só o nível de dificuldade das questões certas que determina a pontuação recebida pelo aluno. O valor que ele recebe em cada acerto é definido segundo o perfil de erros e acertos do aluno em toda a prova. A Teoria de Resposta ao Item, explica Tadeu, usa um modelo estatístico para categorizar os candidatos de acordo com seu padrão de respostas nas 45 questões.
Se o candidato acerta apenas as questões consideradas fáceis no processo de calibragem e apenas uma questão considerada difícil, o modelo estatístico reconhece uma probabilidade de que ele a acertou por acaso, e não pode ter domínio daquela área do conhecimento. Por isso, não é possível dizer simplesmente que questões mais difíceis valem mais, porque o valor de cada questão depende do perfil de cada aluno. O modelo funciona, segundo os professores, porque, estatisticamente, os alunos que acertam mais questões consideradas difíceis também acertam questões mais fáceis.
Então, a nota final vai depender do perfil do aluno (seu padrão de respostas dentro da escala onde estão todos os outros alunos) e do perfil da questão que ele acerta (seu grau de dificuldade calculado a partir do índice de acerto de todos os alunos).
“Quando tenho um conjunto de respostas não de um só aluno, mas dos 7 milhões, eu pego esse conjunto de respostas e rodo um software específico, que usa um cálculo computacional, para tentar estimar, com esse padrão de respostas, qual é a nota de cada um”, explica Renato Júdice. Segundo ele, a estimativa é feita em conjunto com um grupo como um todo, e leva em consideração o tipo de aluno e o tipo de questão, pois a metodologia permite conhecer cada questão que vai para a prova.
Tadeu da Ponte diz que a TRI consegue ser aplicada em provas que tenham a partir de 25 questões, aproximadamente. No caso do Enem, ele afirma que 45 questões em cada prova “é um número muito bom para fazer esse procedimento estatístico”. O motivo, segundo ele, é o fato de o Enem avaliar um espectro muito amplo de estudantes, “mesmo um aluno com baixa proficiência até aluno que está entrando em medicina”.
| ESCALA DE NOTAS DO ENEM 2012 |
|---|
| PROVA | NOTA MÍNIMA | NOTA MÁXIMA |
|---|
| Ciências humanas e suas tecnologias | 295,6 | 874,9 |
|---|
| Ciências da natureza e suas tecnologias | 303,1 | 864,9 |
|---|
| Linguagens e códigos e suas tecnologias | 295,2 | 817,9 |
|---|
| Matemática e suas tecnologias | 277,2 | 955,2 |
|---|
| Redação* | 0 | 1.000 |
|---|
| Fonte: MEC/Inep *Como não usa a metodologia TRI, a prova de redação pode ter nota 0 ou 1.000 porque ela é calculada apenas com base no desempenho individual |
Chutar X deixar em branco Ainda que o programa de computador consiga detectar a probabilidade de o candidato ter chutado determinada questão, ele ainda recebe pontos ao acertá-la, mesmo que por acaso. Não são tantos pontos quantos receberia outro aluno com padrão de acertos diferente, mas ainda assim o candidato não é penalizado por chutar.
“Deixar em branco é errar”, afirma Tadeu. Ele explica que, ao chutar em uma questão que ele não sabe responder, o aluno tem 20% de chance de acertar. “Mas se eu deixar em branco tenho 100% de certeza que vou errar.”
Mas, para quem pretende tentar identificar as questões difíceis na hora de fazer a prova, os dois professores recomendam evitar perder tempo nessa tarefa, e se dedicar exclusivamente a responder todas as questões o mais rápido possível, mas com concentração.
“Mais importante do que ficar tentando adivinhar o nível de dificuldade [de cada questão] é monitorar o tempo em cada questão. Se tem que gastar três minutos em cada questão, e eu tô gastando dez em uma questão, então está errado, e corro o risco de nem conseguir ler questões que sei responder”, sugere Tadeu.
“Não adianta deixar as fáceis para depois, o aluno tem que estar bem preparado. O preventivo é o melhor remédio”, diz Renato.
Essa dupla trata a Educação com indiferença
O secretário de Estado de Infraestrutura, Luis Fernando Silva, representando a governadora Roseana Sarney, na tarde desta sexta-feira (25), entregou à população de Lago do Junco um micro-
Jean Claude Souza terminou a prova do Enem em pouco mais de uma hora (Foto: Alexandre Durão / G1)
Carregando ...
