O desembargador federal Paulo Roberto de Oliveira Lima, presidente do Tribunal Regional Federal da 5ª Região, acolheu o recurso da Advocacia Geral da União (AGU), em nome do Ministério da Educação e do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), e cassou a liminar proferida pela primeira instância no Ceará, que cancelava 13 questões no Exame Nacional do Ensino Médio (Enem) 2011, aplicado nos dias 22 e 23 de outubro passado. Na mesma decisão, o magistrado acolheu proposição dos recorrentes para que as questões sejam anuladas apenas para os 639 estudantes concluintes do ensino médio do Colégio Christus, de Fortaleza.
A decisão de primeira instância, proferida no último dia 31 pelo juiz da 1ª. Vara da Justiça Federal do Ceará, foi a de deferir parcialmente a liminar requerida pelo procurador da República, Oscar Costa Filho, no sentido de anular em todo o país 13 questões que teriam sido veiculadas em apostilas do Colégio Christus para seus alunos. O Ministério da Educação e o Inep, tão logo tomaram conhecimento do ocorrido, ainda na tarde do dia 25, já haviam cancelado as provas dos candidatos daquele colégio.
Inconformados com a decisão do juiz Luís Praxedes Vieira, da primeira instância, ainda que ressalvando a sobriedade da decisão, o Ministério da Educação e o Inep recorreram ao Tribunal Regional Federal da 5ª Região, com o objetivo de circunscrever o ocorrido aos alunos do Colégio Christus. Entretanto, o ministro da Educação, Fernando Haddad, ao se cientificar do sucesso do recurso, alertou que caso a Polícia Federal apure que as apostilas tenham sido distribuídas também para os 320 alunos dos cursinhos pré-vestibulares da instituição, o Ministério da Educação e o Inep poderão adotar o mesmo procedimento.
Na opinião do ministro Haddad, o desembargador Paulo Roberto fez justiça a mais de 4 milhões de estudantes que não tiveram nenhum envolvimento com o ocorrido em Fortaleza. “Não podíamos aceitar que estudantes de todo o país fossem prejudicados por conta de uma guerra fratricida movida por instituições privadas e de elite da capital cearense. A decisão fez justiça e reafirmou a solidez do Enem em todo o país”, disse.
Haddad informou ainda que o Ministério da Educação e o Inep seguem acompanhando o inquérito da Polícia Federal que apura responsabilidades pelo ocorrido. E que se ficar provado o envolvimento do Colégio Christus ou de seus agentes, eles serão responsabilizados civil e criminalmente.
Nota sobre Teoria de Resposta ao Item subsidiou a decisão...
Entre os documentos que subsidiaram a decisão do desembargador Paulo Roberto de Oliveira Lima, presidente do Tribunal Regional Federal da 5ª Região, que circunscreveu a anulação das 13 questões do Exame Nacional do Ensino Médio (Enem) 2011 aos estudantes do Colégio Christus, de Fortaleza, destaca-se uma nota técnica assinada pelo ex-presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), Reynaldo Fernandes, professor da Universidade de São Paulo (USP), e pelos professores José Francisco Soares, da Universidade Federal de Minas Gerais (UFMG), Tufi Machado Soares, da Universidade Federal de Juiz de Fora (UFJF) e Ruben Klein, da Fundação Cesgranrio.
Eis a íntegra da nota:
“A Teoria de Resposta ao Item (TRI) é um conjunto de modelos matemáticos que considera o item como unidade básica de análise e postula que o desempenho de um avaliado em um teste pode ser predito (ou explicado) pela proficiência (habilidade) e pelas características dos itens do teste. A TRI modela a probabilidade de um indivíduo responder corretamente a um item como função dos parâmetros do item e da proficiência (habilidade) do respondente. Essa relação é expressa por meio de uma função monotônica crescente que indica que quanto maior a proficiência do avaliado, maior será a sua probabilidade de acertar o item (ver, por exemplo, Andrade & cols, 2000; Baker & Kim, 2004; Hambleton & cols, 1991; Klein, 2003; Pasquali, 1997).
No Enem, o modelo matemático utilizado é o logístico de três parâmetros desenvolvido por Birbaum (1968). De acordo com esse modelo, três características do item são consideradas para cálculo da proficiência do aluno: poder de discriminação (parâmetro a), dificuldade (parâmetro b) e a probabilidade de acerto ao acaso (parâmetro c). Proficiências estimadas a partir de subconjuntos de itens na mesma escala poderão ser comparadas, independentemente dos itens e do número de itens utilizados para o cálculo.
A teoria pressupõe que um participante situado em certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que sua proficiência (itens mais fáceis) e errar os itens de nível de dificuldade maior (itens mais difíceis). Ou seja, o padrão de resposta do participante é considerado no cálculo da proficiência. Isso se deve ao fato de que no modelo logístico de três parâmetros da TRI, o cálculo da proficiência não está relacionado somente ao número de acertos, mas também aos parâmetros dos itens e a coerência das respostas.
Certamente, a quantidade de itens acertados influencia na estimação da proficiência, mas pessoas com o mesmo número de acertos podem ter proficiências diferentes e uma pessoa pode ter uma proficiência maior que uma outra com um maior número de acertos, dependendo das características dos itens acertados, incluindo sua dificuldade, e do padrão de respostas do candidato. O cálculo da proficiência é objetivo, e estudantes com exatamente o mesmo padrão de respostas apresentam as mesmas proficiências.
Deve ficar claro que isso não significa dizer que o número de itens em um teste não interfere no cálculo das proficiências. Em toda avaliação, quanto mais informação, maior será a precisão. Como os itens são a fonte de informação do teste, quanto mais itens, mais precisão. Todavia, de modo geral, variações pequenas no número de itens de um teste tendem a ter pequenas interferências nas estimações das proficiências.
No Enem, para cada aluno, são calculadas quatro proficiências, uma para cada área de conhecimento. Cada proficiência é baseada em 45 itens.
Considerando o caso das 14 questões que foram de conhecimento antecipado dos estudantes do Colégio Christus, três soluções técnicas foram levantadas:
(1) Reaplicação do exame somente para os estudantes do Colégio Christus. Essa é a medida que o Inep adotou para resgatar a isonomia quando o participante prejudicado não tenha responsabilidade sobre o ocorrido. Como a TRI permite que as notas de alunos submetidos a provas distintas possam ser comparadas, essa medida eliminaria a alegada vantagem desses estudantes por já terem se defrontado com parte das questões do exame em simulado realizado pela escola. No entanto, uma nova prova em data posterior não está isenta de questionamentos. Alegando favorecimento dos estudantes do Colégio Christus, pode-se argumentar que os mesmos teriam 30 dias a mais de estudo, o que poderia trazer algum tipo de privilégio. Alegando desfavorecimento, pode-se advogar que uma nova prova poderia prejudicar esses estudantes em outros vestibulares, seja porque a nova data pode coincidir com outros vestibulares seja por aumentar ainda mais a pressão a que esses estudantes estão submetidos.
(2) Anulação das 14 questões (quatro em ciências humanas, cinco em ciências da natureza, uma em linguagens e códigos e quatro em matemática) para todos os participantes do Enem. Nesse caso, a igualdade de condições, em relação ao ineditismo das questões, estaria restabelecida. O custo dessa medida é o de reduzir a precisão da medida de proficiência para todos os participantes do exame. Ainda que essa perda de precisão seja pequena, não parece razoável adotá-la para aproximadamente 4 milhões de participantes quando apenas cerca de 600 estudantes já haviam se defrontado com essas questões previamente. Vale ressaltar que, do ponto de vista da medida, o ideal para um exame como o Enem seria o de ordenar seus participantes de acordo com suas “verdadeiras” proficiências. Assim, obter estimativas mais precisas possíveis dessas proficiências constitui-se um dos principais objetivos. Foi justamente por isso que a TRI foi introduzida e a prova é relativamente extensa. A anulação das 14 questões para todos os participan
tes pode ser injusta.
(3) Anulação das 14 questões somente para os estudantes do Colégio Christus. A estimação da proficiência em uma mesma escala, para cada área, pode ser realizada mesmo com número diferente de questões entre as provas, assim, a anulação de 14 questões somente para os estudantes do Colégio Christus continuará permitindo a comparabilidade. Na análise, pressupõe-se que essas questões não foram apresentadas aos estudantes do Christus, portanto, para os cálculos das proficiências serão consideradas 41 questões em ciências humanas, 40 em ciências da natureza, 44 em linguagens e códigos e 41 em matemática. A Teoria Clássica dos Testes (percentual de acerto) já permitiria que essa solução fosse a mais indicada em caso de um grupo tão reduzido de participantes do universo avaliado ter tido acesso anteriormente a um pequeno número de questões (14 em 180). A TRI é ainda mais adequada para avaliar provas com número de itens diferentes, uma vez que o cálculo das proficiências é realizado considerando o padrão de respostas em relação ao itens apresentados. Essa medida não afeta e permite uma melhor precisão para os outros 4 milhões de participantes do Enem 2011 e as proficiências obtidas com um número menor de questões estarão circunscritas a um número diminuto de alunos.
Dessa forma, avalia-se que tecnicamente a solução mais adequada e que garante a maior isonomia para os participantes do Enem é a anulação das questões somente para os estudantes do Colégio Christus.
Eis a íntegra da nota:
“A Teoria de Resposta ao Item (TRI) é um conjunto de modelos matemáticos que considera o item como unidade básica de análise e postula que o desempenho de um avaliado em um teste pode ser predito (ou explicado) pela proficiência (habilidade) e pelas características dos itens do teste. A TRI modela a probabilidade de um indivíduo responder corretamente a um item como função dos parâmetros do item e da proficiência (habilidade) do respondente. Essa relação é expressa por meio de uma função monotônica crescente que indica que quanto maior a proficiência do avaliado, maior será a sua probabilidade de acertar o item (ver, por exemplo, Andrade & cols, 2000; Baker & Kim, 2004; Hambleton & cols, 1991; Klein, 2003; Pasquali, 1997).
No Enem, o modelo matemático utilizado é o logístico de três parâmetros desenvolvido por Birbaum (1968). De acordo com esse modelo, três características do item são consideradas para cálculo da proficiência do aluno: poder de discriminação (parâmetro a), dificuldade (parâmetro b) e a probabilidade de acerto ao acaso (parâmetro c). Proficiências estimadas a partir de subconjuntos de itens na mesma escala poderão ser comparadas, independentemente dos itens e do número de itens utilizados para o cálculo.
A teoria pressupõe que um participante situado em certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que sua proficiência (itens mais fáceis) e errar os itens de nível de dificuldade maior (itens mais difíceis). Ou seja, o padrão de resposta do participante é considerado no cálculo da proficiência. Isso se deve ao fato de que no modelo logístico de três parâmetros da TRI, o cálculo da proficiência não está relacionado somente ao número de acertos, mas também aos parâmetros dos itens e a coerência das respostas.
Certamente, a quantidade de itens acertados influencia na estimação da proficiência, mas pessoas com o mesmo número de acertos podem ter proficiências diferentes e uma pessoa pode ter uma proficiência maior que uma outra com um maior número de acertos, dependendo das características dos itens acertados, incluindo sua dificuldade, e do padrão de respostas do candidato. O cálculo da proficiência é objetivo, e estudantes com exatamente o mesmo padrão de respostas apresentam as mesmas proficiências.
Deve ficar claro que isso não significa dizer que o número de itens em um teste não interfere no cálculo das proficiências. Em toda avaliação, quanto mais informação, maior será a precisão. Como os itens são a fonte de informação do teste, quanto mais itens, mais precisão. Todavia, de modo geral, variações pequenas no número de itens de um teste tendem a ter pequenas interferências nas estimações das proficiências.
No Enem, para cada aluno, são calculadas quatro proficiências, uma para cada área de conhecimento. Cada proficiência é baseada em 45 itens.
Considerando o caso das 14 questões que foram de conhecimento antecipado dos estudantes do Colégio Christus, três soluções técnicas foram levantadas:
(1) Reaplicação do exame somente para os estudantes do Colégio Christus. Essa é a medida que o Inep adotou para resgatar a isonomia quando o participante prejudicado não tenha responsabilidade sobre o ocorrido. Como a TRI permite que as notas de alunos submetidos a provas distintas possam ser comparadas, essa medida eliminaria a alegada vantagem desses estudantes por já terem se defrontado com parte das questões do exame em simulado realizado pela escola. No entanto, uma nova prova em data posterior não está isenta de questionamentos. Alegando favorecimento dos estudantes do Colégio Christus, pode-se argumentar que os mesmos teriam 30 dias a mais de estudo, o que poderia trazer algum tipo de privilégio. Alegando desfavorecimento, pode-se advogar que uma nova prova poderia prejudicar esses estudantes em outros vestibulares, seja porque a nova data pode coincidir com outros vestibulares seja por aumentar ainda mais a pressão a que esses estudantes estão submetidos.
(2) Anulação das 14 questões (quatro em ciências humanas, cinco em ciências da natureza, uma em linguagens e códigos e quatro em matemática) para todos os participantes do Enem. Nesse caso, a igualdade de condições, em relação ao ineditismo das questões, estaria restabelecida. O custo dessa medida é o de reduzir a precisão da medida de proficiência para todos os participantes do exame. Ainda que essa perda de precisão seja pequena, não parece razoável adotá-la para aproximadamente 4 milhões de participantes quando apenas cerca de 600 estudantes já haviam se defrontado com essas questões previamente. Vale ressaltar que, do ponto de vista da medida, o ideal para um exame como o Enem seria o de ordenar seus participantes de acordo com suas “verdadeiras” proficiências. Assim, obter estimativas mais precisas possíveis dessas proficiências constitui-se um dos principais objetivos. Foi justamente por isso que a TRI foi introduzida e a prova é relativamente extensa. A anulação das 14 questões para todos os participan
tes pode ser injusta.
(3) Anulação das 14 questões somente para os estudantes do Colégio Christus. A estimação da proficiência em uma mesma escala, para cada área, pode ser realizada mesmo com número diferente de questões entre as provas, assim, a anulação de 14 questões somente para os estudantes do Colégio Christus continuará permitindo a comparabilidade. Na análise, pressupõe-se que essas questões não foram apresentadas aos estudantes do Christus, portanto, para os cálculos das proficiências serão consideradas 41 questões em ciências humanas, 40 em ciências da natureza, 44 em linguagens e códigos e 41 em matemática. A Teoria Clássica dos Testes (percentual de acerto) já permitiria que essa solução fosse a mais indicada em caso de um grupo tão reduzido de participantes do universo avaliado ter tido acesso anteriormente a um pequeno número de questões (14 em 180). A TRI é ainda mais adequada para avaliar provas com número de itens diferentes, uma vez que o cálculo das proficiências é realizado considerando o padrão de respostas em relação ao itens apresentados. Essa medida não afeta e permite uma melhor precisão para os outros 4 milhões de participantes do Enem 2011 e as proficiências obtidas com um número menor de questões estarão circunscritas a um número diminuto de alunos.
Dessa forma, avalia-se que tecnicamente a solução mais adequada e que garante a maior isonomia para os participantes do Enem é a anulação das questões somente para os estudantes do Colégio Christus.
Fonte: Ministério da Educação
