Avaliando a aquisição de livros didáticos

A adoção, nas séries iniciais do ensino fundamental, de livros didáticos que não são fornecidos gratuitamente pelo governo, pode melhorar o desempenho dos alunos? Auditoria inovadora realizada pelo Tribunal de Contas do Estado (TCE-RS) encontrou evidência de que essa prática não é efetiva.

O trabalho foi realizado em um grande município gaúcho que, em 2019, investiu R$ 200 milhões em Educação, sendo R$ 140 milhões no Ensino Fundamental. Desde 2014, o município adquire na rede privada livros destinados às séries iniciais do Ensino Fundamental (1ª a 5ª), tendo investido R$ 25 milhões nesse item em seis anos. Esse investimento foi realizado mediante a pressuposição de que tais livros teriam qualidade superior quando comparados ao material didático oferecido gratuitamente pela União e que, portanto, haveria um reflexo positivo no desempenho dos alunos.

A auditoria que realizamos, orientada pelo princípio da efetividade, procurou avaliar os resultados dessa política pública, o que se tornou possível pela existência na cidade de algumas escolas municipais e estaduais que continuaram recebendo os livros didáticos gratuitos. Essa característica permitiu um estudo comparativo com o “grupo de tratamento” (aquele que recebeu os livros adquiridos pelo município) e o “grupo de controle” (aquele que seguiu trabalhando com os livros gratuitos). A metodologia utilizada é conhecida como “Diferença em diferenças”. O procedimento envolve calcular a diferença na média dos resultados antes e após a intervenção para cada grupo. A diferença final entre as duas diferenças corresponde ao impacto estimado, atribuído ao programa. Para a realização da análise foram consideradas as notas em Português e Matemática obtidas pelos alunos das referidas séries, registradas no Sistema de Avaliação do Ensino Básico do Ministério da Educação entre 2007 e 2019.

O grupo de tratamento, que usou livros comprados, constituiu-se com os alunos de 38 das 41 escolas municipais. O grupo de controle, que usou livros do Programa Nacional do Livro e Material Didático, foi formado com alunos de três escolas municipais e das 17 escolas administradas pelo Estado. Analisados os seis anos de uso do material didático privado, constatou-se uma diferença positiva nas notas médias de 1,33% em Português e 0,57% em Matemática, o que, entretanto, não possui relevância estatística. Dito de outra forma, a avaliação encontrou que os dois grupos de alunos – que receberam livros diferentes – tiveram desempenho de mesma natureza.

Tendo presente que o Município possui outras demandas não atendidas na área da Educação como vagas em creche, por exemplo, os resultados não justificam o investimento de 25 milhões de reais na compra de livros.

O exemplo permite destacar a importância da avaliação externa de resultados de todas as políticas públicas, prática ainda rarefeita no Brasil e que tem sido muito funcional à reprodução de programas ineficientes e ao desperdício de recursos públicos.