Acordo entre MPF e Capes representou avanço, mas ranqueamento dos programas de pós-graduação deturpa resultados e mantém Avaliação Quadrienal na ilegalidade

Em agosto de 2022, no âmbito de uma ação civil pública ajuizada pelo Ministério Público Federal (MPF) contra a Fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), as duas partes assinaram um acordo, tecnicamente denominado “Termo de Autocomposição” (TA), por meio do qual a Capes concorda em publicar as Fichas de Avaliação, a serem utilizadas nas avaliações quadrienais dos Programas de Pós-Graduação (PPGs), até o dia 15 de março do primeiro ano do quadriênio avaliativo, permitindo assim, em tese, que os mais de 4 mil PPGs existentes no país saibam, de antemão, com que critérios serão avaliados em cada uma das 49 Coordenações de Área (CAs).

O acordo foi homologado pela 32ª Vara Federal do Rio de Janeiro, onde tramitava a ação do MPF. De acordo com o Informativo Adusp, os procuradores regionais da República Jessé Ambrósio dos Santos Jr. e Antonio do Passo Cabral questionavam, no processo, “a aplicação retroativa de parâmetros de avaliação e sem previsão de regimes de transição entre um período e outro, o que poderia gerar distorções na distribuição de recursos federais que utilizam as notas da avaliação como critério”.

Ao firmar o TA, a Capes aceitou acatar — ainda que parcialmente, como será demonstrado — um princípio caro à justiça: o da irretroatividade. Ou seja: as regras de avaliação estabelecidas no início do quadriênio não podem mais ser alteradas “ao final do 2º tempo” e aplicadas retroativamente, prejudicando alguns PPGs em favor de outros; ou vice-versa, favorecendo alguns em detrimento de outros.

Não é espantoso que a Capes viesse descumprindo, impunemente, o princípio legal da irretroatividade? Será que não vale a pena refletir sobre os efeitos concretos dessa prática na vida de PPGs e docentes?

Pesquisa que realizamos sobre o sistema de avaliação da pós-graduação no Brasil demonstrou que, na última década, a Capes sujeitou os mais de 4 mil PPGs do Brasil a várias mudanças nas regras de avaliação, divulgadas sempre ao final do quadriênio e aplicadas retroativamente. Por exemplo, nas Fichas de Avaliação do quadriênio 2017-2020, em relação às do quadriênio anterior, foram feitas 5.521 alterações de indicadores e pesos, todas elas divulgadas só em 2019 e 2020. Ou seja: na última avaliação os PPGs só foram informados formalmente como seriam avaliados decorridos 3 ou 4 anos do quadriênio. Essa prática gera ao menos quatro consequências negativas para a pós-graduação brasileira, os PPGs e seus docentes.

Do ponto de vista estratégico, a alteração de regras a posteriori é ineficaz como política pública. A Capes estava sempre atrasada no seu papel de direcionar e definir os rumos da pós-graduação brasileira. Isto é, o sistema de avaliação da pós-graduação só consegue cumprir seu papel de “indução” quando a Capes define, concretamente, o que os PPGs devem fazer para serem bem avaliados no futuro. Toda indução tem de ser proativa, nunca retroativa. É impossível mudar o passado — mas essa obviedade não era considerada pela Capes e suas 49 CAs.

Já do ponto de vista operacional, isso se traduzia em um caos para os PPGs e seus docentes. Era impossível planejar-se adequadamente, pois a única base que existia era a (Ficha de) Avaliação do quadriênio anterior. Era como tentar olhar para frente com o farol voltado para trás. Além disso, o Sistema Sucupira, que coleta os dados dos PPGs, alterava seus campos o tempo todo e a cada ano, sempre apresentando problemas técnicos, gerando perda de informações, estresse e retrabalho para as coordenações dos PPGs. Assim, o sistema de avaliação da Capes, além de não cumprir o seu papel de indução, atrapalhava o trabalho dos docentes.

Do ponto de vista jurídico, essa prática era ilegal. Por isso o MPF-RJ foi bem-sucedido em paralisar a avaliação em andamento na época, graças a liminar emitida pela 32ª Vara Federal em setembro de 2021. Alguns acadêmicos e associações argumentaram que o princípio da irretroatividade não se aplicava a esse caso. Mas qualquer um entende que, se uma avaliação pode afetar um PPG e a carreira de seus docentes, todos têm o direito de saber, com antecedência, como serão avaliados. Só assim as pessoas podem fazer suas escolhas de acordo com a direção apontada pelos critérios de avaliação. Isso nos leva de volta à necessidade de que tais critérios sejam divulgados no início do período avaliativo, gerando a “segurança jurídica” do sistema de avaliação.

Por fim, do ponto de vista da avaliação em si, a pesquisa que coordenei comprovou que PPGs tiveram suas notas rebaixadas ou não elevadas devido às mudanças das regras no fim do jogo, o que os levou a receberem menos fomento nos quatro anos subsequentes. Em alguns casos, o rebaixamento da nota por essa razão pode ter gerado até o descredenciamento de PPGs. Ou seja: entre 2010 e 2020, a avaliação da Capes foi injusta para com determinados PPGs afetados pelas mudanças a posteriori, bem como para com seus docentes e suas instituições.

Dar a conhecer as regras da avaliação antecipadamente é portanto uma questão de ser justo, daí a existência desse princípio jurídico. Uma vez que agora a Capes será obrigada a publicar as Fichas de Avaliação antecipadamente, os problemas acima indicados vão acabar, mas, infelizmente, só em parte.

Uma das principais propostas defendidas em nossa pesquisa não foi incorporada no acordo: o fim do “ranqueamento” dos programas de pós-graduação (o que a Capes denomina de “método comparativo) como parte da avaliação da pós-graduação no Brasil. A então presidenta da Capes, Cláudia Toledo, chegou até a comemorar desse fato, ao afirmar que

“as regras estabelecidas no Acordo mantêm incólume o caráter comparativo da Avaliação Quadrienal, não impondo a necessidade de definição apriorística de fatores de corte ou outros elementos puramente comparativos que, por sua natureza, somente podem ser conhecidos após a aplicação dos parâmetros de avaliação preestabelecidos” (ênfase original).

Porém, a manutenção do método comparativo pela Capes faz com que a sua avaliação continue sendo ilegal e, ainda pior, impeça a melhoria da pós-graduação brasileira como um todo.

“Então, na sua avaliação, o sistema de avaliação da Capes trabalha contra a pós-graduação brasileira?”, alguém poderia perguntar. “Infelizmente, sim”, seria a resposta, graças ao ranqueamento dos PPGs, método que o TA manteve “incólume”

A avaliação da Capes, a princípio, tem como objetivo principal induzir a melhoria da qualidade de toda a pós-graduação brasileira. Para tal, a qualidade de cada PPG é avaliada com notas de 3 a 7, sendo que a nota 4 é o mínimo exigido para se ter um curso de doutorado. Os PPGs bem avaliados recebem mais verbas públicas, bolsas e acesso a editais específicos; e os mal avaliados recebem menos incentivos, são impedidos de ter doutorado ou são descredenciados pela Capes se não tiverem a nota 3.

O problema é que a adoção do “ranqueamento” pela Capes deturpa, injustamente, a avaliação de qualidade (ou seja, a nota final) de alguns PPGs, de modo a limitar o número de PPGs que receberão as melhores notas. Com isso, PPGs em todas as 49 CAs recebem uma nota pior do que teriam direito a receber caso fosse feita uma avaliação do que denominamos de “qualidade real” do PPG. Vou dar um exemplo para esclarecer esse ponto.

Imagine que uma professora informe aos seus discentes de pós-graduação que seu aprendizado será avaliado por meio de um trabalho final. Nele será analisada a qualidade da questão de pesquisa, com base na clareza e extensão da revisão bibliográfica (70%) e na defesa da metodologia de pesquisa (30%). Os discentes também são informados, como de praxe, que quem tirar de 90 a 100 pontos terá o conceito “A”, 80 a 89 pontos o conceito “B” e por aí em diante. Com isso, todos os discentes sabem agora como serão avaliados (o equivalente à Ficha de Avaliação da Capes) e qual nota têm de tirar no trabalho para virem a obter os melhores conceitos (o equivalente às Notas de Corte, que definem qual nota corresponde a qual conceito de qualidade). Nesse sistema, possíveis diferenças entre eles podem ser minimizadas por meio de cooperação, já que todos têm, em princípio, a chance de serem bem-sucedidos, a saber: de “passar” na disciplina e obter um ótimo conceito.

Agora, suponha que seja dito aos discentes que, após a correção dos trabalhos, as notas finais serão colocadas em ordem decrescente em cinco faixas, de modo que só as 20% melhores notas receberão o conceito “A”, as outras 20% o conceito “B” e assim por diante, até a última faixa que conterá as notas que compõem as 20% piores notas, caso no qual os discentes serão reprovados. Com isso, um novo objetivo passa a existir para os discentes: fazer um trabalho melhor do que os dos demais. Isso porque, mesmo que a nota final de um determinado aluno seja de 82 pontos, por exemplo, se ela for a menor nota entre as dos colegas esse discente será reprovado!

Portanto, nesse segundo sistema, por mais que todos os discentes se esforcem, poucos serão recompensados. Em alguns casos — como no exemplo acima — eles podem ser até punidos (com um pior conceito ou até a reprovação), independentemente da qualidade do seu trabalho. Assim, a competição passa a reinar, com cada discente olhando o seu “próprio umbigo”. As possíveis diferenças entre eles — de classe, “capital social”, acesso a revistas de diferentes línguas ou mesmo a ferramentas como um bom computador e impressora — passam a ser “vantagens competitivas” a serem utilizadas para ganhar a competição. Com isso, o foco no aprendizado, na melhoria contínua e na cooperação caem por terra, assim como a motivação. Por que me esforçar para tentar ser bem-sucedido em um sistema perverso, que limita o número de “vencedores”, recompensando pessoas que, historicamente, já vêm sendo beneficiadas?

Pois bem: esse segundo sistema é o que a Capes adota, que eu denomino de “ranqueamento” e ela de “método comparativo”. Isso é feito para definir as Notas de Corte e as faixas de atribuições de conceitos de todos os indicadores utilizados na avaliação. A maneira de fazer isso varia entre as Coordenações de Área e entre os indicadores. Mas o ponto é que, por uma questão de lógica, as Notas de Corte só são e só podem ser definidas a posteriori, depois de todos os PPGs serem avaliados e ser possível ranquear as notas finais de cada um dos indicadores dos PPGs.

Com isso, os PPGs só sabem que nota teriam de ter obtido em cada um dos seus indicadores, por exemplo, para obter uma nota final “5”, após o fim do quadriênio. Mesmo assim, isso não é totalmente válido porque, se todos os PPGs tivessem atingido os índices exigidos para a nota “5”, as Notas de Corte dos indicadores teriam subido.

Em suma, o ranqueamento ou o método comparativo é autolimitante, no sentido de que ele impede que todos os PPGs recebam notas altas, como se fosse impossível que todos os PPGs de uma determinada área alcançassem alta qualidade. Em outras palavras, o que deveria ser a meta da Capes, fazer com que todos os PPGs do Brasil ofereçam um ensino de excelente qualidade, é na realidade inviabilizado pelo seu próprio sistema de avaliação, dado que o sistema impede que mais PPGs recebam mais fomento.

Será que dei a entender que não existem PPGs melhores que outros, nem PPGs que não são tão bons? Não é o que eu disse! Falarei mais a respeito disso, bem como da “qualidade real” dos PPGs

Com certeza existem os PPGs melhores e aqueles que têm de melhorar. O que estou dizendo é que, em alguns casos, o ranqueamento “segura” ou “empurra para baixo” as notas de uns PPGs, fazendo com que eles recebam uma nota pior do que deveriam receber se a avaliação não fosse comparativa – e, desse modo, deixando de ser beneficiados com mais verbas públicas, bolsas ou acesso a editais. Assim, alguns PPGs são prejudicados por causa da comparação entre PPGs e não por causa da sua “qualidade real” — o que seria o caso do discente com a nota 82, no exemplo dado acima.

Se, no início do quadriênio, fossem divulgadas as Notas de Corte de todos os indicadores utilizados em cada Coordenação de Área (CA), os mais de 4 mil PPGs do Brasil saberiam tanto como seriam avaliados como quais índices teriam de atingir para obter a nota que almejassem ou considerassem possível para o quadriênio. Dessa forma, todos aqueles programas que preenchessem os critérios para receber notas “4” ou “5” efetivamente as receberiam, independentemente das notas obtidas pelos demais PPGs da sua CA.

Os critérios de qualidade para receber cada nota seriam definidos a priori, de modo que, em princípio, todos os PPGs do Brasil poderiam ter notas 5, 6 ou 7. É isso que eu chamo de “qualidade real”: um conjunto de critérios únicos, definidos no início do quadriênio, em direção aos quais todos os PPGs poderiam rumar, conforme a nota desejada, induzindo-se desse modo a melhoria de qualidade de toda a pós-graduação brasileira. Em suma, se a Capes quer cumprir seu objetivo, ela tem de abandonar o ranqueamento a posteriori dos PPGs.

Já expliquei que a meu ver o “método comparativo” é injusto e atenta contra a pós-graduação brasileira. Mas por que, ao definir as Notas de Corte a posteriori, ele mantém a Avaliação Quadrienal na ilegalidade?

Para esclarecer esse ponto, vou partir do próprio TA assinado entre a Capes e o MPF. Na sua CLÁUSULA SEGUNDA, é definido claramente que

“(iv) por ‘parâmetro de avaliação’, compreendem de maneira abrangente qualquer elemento utilizado, direta ou indiretamente [pelas Coordenações de Área da Capes], para avaliar seus respectivos Programas de Pós-graduação (PPGs), atribuindo-lhes conceitos, notas, pesos ou quaisquer outros atributos aptos a alterar sua situação jurídica decorrente do processo avaliativo, impactando a nota ou o conceito final, seja tal elemento denominado critério, quesito, item, subitem, fator, indicador, coeficiente, aspecto, índice ou que contenha ou reflita qualquer outra informação ou dado referente à atividade das instituições reguladas ” (Cláusula Segunda, ênfase adicionada pelo autor).

Já nas cláusulas subsequentes, é definido que

“CLÁUSULA TERCEIRA

Para a Avaliação do Quadriênio 2017-2020, as partes concordam com a adoção do seguinte procedimento:

(i) a Capes utilizará, para a Avaliação Quadrienal 2017-2020, os parâmetros constantes dos documentos de área e das fichas de avaliação elaboradas no curso do período avaliativo, maturados segundo as práticas institucionais até então vigentes e publicadas no seminário de meio termo de 2018/2019;

CLÁUSULA QUARTA

Para a Avaliação do Quadriênio 2021-2024, as partes concordam com a adoção do
seguinte procedimento:

(i) a Capes utilizará, para a Avaliação Quadrienal 2021-2024, os parâmetros constantes dos documentos de área e das fichas de avaliação existentes, publicadas até o final de 2020 […]”.

Pela definição de “parâmetro de avaliação” adotada na Cláusula Segunda do TA, percebe-se então que todos os parâmetros para se realizar a Avaliação Quadrienal 2017-2020 deveriam constar nas Fichas de Avaliação publicadas no seminário de meio termo de 2018/2019 e o mesmo deveria ocorrer nas Fichas de Avaliação publicadas em 2020, no que se refere à Avaliação Quadrienal 2021-2024. Isso significaria que tais fichas teriam de conter, também, as Notas de Corte de todos os indicadores, dado que elas são pré-requisito para a atribuição dos conceitos/notas de cada indicador e, consequentemente, para avaliar, “direta ou indiretamente”, os PPGs.

Em suma, dado que o método comparativo foi mantido, é logicamente impossível para a Capes explicitar, no início do quadriênio, as notas de corte. Por essa razão, as notas de corte da Avaliação Quadrienal 2017-2020 foram definidas a posteriori e aplicadas retroativamente. Isso faz com que a Avaliação Quadrienal se mantenha na ilegalidade.

Ou seja: invertendo-se a frase do professor Anísio Teixeira, pode-se dizer que o acordo entre o MPF e a Capes foi uma vitória, mas uma “meia vitória”.

Como deverei responder a alegações “científicas” semelhantes à utilizada pelo presidente da SBPC, professor Renato Janine, que defendeu a avaliação da Capes, a comparando a uma corrida de Fórmula 1?

Existem acadêmicos que defendem veementemente o “método comparativo”. Por exemplo, o professor Renato Janine Ribeiro, que já foi diretor de Avaliação da Capes, ministro da Educação, e é o atual presidente da Sociedade Brasileira para o Progresso da Ciência (SBPC), comparou a avaliação da Capes a uma “disputa esportiva”, em sua fala na Audiência Pública do MPF (24/2/2022): “Você não pode determinar que ganha uma corrida de Fórmula 1 quem atingir mais do que 250 km/hora. Porque pode ser que nenhum chegue lá, ou cinco cheguem. Você vai ver qual é o melhor. Essa regra é unanimemente aceita e ninguém a discute” (ênfase adicionada pelo autor).

A função da Capes é trabalhar para que o maior número possível de PPGs consiga oferecer uma educação de qualidade e realizar pesquisas de excelência em todas as regiões do país. Isso significa, entre outros aspectos, adotar políticas de redução das desigualdades regionais visando aprimorar a qualidade dos PPGs brasileiros, de modo que a maioria consiga atingir as mais altas notas da sua avaliação.

Em outras palavras, pelo que eu saiba, não faz parte do objetivo e nem das atribuições da Capes patrocinar competições e escolher os melhores, e, muito menos, manter um sistema de avaliação que reforce e perpetue as desigualdades já existentes! No entanto, a agência faz exatamente isso na medida em que ranqueia e limita o número de PPGs que podem “subir no pódio”, concentrando recursos em poucos PPGs. Ou seja, em termos de princípio, do que deveria ser o objetivo precípuo da Capes, essa analogia da “competição” não se sustenta.

Mesmo assim, a ideia de “competição” ou da “meritocracia” — que vençam os melhores ou mais fortes — encontra um terreno fértil na academia. Um dos argumentos utilizados é que o recurso da Capes é escasso. Por isso, a única opção existente seria mesmo ranquear os PPGs, escolhendo os melhores, que serão premiados, e os piores, que serão “pedagogicamente” punidos. Porém, se fizermos um experimento mental, esse argumento também cai por terra.

Imagine que a verba da Capes fosse diminuindo até chegar a uma parcela ínfima, que só pudesse custear um único “PPG de excelência” no Brasil. Isso significaria que só existiria um PPG com qualidade, a quem pudesse ser atribuída a nota máxima? Lógico que não. Ou seja: se a razão do ranqueamento fosse a escassez de recursos, isso significaria então que o percentual de PPGs avaliados com as melhores notas poderia, no limite, chegar até a “zero PPGs” se as verbas de fomento da Capes acabassem. Como sabemos bem, é possível ter mais PPGs de qualidade do que recursos para eles. Por isso, é um erro deixar que o sistema de avaliação da qualidade dos PPGs seja contaminado pelo problema crônico da escassez de recursos, gerando todos os problemas e injustiças relatadas acima.

Por fim, é plenamente possível definir notas de corte a priori, no início do quadriênio, sem incorrer no problema alegado de que nenhum PPG “poderia chegar lá”. Como as notas de corte seriam definidas com base no que os PPGs conseguiram produzir no quadriênio anterior, é razoável se pensar que elas seriam embasadas na realidade dos diversos PPGs e, portanto, criariam faixas de notas factíveis de serem alcançadas, no quadriênio vindouro, pelos diversos PPGs de cada CA. Agora, se um ou cinco PPGs vão alcançar uma determinada nota ou outra, isso é uma questão de merecimento. O que não pode acontecer, por ser irracional e profundamente injusto, é um PPG deixar de receber a nota que merece unicamente porque o sistema de avaliação impede isso, ao deturpar a sua nota de modo artificial!

Em síntese, se as clamorosas evidências de injustiça e ilegalidade não bastam para defender e implicar o fim do ranqueamento ou “método comparativo” na avaliação da pós-graduação brasileira, existem mais essas razões para discordar e discutir a “analogia da competição” que o professor Janine Ribeiro propõe e que, erroneamente, alega ser uma regra aceita sem ressalvas por toda a academia brasileira.

Como devemos avaliar o parágrafo único da cláusula 1ª do TA, que remete o Qualis e seus parâmetros de avaliação para futura “negociação apartada” entre MPF e Capes?

Se o Qualis é utilizado como um “parâmetro de avaliação” que impacta “direta ou indiretamente” a avaliação dos programas de pós-graduação (PPGs) (vide Parágrafo Segundo do TA), ele teria, obrigatoriamente, de ser publicado no início do quadriênio, juntamente com as Fichas de Avaliação e as Notas de Corte de todos os indicadores.

O fato de isso não ter sido feito demonstra a continuidade do não atendimento, pela Capes, dos princípios da irretroatividade, da segurança jurídica e da legalidade, publicidade e transparência das regras públicas, em especial daquelas regras destinadas à alocação de verbas e bolsas públicas. A não publicação a priori do Qualis, assim como das Notas de Corte, trata-se portanto de uma omissão relevante. Assim, qualquer PPG, associação ou sindicato disposto a corrigí-la pode entrar, legitimamente, com outra ação contra a Capes para paralisar novamente a avaliação.

Qual teria sido a melhor opção para o acordo, no que diz respeito às Avaliações Quadrienais 2017-2020 e 2021-2024?

Nós sempre defendemos que, se a maioria dos PPGs considerava as Fichas de Avaliação (publicadas no Seminário de Meio Termo 2018/2019) como melhores do que as anteriores, elas poderiam ser utilizadas como um “teste”, mas nenhum PPG poderia ter sua nota rebaixada por alteração das regras a posteriori. Isso foi seguido de certa maneira, já que o TA deixou claro que os PPGs que se sentissem prejudicados poderiam requerer a mesma nota da avaliação anterior.

A diferença foi a partir daí. Na nossa visão, o ano de 2021 deveria ter sido utilizado para fazer esse amplo debate das notas de corte e do Qualis, com base nas novas Fichas de Avaliação. Esse debate permitiria gerar todos os parâmetros de avaliação que seriam, então, divulgados até 15 de março de 2022 para o novo período avaliativo: a Avaliação Quadrienal 2022-2025.

Ou seja: defendemos que, ao final de cada quadriênio, ter-se-ia de pular um ano para que a avaliação fosse feita e refinada, definindo-se as novas regras, notas de corte e Qualis para o quadriênio vindouro.

Por que, ao invés de discutir argumentos e dados, meus pares preferiram questionar a pesquisa realizada e o TA, alegando que são “regras impostas por quem não entende a avaliação”?

A SBPC declarou, pela voz de seu presidente, que o acordo entre o MPF e a Capes “submete toda a avaliação a regras impostas por quem não a entende”. Também houve alguns acadêmicos que se restringiram a criticar que a pesquisa que coordenei não foi submetida uma revista acadêmica com revisão pelos pares.

Esses são exemplos de um ponto que me impressionou muito durante a paralisação e discussão da avaliação da Capes: a quantidade de instituições e associações acadêmicas (Andifes, Foprop, ABC e SBPC, Anpocs, Anped, Cruesp etc.), de alunos de pós-graduação (ANPG) e até sindicatos de professores (Proifes e APUBH) que se opuseram à ação judicial do MPF. Foi criada uma narrativa de que o governo do momento, em conluio com o MPF, queria “acabar” com a Capes e com um sistema de avaliação que foi projetado e implantado pela própria academia — como se ele fosse unanimemente aceito.

Institucionalmente, somente o Andes-Sindicato Nacional, a Adusp por meio de diversas reportagens (24/9/2021, 08/10/2021, 19/10/2021 e 21/10/2021) e uma Mesa Redonda promovida por laboratórios e grupos de pesquisa da área de História deram voz aos problemas e questionamentos técnicos advindos da nossa pesquisa e da Ação Civil Pública do MPF, visando debater os problemas intrínsecos da avaliação da Capes.

Só que defender a mudança de regras no final do quadriênio é defender algo injusto e ilegal. Defender o ranqueamento e a comparação entre PPGs é defender um sistema que atenta contra a melhoria da pós-graduação do Brasil como um todo. Por fim, defender tudo isso é defender um sistema que: (i) induz uma competição desenfreada entre PPGs e docentes (semeando o produtivismo e o adoecimento físico e mental) e, pior de tudo, (ii) deturpa as notas de alguns PPGs, gerando o descredenciamento injusto de docentes tidos como “improdutivos”, o que afeta indevidamente suas carreiras e vidas.

Por tudo isso, eu esperava que meus “pares”, em todas essas instituições e associações, fossem discutir os dados, fatos e argumentos contidos em nossa pesquisa. Que eles fossem utilizar a pesquisa e a ação do MPF-RJ para repensar a avaliação da pós-graduação brasileira de uma forma mais coletiva e menos paroquial.

Porém, como dito ironicamente pelo professor Luciano Mendes (FAE-UFMG), a Capes e todas essas organizações também são formadas por “ímpares” que ganham com a manutenção do status quo. Ou seja: por acadêmicos cujas carreiras, cujos PPGs e cujas instituições vêm sendo privilegiados, ao longo de vários anos, pela atual política de avaliação. Por isso, eu vejo a primeira crítica acima (desfechada pelo presidente da SBPC) como parte dessa defesa do status quo.

Já quanto à segunda crítica, é verdade que a nossa pesquisa não foi submetida a uma revista científica. Mas é falso que ela não passou por uma revisão por pares. Poucas pessoas sabem que, antes da ação do MPF-RJ, o Sindicato dos Professores da UFMG (APUBH) entrou com uma Ação Civil Pública (ACP) contra a Capes que tinha o mesmo objetivo: paralisar a avaliação em andamento e exigir a publicação antecipada dos critérios de avaliação no início do quadriênio avaliativo e o fim do ranqueamento. A base factual dessa ação eram os dados da nossa pesquisa.

O APUBH perdeu a ação na 1ª instância, mas essa ACP acabou chamando a atenção do MPF-RJ, que utilizou os dados da nossa pesquisa para embasar sua própria ação judicial (que por sua vez foi rapidamente acatada pela Justiça Federal). O fato relevante, no entanto, é que a Capes contestou a ACP do APUBH na justiça, gerando um documento muito rico no qual, pela primeira vez, ela teve de defender formalmente sua avaliação, incluindo o “método comparativo”.

Nesse documento, o Relatório de Pesquisa publicado por nosso grupo foi extensamente analisado e várias críticas e ressalvas foram feitas à pesquisa pela Capes, provavelmente com o suporte da CA de Engenharias III, já que as análises mais qualitativas tinham casos de PPGs em Engenharia de Produção como exemplo.

Porém, todas as críticas e ressalvas levantadas sobre nossa pesquisa se mostraram infundadas ou erradas. Isso está documentado no Parecer Técnico que escrevi para o APUBH, em resposta à contestação da Capes. Por essa razão, posso afirmar que a nossa pesquisa teve a revisão pelos pares mais crítica que ela poderia encontrar. Além disso, tal revisão está aberta ao escrutínio de qualquer pessoa, garantindo a transparência de tudo que fizemos.

Criamos um ambiente no Google Drive onde foram colocados todos os dados brutos da pesquisa, para qualquer pesquisador(a) que queira replicá-la. Nesse ambiente foram disponibilizados também dois vídeos nos quais a pesquisa é apresentada e discutida com a participação de outros acadêmicos e todos os materiais coletados sobre o processo. Com isso, a comunidade acadêmica brasileira tem à sua disposição um vasto material para discutir, repensar e, assim espero, aprimorar a avaliação da Pós-Graduação do Brasil.

Por isso, fica aqui o convite para que a Capes e todas as pessoas interessadas na pós-graduação brasileira se inteirem dos pontos aqui levantados, bem como das informações disponíveis em nosso Relatório de Pesquisa ou no Parecer Técnico do APUBH. Esse último é especialmente interessante porque ele apresenta as posições a favor e contra o ranqueamento de uma maneira estruturada e didática, facilitando a discussão.

Por fim, gostaria de parabenizar o MPF-RJ pelo excelente trabalho realizado. O Termo de Autocomposição foi um avanço quanto à publicação a priori das Fichas de Avaliação e consolidou as bases para que o mesmo ocorra em relação aos demais parâmetros de avaliação da pós-graduação brasileira (i.e. Notas de Corte, Qualis, etc.).

Resta agora à Capes e à academia brasileira finalizarem o trabalho. Nesse sentido, espero que a pesquisa realizada e os argumentos apresentados nesse artigo de “opinião” sejam suficientes para: (i) demonstrar a necessidade de dar fim ao “método comparativo” como parte da avaliação da Pós-Graduação no Brasil; e (ii) que isso seja feito pela própria Capes e pela academia brasileira, desta vez sem intervenção da justiça, porque isso é o justo e o correto de se fazer, se o objetivo é induzir a melhoria de todos os PPGs brasileiros.