Ao defender-se da ação judicial do APUBH, Capes admite ranqueamento dos PPGs e incentivo à competição, e invoca “poder discricionário”

UFMG

Parecer técnico do Sindicato dos Professores de Universidades Federais de Belo Horizonte, Montes Claros e Ouro Branco (APUBH), sobre a contestação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) à ação judicial em tramitação na 12ª Vara Federal Cível e Agrária de Belo Horizonte que propõe o fim da retroatividade no sistema de avaliação dos programas de pós-graduação (PPGs), registra que a agência dedica pouco espaço para defender a publicação a posteriori dos “Qualis”, pois prefere enfatizar que a utilização reflexa dele para “avaliação de professores” não é de sua alçada. Mas, contrapõe o parecer, “não existe melhor exemplo de ‘indução’, especialmente no caso dos docentes, do que a definição, pela Capes, de como a ‘produção intelectual’ deles será avaliada”. Mas a principal razão da refutação dessa tese da Capes é outra. É que “uma alteração a posteriori do que será aceito como ‘produção intelectual’ e de como essa será avaliada vai, inevitavelmente, auxiliar alguns PPGs na avaliação em detrimento de outros”.

 

Seria o caso dos “produtos científicos”: “Se ao fim do quadriênio a Capes  decide (nos seus “detalhamentos”) que a produção de um software será considerada um novo produto científico (houve tempos em que não era), aqueles PPGs que desenvolveram softwares nos quatro anos que se passaram serão beneficiados pela mudança das regras, enquanto os que não desenvolveram não poderão fazer mais nada”. Isso também se aplica à classificação desses produtos: “Por exemplo, se os docentes de um PPG submeteram e tiveram seus artigos publicados em revistas científicas classificadas nos estratos ‘A1’ e ‘B1’ do Qualis Periódicos e, ao fim do quadriênio, essas revistas são ‘reclassificadas’ como ‘B1’ e ‘B2’, esse PPG será prejudicado no indicador de ‘produção científica’ da sua Ficha de Avaliação. De modo contrário, aqueles PPGs que tiverem as revistas reclassificadas ‘para cima’ serão beneficiados”.

 

Como exemplo desse tipo de situação, o parecer cita o fato de o Programa de Pós-Graduação em Engenharia de Produção da Universidade Federal de Minas Gerais (PPGEP-UFMG) haver recebido, na Avaliação Quadrienal de 2013-2016, a nota 4. De acordo com as regras vigentes, ele não recebeu a nota 5 por causa de 0,03 ponto. O PPGEP-UFMG obteve 0,47 (“Bom”) no item 3.3 (“Qualidade das teses e dissertações e da produção de discentes autores da pós-graduação”) do quesito 3 (“Corpo Discente, Teses e Dissertações”), sendo que 0,50 (“Muito Bom”) garantiria a nota 5. Porém, uma análise detalhada mostra que uma das razões da “má nota” nesse quesito e, consequentemente, de esse programa manter a nota 4 foi uma mudança das regras a posteriori.

 

O PPGEP-UFMG foi avaliado como “Bom” no item 3.3 [e não “Muito Bom”] “devido a um novo critério — subitem 3.3.2 – OTD (Outras produções Técnicas/tecnológicas de Discentes/egressos) —, o qual foi criado pela Coordenação de Área das Engenharias III em 22/11/2016, quando da publicação do Documento de Área [com as Fichas de Avaliação], isto é, a 39 dias do fim do período da avaliação quadrienal (2013-2016)”, conforme recurso submetido ao CTC-ES.

 

O parecer também dedica grande atenção às alegações da Capes sobre seu próprio poder discricionário de adotar o “método comparativo” entre programas. A Capes sustenta que “o método comparativo, em razão de sua própria natureza, só pode ser realizado no momento final da avaliação, ou seja, a posteriori”; que “os programas são comparativamente agrupados em similaridade dentro das faixas percentuais para atribuição de conceitos relacionados a quem conseguiu atingir mais os critérios da área dentro daquele quesito, item ou subitem”; e que, “quanto a este item e ao contrário do que alega o autor, não se trata de retroatividade na avaliação ou da criação de critérios a posteriori, mas, tão somente, do exercício do poder discricionário da Capes para utilizar o critério comparativo como o mais adequado para avaliação final dos PPGs, mediante ranqueamento entre os programas das mesmas áreas, de forma a possibilitar, a partir dessa análise comparativa, uma ordem classificatória entre os PPGs”.

 

Consequentemente, realça o parecer do APUBH, a Capes admite que os docentes “trabalham no escuro” quando o “método comparativo” é adotado. “Eles não conseguem ter conhecimento prévio do que fazer para melhorar a nota, seja de um indicador específico ou da avaliação final. Em outras palavras, eles não têm como se planejar para atingir metas que serão definidas no futuro, quando as ‘réguas’ para a atribuição das notas forem publicadas. Eles não têm como saber se seus esforços serão suficientes para obter uma nota ‘almejada’, dado que as ‘barras’ de cada nota, definidas pelas ‘notas de corte’, podem sempre ‘subir’ dependendo dos resultados dos demais PPGs da sua Coordenação de Área”.

 

Ao defender sua metodologia, a Capes expõe o arcabouço positivista e tautológico do seu sistema de avaliação. Os programas são ranqueados com a finalidade de “possibilitar uma ordem classificatória entre os PPGs”, ou seja: permitir o próprio ranqueamento. O “sarrafo” é sempre colocado mais alto, porque a agência considera absurda a possibilidade de que um maior número de programas receba notas melhores. A competição entre os PPGs é o princípio definidor do sistema.

A Capes, diz o parecer, “admite, explicitamente, que o ‘método comparativo’ limita o número de PPGs que receberão as melhores notas”, e “defende que a ‘barra’ tem de subir porque, de outra forma, a sua avaliação perderia o poder de diferenciar a ‘qualidade’ entre os PPGs”, nivelando todo mundo “por baixo”. O que fica claro quando a Capes discute, em sua contestação, o exemplo de um indicador, o “Índice h”, frente ao pedido “a” da ação civil pública ajuizada pelo APUBH (o de que a Capes, na avaliação quadrienal de 2017-2020, utilize sem qualquer alteração os “critérios de avaliação”, os “tipos de produção/estratos” e as “notas de corte” aplicados no quadriênio 2013-2016).

 

“Nota-se que, dentro da lógica da avaliação comparativa consolidada há décadas na Capes, seria impossível estabelecer a priori um valor do índice h para atribuição de cada conceito”, alega a Capes na contestação. “Suponha-se que essa mesma métrica seja utilizada na Avaliação Quadrienal 2021, como pede o autor, e que todos os programas tenham alcançado um índice h médio superior a 7. Nesse caso, todos receberiam conceito MB, o que feriria o princípio comparativo da avaliação e impediria a Capes de realizar uma avaliação com vistas a nortear suas ações de fomento e de indução ao aumento da qualidade do sistema. Nesse caso, a Capes ficaria completamente sem parâmetros para definir suas políticas públicas”.

 

Outro exemplo mencionado pela Capes, mas caminhando em sentido inverso, é a hipótese “de uma situação extrema decorrente de uma pandemia ou qualquer outro evento adverso em que a produção dos professores caia desmedidamente e nenhum programa alcance índice h maior que 3”. Nesse caso, “todos os programas receberiam conceito Insuficiente, o que poderia implicar seu descredenciamento”, de modo que “o país ficaria sem programas de pós-graduação em funcionamento, o que acarretaria um dano social sem precedentes”. “É por isso que a avaliação realizada pela Capes é comparativa — e este fato sempre foi de ciência de todos os envolvidos no processo — e qualquer mudança nesse sentido pode acarretar prejuízos sem tamanho para a sociedade”.

 

A argumentação imaginativa foi ironizada pelo parecer da APUBH: “Uma leitura rápida de defesa tão veemente do ‘método comparativo’ pode até dar a impressão que a Capes quer proteger a pós-graduação brasileira, ou seja, os PPGs e seus docentes. Mas a realidade, infelizmente, não é essa. A Capes acredita e defende, explicitamente, que o melhor método para aumentar a qualidade da pós-graduação brasileira é ‘jogar uns PPGs (e seus docentes) contra os outros’, dentro de cada Coordenação de Área, e ver quem sai ‘vitorioso’. Nesse sistema, reconhece a Capes, ‘o mérito é ser melhor do que os outros’ (Capes 2016) — e não atingir um determinado patamar de qualidade, estabelecido a priori (isto é, no início do quadriênio) e que, em princípio, todos os PPGs possam atingir. Adicionalmente, a Capes admite, explicitamente, que o objetivo é criar uma competição entre os docentes e PPGs no interior de cada CA”.

 

Com isso a agência aceita, implicitamente, que a alteração “para cima” das notas de corte vai trazer prejuízos a uma parcela dos PPGs, “negando-lhes acesso a mais recursos e oportunidades e, assim, à criação de círculos virtuosos pelos seus docentes”, conforme se afirma na ação inicial do APUBH (p. 36), ou até mesmo pode causar o “descredenciamento por completo de seus cursos de mestrado e/ou doutorado (o que afeta a carreira de todos os docentes credenciados)” (p. 6).

 

O parecer frisa que os pontos elencados não são “meras ilações” sobre a avaliação da Capes, uma vez que a própria agência faz questão de lhes dar visibilidade na sua contestação à ação judicial do sindicato mineiro. É o que ocorre quando a Capes cita um relatório da sua Diretoria de Avaliação (DAV) que descreve o “novo” sistema “Avaliação Multidimensional”, fundado no “método comparativo” e que ela pretende implementar na Avaliação Quadrienal 2017-2020. O trecho a seguir evidencia a intencionalidade perversa do sistema:

 

“O intuito dessa metodologia [o ‘método comparativo’] é buscar a elevação de padrões de qualidade, conforme o relatório DAV de Avaliação Multidimensional de Programas de Pós-Graduação. O desempenho do programa é comparado ao desempenho médio dos demais programas daquela área de avaliação, já que na maior parte das vezes há uma divisão por faixas percentuais para atribuição dos conceitos. A comparação entre programas da mesma área faz com que as métricas e os pesos atribuídos aos itens de avaliação tenham que se readequar ao longo dos anos, já que não é possível que todos os programas alcancem a mesma nota, sempre terão [sic] programas com notas inferiores ocupando a última posição da escala de classificação. Dessa forma, pode-se dizer que a avaliação realizada pela Capes é criterial e normativa ao mesmo tempo, já que utiliza critérios iguais para todos, no entanto, estimula a competição e impõe uma dinâmica de alteração e elevação de padrões de qualidade. Ademais é regulatória, pois uma avaliação insatisfatória resulta no descredenciamento dos programas” (destaques do parecer e não do original).

 

Confissão mais clara, impossível. “Pela sua natureza e pelo que induz, o atual sistema de avaliação da Capes acaba, assim, por reforçar, produzir e reproduzir desigualdades históricas e regionais, deixando de cumprir o seu papel indutor de qualidade (real) e de desenvolvimento para a pós-graduação de todo o país”, diz acertadamente a inicial da ação em curso na 12ª Vara Federal Cível e Agrária de Belo Horizonte (destaques no original).

 

Por isso, o parecer técnico lembra que a Capes descumpre o Artigo 3º da Constituição Federal, especialmente para PPGs localizados fora dos grandes centros urbanos: “Constituem objetivos fundamentais da República Federativa do Brasil: I – construir uma sociedade livre, justa e solidária; II – garantir o desenvolvimento nacional; III – erradicar a pobreza e a marginalização e reduzir as desigualdades sociais e regionais; IV – promover o bem de todos, sem preconceitos de origem, raça, sexo, cor, idade e quaisquer outras formas de discriminação”. Descumpre, ainda, o Plano Nacional de Pós-Graduação 2011-2020, que determina ações buscando atenuar desequilíbrios regionais.

No documento são rebatidas outras teses da Capes, como a de que detém o poder discricionário para escolher a metodologia avaliativa que considerar apropriada pois compete a ela, por lei, avaliar os PPGs, ou a de que uma potencial intervenção judicial na metodologia avaliativa da Capes poderia gerar graves problemas, dado que a avaliação é uma “questão eminentemente técnica” que pode até ultrapassar a capacidade analítica do magistrado. A bem dizer, a Capes proclama sua imunidade ao poder judiciário, de antemão exclui-se do seu alcance, declarando como “gravosa”, por princípio, qualquer possível interferência judicial.

 

Com efeito, tais argumentos combinam-se no trecho seguinte da contestação. A “escolha pelo método comparativo insere-se no âmbito do poder discricionário inerente à administração pública, não se vislumbrando qualquer ilegalidade na adoção do modelo que seja passível de controle pelo Poder Judiciário. Nos termos da Lei nº 8.405, de 9 de janeiro de 1992, compete à Capes a promoção e o fomento do desenvolvimento científico e tecnológico do país e a coordenação do sistema de pós-graduação e a avaliação de cursos, nas modalidades presencial e a distância. Logo, a Fundação pode, respeitando os referidos normativos, decidir de forma definitiva a respeito do mérito administrativo para definição dos parâmetros de avaliação da Pós-Graduação no Brasil ou sua atualização quando for necessário” (destaques no parecer).

 

“Importa destacar que, no presente caso, qualquer interferência na discricionariedade administrativa se mostra altamente gravosa, por se tratar de questão eminentemente técnica, ou seja, qualquer interferência externa poderá incorrer em inevitáveis equívocos e aplicação de normas e regulamentos defasados, por serem mais vantajosos a determinado PPG. A impossibilidade de o Poder Judiciário imiscuir-se no mérito administrativo é regra” (destaques no parecer). “Por todos os motivos indicados nos tópicos anteriores, fica evidente que a parte autora da presente ação pretende, na verdade, que o Poder Judiciário faça a gestão de matéria reservada ao Executivo, haja vista não haver qualquer ilegalidade no ato praticado pela Capes”.

 

Frente a tal presunção, o parecer do APUBH reitera: “O Sistema Capes de Avaliação da Pós-Graduação Brasileira em voga é ilegal, por não atender aos princípios da irretroatividade, da segurança jurídica e da legalidade, publicidade e transparência das regras públicas”, e portanto o sindicato tem legitimidade ativa para fazer a propositura dessa ação civil pública, “de modo a evitar que esses prejuízos continuem a ocorrer para seus representados, na avaliação quadrienal de 2017-2020 e nas próximas”.

 

Ainda, ao atribuir-se, por integrar o poder executivo, a prerrogativa de isenção do controle exercido pelo poder judiciário, cuja atuação se pauta no regramento legislativo e constitucional, a Capes coloca-se numa posição autocrática, como se a instituição não fosse passível de questionamentos. Tal justificativa alinha-se a outras práticas discursivas do atual governo, que vê no poder judiciário uma ameaça ao seu projeto.

 

Ao contestar a ação civil pública do sindicato, a Capes dedicou grande espaço à defesa do “método comparativo”, tendo em vista a premissa de que tal método não afetaria os PPGs e seus docentes, porque “alterações pontuais” de itens ou indicadores a posteriori, advindas da sua adoção, não teriam o poder de alterar a nota final dos PPGs. Daí o esforço para demonstrar falhas na pesquisa utilizada pelo APUBH e no exemplo concreto por ele apresentado na peça judicial. Trata-se do fato de que, na avaliação quadrienal 2013-2016, 10 dos 30 PPGs em Engenharia de Produção tiveram notas piores do que poderiam ter tido, se não fossem as alterações de indicadores, pesos e notas de corte (“método comparativo”) feitas pela Coordenação de Área das Engenharias III da Capes, como de praxe ao fim do quadriênio.

 

No entender do APUBH, esse exemplo comprova que a distorção introduzida no resultado da “qualidade” (a nota final) dos PPGs, incluindo as advindas do “método comparativo”, tem gerado prejuízos para uma parcela significativa de PPGs e suas e seus docentes. Na visão da Capes, no entanto, o exemplo não procede, pois haveria “equívocos” e “problemas” nos dados e argumentos. Assim, por meio de simulações próprias dispostas em “tabelas”, a manifestação da Capes no processo procura desconstruir tecnicamente tal exemplo (e a pesquisa como um todo).

O parecer técnico do APUBH, então, refuta cada uma das objeções levantadas pela Capes e refaz os passos da pesquisa. Ele se concentra no caso de um dos PPGs de Engenharia de Produção, o da Universidade Federal de São Carlos-campus de Sorocaba (UFSCar-So). “O PPGEP-UFSCaR-So manteve a ‘Nota 3’ na avaliação do quadriênio 2013-2016, ao invés de ter recebido a ‘Nota 4’, devido à alteração a posteriori de um único indicador da sua avaliação — algo que a Capes, na Tese 3 da sua defesa, nega que possa ocorrer”. Isso se deu por causa do “Quesito 4 – Produção Intelectual”.

 

A pesquisa revelou que o responsável direto pela nota baixa foi o subitem 4.2, já que o indicador denominado DPD, que mede o percentual de docentes permanentes do programa que tiveram participação em publicações classificadas nos estratos mais altos do Qualis (A1, A2, B1, B2), foi o responsável pelo conceito “Fraco”. Isso porque “apenas” 50,68% dos docentes permanentes do PPGEP-UFSCar-So publicaram em periódicos situados naqueles estratos, o que situou o DPD na faixa entre 35% e 55%, considerada fraca.

 

Assim, continua o parecer, o programa em questão recebeu a “Nota Final = 3 (Regular)”, em grande parte, por causa do subitem 4.2, medido pelo indicador DPD. “Tendo a pior avaliação dos subitens do ‘Quesito 4 – Produção Intelectual’ ele evitou que esse quesito fosse avaliado como “Bom”, o que garantiria ao programa ter três quesitos “Bom”, inclusive os quesitos ‘3’ e ‘4’ e, assim, recebesse a nota ‘4’”. O passo seguinte da pesquisa foi analisar qual era a “régua” do DPD no período avaliativo anterior (triênio 2010-2012) e se ela foi alterada ao final devido ao ranqueamento” dos resultados dos PPGEPs (“método comparativo”). A investigação constatou que houve um “salto” substancial entre o que era solicitado no triênio 2010-2012 para ser bem avaliado nesse indicador, e o que passou a ser solicitado, a posteriori, no quadriênio 2013-2016. “A ‘régua’ mudou”.

 

Enquanto as notas de corte do DPD no triênio anterior eram 20%, 30%, 40% e 50%, elas foram alteradas “para cima”, passando para 35%, 55%, 70% e 85%, ao fim do quadriênio 2013-2016, devido à adoção do “método comparativo”. Se fosse utilizada a “régua” adotada no triênio anterior, a nota do subitem 4.2 recebida pelo PPGEP-UFSCar-So teria sido “5” ou “Muito Bom”.

 

A propósito, o parecer técnico lembra, em seção anterior, que no “método comparativo” a definição das notas de corte é feita pela comparação e ranqueamento dos resultados dos PPGs ao final do quadriênio a ser avaliado. Tanto as notas de corte como as “réguas” para atribuição das notas só podem ser definidas e divulgadas após o período avaliativo, quando o “método comparativo” é adotado. Portanto, ao defender o “método comparativo”, a Capes admite que todas as notas de corte da sua avaliação são definidas e publicadas a posteriori.

 

Prosseguindo, a pesquisa concluiu que o PPGEP-UFSCar-So teria obtido três conceitos “Bom” e consequentemente a nota final “4”, caso não tivesse havido a citada alteração a posteriori. “Em suma, tem-se comprovado que a alteração a posteriori das notas de corte de um único indicador — o DPD — é, sim, capaz de alterar a nota final de um PPG — no caso, do PPGEP-UFSCar-So”. Portanto, acrescenta, esse caso demonstra, por si só, serem inverídicas as conclusões da análise da Capes, quando ela afirma, por exemplo: “Ainda que fosse possível falar em alterações pontuais, quando isoladamente considerados, os indicadores não são bastantes para imprimir uma repercussão significativa na nota, devendo sempre ser conjuntamente considerados com todos os demais quesitos da ficha de avaliação” (destaques no parecer).

 

A análise realizada no tocante ao programa da UFSCar também o foi para os demais nove PPGEPs prejudicados pelas alterações a posteriori feitas pela CA Engenharias III da Capes, esclarece o documento da APUBH. “Como resultado, verificou-se que as razões para atribuir piores notas aos PPGEPs foram variadas, incluindo tanto o uso do ‘método comparativo’ como a introdução de novos itens e pesos ou sua alteração”.

 

O único ponto da argumentação da Capes ao qual o parecer da APUBH se mostrou receptivo diz respeito ao trabalho adicional que os (as) coordenadores(as) dos PPGs teriam — caso seja acatado pelo juiz o pedido “a” da ação civil pública — para refazer a entrada de dados na Plataforma Sucupira (“os dados coletados por meio da Plataforma Sucupira foram baseados na nova ficha, sendo certo que a alteração dessa sistemática demandaria a alteração dos sistemas e reabertura de prazos para todos os mais de 4 mil PPGs”), bem como ao potencial prejuízo tanto para os PPGs que se esforçaram para melhorar as suas notas como para novos PPGs, que aguardam suas notas para receber uma parcela dos programas de fomento da Capes.

 

“Pelo acima exposto, esse parecer acata parcialmente os argumentos da defesa da Capes, mas só em relação ao pedido ‘a’ da peça exordial”, que solicita, liminarmente e no mérito, que a Capes utilize as “Fichas de Avaliação”, os “Qualis” e as “notas de corte” estabelecidos no quadriênio 2013-2016 para o quadriênio 2017-2020, sem qualquer tipo de alteração extemporânea. Assim, o parecer sugere submeter à apreciação do juiz e da Capes uma alternativa ao pedido “a”, “para que a Capes seja autorizada a aplicar as alterações que fez no seu sistema de avaliação ao longo de 2017-2020, desde que, se a nota final atribuída a um PPG se mostrar menor do que a anterior, seja mantida, divulgada e utilizada a nota anterior, para todos os fins, até que seja feita uma nova avaliação, dentro dos moldes solicitados nos demais pedidos da inicial”.

 

Desse modo, conclui, “a Capes evita parte dos prejuízos elencados, ao mesmo tempo que, nessa transição, os docentes e PPGs que seriam injustamente afetados pelas alterações a posteriori não recebam menos recursos, bolsas e acesso a editais”. Apesar disso, enfatiza a necessidade da concessão da liminar e da futura decisão de mérito “como único meio de evitar que os docentes sejam prejudicados na avaliação em curso (2017-2020), como já o foram na avaliação anterior (2013-2016)”.