Sobre a suposta imparcialidade dos números

22 Dez 2017

Causa-nos certa estranheza o consenso quase unânime que tem se formado no fórum de debates da ANPOF em relação aos supostos critérios quantitativos, objetivos e imparciais adotados nesta última avaliação quadrienal na nossa área, marcada pela quantificação dos padrões de produção acadêmica. Todos nós, no entanto, sabemos, após longo processo de amadurecimento da nossa própria história filosófica, que nem tudo é meramente qualitativo e nem tampouco meramente quantitativo. É preciso saber o que se está medindo, e se a medida obtida é uma representação adequada dos processos que se deseja avaliar. Números que exprimem resultados de medições reais e que são tomados como base para avaliação do que quer que seja só têm sentido se interpretados de modo cuidadoso e qualitativo. Se ainda esses números não forem coletados de modo correto e confiável podem produzir grandes distorções. Nessa numerologia que nos é pouco familiar todo cuidado é pouco. Os dados brutos, quantificáveis, podem até ser neutros e imparciais, porém o recorte e a interpretação que deles são feitos de modo algum o são. A neutralidade e a objetividade da medida, i.e., o fato de os dados terem sido obtidos por mecanismo automático e poderem ser replicados, não é suficiente para se estabelecer que a medida representa o domínio a ser avaliado. A grande questão passa a ser: qual a política de crescimento e de excelência que queremos para a nossa área e com quais critérios de aferição quantitativa? O embate entre qualitativo x quantitativo não nos parece ser o mais adequado. O mais interessante talvez seja pensar qual quantitativo interessa para a consolidação e desenvolvimento da qualidade da área. Consideramos que a utilização de dados quantitativos é um instrumento indispensável, dada a dimensão que assumiu a Pós-Graduação em Filosofia no Brasil e dada a necessidade de dar transparência ao processo.

Sobre a aferição da produção intelectual, reconhecemos o trabalho da atual coordenação, numa tarefa que é dura e muito exigente, e sobretudo o esforço de aperfeiçoamento do Qualis-livro, ainda que sujeito a sérias falhas como comentaremos na sequência, tanto na acurácia dos dados, quanto na introdução de parâmetros e crivos de qualidade. Devemos, nessa e noutras aferições, estar atentos aos diversos problemas (os conhecidos e os ainda desconhecidos para nós) que a nova prática traz consigo, e buscar estratégias para, senão evitá-los, pelo menos minimizá-los.

Este texto pretende identificar alguns desses problemas – com o olhar de um Programa que foi rebaixado e que, por isso, talvez, esteja mais sensível à situação – que acreditamos afetar a todos. No entanto, consideramos que esta avaliação quadrienal 2013-2017, ao utilizar-se de critérios quantitativos pouco explícitos e números indevidos, produziu um resultado muito mais negativo do que positivo para a área. Não é sem razão o número significativo de recursos: 14! Na última avaliação eles foram 5.

É com um certo desconforto que constatamos o crescimento do número de programas de excelência em todas áreas, exceto na área de ciências humanas! Vamos aos números: enquanto nas ciências exatas houve um aumento de 10% no número de programas de excelência e nas ciências biológicas 5%, a área das ciências humanas teve crescimento zero, tendo a filosofia contribuído negativamente nesse percentual, ou seja, houve um decrescimento nos programas de excelência da nossa área. Tomando a Física como exemplo, que sempre foi para a Filosofia e para a própria CAPES um modelo paradigmático, ela tem 15 (em 44) programas de excelência, sendo 11 deles nota 7, ao passo que a Filosofia tem 5 (em 24), sendo agora apenas 1 programa nota 7. Em um cenário de crescimento tanto quantitativo quanto qualitativo dos programas de pós-graduação em Filosofia, essa política absolutamente restritiva em relação aos programas 5, 6 e 7, adotada pela atual coordenação de área, faz justiça à área?

Além disso, não nos parece acertado o pressuposto da atual coordenação de induzir flutuação e competitividade, talvez pouco significativa, entre os programas de excelência. Essa política da flutuação e com regras ainda mais flutuantes que se alteram ao longo do processo e que ainda não concede uma estabilidade mínima aos programas nos parece estimular muito mais o conservadorismo do que a ousadia, a inovação, a qualidade e o dinamismo da área. E isto em claro contraste com o preconizado pelo PNPG 2011-2020, que consubstancia a política de pós- graduação protagonizada pela CAPES.

Dito isso, duas ocorrências nesta avaliação nos causaram extrema perplexidade.

A primeira é o fato de a comissão de avaliação ter trabalhado com dados incorretos relativos à produção docente e que dizem respeito ao item 4.1 da ficha de avaliação, o que consequentemente gerou resultados distorcidos. Como pode ser constatado, o primeiro Relatório, publicado em outubro, traz uma série de dados de produção que foram substituídos por outros no atual Relatório Final, publicado agora em dezembro. A necessidade da mudança dos números se deu porque, durante o trabalho da comissão de avaliação, foi considerada não a produção dos docentes permanentes dividida pelo mesmo número de docentes permanentes de cada programa, como estabelece o documento de área, mas sim, e por equívoco, a produção global do programa que também incluiu nos números, gráficos e tabelas gerados a produção discente de artigos, capítulos e livros autorais.

Ora, o número da produção discente considerado apenas no numerador e não no denominador da equação produziu resultados objetivos, por certo, mas inapropriados, mesmo porque não era o que visava a comissão. Aqui, não apenas o que foi medido não é o que deveria ter sido medido, segundo o documento da própria comissão, como a mudança feita não foi justificada pela comissão de área. É preciso que todos saibam o que é medido e por que a escolha especifica do que foi medido.

A pedido da coordenação do Programa da UFMG, a coordenação da área produziu novos números para a avaliação dos pedidos de reconsideração, corrigindo os resultados no sentido do disposto no documento de área. Os números corrigidos estão no Relatório Final, de dezembro. No entanto, tais dados foram gerados após concluída a etapa de trabalho da comissão de avaliação e, na sequência, não tiveram nenhum efeito na reversão das notas dos programas pela comissão de reconsideração. A diferença entre os números foi esvaziada no Relatório Final, que diz que os dados “complementares” não alteram nada. Parece-nos, porém, que não é bem assim. A título de exemplo, uma coisa é uma diferença de 3,62 para 6,18 nos números comparativos de um item de produção bibliográfica de dois programas de acordo com o primeiro cálculo, outra coisa significativamente diferente é a diferença de 0,53 para 0,65 nesse mesmo item de acordo com o segundo cálculo. Dizer, como está no Relatório Final, que nada altera nesses cálculos é uma avaliação que consideramos parcial e equivocada. O problema maior é que avaliação foi feita com base em dados obtidos de uma determinada forma; a modificação na obtenção do índice em questão, relativo à produção, produziu diferenças grandes o bastante para justificar uma mudança na conclusão obtida, contrariamente ao que pretende a coordenação de área.

A segunda e talvez mais importante ocorrência foi a falta de critérios explícitos e objetivamente claros para a atribuição dos conceitos MB, B, R e F nos quesitos 3 e 4 da ficha de avaliação. Observa-se, num primeiro momento, uma discrepância na atribuição desses conceitos: programas com produção significativamente muito mais baixa e menos qualificada receberam MB enquanto programas com produção bem mais alta e qualificada receberam B no item 4.1. É necessária uma análise cuidadosa para entender essa discrepância, tornando explícito o que estava implícito: os conceitos foram dados a cada programa relativamente ao nível ao qual ele pertence, tomando-se como parâmetro as medianas dos respectivos níveis. Aí reside ao nosso ver o maior equívoco. As medianas são sem dúvida parâmetros de comparação, mas se usadas como critérios de atribuição de conceitos, geram um fator de instabilidade muito grande e uma competitividade extrema e pouco saudável entre os programas, além de ir contra a expansão da área nos níveis superiores. Imaginem na Física em que temos 11 programas nota 7. Evidentemente nesse nível haverá vários programas tanto acima quanto abaixo da mediana do 7 e isso não se constitui numa razão quantitativa para se rebaixar os programas que se encontram abaixo desse padrão. Tais critérios, mesmo que discutíveis, deveriam estar bastante explícitos no nosso relatório de área, o que não foi o caso. Mais uma vez, é preciso saber o que se está medindo. Observamos que tal estratégia não foi adotada pelo menos nas áreas de forte tradição de pesquisa, como física, química e biológicas, onde há índices de referência ou faixas de valores previamente estabelecidos para o que é considerado MB, B, R e F. Na página 10, por exemplo, do relatório da Física, relativo ao item 4.1, lê-se:

“Este item foi avaliado de forma qualitativa e quantitativa. A parte qualitativa foi analisada nos dados dos programas e consideradas as tendências demonstradas de acordo com o desempenho do programa no período avaliativo anterior. A parte quantitativa complementar teve como guias os seguintes percentuais médios no quadriênio: 1) No de publicações (A1+A2+B1+B2+B3+B4+B5)/número de docentes permanentes, valor de referência foi 2,6. Este valor é 10% superior ao valor de referência no período avaliativo anterior. 2) No de publicações (A1+A2+B1)/número de docentes permanentes, cujo valor de referência foi 1,8, também 10% superior ao valor de referência no período avaliativo anterior. Para programas com apenas o curso de mestrado os índices correspondentes usados foram 1,7 e 1,0 respectivamente. Foi também analisada como subsídio a evolução do número de publicações no estrato A1. Para a avaliação da parte quantitativa do item, foram usados os seguintes critérios: MB para programa com valores acima da média nos dois itens acima, sendo analisada a evolução do número de publicações no estrato A1; B para programas com valores acima da média em um dos itens; Não atendidos os critérios acima R para os programas que apresentam valores maiores que 1,0 nos dois índices e F para programas que apresentam valores maiores que 1,0 em apenas um dos dois índices. Insuficiente será dado a programas que não atendem nenhum destes índices”.

Notem bem que há nessa área índices pré-fixados para o que se considera MB, B, R e F para a área como um todo, além de uma avaliação qualitativa da evolução do programa em relação ao triênio anterior. Consideramos ainda que esses critérios implícitos adotados pela área de Filosofia estão em franca contradição com o Regulamento para a Avaliação Quadrienal 2017, publicado como anexo da PORTARIA No 59, de 21/03/2017, da CAPES, em seu item 2.2, que dispõe sobre as “Orientações para atribuição de nota”, onde se lê na página 6, que o conceito “Bom”, nos quesitos 3 e 4 da Ficha de Avaliação, é recomendado para Programas de nota 4 e o conceito “Muito Bom” para Programas de nota 5, com os programas de excelência devendo preencher condições suplementares de internacionalização. Ora, esta relação entre notas e conceitos só faz sentido se a avaliação for definida para o conjunto da área, como entendeu a coordenação da avaliação da Física, e não para as faixas de diferentes níveis de programas, como o fez a coordenação da Filosofia.

Um ponto ainda prejudicial nessa avaliação foi a divulgação do Qualis-livro da área apenas após a avaliação concluída. Mesmo considerando o esforço grande da comissão de área nesse processo, os erros contabilizados foram inúmeros e das mais diversas ordens. Tivessem sido divulgadas as tabelas antes da avaliação e permitidas instâncias de controle e recurso à avaliação específica do Qualis-livro, muitos dos erros cometidos poderiam ter sido corrigidos, evitando prejudicar a avaliação de muitos programas.

Na mesma linha, a mudança abrupta da classificação das revistas, redundando em maior concentração de estratos A, também causa preocupação, tendo sido implantada a novidade com pouca discussão e, portanto, sem respaldo da área, como mostram os questionamentos recorrentes nesta Página. Vemos com certa reserva a expansão extremamente generosa do número de revistas nacionais dos estratos superiores do Qualis-periódico (subindo de 5 para 39), que tendeu a mitigar o impacto das publicações em periódicos internacionais e, de maneira mais geral, diminuir a capacidade de discriminação entre os diferentes tipos de publicação.

Por último, gostaríamos de manifestar a nossa preocupação em relação ao cadastramento de professores como permanentes em mais de um programa fora de sua instituição de vínculo empregatício. Há algo de artificial na duplicação e até triplicação da produção docente, o que pode gerar falsos dados, além de eventualmente prejudicar as instituições de origem dos professores. Por um lado, não é simples compreender como professores poderão participar ativamente como membros efetivos de dois programas: como participar de fato de dois programas ao mesmo tempo, considerando as atividades além da orientação – o que envolve, além das aulas ao longo de todo o semestre, as atividades administrativas da pós-graduacão e outras tarefas que nos cabem como professores (aulas de graduação, atividades administrativas de diferentes tipos, orientações na graduação etc.)? Observa-se que essa interpretação da área da filosofia não é a interpretação da maioria das áreas. Com efeito, uma coisa é participar de dois programas de pós-graduação numa mesma universidade, contribuindo a grupos de pesquisa distintos – por ex., em laboratórios diferentes em grupos interdisciplinares, e com a produção resultante dividida entre os diferentes programas, outra é ser professor permanente de dois programas que fazem essencialmente o mesmo, supostamente com o mesmo tipo de compromisso, em cidades diferentes, e a produção sendo simplesmente dobrada. Por outro lado, a duplicação da produção dos professores mais produtivos, que certamente serão aqueles convidados a participar de diferentes programas, irá aumentar artificialmente o índice de produção da área – a média da área irá subir sem que nenhum artigo a mais tenha sido publicado.

O resultado desse expediente parece-nos claro, além de preocupante: o efeito combinado dessa compreensão do cadastramento dos professores em mais de um programa com o aumento pouco justificado das revistas com avaliação A1-B1 proporcionará um enorme aumento da média de produção da área – todos e cada um de nós será levado a publicar cada vez mais artigos por ano, que poderão, evidentemente, ser medidos de maneira neutra e objetiva. A pergunta é se esta política de fato estimulada por esta última coordenação de área é desejável.

Para todos os efeitos, pensando no próximo quadriênio, julgamos que esse fórum proporcionado pela ANPOF terá grande serventia tanto para repactuar os consensos, inclusive no tocante às métricas, quanto para o amadurecimento da área.

 

Patrícia Kauark-Leite, Coordenadora atual do Programa de Pós-Graduação em Filosofia da UFMG

Ernesto Perini-Santos, Ex-coordenador do Programa de Pós-Graduação em Filosofia da UFMG, gestão 2015-2017