REPENSANDO A AVALIAÇÃO DA PÓS-GRADUAÇÃO EM FILOSOFIA

A Diretoria de Avaliação da CAPES está promovendo seminários temáticos, ao longo do ano de 2018, chamados “Repensando a Avaliação.” Participamos, nos dias 21 e 22 de agosto, do Seminário de Avaliação da Produção Intelectual de Programas de Pós-Graduação, em Brasília. Nesse segundo seminário da série, discutimos a avaliação da produção científica originada nos programas de pós-graduação que contabilizou quase quatro milhões de produtos no último ciclo de avaliação (2013-2016). Além de palestras e mesas-redondas com diferentes especialistas, nacionais e internacionais, sobre avaliação, bibliometria e indexação de periódicos, foram apresentados relatos de experiências da última quadrienal (que podem ser vistas aqui: http://www.capes.gov.br/seminario-avaliacao-producao/). Além disso, participamos de reuniões em vários Grupos de Trabalho de reavaliação, em especial dos GTs Qualis Periódicos e Qualis Livros, mas também dos GTs Ficha de Avaliação e Autoavaliação além de discussões sobre o Qualis Artístico e o Qualis Eventos. 

A intenção é repensar o processo de avaliação do SNPG (Sistema Nacional de Pós-Graduação) do Brasil como um todo que cresceu 265% nos últimos anos abrangendo, hoje, mais de 6.500 cursos que formam 90 mil mestres ou doutores por ano. Os desafios são enormes e questiona-se até mesmo a capacidade de continuar avaliando tudo dado o contínuo crescimento não apenas de novos cursos, mas de novas modalidades, por exemplo, com a recente abertura para o Doutorado Profissional. A percepção é que o crescimento quantitativo não foi necessariamente acompanhado por um crescimento qualitativo e que é hora de aperfeiçoar o sistema de avaliação para induzir melhoras na produção científica nacional que, em termos absolutos, perdeu, recentemente, uma posição no ranking mundial ocupando em termos absolutos, hoje, a 14ª posição. Há várias propostas com o intuito de incrementar a internacionalização da produção e melhorar a participação mundial que, se medida pelo fator de impacto da nossa produção, cai, em termos relativos, para o 24º lugar. Já a Holanda, com menos de 10% da nossa população, passa, nessa comparação, da 15ª para a 8ª posição. Há, além disso, uma preocupação da CAPES de prestar contas à sociedade do investimento que se faz na formação de profissionais de nível superior. 

Neste breve relatório, apresentaremos as principais propostas que estão sendo discutidas e que, provavelmente, serão adotadas num curto prazo, não necessariamente para a avaliação quatrienal em curso (2017-2020). Como veremos, algumas sugestões têm impacto significativo para as Humanidades e, em especial, na área da filosofia. Ressaltamos, todavia, que não há ainda decisões e que muito depende do resultado das eleições que se aproximam, mas temos que discutir o que queremos como comunidade filosófica nacional desde já para podermos influenciar na tomada de decisões junto com as outras áreas que possuem afinidades. Nesse sentido, o Encontro da ANPOF pode ser um lugar apropriado para que unamos esforços no sentido de repensarmos juntos a avaliação dos Programas da Área da Filosofia sem confundir as competências de cada fórum. 

Percebe-se, na CAPES, uma preocupação com a manutenção do Qualis em todas as áreas, mas também a necessidade de aperfeiçoá-lo. São poucos os que querem substituir simplesmente o Qualis por outro critério (utilizar somente o fator de impacto dos periódicos, por exemplo). Trata-se de um instrumento brasileiro que foi historicamente utilizado para avaliar e fomentar a nossa pós-graduação e que pode (e deve) ser melhorado. Além disso, há “certa sensibilidade” para reconhecer a heterogeneidade das áreas, suas especificidades e necessidades especiais. Usamos “certa sensibilidade” porque, em última análise, existe também uma insistência por parte de alguns membros de GT na adoção de critérios bibliométricos muito questionáveis, o que significará, no fundo, uma aproximação do padrão de avaliação nas ciências exatas e nas ciências naturais. Há também uma preocupação em estabelecer um Qualis único para cada periódico evitando assim avaliações díspares em diferentes áreas do mesmo veículo científico. Finalmente, indica-se claramente a necessidade de uso de indexadores internacionais, por exemplo, Scopus, Web of Science, SciELO, SJR etc. Algumas áreas (por exemplo, engenharias, física, ciências biológicas e da saúde etc.) estão satisfeitas, mas outras, principalmente as Humanidades e as Ciências Sociais incluindo direito, artes, teologia etc., questionam fortemente essas propostas ressaltando a necessidade de respeitar as diferenças. Com efeito, constata-se facilmente que o Journal Citation Reports (JCR) não é determinante para a grande maioria dos programas do Colégio de Humanidades. Portanto, se há uma forte tendência a unificar o Qualis Periódicos, isso poderia ser feito pelo reconhecimento mútuo dos periódicos avaliados pelas áreas representadas nesse Colégio.

Existem questões menores que não discutiremos aqui. No que diz respeito ao Qualis Livros, a nossa área tem adotado desde há algum tempo um procedimento adequado. Não há maiores problemas aqui. Também no que diz respeito à avaliação dos periódicos, há propostas menores que parecem sensatas. Para ilustrar: há um estudo para eliminar o limite por estratos (por exemplo, 25% para A1 e A2). Também há indicações de que os estratos serão reduzidos para: A1; A2; A3 e A4 (este último equivalente ao B1 e com “impacto” equivalente a h5), mas, talvez, inadequadamente, com equivalência aos percentis dos indexadores internacionais e seus respectivos critérios, o que poderá levar a desconsiderar todas as revistas abaixo de B1 mesmo que numa espécie de “Qualis Referência” provisório a ser ajustado. Uma alternativa apontada seria solicitar aos Programas que enviassem apenas as algumas produções mais significativas de cada docente criando assim uma espécie de portfólio que seria efetivamente lido e avaliado qualitativamente. Seria viável? Para responder, então, precisamos abrir um debate mais amplo com a comunidade filosófica e melhorarmos tanto sobre os nossos instrumentos de avaliação quanto à qualidade do nosso trabalho de pesquisa e formação. O GT Qualis Livros está implementando um repositório digital a ser inserido na Plataforma Sucupira e há uma proposta de subir apenas os melhores livros de cada programa. O GT Ficha de Avaliação está propondo reduzir o número de quesitos na ficha de 5 para 3 quesitos, compreendendo proposta e autoavaliação; formação, corpo docente e discente; impactos acadêmicos, culturais e sociais. O GT Autoavaliação se propõe a avaliar a formação e a aprendizagem (benchlearning) enquanto processo coletivo, visando à melhoria da qualidade da própria avaliação e permitindo que cada PPG se posicione, de forma coletiva, quanto a suas necessidades (pontos fracos e fortes) e a suas metas futuras (PNE e outras).

Algumas recomendações já estão sendo discutidas desde 2016, em especial, enfatizou-se novamente a necessidade de, para as áreas que ainda não o fizeram, adotar indicadores bibliométricos para avaliar os períodos. A área da filosofia usou, parcialmente, esse critério já na última avaliação, mas há vários pontos que precisam ser aprofundados. Como não temos muitos periódicos com indexação em bases como Scopus, Web of Science, SJR, SciELO etc., o uso do fator de impacto não pode ser determinante e pode levar inclusive a distorções graves tanto no sentido de subestimar quanto de sobrestimar o nosso trabalho. Somente para ilustrar: um determinado pesquisador da nossa área publicou, no quadriênio passado, um artigo numa revista do exterior, com clara vinculação temática, um artigo que foi avaliado como B2, mas o periódico tem fator de impacto 1.889 e índice mediano h5 de 40 e está, portanto, acima de todas as nossas revistas de filosofia nacionais. Por outro lado, poucas das nossas revistas, atualmente, possuem índice h para alcançar o novo A4 (ou B1) o que não significa que sejam irrelevantes. Enfim, como encontrar uma convergência adequada? Como adotar, se for o caso, critérios equivalentes que consigam mensurar o impacto científico e social do nosso trabalho? Parece inexorável que tenhamos que usar um índice equivalente por enquanto, mas, dada a nossa tradição de pouco lermos os trabalhos aqui produzidos e de raramente referenciá-los, vários problemas podem surgir. Por um lado, o uso dos chamados “índices h” tanto para periódicos quanto para pesquisadores se feito exclusivamente via Google produzirá distorções. Por outro, a introdução de alguma mensuração de citações dos nossos trabalhos poderá induzir positivamente a um debate filosófico maior na nossa comunidade. Uma das questões fundamentais para repensarmos a nossa (auto)avaliação é esta: seguimos essa tendência bibliométrica ou, se não, que alternativas temos?

Poderíamos, simplesmente, incentivar as nossas revistas a procurar bases de indexação internacionais ou usar algo como o Philosopher’s Index. Claro, em termos de avaliação qualitativa do conteúdo das nossas produções, algumas distorções continuariam acontecendo. Então, talvez possamos pensar em outras alternativas para que o Qualis seja, enfim, um instrumento de avaliação da qualidade e não da quantidade de citações apenas. Como sabemos, não importa tanto o número de citações, mas quem cita, aonde e com que propósito. Nesse sentido, poder-se-ia solicitar que cada programa indicasse alguns produtos (digamos 3 artigos ou 3 capítulos ou 1 livro) de cada um dos seus docentes permanentes e que estes fossem efetivamente avaliados qualitativamente sem a necessidade de enviar toda a produção do Programa. 

Como avaliar, então, qualitativamente o conteúdo das revistas? Uma proposta que surgiu, recentemente, foi a de uma avaliação por amostragem a ser feita por uma equipe de consultores ad hoc como hoje é feito com os livros. Aliás, talvez os próprios livros não devessem ser não apenas avaliados para fins de atribuição de notas a Programas, mas, para os que são considerados significativos para a área e avaliados como L4, talvez seria o caso de serem resenhados e disponibilizados na página da ANPOF numa espécie de “Revista de Resenhas” para aumentar a visibilidade da obra e fomentar uma discussão maior entre nós. Enfim, a avaliação dos períodos é um dos pontos mais delicados desse processo todo e, agora, é o momento de afinarmos os nossos instrumentos coletando sugestões da comunidade filosófica brasileira. 

Para finalizarmos, então, gostaríamos de deixar algumas perguntas para reflexão nesse início do debate. Qual é o papel das revistas na nossa área? Como valorizá-las? Como transformá-las em veículos de debate filosófico? Como mensurar a sua relevância? Como melhorar a sua inserção internacional? Como enfrentar os desafios diante, por exemplo, da criação de plataformas onde o pesquisador posta a sua própria produção? Perderão as revistas importância?

Sobre a avaliação geral dos Programas: como avaliar melhor a qualidade dos nossos produtos? Dar um peso maior na Ficha de Avaliação às dissertações e teses e menor à produção científica dos professores permanentes? Considerar de forma mais adequada os egressos dos cursos? Seria o caso de fazermos um Qualis Eventos? Como, enfim, mensurar o impacto científico, mas também o impacto social ou cultural do nosso trabalho? Essas e outras questões poderão ser amplamente debatidas em nosso próximo encontro nacional da ANPOF em outubro.