Qualis - Periódicos "Critérios de Avaliação"

06 Jul 2015

Caros colegas,

Seguem abaixo algumas considerações que procuram contemplar as manifestações dos editores no fórum de debates, expressar a minha própria opinião enquanto editora da Doispontos e incentivar a discussão e tomada de posição em torno de certos pontos recorrentes nas discussões.

Número de artigos.

Parece consenso que o número de artigos por volume como critério para a estratificação (A1 a B1 = 18; B2 = 14; B3 e B4 = 10; B5 e C < 10) é excessivo. De um lado, tais padrões colocam os periódicos na situação indesejável de publicar artigos que não se encaixam em sua proposta editorial, apenas para “fazer número”. De outro, ela não dá aos avaliadores um instrumento real de avaliação, já que de fato os periódicos dos diversos estratos estão longe de se adequar aos valores estabelecidos. Assim, no mínimo, esses valores devem ser mais baixos.

Mas penso que a questão vai mais longe: a quantidade de artigos publicados é mesmo um bom critério para aferir a qualidade das revistas? Segue minha opinião e uma proposta a fim de fomentar a discussão sobre esse ponto.

Penso que não. O que importa é a qualidade e não a quantidade dos artigos publicados. Há evidentemente uma relação entre a qualidade da publicação (a ser aferida por outros critérios: regularidade, corpo editorial, etc.) e o número de bons artigos que ela consegue pôr em circulação. Mas, a quantidade de artigos não é em si mesmo um critério de qualidade.

Tendo isso em vista, proponho a alteração do documento no seguinte sentido:

 - não mais determinar um número mínimo de artigos por estrato;

- em compensação, definir um número mínimo de artigos por volume (7 em média?) para que uma publicação seja considerada um periódico (o documento de área parte de uma definição do que é considerado um periódico pela área; a proposta é que um número mínimo por publicação faça parte dessa definição, como contrapeso a proposta de não mais definir um número mínimo por estrato).

- eventualmente levar em conta a capacidade da revista em publicar um número maior de artigos como indício de sua consolidação. A análise poderia ser comparativa, sem definir um número preciso de publicações por estrato, mas levando em conta que as revistas com maior volume de publicação mostram-se mais consolidadas do que as que publicam menos.

Indexadores e bases de dados.

Há manifestações bastante pertinentes no sentido de que não devemos nos subordinar aos critérios impostos pelos indexadores e bases existentes, que não contemplam a realidade e as necessidades específicas da área. Com efeito, a proposta desse debate promovido pela ANPOF é justamente a de que venhamos a criar os nossos próprios critérios, de acordo com a política de publicação que queremos ver implementada para a área. Mas, se não devemos nos subordinar a critérios exógenos, não podemos por outro lado deixar de reconhecer que é interesse da área que suas publicações se façam presentes nesses indexadores e bases de dados, que consistem num importante meio de divulgação e circulação da produção publicada, oferecendo também instrumentos (cujo valor cabe discutir) de aferir seu impacto. Ou seja, qualquer que seja a importância que atribuamos aos indexadores e bases de dados, me parece inegável (ou não?) que estar presente em um ou mais deles é um critério relevante para estratificar as revistas, em que pese a importância de aumentar a acessibilidade de seus conteúdos. Nesse mesmo sentido, é imprescindível incluir no documento, como elemento de estratificação, a atribuição ou não de DOI para artigos e publicações (não sei exatamente em que nível da estratificação).

Fora isso, há a questão da lista das bases e indexadores presente no documento. Colegas dos Cadernos de Ética e Filosofia Política da USP sugeriram a inclusão do Latin American Research e Clase, entre outros.  Outras sugestões?

Fatores de impacto.

                Um dos argumentos a favor do incentivo à indexação (não foi o que utilizei acima) é que os indexadores oferecem instrumentos para medir o impacto das publicações. Não é preciso entrar na discussão sobre se esses instrumentos são ou não adequados e se devem ser levados em conta, bastando atentar aos dados levantados pelo Adriano Brito no texto “Nós, os guaranis, e a avaliação da Capes”, a ser publicadoem breve pela ANPOF no livro sobre políticas acadêmicas: poucas de nossas revistas estão indexadas e a que estão apresentam nos indexadores em que se fazem presentes fatores de impacto irrisório. Isso já é razão suficiente para não fazermos do fator de impacto ligados aos indexadores um elemento de avaliação: ele não afere nada! Nenhuma de nossas revistas tem impacto aferido por esse meio. Isso nos permite lançar para o futuro a discussão sobre como e o quanto deveriam ser levados em conta na avaliação.

                Por outro lado, há manifestações no sentido da necessidade de medir da algum modo o impacto das publicações. A questão é: como?

                De minha parte, penso que o impacto local (o quanto somos lidos por nós mesmos) é, nesse momento da história da consolidação da área, o mais importante a ser aferido, se instrumentos houver para isso. Talvez, quando todas nossas revistas estiverem alojadas no site da ANPOF, se possa criar algum mecanismo para aferir a quantidade de acessos aos artigos, criando assim o nosso próprio fator de impacto. Mas tudo isso é para o futuro. Por enquanto sou favorável a que permaneça a observação que consta no documento: a área não utiliza fator de impacto.

 Critérios formais.

                Parece certo que é preciso estabelecer critérios formais precisos de avaliação, não apenas porque estes critérios permitirão uma avaliação mais objetiva, como também e principalmente porque alguns deles se apresentam como uma condição indispensável à capacidade da publicação de fazer circular um bom conteúdo. Penso que é isso sobretudo o que se deve levar em conta no estabelecimento desses critérios: sua importância para fazer circular bom conteúdo.

                Alguns desses critérios estão presentes na definição de periódico constante no documento atual, que define um periódico como “uma publicação seriada, arbitrada e dirigida prioritariamente a uma comunidade científica, que dever conter, obrigatoriamente, os seguintes itens: conselho editorial, ISSN, linha editorial, normas de submissão, periodicidade e regularidade; avaliação por pares, resumos e descritores.” Atender a essa definição é condição para ser um periódico de filosofia em qualquer estrato. A questão então é: quais os critérios adicionais a partir dos quais estratificar as publicações?

                Algumas sugestões e observações:

- o fator “regularidade” deveria sair da definição e passar a ser um critério de estratificação, uma vez que, de fato, muitas publicações não atendem a esse critério e que uma aplicação estrita do documento nos obrigaria a exclui-las do próprio processo de avaliação. Talvez se possa pensar em algo como graus de regularidade. Há publicações há muito tempo plenamente regulares; outras há pouco; outras que alternam períodos de regularidade e irregularidade; outras que nunca foram regulares. A regularidade das publicações me parece ser um elemento a ser fortemente induzido pela avaliação.

- bons critérios já contemplados pelo documento: grau de exogenia, certa porcentagem de publicação estrangeira; avaliação por pares (a se acrescentar elementos de transparência da avaliação como a divulgação periódica dos avaliadores e levar em consideração a variedade e o grau de exogenia dos pareceristas); presença em indexadores e bases de dados.

- sugestão de novos critérios: grau de consolidação (tempo de existência, titulação dos autores; financiamento público, quantidade dos artigos publicados - não como critérios independentes, mas para aferir o grau de consolidação); clareza e coerência da linha editorial; acessibilidade.

                Procurei organizar o debate passado e futuro em torno de tópicos específicos, com o fim de retirar de nossa discussão sugestões concretas para a revisão do documento. Críticas, acréscimos, ponderações são bem vindas.

 

Maria Isabel Limongi

Universidade Federal do Paraná

Editora da Revista Doispontos