Algumas notas sobre revisão dos critérios de avaliação da área de filosofia na CAPES ? Parte II

03 Ago 2015

Apresenta-se aqui uma proposta de revisão do Documento de Área de Filosofia que parte da compreensão de que a avaliação da CAPES desempenha um papel indutor do perfil da produção e do trabalho acadêmico da área, e que, então, a concepção situada em sua base deve refletir os valores acadêmicos desta área. A concepção da qual partimos nesta proposta de revisão foi apresentada em outro trabalho e consiste em conceber a pós-graduação em filosofia como “núcleos institucionais de pesquisa e de formação de pesquisadores”. {M. Carvalho, “Algumas notas sobre a revisão dos critérios de avaliação da Área de Filosofia na CAPES – Parte I”. In: ANPOF, Fórum de Debates}. Tratar-se-á aqui unicamente dos desdobramentos desta concepção para a estruturação dos critérios de avaliação, substancializados no Documento de Área de Filosofia e, mais especificamente, na Ficha de Avaliação presente neste documento.

1. Apresentação

A ficha de avaliação dos Programas de Pós-Graduação pela CAPES é parte integrante do “Documento de Área” e tem por função tornar operacionalizáveis as concepções a respeito dos critérios de avaliação dos Programas e indicar a nota correspondente a cada um deles. A ficha apresenta uma parte fixa e uma parte variável. {O documento pode ser encontrado aqui; os comentários que se seguem dizem respeito àquilo que se apresenta entre as páginas 25 e 33}.  Sua parte fixa consiste de cinco quesitos gerais que se subdividem em diversos itens e da descrição básica daquilo que se avalia em cada um destes itens. Essa estrutura geral e a descrição básica de cada item são iguais para todas as áreas a serem avaliadas. Mas a ficha prevê também uma descrição de como cada um dos itens deve ser considerado no contexto específico da área, que opera como uma espécie de “interpretação” pela área dos itens a serem avaliados. Aqui se insinua um contexto de razoável autonomia das áreas para que elas construam uma avaliação menos artificial e mais ajustadas à sua identidade. As várias áreas podem ainda indicar o peso que cada um dos itens avaliados desempenhará no processo geral de avaliação. Trata-se de um segundo meio de ajuste da avaliação às especificidades de cada área.

As fichas de avaliação são reapresentadas pelas áreas no contexto das avaliações trienais ou quadrienais e submetidas à aprovação do CTC da CAPES. É evidente que há limites para a possibilidade de flexibilização da avaliação, na medida em que a CAPES deve zelar pela unidade do processo. Mas também é evidente que há um espaço relevante de interferência e de flexibilidade que pode e deve ser apropriado e tensionado pela área de filosofia, para que a avaliação possa se apresentar como um instrumento de qualificação e fortalecimento da área segundo concepções estabelecidas por ela própria.

A ficha de avaliação desempenha também um papel importante no interior da área. Ela estrutura a avaliação dos programas e sua clareza e completude são a garantia da transparência da avaliação e são a principal indicação aos programas das expectativas quanto à sua forma de organização. Para isto, é importante também que os critérios de avaliação da ficha sejam relacionados às notas que se atribui aos programas e à avaliação de propostas de novos cursos de mestrado e de doutorado.

Todo o debate sobre produção acadêmica se situa no interior da ficha de avaliação. Instrumentos como o Qualisweb e a avaliação de livros se apresentam como instrumentos para o processo de avaliação estruturado por meio da ficha. A revisão da ficha aqui proposta se apresenta como uma abordagem preliminar do tema e deve ser, então, complementado por quatro outros documentos:

- proposta de revisão dos critérios de atribuição de notas do Qualis Periódicos;
- proposta de revisão dos critérios de avaliação de livros;
- sumário de critérios para avaliação qualitativa de teses e dissertações;
- caracterização dos critérios de internacionalização que se situam no núcleo da avaliação de Programas notas 6 e 7.

2. Estrutura Geral da Ficha de Avaliação

Os cinco itens gerais em que a ficha de avaliação se divide são:
1 – Proposta do Programa
2 – Corpo Docente
3 – Corpo Discente, teses e Dissertações
4 – Produção Intelectual
5 – Inserção Social

Os pesos atribuídos na avaliação de 2013 da área são, respectivamente: 0%, 20%, 35%, 35% e 10%. Esses itens são compostos de subitens e cada um deles também tem seu peso estabelecido pelo documento de área.

A nomenclatura e as subdivisões usadas pela CAPES não parecem de todo claras, pois, por exemplo, a produção intelectual discente se encontra no item 3 e o item 2 não considera elementos importantes da avaliação do corpo docente, que se fazem presentes, de diferentes maneiras, em 4 e 5.

A revisão da ficha de avaliação se dá em dois registros distintos. Por um lado, redefinindo o peso relativo de cada item e subitem. Por outro, restabelecendo a maneira como a área compreende e aplica cada quesito da avaliação, explicitando, em particular, o que é considerado um atendimento excelente deste quesito. A ficha deverá, assim, se desdobrar em uma caracterização clara daquilo que determina a atribuição das notas 3, 4 e 5. Propõe-se que o debate sobre as notas 6 e 7 seja feito em separado, dado o caráter mais claramente comparativo da atribuição destas notas (a CAPES estabelece limites para o percentual de programas de excelência em cada área).

Como se trata aqui de uma proposta preliminar, não serão considerados detalhadamente todos os quesitos, mas apenas daqueles que são mais determinantes da estrutura de avaliação e de atribuição de notas. A finalidade precípua desta proposta é fomentar o debate sobre o trabalho de revisão do documento. Deve ser ressaltado que a ponderação que se propõe aqui para alguns dos quesitos é preliminar e precisa ser revista frente a um levantamento mais exaustivo dos dados disponíveis. Uma boa avaliação é aquela que reconhece e valoriza como qualidade no trabalho de pesquisa e formação aquilo que a própria comunidade já reconhece.

1. Sobre a Proposta do Programa

Os elementos que compõem esse quesito estão situados no núcleo da avaliação de novas propostas de cursos (APCNs): definição de linhas de pesquisa, planejamento de atividades do programa e infraestrutura para funcionamento. Entretanto, eles não se constituem como parte da avaliação dos programas em funcionamento, tendo sua participação na composição geral da avaliação reduzida a 0%.

É compreensível que a avaliação evite sobrevalorizar questões estritamente formais na atribuição de notas (ainda que isto deva então se refletir também na avaliação de novos APCNs), mas há dois elementos que podem ser compreendidos de modo mais elaborado e que tornam pertinente a atribuição de um percentual mínimo, eventualmente 10%, a este quesito.

Em primeiro lugar, a constituição de linhas de pesquisa no programa tem um papel relevante na organização de suas atividades. A compreensão que se situa na base da existência de áreas de concentração e linhas de pesquisa é a mesma que se desdobra na valorização da integração nacional e internacional dos Programas: a atividade de pesquisa e de formação de pesquisadores não deve ser efetivada em uma posição de isolamento, exceto em situações absolutamente excepcionais, que carecem de justificação. A exigência de que o programa se organize em áreas de concentração e linhas de pesquisa é um mecanismo de estímulo à construção de atividades conjuntas e à valorização da integração e diálogo entre as diversas iniciativas e áreas de pesquisa nele presentes. A construção e revisão das linhas de pesquisa é feita de modo autônomo e constante e, para além da exigência formal e preliminar de que seja claramente apresentada, seu único papel é o de mediar a apresentação da identidade comum às diversas atividades de um dado programa. Às linhas são associadas as publicações, orientações, pesquisas, eventos, etc. A inclusão efetiva deste elemento entre aqueles que efetivam a avaliação representa uma valorização da integração das atividades do programa e da reflexão contínua sobre sua identidade.

Um segundo elemento, particularmente relevante, ainda que pouco considerado, que se faz presente neste quesito é o planejamento das atividades do programa. A possibilidade de um planejamento de médio prazo que se apresente como relevante e efetivo, capaz de apoiar a realização das atividades dos grupos de pesquisa, de docentes e de discentes, é um critério claro de consolidação das atividades da pós-graduação e um instrumento indispensável na consolidação da atividade de pesquisa. Inclui-se neste contexto o planejamento da infraestrutura de apoio à pesquisa.

Nesse sentido, parece relevante considerar que um detalhamento desses itens que deixe claro o que se espera na elaboração de APCNs (que deve atender de maneira satisfatória a exigência de descrição do perfil que constitui a identidade do grupo proponente) e se explicite a valorização da reflexão contínua sobre a identidade de suas atividades, sobre planejamento e sobre infraestrutura do Programa.

A constituição de um planejamento amplo, efetivo e qualificado das atividades da pós-graduação no médio prazo, inclusive da expansão de vagas, eventos, atividades com docentes convidados, financiamento de atividades de pesquisa, expansão da infraestrutura de pesquisa, etc, se apresenta como critério para a avaliação da consolidação do Programa exigida para a atribuição da nota 5.

2. Sobre o Corpo Docente

Alguns dos elementos indicados nesse item parecem, por si só, irrelevantes para a avaliação. A qualificação da atividade de pesquisa pode se dar tanto em um contexto de estabilidade do corpo docente, quanto de renovação de seus quadros, dentro de parâmetros que garantam uma linha contínua em sua identidade. Também a diversificação da origem dos docentes, ainda que desejável em condições gerais, não parece um critério efetivo para a avaliação de suas atividades. Dentre os elementos que compõem a avaliação do Corpo Docente, o que se apresenta como mais relevante é a experiência do corpo docente mais envolvido com o projeto e a distribuição das atividades de pesquisa e formação entre os docentes. A importância da participação de pesquisadores mais experientes, com um currículo de formação de pesquisadores e de publicações já consolidado, deve ser ponderado pela participação destes pesquisadores nas atividades do programa, devendo-se evitar tanto a dependência do programa em relação a suas atividades, quanto a ausência destes pesquisadores nas atividades de orientação, docência e publicação do programa. A constituição de um grupo ativo e equilibrado de docentes se apresenta como critério para a qualificação do trabalho de pesquisa e formação no médio prazo.

Deve-se, entretanto, compreender a singularidade dos fluxos de produção da área de filosofia, bem como a natureza específica da contribuição que docentes mais experientes podem dar aos Programas. Assim, ainda que pressuponha justificação, não parece inadequado que o programa apresente uma parcela de seus docentes (os números devem ser ponderados pela dimensão do corpo docente) com registro de atividades abaixo do solicitado para um quadriênio, desde que esta situação venha a ser contrabalanceada no período subsequente, e desde que o programa como um todo supra as exigências mínimas de publicização e circulação de suas atividades de pesquisa. Do mesmo modo, docentes em final de carreira trazem uma contribuição para o programa que vai além das publicações, eventos e orientações, e, desde que explicitado o papel específico a eles atribuído pelo programa, sua presença não deve, em absoluto, pesar negativamente na avaliação. É importante que a avaliação do Programa não seja substituída por meio da agregação das avaliações das atividades dos docentes-pesquisadores.

Alguns critérios importantes de avaliação a serem considerados nesse quesito são a consolidação das atividades de pesquisa dos docentes do Programa e seu envolvimento com a formação de pesquisadores. No primeiro caso, a atividade de pesquisa é avaliada e qualificada pela formação de grupos de pesquisa ajustados à definição de uma das linhas de pesquisa do programa e que contem preferencialmente com a participação de mais do que um docente. Também é desejável que estes grupos de pesquisa apresentem agenda de atividades, seja em seu funcionamento cotidiano, seja agenda de eventos ou participação em eventos. A situação da pesquisa estritamente isolada, sem envolvimento de alunos, de outros pesquisadores e sem a divulgação em eventos acadêmicos regulares é plausível, mas excepcional, e quando ocorrer deve ser apresentada, respeitada e tratada como excepcionalidade. Como regra geral, o desenvolvimento da pesquisa se efetiva pela intensificação dos debates e da divulgação dos trabalhos realizados.

O envolvimento com a formação de pesquisadores no âmbito do pós-graduação se efetiva, em primeiro lugar, por meio do oferecimento de disciplinas de graduação e de pós-graduação e, em segundo lugar, pelo debate local das atividades de pesquisa, seja em eventos acadêmicos, seja em bancas de avaliação, seja em atividades que envolvam a graduação. A integração contínua do trabalho dos diversos pesquisadores do programa deve ser avaliada e se constituir em um critério importante de avaliação da identidade do programa.

Por fim, é importante que se sinalize um dimensionamento adequado do volume de atividades do docente vinculado à pós-graduação. O dimensionamento da carga horária média adequada à pesquisa, de um número adequado de orientações e de apoio à atividade docente são importantes para que se evite o mascaramento de condições de trabalho e pesquisa inadequados à efetivação de trabalhos de qualidade. Quanto às orientações, por exemplo, cabe apresentar um indicativo de número mínimo, para que se constitua um debate entre pesquisadores e se caracterize o envolvimento do docente com o programa, e um número máximo, que possibilite ainda um trabalho qualificado de formação (3 e 8, por exemplo). Fora desta margem o programa deve justificar o número de pesquisadores sob orientação do docente.

Propõe-se a redução de 35% para 30% do peso desse quesito.

3. Sobre o Corpo Discente, Teses e Dissertações

Um elemento central na avaliação, mas que envolve grande dificuldade na definição de seus critérios, é a qualidade do trabalho de formação de pesquisadores. Os dados que, de imediato, se apresentam à nossa apreciação não são necessariamente os mais relevantes: tempo médio de integralização, número de trabalhos concluídos, percentual de trabalhos concluídos em relação aos iniciados. Outro conceito delicado nesta avaliação é a identificação da qualidade das teses e dissertações.

Para que se garanta a esse quesito tanto a relevância que exige, quanto a objetividade mínima que se espera de um processo de avaliação do sistema de pós-graduação, propõe-se que a avaliação seja segmentada. Em primeiro lugar, a qualificação do trabalho de formação pode ser aferida, no caso das atribuições de notas 3 a 5, a partir:

(1) da participação externa na avaliação dos trabalhos (considerando-se como critério de avaliação a participação externa em todas as bancas, a diversidade desta participação em relação ao número de bancas e o percentual de membros externos em relação ao número de membros da própria instituição – sendo considerado adequado a um programa consolidado, nota 5, que, por exemplo, pelo menos 50% dos participantes sejam externos e que não haja bancas sem membros externos; deve-se considerar também a diversificação destes convidados externos);

(2) da explicitação e justificação por cada programa do tempo esperado de formação do discente, presente em seu projeto pedagógico. Deve-se solicitar também a explicitação de que eventuais prorrogações deste prazo ocorrem com a garantia de que a extensão se faz em benefício da qualificação da pesquisa, e não por falhas no processo de formação. Propõe-se, ainda, que a ponderação deste item na ficha de avaliação seja reduzida para 10% da avaliação do corpo discente.

Propõe-se, ainda, que a reavaliação da qualidade das dissertações, feita por amostragem a partir de uma seleção preliminar indicada pelo próprio programa, só seja realizada no caso das atribuições de notas 6 e 7. Nesses casos as distorções resultantes da restrição da avaliação a uma parcela do total de trabalhos não se apresenta como problema relevante, na medida em que o que se coloca como questão é justamente a excelência de suas atividades.

No que se refere à quantidade de defesas, parece também plausível que se estabeleçam patamares ótimos de formação de quadros por docente para um quadriênio – por exemplo, que carece de justificação caso algum pesquisador forme menos do que 2 ou mais do que 18 pesquisadores de mestrado em um quadriênio (e metade disto para os doutorados, considerando-se as respectivas compensações).

No que se refere à distribuição das atividades de orientação, deve-se considerar tanto a média quanto a moda, excluídos deste cálculo os casos preliminarmente justificados pelo programa.

4. Sobre a Produção Intelectual

Esse talvez seja o ponto mais sensível e mais debatido da estrutura de avaliação. Segundo a ficha de avaliação de 2013, entretanto, as publicações dos docentes permanentes do programa representam 50% dos 35% atribuídos a esse quesito, ou seja, representa 17,5% da avaliação do programa.
A perspectiva básica a partir da qual se propõe a revisão desse quesito já foi enunciada: o programa de filosofia é um núcleo de pesquisa e sua avaliação deve, ao mesmo tempo, estimular e garantir que se criem condições à pesquisa qualificada e à formação de pesquisadores. Deve-se, então, identificar critérios objetivos que indiquem a qualificação da pesquisa associados ao programa.

No que se refere especificamente às publicações de docentes, o processo de avaliação é notoriamente complicado. É importante evitar o estímulo a que se publique em grande quantidade, mas sem qualidade e impacto, e deve-se respeitar as diferentes dinâmicas de pesquisa de diferentes pesquisadores, em diferentes momentos de sua carreira e em diferentes áreas, bem como os diversos formatos de publicações que foram historicamente constituídos pela comunidade. A elaboração do Qualis como critério de avaliação envolve dificuldades específicas. Em particular no caso de pesquisadores já consolidados e ligados a programas bem avaliados, há uma circularidade evidente na avaliação de seu trabalho a partir da classificação da revista e na avaliação das revistas a partir de sua capacidade de captar trabalhos de pesquisadores reconhecidos e relevantes.

Para lidar com esse conjunto de dificuldades, propõe-se, antes de mais nada, o retorno à concepção geral de que o programa da área é um núcleo de pesquisa e que parte importante dessa atividade consiste na circulação e publicização do trabalho acadêmico e em sua submissão ao debate crítico com outros pesquisadores, de outras instituições, regiões e países. A forma mais consolidada e respeitada de circulação desses trabalhos na comunidade de pesquisadores em filosofia no Brasil foi, por muitas décadas, o livro autoral. No período mais recente consolidaram-se, de um lado, os artigos em revistas acadêmicas e os capítulos em coletâneas. Uma outra modalidade relevante de circulação e debate é a apresentação de palestras e conferências, não raramente de maior impacto do que a publicação em coletâneas de pequena circulação, por exemplo. De fato, a disponibilização do trabalho para que seja debatido, criticado e utilizado pela comunidade é a finalidade central das publicações no contexto que se faz relevante para a estrutura de avaliação (essas publicações podem, certamente, se constituir também como muitíssimo relevantes de outros pontos de vista que escapam ao contexto restrito de avaliação das atividades da pós-graduação). Dessa perspectiva, pode-se enunciar que é desejável que docentes-pesquisadores dos programas apresentem regularmente seus trabalhos em contextos públicos de debate, preferencialmente por meio de publicações de amplo acesso. É desejável que essa regularidade seja cumprida por todos os docentes, mas deve-se compreender que a rotina da avaliação possibilite que momentos de menor circulação do trabalho de alguns pesquisadores sejam compensados por outros, desde que essa situação seja justificada pelo programa e que não seja mantida por um período maior do que o adequado a essa justificativa. Assim, por exemplo, pode-se conceber como critério de avaliação que em um programa nota 5 se apresente uma média de produção equivalente a um total de 80% dos docentes registrarem a publicação de um texto por ano (em um veículo de circulação adequada, preferencialmente em periódicos B2, B1 ou A da área) no quadriênio, além da média de uma palestra ou conferência apresentada em um contexto altamente qualificado por ano. A expectativa da avaliação deve ser que o programa realize essas atividades por meio do conjunto de seus docentes, evitando-se, entretanto, a excessiva concentração das atividades em poucos docentes (deve-se, portanto, considerar a média e a moda da distribuição dessa produção).

5. Sobre a Inserção Social

Nesse item da avaliação se inserem os elementos mais importantes da avaliação da integração dos Programas à comunidade acadêmica regional e nacional. É importante que se estimule a publicidade das atividades dos programas, a constituição de projetos institucionais de integração e o envolvimento dos pesquisadores em redes de pesquisa. Um elemento a ser considerado com atenção é a inclusão de atividades voltadas ao debate sobre ensino de filosofia (no Ensino Médio e no Ensino Superior) dentre os elementos qualificadores da inserção social do programa.

Sobre a atribuição de notas no processo de avaliação

A proposta de revisão das atribuições de notas no processo de avaliação se estrutura a partir da revisão da ficha de avaliação aqui apresentada. Propõe-se que a descrição dos critérios de avaliação de cada item seja tal que:

Nota 3 – a avaliação de APCNs e a atribuição de nota 3 explicita o atendimento básico dos elementos indicados na ficha de avaliação.

Nota 4 – sua atribuição explicita que o PPG atende a todos os critérios básicos de avaliação e atende com excelência alguns deles, particularmente os relevantes à consolidação da atividade de pesquisa.

Os APCNs de Doutorado devem ser analisados a partir dos critérios para atribuição de Nota 4, garantindo-se que o Programa apresenta consolidação da pesquisa, que se qualifica como núcleo regional de integração dos debates acadêmicos e que seus docentes apresentam experiência e envolvimento na formação de pesquisadores compatível com um programa de doutorado.

Nota 5 – o programa atende plenamente aos critérios de excelência indicados na ficha de avaliação.

Quanto aos Programas 6 e 7, propõe-se que sua avaliação pressuponha aquilo que se apresenta como exigência à nota 5, acrescido da consolidação de um papel de particular relevância na organização e difusão, nacional e internacional, da pesquisa em filosofia, segundo critérios que precisam ser explicitados.

Observações Finais

As observações aqui apresentadas têm o caráter de notas preliminares à elaboração de uma nova ficha de avaliação e, associado a ela, à descrição, no documento de área, daquilo que caracteriza cada extrato de avaliação dos programas da área. Esse documento precisa, portanto, ser desdobrado em uma nova ficha de avaliação em que os pontos aqui indicados são explicitados de modo claro. Ele pressupõe também que os critérios aqui adotados sejam extrapolados para a descrição dos processos de avaliação de livros, revistas e da produção discente, o que será oportunamente apresentado em textos separados.