Quer você seja um autor em busca de um periódico para submeter o seu trabalho, um profissional em busca de fontes confiáveis de informação ou um estudante que faz uma pesquisa bibliográfica, é de suma importância saber avaliar a qualidade de um periódico. Isto é ainda mais crucial neste momento em que os modelos de publicação estão em rápida evolução rumo aos artigos open access. Existem vários fatores a considerar na análise, e os mais tradicionais são:

Critérios tradicionais

• a indexação do periódico;
• a qualidade do corpo editorial;
• a existência de revisão por pares (peer review);
• o índice de aceitação dos artigos submetidos;
• o fator de impacto (FI).

1. Indexação: Os indexadores reúnem um conjunto de títulos de periódicos que passaram por um processo de seleção. Com o advento da internet, os seus portais online levam os dados sobre os artigos de periódicos indexados, como os seus resumos, aos leitores. Normalmente, a lista de indexadores de um periódico pode ser encontrada no verso da página de rosto, próximo da ficha catalográfica. Os indexadores mais conhecidos na área médica são o Medline (da National Library of Medicine) e o Scielo (nacional). Cada um desses indexadores possui critérios específicos de ingresso para os periódicos, que podem ser consultados nos seus respectivos sítios da internet. Mas atenção: o ISSN (International Standard Serial Number) não é um indexador, é apenas um código internacional que individualiza a publicação e é inclusive um dos critérios para a indexação na Medline ou no Scielo.

2. O corpo editorial: é constituído de pesquisadores na área de interesse do periódico, e é aconselhável consultar os seus currículos para avaliar a sua importância para o campo específico do conhecimento.

3. Peer Review: a revisão por pares é um critério básico de qualidade. Os artigos recebidos, após análise preliminar do Editor, são encaminhados a especialistas da mesma área para que julguem a qualidade do artigo proposto. O autor do artigo não tem acesso à identidade dos revisores, que por vezes é revelada ao final do processo em caso de aceitação (como é o caso das revistas da série Frontiers).

4. O índice de aceitação dos artigos- quando é baixo, indica que a revista recebe muitos artigos para revisão, o que sugere boa reputação entre os pesquisadores da área. Entretanto, essa informação é difícil de obter. Um problema potencial ocorre com as revistas que se dedicam a um nicho muito específico do conhecimento; nesse caso, o índice de aceitação será alto simplesmente porque são poucos os artigos de pesquisadores nessa área.

5. O Fator de Impacto (FI): criado pelo ISI (Institute for Scientific Information), o Fator de Impacto é o método mais reconhecido para a avaliação da importância de um periódico científico. O FI é baseado em dois números: o número de citações de uma determinada revista nos últimos 2 anos (A) e o número de artigos de pesquisa e de revisão (ítens citáveis) publicados por aquela revista no mesmo período (B), deste modo: A/B = Fator de Impacto. O Fator de Impacto de uma revista pode ser consultado online.

Alguns cuidados com o Fator de Impacto:

• Um FI alto não atesta necessariamente a qualidade, ou mesmo a validade, das referências citadas. Artigos famosos por erros ou mesmo retirados, frequentemente atraem muita atenção, e logo um grande número de citações!
• As revistas que publicam mais artigos de revisão de literatura geralmente ficam no topo das listas de FI, embora não publiquem novos achados. Isso se deve ao fato de que artigos de revisão costumam ser muito citados.
• Geralmente são necessários anos até que revistas novas obtenham indexação, por isso essas publicações estarão pouco representadas.
• Alguns editores aprenderam a “jogar” com o sistema, encorajando os autores a citarem os seus artigos anteriores previamente publicados na mesma revista.

Critérios alternativos

Uma ferramenta recente é fornecida pelo Google Scholar Metrics (GSM) que permite a avaliação da visibilidade e influência de artigos recentes em revistas científicas, por idioma. Ele fornece uma lista das 100 publicações mais influentes, ordenadas pelo seu índice h de 5 anos e pelo h mediano:

O índice h de uma publicação é o maior número h tal que pelo menos h artigos dessa publicação tenham cido citados pelo menos h vezes cada. Por exemplo, uma publicação com 5 artigos citados por, respectivamente, 17, 9, 6, 3 e 2, tem um índice h de 3.

0 cerne do h (h-core) de uma publicação é um conjunto dos h artigos mais citados da publicação. Esses são os artigos nos quais o índice h é baseado. Por exemplo, a publicação acima tem o h-core com 3 artigos, aqueles citados por 17, 9 e 6.

O h-mediano de uma publicação é a mediana das contagens de citações do seu h-core. Por exemplo, o h-mediano da publicação acima é 9.

Finalmente, os índices h5, h5-core e h5-mediano são os mesmos índices acima, considerando apenas os seus artigos publicados nos últimos 5 anos.

E o Qualis?

A lista Qualis não é uma base de indexação, é um conjunto de procedimentos utilizados pela Capes para estratificação da qualidade da produção intelectual dos programas de pós-graduação (PPGs) que produz uma lista de indicadores de qualidade por área do conhecimento para os veículos de divulgação utilizados pelos PPGs. Portanto, possuir uma boa classificação na lista Qualis significa possuir um bom indicador de qualidade, mas não significa ser indexado. Segundo o sítio de internet da Capes:

A classificação é realizada pelos comitês de consultores de cada área de avaliação seguindo critérios previamente definidos pela área e aprovados pelo CTC-ES, que procuram refletir a importância relativa dos diferentes periódicos para uma determinada área. Os critérios gerais e os específicos utilizados em cada área de avaliação da CAPES estão disponibilizados nos respectivos Documentos de Área. A estratificação da qualidade dessa produção é realizada de forma indireta. Dessa forma, o Qualis afere a qualidade dos artigos e de outros tipos de produção, a partir da análise da qualidade dos veículos de divulgação, ou seja, periódicos científicos. A classificação de periódicos é realizada pelas áreas de avaliação e passa por processo anual de atualização. Esses veículos são enquadrados em estratos indicativos da qualidade - A1, o mais elevado; A2; A3; A4; B1; B2; B3; B4; e C - com peso zero. É importante ressaltar que apenas os periódicos que tenham recebido produção no ano ou período de classificação serão listados e classificados, portanto, não se trata de uma lista exaustiva de periódicos, mas sim uma lista de periódicos efetivamente utilizados pelos programas de pós-graduação no período em análise.

Por último: cuidado com os periódicos “predadores”:

Com o advento dos periódicos open access, que não requerem pagamento de assinatura pelo leitor para o acesso aos artigos, mas cobram uma taxa de publicação dos autores, vêm surgindo os periódicos “predadores”, que se valem da ingenuidade de alguns autores, pressionados pela filosofia publish or perish. São características desses periódicos:

• enviam e-mails solicitando artigos (as publicações sérias e importantes praticamente nunca o fazem)
• têm nomes sugestivos e que lembram outras publicações sérias
• oferecem cargos em corpo editorial por e-mail
• cobram valores muito mais baixos dos autores do que as principais publicações open-access
• não passam pelos crivos acima, de indexação, Fator de Impacto ou de listagem no Qualis

Conclusão

Com essas informações, é possível fazer uma primeira avaliação do periódico ao qual o autor pretende submeter o seu trabalho. Em geral, é uma boa prática começar pela revista da melhor qualidade possível dentro do escopo do trabalho; mesmo que ele não seja aceito, o feedback da revisão por pares provavelmente será de boa qualidade e fundamental para orientar as submissões a outras revistas.