Describir las cualidades y limitaciones de las evaluaciones externas de los manuscritos remitidos a GACETA SANITARIA para mejorar la selección de los evaluadores, aumentar la calidad de las evaluaciones y establecer un sistema interno que pudiera incorporarse al proceso editorial de gestión de los manuscritos.
MétodosSe incluyeron 100 evaluaciones de 55 manuscritos recibidos durante los años 2000 y 2001. Se aplicó un formulario de preguntas cerradas en el que se valoraban aspectos específicos y generales de calidad en las evaluaciones (respuestas sí/no o sobre una escala de 1 a 5). Se llevó a cabo un análisis descriptivo y de correlación entre los distintos ítems del formulario. Se calculó un Índice de Calidad como suma de las puntuaciones de los ítems específicos.
ResultadosLas evaluaciones obtuvieron puntuaciones más elevadas en relación con la compleción del formulario para los revisores (84%), la utilización de un tono constructivo con los autores (evaluaciones por encima de 3: 63%), la identificación de cualidades y limitaciones metodológicas (evaluaciones por encima de 3: 59%) y la fundamentación de los comentarios del evaluador (evaluaciones por encima de 3: 58%). Con menor frecuencia, se valora la relevancia (evaluaciones por encima de 3: 40%) o la originalidad (evaluaciones por encima de 3: 35%) del manuscrito. La utilidad global de la evaluación para el editor y la calidad global de la evaluación mostraron una elevada correlación con el resto de ítems específicos en el formulario y con el Índice de Calidad.
ConclusionesLa calidad general de las evaluaciones externas de manuscritos en GACETA SANITARIA se puede considerar alta. Se ponen de manifiesto los aspectos mejorables de las evaluaciones. Se podría establecer un proceso sistemático de valoración de las evaluaciones externas utilizando indicadores simples como la valoración global de la utilidad o de la calidad de la evaluación en su conjunto.
To describe strengths and weaknesses of peer reviews of manuscripts received in GACETA SANITARIA in order to guide reviewers selection, to improve quality of peer reviews and to establish an internal system to be incorporated to the editorial process of handling manuscripts.
Methods100 peer reviews of 55 manuscripts received during 2000 and 2001 were included. A questionnaire containing closed questions assessing specific and general components of reviews' quality was applied (answers Yes/No or on a 5-points scale). Descriptive and correlation analyses were performed for the different items in the questionnaire. An Index of Quality was obtained by adding the ratings on the items in the questionnaire measuring specific quality components.
ResultsPeer reviews were rated high regarding completeness of the forms for reviewers (84%), constructiveness of the comments (reviews over 3: 63%), identification of the strengths and weaknesses of the method (reviews over 3: 59%) and substantiation of the reviewer comments (reviews over 3: 58%). Assessment of the manuscript's relevance (reviews over 3: 40%) or originality (reviews over 3: 35%) were less frequent.
ConclusionsQuality of peer reviews in GACETA SANITARIA is good. Some weaknesses in the reviews have been pointed out. It is possible to establish a systematic process for assessing peer reviewers using simple indicators such as general utility of the review for the editorial decision and general quality of the review.
