Procés d’avaluació dels projectes de recerca presentats a la Convocatòria 2012 de la Fundació La Marató de TV3: càncer

Abstract

Des de l’any 2001, l’Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS) gestiona el procés d’avaluació dels projectes presentats a les convocatòries d’ajuts a la recerca de la Fundació La Marató de TV3. A més de garantir i facilitar l’avaluació dels projectes, les tasques que desenvolupa l’AQuAS tenen com a objectiu afavorir que aquest procés d’avaluació sigui suficientment rigorós en la seva valoració metodològica i flexible quant a la seva aplicació, a la vegada que transparent i obert als professionals i a la població, avalant la qualitat dels projectes presentats. En el decurs de l’esmentat procés d’avaluació s’han seguit una sèrie d’etapes, d’acord amb una planificació prèvia, per tal de determinar la qualitat científica dels projectes que, en conjunt, presentessin un major rigor metodològic i que, alhora, fossin rellevants i aplicables dins del seu context. En aquesta edició sobre càncer es van presentar 318 projectes, un dels quals va ser rebutjat per no complir les bases de la convocatòria. Per tant, se’n varen acceptar 317 que, per àrea de recerca i segons la classificació dels mateixos investigadors, es distribueixen en 162 projectes de recerca bàsica, 62 de recerca clínica i 22 de recerca epidemiològica; la resta (71 projectes) són combinacions d’aquestes àrees de recerca. A més, 185 són projectes unitaris i 132 es presenten com a coordinats. Un total de 257 experts internacionals van avaluar els projectes mitjançant un qüestionari estructurat en dues etapes: en primer lloc s’avaluava el projecte anonimitzat; en segon lloc el grup investigador i, finalment, s’acabava valorant cadascun dels projectes com a finançable, finançable amb reserves, dubtós o no finançable. Cada projecte va ser assignat a dos avaluadors en funció de les característiques de la recerca i de l’expertesa de l’avaluador. Els avaluadors van actuar de forma independent. Un grup de 10 avaluadors va formar part del comitè ad hoc que va dur a terme la darrera fase del procés d’avaluació. El resultat de l’avaluació indica que, sobre la base de la qualitat metodològica i rellevància, dels 317 projectes acceptats a la convocatòria, 129 són tributaris de finançament. Aquesta selecció prèvia va ser la base que va examinar el comitè ad hoc (o panel) que va identificar 45 projectes prioritaris i, per tant, tributaris de finançament. La seva distribució, per àrea de recerca, és de 31 projectes de recerca bàsica, 7 de bàsica-clínica, 4 de clínica, 2 de epidemiològica i un de recerca bàsica-clinica-epidemiològica. Quant a tipus de projecte, 19 són unitaris i 26 coordinats. Els projectes prioritaris, segons el seus proponents, poden arribar a tenir, principalment, un impacte en l’avenç del coneixement i, en segon lloc, un impacte en els guanys en salut, seguit per la capacitació d’individus, equips i infraestructures. La valoració que els avaluadors membres del comitè ad hoc han fet del procés d’avaluació ha estat positiva. També van fer suggeriments per a la millora del procés d’avaluació, en part inspirats en experiències prèvies en comitès d’avaluació de programes de la Unió Europea o dels Estats Units.

Desde el año 2001, la Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS) gestiona el proceso de evaluación de los proyectos presentados a las convocatorias de ayudas a la investigación de la Fundació La Marató de TV3. Además de garantizar y facilitar la evaluación de los proyectos, el trabajo que desarrolla la AQuAS tiene como objetivo favorecer que dicho proceso de evaluación sea suficientemente riguroso en su valoración metodológica y flexible en cuanto a su aplicación, a la vez que transparente y abierto a los profesionales y a la población, avalando la calidad de los proyectos relacionados. En el transcurso del mencionado proceso de evaluación se han seguido una serie de etapas, de acuerdo con una planificación previa, con el fin de determinar la calidad científica de los proyectos que, en conjunto, presentasen un mayor rigor metodológico y que, a su vez, fueran relevantes y aplicables dentro de su contexto. En esta edición sobre el cáncer, se presentaron 318 proyectos, uno de los cuales fue rechazado por no cumplir las bases de la convocatoria. Por lo tanto, se aceptaron 317 que, por área de investigación y según la clasificación de los propios investigadores, se distribuyen en 162 proyectos de investigación básica, 62 de investigación clínica y 22 de investigación epidemiológica; el resto (71 proyectos) son combinaciones de estas áreas de investigación. Además, 185 son proyectos unitarios y 132 se presentan como coordinados. Un total de 257 expertos internacionales evaluaron los proyectos mediante un cuestionario estructurado en dos etapas: en primer lugar se evaluaba el proyecto anonimizado; en segundo lugar, el grupo investigador; y, finalmente, se acababa valorando cada uno de los proyectos como financiable, financiable con reservas, dudoso o no financiable. Cada proyecto se asignó a dos evaluadores en función de las características de la investigación y de la experiencia del evaluador. Los evaluadores actuaron de forma independiente. Un grupo de 10 evaluadores formó parte del comité ad hoc que realizó la última fase del proceso de evaluación. El resultado de la evaluación indica que, sobre la base de la calidad metodológica y relevancia, de los 317 proyectos aceptados en la convocatoria, 129 son tributarios de financiación. Esta selección previa fue la base que examinó el comité ad hoc (o panel) que identificó 45 proyectos prioritarios y, por tanto, tributarios de financiación. Su distribución, según área de investigación, es de 31 proyectos de investigación básica, 7 de básica-clínica, 4 de clínica, 2 de epidemiológica y uno de investigación básica-clínica-epidemiológica. En cuanto al tipo de proyecto, 19 son unitarios y 26 coordinados. Los proyectos prioritarios pueden llegar a tener, principalmente, un impacto en el avance del conocimiento y, en segundo lugar, un impacto en ganancias en salud y en la capacitación de individuos, equipos e infraestructuras. La valoración que los evaluadores miembros del comité ad hoc han hecho del proceso de evaluación ha sido positiva. También hicieron sugerencias para la mejora de dicho proceso, en parte inspirados en experiencias previas en comités de evaluación de programas de la Unión Europea o de los Estados Unidos.

Since 2001, the Agency for Health Quality and Assessment of Catalonia (AQuAS) has managed the process of evaluation of the research projects submitted to calls for research of La Marató de TV3 Foundation. Besides guaranteeing and facilitating the assessment of the projects, the AQUAS’s aim is to make sure that this assessment process is sufficiently rigorous in its methodological assessment, and flexible in its application, and transparent and open to professionals and the population, to endorse the quality of the results. This assessment process has gone through a series of planned stages to determine the scientific quality of the projects which overall presented the greatest methodological rigour and were also relevant and applicable in their context. In this edition on cancer, 318 projects were submitted. On the basis of these specific call requirements, one project were excluded. Therefore, 317 projects were accepted and reviewed, which by area of research and according to the classification of the actual investigators, are distributed into 162 basic research projects, 62 clinical research and 22 epidemiological research, the rest (71 projects) are combinations of these research areas. Furthermore, 185 are individual projects and 132 are submitted as coordinated ones. A total of 257 international reviewers evaluated the projects by means of a structured questionnaire in two stages. First, the anonymized project was assessed and second, the research team and finally each project had to be classified as recommended for funding, recommended with reservations, questionable or not recommended. Each project was assigned to two reviewers according to the characteristics of research and expertise of the reviewer. The reviewers acted independently. A group of 10 reviewers was part of the ad-hoc committee that carried out the last phase of the evaluation process. The result of the evaluation indicates that, on the basis of methodological quality and relevance, of the 317 projects accepted and reviewed, 129 were likely on funding. This selection was the basis examined by an ad-hoc committee which identified 45 priorized projects tributary of funding. Their distribution by area of research is 31 basic research projects, 7 basic-clinical research projects, 4 clinic research projects, 2 epidemiologic research projects and one basic-clinical-epidemiologic research projects. Nighteen of the projects are individual and 26, coordinated. The priority projects are likely to have an impact in advancing knowledge and secondly, a health ans social impact followed by a capacity building impact. The opinion of the members of the evaluation committee with regards to the process of assessment were positive. They also suggested a number of potential improvements in the process, based on previous experiences in European or North-American evaluation programme committees.