Procés d’avaluació dels projectes de recerca presentats a la Convocatòria 2011 de la Fundació La Marató de TV3: regeneració i transplantament d’òrgans i teixits

Abstract

Des de l’any 2001, l’Agència d’Informació, Avaluació i Qualitat en Salut (AIAQS) gestiona el procés d’avaluació dels projectes presentats a les convocatòries d’ajuts a la recerca de la Fundació La Marató de TV3. A més de garantir i facilitar l’avaluació dels projectes, les tasques que desenvolupa l’AIAQS tenen com a objectiu afavorir que aquest procés d’avaluació sigui suficientment rigorós en la seva valoració metodològica i flexible quant a la seva aplicació, a la vegada que transparent i obert als professionals i a la població, avalant la qualitat dels projectes relacionats. En el decurs de l’esmentat procés d’avaluació s’han seguit una sèrie d’etapes, d’acord amb una planificació prèvia, per tal de determinar la qualitat científica dels projectes que, en conjunt, presentessin un major rigor metodològic i que, alhora, fossin rellevants i aplicables dins del seu context. En aquesta edició sobre regeneració i transplantament d’òrgans i teixits, es van presentar 209 projectes, 4 dels quals van ser rebutjats per no complir les bases de la convocatòria. Per tant, se’n varen acceptar 205 que, per àrea de recerca i segons la classificació dels mateixos investigadors, es distribueixen en 119 projectes de recerca bàsica, 49 de recerca clínica i 5 de recerca epidemiològica; la resta (32 projectes) són combinacions d’aquestes àrees de recerca. A més, 119 són projectes unitaris i 86 es presenten com a coordinats. Un total de 105 experts internacionals van avaluar els projectes mitjançant un qüestionari estructurat en dues etapes: en primer lloc s’avaluava el projecte anonimitzat; en segon lloc el grup investigador i, finalment, s’acabava valorant cadascun dels projectes com a finançable, finançable amb reserves, dubtós o no finançable. Cada projecte va ser assignat a dos avaluadors en funció de les característiques de la recerca i de l’expertesa de l’avaluador. Els avaluadors van actuar de forma independent. Un grup de 7 avaluadors va formar part del comitè ad hoc que va dur a terme la darrera fase del procés d’avaluació. El resultat de l’avaluació indica que, sobre la base de la qualitat metodològica i rellevància, dels 205 projectes acceptats a la convocatòria, 62 són tributaris de finançament. Aquesta selecció prèvia va ser la base que va examinar el comitè ad hoc (o panel) que va identificar 29 projectes prioritaris i, per tant, tributaris de finançament. La seva distribució, per àrea de recerca, és de 23 projectes de recerca bàsica, 3 de clínica i 3 de recerca bàsica-clínica. Quant a tipus de projecte, 8 són unitaris i 21 coordinats. Els projectes prioritaris poden arribar a tenir, principalment, un impacte en l’avenç del coneixement i, en segon lloc, un impacte en els guanys en salut i en la capacitació d’individus, equips i infraestructures. La valoració que els avaluadors membres del comitè ad hoc han fet del procés d’avaluació ha estat positiva. També van fer suggeriments per a la millora del procés d’avaluació, en part inspirats en experiències prèvies en comitès d’avaluació de programes de la Unió Europea o dels Estats Units.

Desde el año 2001, la Agencia de Información, Evaluación y Calidad en Salud de Cataluña (AIAQS) gestiona el proceso de evaluación de los proyectos presentados a las convocatorias de ayudas a la investigación de la Fundació La Marató de TV3. Además de garantizar y facilitar la evaluación de los proyectos, el trabajo que desarrolla la AIAQS tiene como objetivo favorecer que dicho proceso de evaluación sea suficientemente riguroso en su valoración metodológica y flexible en cuanto a su aplicación, a la vez que transparente y abierto a los profesionales y a la población, avalando la calidad de los proyectos relacionados. En el transcurso del mencionado proceso de evaluación se han seguido una serie de etapas, de acuerdo con una planificación previa, con el fin de determinar la calidad científica de los proyectos que, en conjunto, presentasen un mayor rigor metodológico y que, a su vez, fueran relevantes y aplicables dentro de su contexto. En esta edición sobre regeneración y trasplante de órganos y tejidos, se presentaron 209 proyectos, 4 de los cuales fueron rechazados por no cumplir las bases de la convocatoria. Por lo tanto, se aceptaron 205 que, por área de investigación y según la clasificación de los propios investigadores, se distribuyen en 119 proyectos de investigación básica, 49 de investigación clínica y 5 de investigación epidemiológica; el resto (32 proyectos) son combinaciones de estas áreas de investigación. Además, 119 son proyectos unitarios y 86 se presentan como coordinados. Un total de 105 expertos internacionales evaluaron los proyectos mediante un cuestionario estructurado en dos etapas: en primer lugar se evaluaba el proyecto anonimizado; en segundo lugar, el grupo investigador; y, finalmente, se acababa valorando cada uno de los proyectos como financiable, financiable con reservas, dudoso o no financiable. Cada proyecto se asignó a dos evaluadores en función de las características de la investigación y de la experiencia del evaluador. Los evaluadores actuaron de forma independiente. Un grupo de 7 evaluadores formó parte del comité ad hoc que realizó la última fase del proceso de evaluación. El resultado de la evaluación indica que, sobre la base de la calidad metodológica y relevancia, de los 205 proyectos aceptados a la convocatoria, 62 son tributarios de financiación. Esta selección previa fue la base que examinó el comité ad hoc (o panel) que identificó 29 proyectos prioritarios y, por tanto, tributarios de financiación. Su distribución, según área de investigación, es de 23 proyectos de investigación básica, 3 de clínica y 3 de investigación básica-clínica. En cuanto al tipo de proyecto, 8 son unitarios y 21 coordinados. Los proyectos prioritarios pueden llegar a tener, principalmente, un impacto en el avance del conocimiento y, en segundo lugar, un impacto en ganancias en salud y en la capacitación de individuos, equipos e infraestructuras. La valoración que los evaluadores miembros del comité ad hoc han hecho del proceso de evaluación ha sido positiva. También hicieron sugerencias para la mejora de dicho proceso, en parte inspirados en experiencias previas en comités de evaluación de programas de la Unión Europea o de los Estados Unidos.

Since 2001, the Catalan Agency for Health Information, Assessment and Quality (CAHIAQ) has managed the process of evaluation of the research projects submitted to calls for research of La Marató de TV3 Foundation. Besides guaranteeing and facilitating the assessment of the projects, the CAHIAQ’s aim is to make sure that this assessment process is sufficiently rigorous in its methodological assessment, and flexible in its application, and transparent and open to professionals and the population, to endorse the quality of the results. This assessment process has gone through a series of planned stages to determine the scientific quality of the projects which overall presented the greatest methodological rigour and were also relevant and applicable in their context. In this edition on regeneration and transplantation of organs and tissues, 209 projects were submitted. On the basis of these specific call requirements, 4 projects were excluded. Therefore, 205 projects were accepted and reviewed, which by area of research and according to the classification of the actual investigators, are distributed into 119 basic research projects, 49 clinical research and 5 epidemiological research, the rest (32 projects) are combinations of these research areas. Furthermore, 119 are individual projects and 86 are submitted as coordinated ones. A total of 105 international reviewers evaluated the projects by means of a structured questionnaire in two stages. First, the anonymized project was assessed and second, the research team and finally each project had to be classified as recommended for funding, recommended with reservations, questionable or not recommended. Each project was assigned to two reviewers according to the characteristics of research and expertise of the reviewer. The reviewers acted independently. A group of 7 reviewers was part of the ad-hoc committee that carried out the last phase of the evaluation process. The result of the evaluation indicates that, on the basis of methodological quality and relevance, of the 205 projects accepted and reviewed, 62 were likely on funding. This selection was the basis examined by an ad-hoc committee which identified 29 priorized projects tributary of funding. Their distribution by area of research is 23 basic research projects, 3 clinical research projects and 3 basic-clinical research projects. Eight of the projects are individual and 21, coordinated. The priority projects are likely to have an impact in advancing knowledge and secondly, a health ans social impact followed by a capacity building impact. The members of the evaluation committee of the process of assessment were positive. They also suggested a number of potential improvements in the process, based on previous experiences in European or North-American evaluation programme committees.