Corrección de la eficacia de la vacuna derivada de la prueba

BMC Medical Research Methodology volumen 23, Número de artículo: 137 (2023) Citar este artículo

Detalles de métricas

Determinar la efectividad de la vacuna (VE) es una parte importante del estudio de cada vacuna nueva. Los estudios de casos y controles con prueba negativa (TNCC) se han utilizado recientemente para determinar la VE. Sin embargo, la VE estimada derivada de un diseño TNCC depende de la sensibilidad y especificidad de la prueba. En este documento, se presenta un método para la corrección del valor de VE derivado de un estudio TNCC.

Se presenta un método analítico para calcular la VE corregida en función de la sensibilidad y especificidad de la prueba de diagnóstico utilizada. Para mostrar la aplicación del método propuesto, se presenta un estudio hipotético de TNCC. En este estudio in silico, 100 000 personas que remitieron a un sistema de atención médica por enfermedades similares a la COVID-19 fueron evaluadas con pruebas de diagnóstico con sensibilidades de 0,6, 0,8 y 1,0, y especificidades que oscilaron entre 0,85 y 1,00. Se asumió una cobertura de vacunación del 60%, una tasa de ataque de 0,05 para COVID-19 en el grupo no vacunado y una VE real de 0,70. En esta simulación, una enfermedad similar a la COVID-19 con una tasa de ataque de 0,30 también podría afectar a toda la población estudiada independientemente de su estado de vacunación.

El VE observado osciló entre 0,11 (calculado para una prueba de sensibilidad de 0,60 y especificidad de 0,85) a 0,71 (calculado para una prueba de sensibilidad y especificidad de 1,0). El VE medio corregido calculado derivado del método propuesto fue 0,71 (la desviación estándar de 0,02).

La VE observada derivada de los estudios TNCC se puede corregir fácilmente. Se puede calcular una estimación aceptable de VE independientemente de la sensibilidad y especificidad de la prueba de diagnóstico utilizada en el estudio.

Informes de revisión por pares

Las vacunas han tenido un impacto significativo en la salud mundial. Algunas vacunas brindan protección de por vida contra las infecciones; otros confieren protección temporal. Muchos patógenos circulantes cambian con el tiempo, lo que afecta la efectividad de las vacunas contra ellos [1, 2], razón por la cual la efectividad de la mayoría de las vacunas (p. ej., la vacuna contra la influenza) debe actualizarse regularmente [3]. La determinación y el seguimiento regular de la eficacia de la vacuna (VE) es, por lo tanto, una parte integral del estudio de cada vacuna.

VE es una medida que refleja qué tan bien una vacuna previene la enfermedad, la hospitalización o la muerte en aquellos que fueron vacunados en comparación con los individuos no vacunados [4]. Se expresa comúnmente como una reducción porcentual en el riesgo (incidencia) de la enfermedad en personas vacunadas frente a personas no vacunadas. Por ejemplo, si la incidencia de una determinada enfermedad es de 0,05 en personas no vacunadas y la vacunación la reduce a 0,015, entonces la vacunación reduce el riesgo en un 70 % (es decir, 0,70), por lo tanto, la VE correspondiente es 0,70. Matemáticamente, VE se puede calcular de la siguiente manera [5, 6]:

donde ARunvac y ARvac son las tasas de ataque de la infección en los individuos vacunados y no vacunados, y RR es el riesgo relativo. Los estudios observacionales se utilizan comúnmente para determinar la VE [7]. Un estudio de cohorte es el único diseño de estudio que puede proporcionar con precisión el AR de la enfermedad de interés en los grupos vacunados y no vacunados y, por lo tanto, es el mejor tipo de estudios observacionales para calcular el VE. Sin embargo, dada la AR baja para muchas enfermedades infecciosas, la razón de posibilidades (OR) derivada de un estudio de casos y controles puede considerarse una estimación aceptable para el RR [8]. Por lo tanto, un estudio de casos y controles también se puede utilizar para la determinación de la VE [7].

En los últimos años, los estudios de casos y controles con prueba negativa (TNCC) se han utilizado comúnmente para determinar la VE [3]. Técnicamente, un estudio de TNCC tiene un diseño de casos y controles, excepto que la forma en que se reclutan los casos y los controles es diferente. Por ejemplo, para determinar la VE de una nueva vacuna desarrollada contra el SARS-CoV-2 utilizando un diseño TNCC, se seleccionan casos y controles de una cohorte de pacientes que asisten a un centro de salud por una enfermedad similar a la COVID-19; aquellos que dan positivo por SARS-CoV-2 se consideran "casos"; los restantes con prueba negativa, “controles” (Cuadro 1) [5, 9]. El VE es entonces [7]:

Para tener un VE válido, se necesita un OR válido, lo que a su vez requiere la igualdad de los OR calculados para quienes buscan atención médica y para quienes no buscan atención médica [10], es decir (Tabla 1):

El diseño de TNCC es relativamente más económico y más rápido de realizar que los estudios de cohortes y de casos y controles tradicionales [9]. No obstante, el valor estimado de VE derivado de un diseño de TNCC depende de la sensibilidad de la prueba (Se), la probabilidad de que una persona enferma dé positivo en la prueba y, más seriamente, de la especificidad de la prueba (Sp), la probabilidad de que una persona libre de enfermedad se vuelve negativo en la prueba [7, 11, 12]. Pero, el Se y Sp de la mayoría de las pruebas de diagnóstico no son 1,0 (es decir, 100%); casi siempre hay resultados falsos positivos y falsos negativos que causan problemas de clasificación errónea [11, 13]. En este documento, se pretende presentar un método para el cálculo de la VE basado en los resultados de un diseño TNCC independientemente de la Se y la Sp de la prueba de diagnóstico utilizada en el estudio.

Supongamos que se realizó un estudio de TNCC para determinar la efectividad de una nueva vacuna contra el SARS-CoV-2 y se probó un grupo de pacientes que asistieron a un centro de atención médica con una enfermedad similar a la COVID-19. Además, suponga que los resultados en su forma paramétrica se presentan en la Tabla 1. Centrémonos en una sola fila de la Tabla 1, por ejemplo, los vacunados. Si todos los que asistieron al centro de salud se consideraron una cohorte de personas con enfermedad similar a la COVID-19, entonces la prevalencia aparente de COVID-19 en los pacientes vacunados que buscaron atención médica es [14]:

Tenga en cuenta que pr no es una estimación real de la prevalencia de COVID-19 ni en la población total ni en los pacientes que buscaron atención médica, ya que la prueba de diagnóstico utilizada para el diagnóstico de COVID-19 presumiblemente no era perfecta; hubo resultados falsos positivos y falsos negativos. La verdadera prevalencia (π), la prevalencia con una prueba de diagnóstico perfecta con un Se y Sp de 1,0 (es decir, 100 %) que se ha utilizado, es [14]:

donde o representa probabilidades correspondientes a pr, a/b. La probabilidad real (ω) de COVID-19 en los pacientes vacunados que buscaron atención médica es entonces:

De la misma manera, se pueden derivar las probabilidades en los pacientes no vacunados que buscaron atención médica (c/d). De la ecuación. 2, la VE observada es:

Usando la Ec. 6, la VE corregida es entonces:

donde los subíndices "vac" y "unvac" representan la variable en los pacientes vacunados y no vacunados que buscaron atención médica por la enfermedad similar a la COVID-19, respectivamente. También se puede calcular la varianza del VE corregido (ver Materiales complementarios).

Examinemos los resultados de la aplicación del escenario anterior en un estudio in silico. Supongamos que queremos realizar un estudio TNCC en una muestra de 100 000 personas que buscaron atención médica por una enfermedad similar a la COVID-19. Sea el 60% de la población de estudio vacunada (cobertura vacunal) y que la verdadera VE sea 0,70. Suponga que se usaron pruebas de diagnóstico con diferentes combinaciones de valores de Se (0,6, 0,8 y 1,0) y Sp (que oscilan entre 0,85 y 1,00) para el diagnóstico de SARS-CoV-2. Además, suponga que la prueba Se y Sp no fueran diferentes en los grupos vacunados y no vacunados, que la enfermedad similar a COVID-19 afecta a las personas que viven en la comunidad de estudio independientemente de si ya han sido infectados con SARS-CoV-2 o no; que el SARS-CoV-2 tiene una AR del 5% en individuos no vacunados [15]; y que el AR de la enfermedad similar a la COVID-19 es del 30 % (en consonancia con el AR de la enfermedad similar a la gripe no gripal observada durante una estación fría) [16]. Además, para simplificar las cosas, suponga que el AR de la enfermedad similar a COVID-19 no depende del estado de vacunación de las personas estudiadas, la duración desde la vacunación, la edad y otras variables. La gravedad de los resultados de COVID-19 (p. ej., necesidad de hospitalización o ingreso en unidades de cuidados intensivos) no se tuvo en cuenta en el estudio in silico actual, ya que evidentemente no afecta significativamente el comportamiento de búsqueda de atención médica de las personas, por lo que Eq. 3 se mantiene, independientemente de la gravedad de la enfermedad [17]. Para la simulación se utilizó un fragmento de código desarrollado en R (versión de software R 4.1.0, R Project for Statistical Computing) (ver Materiales complementarios).

La Figura 1 muestra los valores de VE aparentes y corregidos para varias combinaciones de valores de Se y Sp de prueba utilizados en el estudio TNCC in silico. La VE observada osciló entre 0,11 (calculado para una prueba Se de 0,60 y Sp de 0,85) y 0,71 (calculado para una prueba Se y Sp de 1,0, una prueba perfecta). La VE corregida calculada media derivada del método propuesto (Ec. 8) fue 0,71 (la desviación estándar de 0,02); el valor corregido osciló entre 0,67 y 0,76. La variación observada probablemente se atribuyó al error de muestreo en la simulación.

La eficacia aparente (líneas punteadas) y corregida (líneas continuas) de la vacuna derivada de estudios de casos y controles con pruebas in silico negativas utilizando pruebas de diagnóstico con diferentes sensibilidades y especificidades. En cada estudio, se examinaron 100 000 personas asumiendo una tasa de ataque del 5 % para la infección por SARS-CoV-2 en personas no vacunadas, una tasa de ataque del 30 % para la enfermedad similar a la COVID-19 y una cobertura de vacunación del 60 %. La línea gris punteada horizontal representa la verdadera eficacia de la vacuna de 0,70

La gran diferencia entre la EV aparente y la corregida se debió a una clasificación errónea de los pacientes [13]. La tasa de falsos positivos podría reducirse aumentando la Sp de la prueba cambiando el valor de corte para las pruebas con resultados continuos [11]. Si en su lugar se hubiera utilizado una prueba perfecta (Se y Sp de 1,0), no se produjeron resultados falsos y la VE aparente fue igual a la VE verdadera (Fig. 1). Los valores corregidos calculados fueron solo un poco diferentes del verdadero VE de 0.70. Como se ha mostrado anteriormente [7], la prueba Sp es mucho más importante que la prueba Se; si se utiliza una prueba con una Sp muy alta, la VE observada es una buena estimación del valor correcto independientemente de la Se de la prueba, mientras que no es correcta para una prueba con incluso una Se de 1,0 (Fig. 1).

La Tabla 2A muestra un ejemplo de los datos generados en la simulación. Usando la Ec. 2, la VE aparente es 0,18. Reemplazando los valores en la ecuación. 8 da una VE corregida de 0,69. La gran diferencia entre la VE aparente y la corregida se debe a la presencia de un gran número de personas con resultados falsos positivos (por utilizar una prueba con menor Sp); 5683 en grupos vacunados y 3206 en grupos no vacunados (Tabla 2A). La tasa de falsos positivos podría reducirse aumentando la Sp de la prueba cambiando el valor de corte para las pruebas con resultados continuos [11]. Si en su lugar se hubiera utilizado una prueba perfecta, no se produjeron resultados falsos y la VE aparente fue igual a la VE verdadera (Tabla 2B). Usando la Ec. 8, se puede calcular el VE corregido, el valor si se hubiera utilizado una prueba perfecta.

El valor corregido de 0,71 en este caso, así como el VE medio corregido de 0,71 derivado de la simulación, es un poco más alto que el VE real de 0,70. Esto se debe al uso de OR derivado del diseño TNCC, que es solo una estimación de RR (ecuación 2). De hecho, esto es cierto para cualquier estudio de casos y controles [8]. Sin embargo, siempre que el AR de la enfermedad de interés sea pequeño, el OR es una estimación aceptable para el RR.

La cobertura vacunal en la población fue de 0,60 (Cuadro 2). La AR de la enfermedad fue del 3% en toda la población de estudio (Tabla 2B). Esta estimación fue correcta, ya que el AR es diferente en el grupo vacunado y no vacunado. Dadas las coberturas de vacunación, la VE verdadera y la AR en grupos vacunados y no vacunados, la AR en toda la población es:

donde n es el tamaño de la población y Cobertura, la cobertura de vacunación. Introduciendo los valores (ARunvac de 0,05, Cobertura de 0,60 y VE de 0,70) se obtiene un AR observado del 3 %.

Este estudio tiene algunas limitaciones. Suponiendo que la prueba Se y Sp no fueran diferentes en los grupos vacunados y no vacunados, que la enfermedad similar a COVID-19 afecta a las personas que viven en la comunidad de estudio independientemente de si ya han sido infectados con SARS-CoV-2 o no, esa vacunación no no afecta la gravedad de la enfermedad en las infecciones de avance de COVID-19 [18], y que el AR de la enfermedad similar a COVID-19 no depende del estado de vacunación de las personas estudiadas, la duración desde la vacunación, la edad y otras variables, podría ser simplificación excesiva de la situación. Deben diseñarse simulaciones más complejas para evaluar los posibles efectos de estos factores.

Aunque el diseño de TNCC puede disminuir el efecto de muchas variables de confusión y el sesgo de selección atribuible al recuerdo diferencial de la exposición en comparación con el diseño tradicional de casos y controles, no puede eliminar por completo los efectos de todos los factores de confusión [9, 19]. El TNCC tiene la ventaja sobre los estudios de cohortes y de casos y controles tradicionales en que requiere menos recursos y se puede realizar en un período corto [7]. El TNCC y el estudio de casos y controles tradicional comparten básicamente el mismo diseño y, por lo tanto, se espera que tengan sesgos similares; por ejemplo, ambos diseños proporcionan OR, como una estimación de RR, una suposición que solo es cierta con valores bajos de AR [8].

Se demostró que el valor correcto de VE se puede calcular independientemente de la Se y la Sp de la prueba de diagnóstico que se utilizará en un estudio de TNCC. El valor calculado y su precisión dependen de las probabilidades de una prueba positiva en pacientes vacunados y no vacunados que buscaron atención médica y la prueba Se y Sp (ecuación 8), así como su varianza (ver Materiales complementarios). Por lo tanto, aunque la Se y la Sp de la prueba utilizada pueden no ser importantes, sus precisiones sí lo son. Es mejor estimar la Se y la Sp de la prueba que se utilizará en estudios de TNCC en estudios de gran validez. Hasta ahora, los investigadores tenían que utilizar pruebas muy específicas (y, en la mayoría de los casos, sensibles) en los diseños de TNCC para llegar a una estimación aceptable de la VE. Empleando el método propuesto, basta con utilizar pruebas con valores conocidos de Se y Sp, sin importar cuántos sean. El TNCC no solo se usa para determinar la VE, sino que también tiene otras aplicaciones, incluida la evaluación de riesgos en otros entornos, como la resistencia a los antibióticos [20] y la trombosis venosa [21], por nombrar solo algunos. El método de corrección propuesto también puede aplicarse a los resultados de estos estudios.

Todos los datos generados o analizados durante este estudio, así como los códigos R, se incluyen en este artículo publicado y sus archivos de información complementaria.

Tasa de ataque

Riesgo relativo

Razón de probabilidades

Efectividad de la vacuna

Casos y controles con prueba negativa

síndrome respiratorio agudo severo coronavirus 2

Enfermedad del coronavirus 2019

Sensibilidad

especificidad

Predominio

Prevalencia verdadera

Eguia RT, Crawford KHD, Stevens-Ayers T, Kelnhofer-Millevolte L, Greninger AL, Englund JA, Boeckh MJ, Bloom JD. Un coronavirus humano evoluciona antigénicamente para escapar de la inmunidad de los anticuerpos. Patog de PLoS. 2021;17(4): e1009453.

Artículo CAS PubMed PubMed Central Google Scholar

Volz E, Hill V, McCrone JT, Price A, Jorgensen D, O'Toole A, Southgate J, Johnson R, Jackson B, Nascimento FF, et al. Evaluación de los efectos de la mutación D614G del pico SARS-CoV-2 en la transmisibilidad y la patogenicidad. Celúla. 2021;184(1):64-75 e11.

Artículo CAS PubMed PubMed Central Google Scholar

Chua H, Feng S, Lewnard JA, Sullivan SG, Blyth CC, Lipsitch M, Cowling BJ. El uso de controles de prueba negativa para monitorear la efectividad de la vacuna: una revisión sistemática de la metodología. Epidemiología. 2020;31(1):43–64.

Artículo PubMed PubMed Central Google Académico

Eficacia, efectividad y protección de la vacuna [https://www.who.int/news-room/feature-stories/detail/vaccine-efficacy-efficacy-and-protection].

De Serres G, Skowronski DM, Wu XW, Ambrose CS. El diseño de prueba negativa: validez, exactitud y precisión de las estimaciones de eficacia de la vacuna en comparación con el estándar de oro de los ensayos clínicos aleatorios controlados con placebo. Eurovigilancia. 2013;18(37):20585.

Artículo PubMed Google Académico

Jackson ML, Rothman KJ. Efectos de la sensibilidad y especificidad imperfecta de la prueba en los estudios observacionales de la efectividad de la vacuna contra la influenza. Vacuna. 2015;33(11):1313–6.

Artículo PubMed PubMed Central Google Académico

Habibzadeh F, Habibzadeh P, Yadollahie M. Sobre la medición de la efectividad de la vacuna con diseños de estudios observacionales. Acta Med Acad. 2022;51(2):134–46.

Artículo PubMed PubMed Central Google Académico

Schulz KF, Grimes DA. Estudios de casos y controles: investigación a la inversa. Lanceta. 2002;359(9304):431–4.

Artículo PubMed Google Académico

Sullivan SG, Tchetgen Tchetgen EJ, Cowling BJ. Base teórica del diseño de estudio de prueba negativa para la evaluación de la efectividad de la vacuna contra la influenza. Am J Epidemiol. 2016;184(5):345–53.

Artículo PubMed PubMed Central Google Académico

Jackson ML, Nelson JC. El diseño de prueba negativa para estimar la efectividad de la vacuna contra la influenza. Vacuna. 2013;31(17):2165–8.

Artículo PubMed Google Académico

Habibzadeh F, Habibzadeh P, Yadollahie M. Sobre la determinación del valor de corte de prueba más apropiado: el caso de pruebas con resultados continuos. Biochem Med (Zagreb). 2016;26(3):297–307.

Artículo PubMed Google Académico

Altman DG, Bland JM. Pruebas de diagnóstico. 1: sensibilidad y especificidad. BMJ. 1994;308(6943):1552.

Artículo CAS PubMed PubMed Central Google Scholar

Shi M, An Q, Ainslie KEC, Haber M, Orenstein WA. Una comparación de los diseños de estudio de casos y controles tradicionales y con resultado negativo para la estimación de la eficacia de la vacuna contra la influenza bajo vacunación no aleatoria. BMC Infect Dis. 2017;17(1):757.

Artículo PubMed PubMed Central Google Académico

Habibzadeh F, Habibzadeh P, Yadollahie M. La prevalencia aparente, la prevalencia verdadera. Biochem Med (Zagreb). 2022;32(2): 020101.

Artículo PubMed Google Académico

Orenstein EW, De Serres G, Haber MJ, Shay DK, Bridges CB, Gargiullo P, Orenstein WA. Problemas metodológicos relacionados con el uso de tres diseños de estudios observacionales para evaluar la efectividad de la vacuna contra la influenza. Int J Epidemiol. 2007;36(3):623–31.

Artículo PubMed Google Académico

Hoberman A, Greenberg DP, Paradise JL, Rockette HE, Lave JR, Kearney DH, Colborn DK, Kurs-Lasky M, Haralam MA, Byers CJ, et al. Efectividad de la vacuna inactivada contra la influenza en la prevención de la otitis media aguda en niños pequeños: un ensayo controlado aleatorizado. JAMA. 2003;290(12):1608–16.

Artículo CAS PubMed Google Académico

[ PubMed ] Lewnard JA, Patel MM, Jewell NP, Verani JR, Kobayashi M, Tenforde MW, Dean NE, Cowling BJ, Lopman BA. Marco teórico para estudios retrospectivos de la efectividad de las vacunas contra el SARS-CoV-2. Epidemiología. 2021;32(4):508–17.

Artículo PubMed PubMed Central Google Académico

Gupta RK, Topol EJ. Infecciones revolucionarias de la vacuna COVID-19. Ciencia. 2021;374(6575):1561–2.

Artículo CAS PubMed Google Académico

Vandenbroucke JP, Pearce N. Diseños de prueba negativa: diferencias y puntos en común con otros estudios de casos y controles con controles de "otros pacientes". Epidemiología. 2019;30(6):838–44.

Artículo PubMed Google Académico

Lipsitch M. Medición e interpretación de las asociaciones entre el uso de antibióticos y la resistencia a la penicilina en Streptococcus pneumoniae. Clin Infect Dis. 2001;32(7):1044–54.

Artículo CAS PubMed Google Académico

Bloemenkamp KW, Rosendaal FR, Buller HR, Helmerhorst FM, Colly LP, Vandenbroucke JP. El riesgo de trombosis venosa con el uso de anticonceptivos orales de dosis baja actuales no se explica por la sospecha diagnóstica y el sesgo de derivación. Arch Intern Med. 1999;159(1):65–70.

Artículo CAS PubMed Google Académico

Descargar referencias

No aplica.

Sin apoyo financiero.

Red Global de Virus, Región de Medio Oriente, Shiraz, Irán

Farrokh Habibzadeh

También puede buscar este autor en PubMed Google Scholar

FH ha hecho todo lo relevante desde la concepción de la idea, hasta el diseño, el análisis de datos, la redacción y edición sustancial del manuscrito, y el desarrollo de los códigos informáticos.

Correspondencia a Farrokh Habibzadeh.

Este estudio fue un estudio de metodología que proponía una nueva técnica matemática para la corrección de un índice. No involucró a ningún humano o animal. El conjunto de datos utilizado en el estudio se generó in silico y, por lo tanto, la aprobación ética y la obtención del consentimiento no eran aplicables.

No aplica.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Archivo adicional 1.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/. La renuncia de Creative Commons Public Domain Dedication (http://creativecommons.org/publicdomain/zero/1.0/) se aplica a los datos disponibles en este artículo, a menos que se indique lo contrario en una línea de crédito a los datos.

Reimpresiones y permisos

Habibzadeh, F. Corrección de la efectividad de la vacuna derivada de estudios de casos y controles con pruebas negativas. Método BMC Med Res 23, 137 (2023). https://doi.org/10.1186/s12874-023-01962-0

Descargar cita

Recibido: 25 enero 2023

Aceptado: 03 junio 2023

Publicado: 10 junio 2023

DOI: https://doi.org/10.1186/s12874-023-01962-0

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt