estudio cuasi experimental sin grupo control

An official website of the United States government

The .gov means it’s official. Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

The site is secure. The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

• Publications
• Account settings

Preview improvements coming to the PMC website in October 2024. Learn More or Try it out now .

• Advanced Search
• Journal List
• Aten Primaria
• v.52(6); Jun-Jul 2020

Language: Spanish | English

Estudio cuasi experimental de una intervención sobre el manejo farmacológico del dolor crónico no oncológico en atención primaria

Quasi-experimental study of an intervention on the pharmacological management of non-oncological chronic pain in primary care, juan antonio garcía vicente.

a Instituto Catalán de la Salud, Dirección de Atención Primaria Metropolitana Nord, Badalona

Cristina Vedia Urgell

Roser vallès fernández, dolores reina rodríguez, sara rodoreda noguerola.

b Instituto Catalán de la Salud, Servicio de Atención Primaria Barcelonès Nord i Maresme, Badalona

Daniel Samper Bernal

c Hospital Universitario Germans Trias i Pujol, Badalona

Analizar el impacto de una intervención formativa/informativa sobre el tratamiento del dolor crónico no oncológico en atención primaria.

Diseño

Estudio cuasi experimental antes-después y seguimiento de la cohorte de pacientes.

Emplazamiento

Sesenta y cuatro equipos de atención primaria (770 médicos).

Participantes

Pacientes ≥ 14 años sin diagnóstico oncológico con: 1) fentanilo citrato, 2) opioides mayores y ≥ 2 ansiolíticos-hipnóticos, 3) opioides mayores y menores de forma crónica, 4) lidocaína transdérmica fuera de indicación.

Intervención

Difusión de recomendaciones del tratamiento del dolor crónico no oncológico y facilitación de las incidencias de sus pacientes a cada médico.

Mediciones Principales

Números de incidencias en 2 cortes transversales (junio 2017 y junio 2018). Número de incidencias en junio de 2017 y que se mantienen en junio de 2018 (cohorte prospectiva).

De las 2.465 incidencias detectadas en 2017 se produjo una reducción del 21,1% tras la intervención. La reducción fue superior (61,8%; p ≤ 0,0001) en la cohorte prospectiva. En números absolutos, la reducción más importante fue en incidencias de parches de lidocaína fuera de indicación (1.032 incidencias). La indicación aprobada constaba en menos del 8% de los tratados.

Conclusiones

La intervención redujo el número de pacientes con incidencias y la disminución fue mayor en la cohorte prospectiva, lo que confirma la eficacia de enviar información sobre pacientes con incidencias. La incorporación de nuevos tratamientos durante el año de seguimiento ha sido importante, por lo que estas intervenciones deben perpetuarse en el tiempo.

To analyse the impact of a formative / informative intervention on the treatment of non-oncological chronic pain in Primary Care.

Quasi-experimental study before-after, and follow-up of the patient cohort.

64 Primary Care teams/centres (770 physicians).

Participants

Patients ≥ 14 years without an oncological diagnosis on: 1) fentanyl citrate, 2) major opioids and ≥ 2 anxiolytics-hypnotics, 3) long-term major and minor opioids, 4) transdermal lidocaine, out of indication.

Intervention

Dissemination of recommendations for the treatment of non-oncological chronic pain and the reporting of the incidents of their patients to each doctor.

Main measurements

Number of incidents in 2 cross sections (June 2017 and June 2018). Number of incidents in June 2017, which were maintained in June 2018 (prospective cohort).

Of the 2,465 incidents detected in 2017, there was a 21.1% reduction after the intervention. The reduction was higher (61.8%, p  < .001) in the prospective cohort. In absolute values, the most important reduction was in incidences of lidocaine patches outside of indication (1,032 incidences). The approved indication was found in less than 8% of the treated patients.

Conclusions

The intervention reduced the number of patients with incidences, and this reduction was higher in the prospective cohort, confirming the efficacy of sending information about patients with incidences to their physicians. The incorporation of new treatments during the follow-up year was significant, so these interventions should be perpetuated over time.

Introducción

La presencia de dolor es frecuente y afecta significativamente a la calidad de vida. Según la encuesta de salud de Catalunya realizada en 2014, el 31% de los mayores de 15 años presentaba algún tipo de dolor (el 23,9% de los hombres y el 37,8% de las mujeres) 1 . Datos proporcionados por la iniciativa Pain Proposal indican que la población española presenta una prevalencia de dolor del 17%, similar a la media europea (19%) 2 .

La atención primaria de salud es la puerta de entrada de la mayoría de los pacientes con dolor y donde muchas veces se realiza su seguimiento. Es la segunda causa de consulta en atención primaria 3 , por lo que es fundamental adoptar estrategias adecuadas de tratamiento.

La utilidad de los analgésicos en el dolor crónico no oncológico (DCNO) presenta pocas evidencias 4 . Se postula que los tratamientos no farmacológicos (terapias cognitivo-conductuales o programas de rehabilitación) son la mejor opción en términos de seguridad y eficacia, ya que mejoran calidad de vida y reducen el dolor sin efectos secundarios 3 , 4 .

La estrategia farmacológica de abordaje del DCNO cambia en función del tipo (nociceptivo, neuropático o mixto) y la intensidad 4 . El DCNO nociceptivo leve responde a antiinflamatorios no esteroideos y paracetamol, mientras que dolores más intensos responden a opioides. Fármacos antidepresivos y anticonvulsivantes se reservan para dolores de origen neuropático. Lidocaína transdérmica se emplea en dolores neuropáticos secundarios a infecciones por herpes zóster 5 .

El incremento del uso de opioides mayores en indicaciones no oncológicas en países industrializados es controvertido 6 , por la falta evidente de eficacia, el potencial de abuso, la presencia de efectos adversos y aumento de la mortalidad 7 , 8 . En un estudio realizado en atención primaria 9 , un 3,6% de pacientes no oncológicos tenía prescrito opioides mayores, con un incremento del consumo de fentanilo transdérmico y tramadol, en detrimento de los antiinflamatorios no esteroideos 6 .

En Estados Unidos, el número de muertes atribuibles a opioides supera el de cocaína y heroína, y el número de personas que consumen opioides prescritos supera al de drogas ilegales 10 . En 2010 se notificaron 16.651 muertes relacionadas con opioides en dicho país 11 .

En el Ámbito de la Región Sanitaria de Barcelona, CatSalut elaboró un documento en 2016 con recomendaciones sobre el abordaje del DCNO 4 . En dicho documento se aborda los problemas de eficacia y seguridad de los opioides a largo plazo y destaca la necesidad de compartir decisiones con el paciente y valorar el riesgo de abuso o dependencia 4 .

Un problema añadido es el uso concomitante de benzodiacepinas 8 . En un estudio realizado en atención primaria 9 , 2 de cada 3 pacientes tratados con opioides mayores tomaban simultáneamente benzodiacepinas. Esta combinación aumenta el riesgo de muerte, que puede ser hasta 10 veces superior a los tratados únicamente con opioides 7 .

Otro aspecto a considerar es la prescripción de opioides mayores de acción ultrarrápida en DCNO. Su consumo ha aumentado, así como el riesgo de reacciones adversas, conductas de abuso e intoxicaciones 12 .

Con el fin de conocer el perfil de utilización de estos fármacos en pacientes con DCNO, se realizó un análisis del uso de opioides y lidocaína transdérmica en pacientes con DCNO en la Dirección de Atención Primaria de la Metropolitana Nord 13 , en el que se detectaron aspectos de mejora relacionados con la eficacia y seguridad. Por ello, se decidió llevar a cabo una intervención para mejorar el uso de opioides mayores y parches de lidocaína en pacientes con DCNO. El objetivo del estudio es analizar el impacto de esta intervención.

Material y métodos

Diseño y ámbito.

Estudio cuasi experimental antes y después. Se realizó una intervención a los médicos de familia de la Dirección de Atención Primaria Metropolitana Nord del Institut Català de la Salut, que consta de 64 equipos de atención primaria, 770 médicos de familia y una población de 1.131.315 personas ≥ 14 años.

Sujetos de estudio

Se incluyeron pacientes ≥ 14 años sin diagnóstico oncológico, adscritos a los 64 equipos de atención primaria y que tuvieran prescripción activa en la historia clínica informatizada (ECAP) con alguna de las siguientes incidencias:

• - Fentanilo citrato (nasal, sublingual u oral transmucosa).
• - Opioides mayores durante más de 3 meses y uso concomitante de 2 o más fármacos ansiolíticos o hipnóticos durante más de 3 meses.
• - Lidocaína transdérmica fuera de indicación.
• - Opioides mayores y menores prescritos de forma crónica y concomitante.

Farmacéuticos y farmacólogos de la Dirección de Atención Primaria difundieron las recomendaciones del documento elaborado por el departamento de Salud de la Generalitat de Catalunya Abordaje del dolor crónico no oncológico 4 en una sesión formativa presencial en cada equipo de atención primaria, entre junio 2017 y abril 2018 ( fig. 1 ). Durante este período se facilitó a cada médico de familia la información de sus pacientes con alguna incidencia, de forma homogénea con una explotación de datos centralizada.

Cronograma del estudio.

Los datos se extrajeron de forma encriptada de los registros de la historia clínica informatizada (ECAP). Para evaluar la intervención se realizaron 2 cortes transversales antes (junio 2017) y después (junio 2018). Además se llevó a cabo un estudio de seguimiento prospectivo de la cohorte inicial de pacientes (junio 2017) y se analizó cómo varió el número de incidencias en esta cohorte.

Las variables principales del estudio fueron el número de incidencias:

• - En el momento basal (junio 2017) y después de la intervención (junio 2018).
• - En la cohorte inicial de junio de 2017 y el número de incidencias en dicha cohorte que continuaban en junio de 2018.

Las variables secundarias fueron edad y sexo de los pacientes; diagnósticos relacionados con las prescripciones (incluye la ausencia de diagnóstico); duraciones del tratamiento analgésico en cada tipo de incidencia y de los ansiolíticos-hipnóticos; principios activos de opioides mayores, opioides menores y ansiolíticos-hipnóticos.

Plan de análisis

Análisis descriptivo, con frecuencias para las variables cualitativas y medias y desviaciones estándar para las variables continuas, para conocer la evolución de las variables en ambos cortes transversales y en la cohorte de seguimiento (prospectiva).

Análisis bivariante mediante la prueba Chi-cuadrado en el caso de la comparación entre variables cualitativas y de la prueba t de Student para la comparación de medias independientes en los cortes transversales. También se calculó la variación porcentual del número de incidencias de un año respecto al anterior en los 2 tipos de estudios, y se comparó la variación en el estudio de la cohorte prospectiva respecto a la variación en ambos cortes transversales.

Se consideró estadísticamente significativos los valores de p < 0,05.

El procesamiento y análisis de los datos se realizaron mediante el paquete estadístico SPSS v15.0.

Aspectos éticos

El proyecto fue aprobado por el Comité de Ética de Investigación (CEI) de la IDIAP Jordi Gol.

En junio de 2017 se detectaron 2.465 incidencias, siendo la más frecuente el uso de parches de lidocaína fuera de indicación ( tabla 1 ). Con la intervención realizada se observó una reducción de incidencias del 21,1%. La menor reducción fue en el número de incidencias de fentanilo rápido.

Número de pacientes con incidencias de prescripción, en los cortes transversales y en el seguimiento de la cohorte inicial (prospectiva), de junio de 2017 y 2018

*/** Significación estadística de la reducción de incidencias en el estudio de cohortes respecto al transversal.

Como se puede observar en la tabla 1 , la reducción en 2018 de incidencias en la cohorte prospectiva fue superior (61,8%). Las reducciones de cada una de las 4 incidencias también fueron estadísticamente significativas.

El número de incidencias con mujeres fue superior en los 4 tipos. El porcentaje de mujeres en el grupo con fentanilo rápido fue inferior respecto a los grupos de opioides potentes con 2 o más ansiolíticos-hipnóticos (p < 0,0001), uso concomitante de opioides mayores y menores (p = 0,015) y lidocaína (p < 0,0001) ( tabla 2 ).

Distribución por sexos, media de edad y duración de los tratamientos, de los 4 grupos de pacientes según el tipo de incidencia, en junio de 2017 y 2018

La media de edad de los hombres fue estadísticamente inferior a la de las mujeres en los cuatros tipos de incidencias ( tabla 2 ).

Los pacientes con fentanilo rápido presentaron una media de edad menor respecto a los grupos de opioides potentes con 2 o más ansiolíticos-hipnóticos (p < 0,0001), uso concomitante de opioides mayores y menores (p = 0,03) y de lidocaína (p < 0,0001).

Los tratamientos con ansiolíticos o hipnóticos y con opioides menores fueron los más prolongados y los primeros mostraron una tendencia a disminuir en 2018, respecto a 2017 (p = 0,094 y p = 0,596), al igual que con las formas rápidas de fentanilo (p = 0,236).

Los diagnósticos asociados a especialidades de fentanilo de acción rápida aparecen en la tabla 3 . Más de la mitad de los diagnósticos eran de patología osteomuscular y un elevado porcentaje no tenían diagnóstico asociado. En la cohorte prospectiva se observó un menor porcentaje de pacientes sin diagnóstico asociado a prescripción (p = 0,0004).

Descripción de los diagnósticos asociados a la prescripción de formas rápidas de fentanilo en 2017 y 2018

Los diagnósticos asociados a lidocaína transdérmica fueron mayoritariamente de patología osteomuscular ( tabla 4 ). En 2018 se redujo el porcentaje de tratamientos sin diagnóstico relacionado al 11,7% (p < 0,0001). El tratamiento se empleó para la única indicación aprobada (neuralgia postherpética) en un 3,7% en 2017. Se detectó un incremento en 2018 (7,6%) (p < 0,0001).

Descripción de los diagnósticos asociados a la prescripción de parches de lidocaína en 2017 y 2018. Se incluyen los diagnósticos de la cohorte prospectiva

En pacientes tratados con opioides mayores y 2 o más ansiolíticos-hipnóticos, la lumbalgia representó el porcentaje más importante (18,3% en 2017 y 16,3% en 2018), seguido de los problemas del disco intervertebral (8% en 2017 y 5,2% el 2018).

En 2017, el 48,2% de los pacientes tratados con un opioide mayor y menor de forma concomitante no tenía asociado diagnóstico a la prescripción del opioide menor. Este porcentaje se redujo al 22,6% en 2018. En la misma línea, en 2017 no constaba diagnóstico asociado al opioide mayor en el 13,5% de los pacientes, reduciéndose al 6,5% en 2018.

Los opioides mayores más prescritos con 2 o más ansiolíticos-hipnóticos o con opioides menores fueron fentanilo transdérmico y buprenorfina ( Figura 2 , Figura 3 ). En ambos grupos destaca la escasa prescripción de morfina. El opioide menor empleado fue tramadol en todos los pacientes en 2017 y 2018.

Número de pacientes a los que se ha prescrito opioides mayores concomitantemente con 2 o más benzodiazepinas en 2017, 2018 y en la cohorte prospectiva.

Número de pacientes a los que se ha prescrito opioides mayores concomitantemente con opioides menores en 2017, 2018 y en cohorte prospectiva.

Los ansiolíticos-hipnóticos más prescritos con opioides mayores fueron diazepam, lorazepam, alprazolam y lormetazepam, este último se incrementó en 2018 (p < 0,0001).

Discusión

La intervención basada en sesiones formativas para profesionales sanitarios con posterior retroalimentación de su propia prescripción ha reducido el número de incidencias. Las reducciones de incidencias se han producido especialmente en la cohorte prospectiva (más de la mitad). En los cortes transversales de junio de 2017 y 2018 se ha reducido aproximadamente en una quinta parte, debido a la incorporación de nuevos pacientes con incidencias entre ambos cortes. Estos resultados indican que se ha realizado una revisión de las incidencias enviadas, pero el mensaje no se ha interiorizado suficientemente en la práctica clínica habitual ya que han aparecido nuevas incidencias.

La eficacia de las intervenciones para mejorar la prescripción de medicamentos en atención primaria ha sido un tema ampliamente abordado. Se han analizado intervenciones educativas, alertas informáticas, incorporación de expertos en el medicamento, retroalimentación de la prescripción, etc. Según Zavala-González et al., las intervenciones informáticas son las más efectivas 14 . Magrini et al. consideran que la intervención focalizada en un solo fármaco tendría un impacto más relevante a largo plazo 15 . Otros autores consideran que las intervenciones con retroalimentación pueden mejorar resultados 16 . La mayor parte de los estudios realizados han incidido en la prescripción de antibióticos, antidiabéticos o novedades terapéuticas 15 , 16 , 17 . No hay estudios de este tipo en pacientes con DCNO. Sí se dispone de algunos ensayos clínicos para reducir el uso de opioides con un número reducido de pacientes, en los que se realizaron intervenciones psicológicas o de otros tipos 18 .

Las formulaciones de fentanilo de liberación ultrarrápida en pacientes no oncológicos presentan una relación beneficio riesgo desfavorable, habiéndose duplicado en España el consumo en 2016, respecto a 2010. También ha aumentado las notificaciones de casos de abuso y/o dependencia a nivel mundial en pacientes fuera de indicación (dolor disruptivo oncológico) 19 .

Diferentes autoridades sanitarias 20 , 21 y algunos organismos internacionales 22 han alertado del problema del uso excesivo de opiáceos en los últimos años, especialmente las formulaciones de liberación rápida. En España, diversas sociedades científicas 23 y organismos sanitarios 2 , 4 han elaborado recomendaciones de uso. Teniendo en cuenta que no hay evidencias sobre la existencia de dolor disruptivo en el DCNO 24 , resulta difícil justificar este tipo de fármacos en pacientes no oncológicos. Por ello la reducción a casi la mitad de la cohorte prospectiva de pacientes con estas formas puede considerarse como algo positivo, pero resulta preocupante el mantenimiento en los ya tratados y la incorporación de nuevos tratamientos, por lo que debe ser considerado en el futuro como un problema de salud grave.

En 2016, la Food and Drug Administration (FDA) 25 alertó, en base a diversos estudios 7 , 26 , de los graves efectos adversos de la toma conjunta de opioides y benzodiacepinas, como depresión respiratoria, somnolencia extrema, coma o incluso muerte. Las reducciones observadas en nuestro estudio han sido importantes, pero insuficientes, dado el elevado número de pacientes que continúan tomando opioides mayores con 2 o más ansiolíticos-hipnóticos, especialmente en mujeres de edad avanzada.

En la escala analgésica de la OMS no se recomienda el uso concomitante de opioides mayores y menores. No hay evidencias suficientes de un supuesto efecto aditivo, sinérgico o de rescate, siendo la bibliografía escasa y controvertida (con modelos experimentales, o en pacientes oncológicos con tamaños muestrales muy reducidos o en pacientes con DCNO sin mejora concluyente de la actividad analgésica) 27 , 28 , 29 , 30 . El número de estas incidencias fue uno de los que más se redujo tras la intervención. El paciente tipo es mujer cercana a 70 años tratada con tramadol a largo plazo. La idea de usar el opioide menor como rescate del mayor quedaría en entredicho, dado que la duración media del menor es casi el doble de la del mayor.

El análisis de la prescripción de lidocaína en parches indica un uso indiscriminado para tratar cualquier tipo de dolor. La única indicación autorizada es la neuralgia postherpética, con resultados de eficacia modestos 31 . De hecho, distintas guías de práctica clínica 32 , 33 no la consideran como tratamiento de primera línea. En otros tipos de neuropatía periférica la evidencia científica es inconsistente.

Los pacientes tipo tratados con lidocaína son mujeres de unos 70 años, con más de un año de tratamiento por dolores osteomusculares. Pocos pacientes la tienen indicada para la indicación aprobada.

En nuestro estudio, el notable descenso de incidencias con lidocaína transdérmica posiblemente también se deba a medidas restrictivas en la prescripción llevadas a cabo por las autoridades sanitarias (asociación del diagnóstico a la prescripción y validación sanitaria).

Este estudio presenta diversas limitaciones, como la pérdida de incidencias entre pacientes oncológicos que también presenten dolores no relacionados con su proceso neoplásico. Se han excluido de forma sistemática para asegurar que el dolor no esté relacionado con un proceso oncológico.

Otra limitación del estudio es la falta de registro de diagnóstico relacionado con la prescripción o la presencia de diagnósticos poco verosímiles.

Paralelamente, los médicos recibieron información institucional relacionada con diferentes incidencias del uso de opioides y de lidocaína transdérmica sin diagnóstico correctamente asociado, que podría haber contribuido a la reducción de incidencias, independientemente de nuestra intervención.

Por otra parte, el estudio no es un ensayo clínico aleatorizado y carece de grupo control. La falta de este grupo es una limitación metodológica que puede generar dudas sobre la reducción del número de incidencias debidas a causas externas a la intervención, como fallecimientos, desplazamientos a otras zonas fuera del ámbito de estudio o recomendaciones institucionales sobre el uso de lidocaína transdérmica, especialmente en el seguimiento de la cohorte prospectiva. La razón por la que no se consideró la realización de un estudio con el diseño de un ensayo clínico fue de tipo ético, ya que de haberse realizado con esta metodología habría comportado no hacer una revisión de la medicación a un grupo de pacientes con prescripciones potencialmente peligrosas. La realización de un ensayo clínico con asignación aleatoria proporciona evidencias más concluyentes, pero en este caso se priorizaron los beneficios potenciales de aplicar una estrategia de mejora de prescripción a toda la población del territorio estudiado. En relación con el propio diseño, el estudio se ha analizado sin tomar como base al individuo, con la excepción de la cohorte prospectiva, por lo que una parte del estudio se asemeja más a una investigación con diseño de tipo ecológico.

Finalmente, otra limitación es la imposibilidad de asegurar que toda la medicación que consta en prescripción activa posteriormente se dispense y se consuma.

La intervención contribuye a la reducción del número de pacientes con incidencias de prescripción, excepto en el total de las de fentanilo rápido. El seguimiento de la cohorte prospectiva mostró una mayor reducción de incidencias en 4 grupos de incidencias, incluida la de fentanilo rápido. No obstante, la incorporación de nuevas incidencias durante el año de seguimiento justifica la implementación de este tipo de medidas, mantenidas en el tiempo.

Lo conocido sobre el tema

• • En los últimos años se está produciendo un incremento del uso de opioides mayores en indicaciones no oncológicas en detrimento del uso de antiinflamatorios no esteroideos, con el consiguiente aumento de muertes atribuibles a opioides.
• • El uso concomitante de opioides y benzodiacepinas y la prescripción de opioides mayores de acción ultrarrápida en dolor crónico no oncológico aumenta el riesgo de reacciones adversas, conductas de abuso, intoxicaciones y mortalidad.
• • La utilización de lidocaína en parches resulta indiscriminada para tratar cualquier tipo de dolor, fuera de la indicación aprobada por ficha técnica.

Qué aporta este estudio

• • Una intervención consistente en la difusión de recomendaciones y en la facilitación de incidencias concretas de pacientes a cada médico de atención primaria reduce el número de incidencias de prescripción. Esta intervención debe mantenerse en el tiempo, ya que resulta más efectiva en la cohorte de pacientes que se sigue desde el inicio y a lo largo del tiempo se incorporan nuevos casos.
• • La utilización de formulaciones de fentanilo de liberación ultrarrápida en pacientes no oncológicos y la administración conjunta de opioides y benzodiacepinas deben ser considerados como graves problemas de salud.
• • Menos del 10% de los pacientes tratados con parches de lidocaína lo hacen para la indicación autorizada.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses

Bibliografía

Investigación Cuasi experimental: Definición y Diseños

Introducción

La investigación cuasi experimental proviene del ámbito educativo, donde la investigación de ciertos fenómenos no podía llevarse a cabo siguiendo los procedimientos experimentales (Campbell y Stanley, 1966).

En las últimas décadas, han adquirido gran protagonismo en la investigación aplicada.

Características de los Diseños Cuasi experimentales

Se utilizan en situaciones en las que no se pueden asignar aleatoriamente los sujetos a las distintas condiciones.

Menor grado de control sobre los efectos de la VVEE que en los diseños experimentales.

Quien investiga puede… (Recordar el Principio MAX-MIN-CON, tema 3)

–  MAXimizar las diferencias en la VI (la varianza sistemática primaria).

–  MINimizar la varianza error.

Quien investiga no puede controlar la varianza sistemática secundaria causada por las amenazas a la validez interna.

El personal investigador no tiene recursos para controlar la formación de los grupos. La regla de asignación de los sujetos a los grupos no es aleatoria y, en la mayoría de los casos, no es conocida. Una de las principales tareas de quien investiga es identificar las posibles amenazas a la validez interna para tenerlas en cuenta o neutralizarlas. Tendrá que separar por otros medios los efectos debidos a la VI de los debidos a las VVEE que pueden influir en la VD (cuantos más factores extraños se descarten, mayor validez tendrá el estudio).

Mide los efectos del tratamiento sobre la VD (puede haber uno o más tratamientos).

Comparte la lógica del paradigma experimental que implica que, para poder establecer relaciones causales, se tienen que cumplir las siguientes condiciones:

1)  La VI debe anteceder a la VD.

2)  Debe existir covariación entre las variables.

3)  Se deben poder descartar explicaciones alternativas. (Este es el punto que más problemas plantea en este contexto, pero es crucial para poder establecer inferencias causales)

La investigación se lleva a cabo en situaciones donde suele darse de forma natural la conducta objeto de estudio, por eso suele tener mayor validez externa (aunque, como hemos visto, si validez interna sea más débil)

Son de gran utilidad en la evaluación de programas de intervención psicológica o social, para mejorar su planificación y control.

Sirven para evaluar la efectividad y eficacia de los programas en diversos ámbitos: salud, educación, bienestar y otros servicios sociales.

Clasificación de los Diseños Cuasi experimentales

Diseños pre-experimentales:

a) De un solo grupo, sólo con medida postest. b) Sólo con medida postest, con grupo de control no equivalente. c) De un solo grupo con medidas pretest+postest..

Diseños cuasi experimentales:

a) Con grupo de control:

– Con grupo de control no equivalente…

o Pretest+postest.

o Cohortes.

– Discontinuidad en la regresión.

b) Sin grupo de control:

– Tratamiento repetido.

– Retirada de tratamiento con pretest+postest. c) De series temporales interrumpidas:

– Simple.

– Con grupo de control con equivalente.

Diseños Pre-experimentales

Sirven para aproximarse al fenómeno que se investiga (para generar hipótesis), sin olvidar que, en la interpretación de los datos, pueden existir numerosas VVEE que llevarían a una atribución errónea del efecto de la VI sobre la VD.

No suelen permitir establecer inferencias causales razonables. Ver ejemplos excepcionales del Curso Virtual Representan los módulos básicos a partir de los que se configuran el resto de los diseños cuasi experimentales.

• a)  Diseños de un solo grupo, sólo con medida postest: X O – Carece de control, por lo que no se pueden extraer inferencias causales.
• b)  Diseños sólo con medida postest, con grupo de control no equivalente:- Sin pretest, no podemos saber si las diferencias entre los grupos (postest) se deben al tratamiento o a la selección diferencial (grupos no equivalentes).- Los resultados obtenidos no son interpretables en términos de causalidad.
• c)  Diseños de un solo grupo con medidas pretest+postest: O1 X O2- No podemos asegurar que los cambios (postest) se deban al efecto del tratamiento. – Existen numerosas amenazas a la validez interna: historia, regresión estadística, maduración, administración de test, instrumentación… Cuantas más descartemos, más podremos considerar que el diseño es interpretable (muy difícil). – Útil para sugerir hipótesis de cara a futuras investigaciones. (Más “rigurosas”)

Diseños Cuasi-experimentales con Grupo de Control

Diseños de grupo de control no equivalente.

• La regla de asignación a los grupos no es conocida porque se trabaja con grupos ya formados.
• Aunque se trabaja con grupos ya formados, quien investiga tratará de seleccionar grupos lo más equivalentes posible, intentando que no influyan VVEE que pongan en peligro una interpretación unívoca de los resultados.
• LÓGICA: Si el tratamiento a tenido efecto, las diferencias entre los grupos (postest) serán mayores que las que pudieran existir inicialmente entre ellos (pretest).

Diseño pretest-postest con grupo de control no equivalente

Uno de los más utilizados en Ciencias Sociales.

Similar al diseño experimental de dos grupos aunque, aquí, los grupos ya están formados (no poseen la equivalencia inicial que se obtiene al asignar aleatoriamente los sujetos a los grupos). La medida pretest nos indicará las diferencias existentes antes de introducir el tratamiento.

La asignación del tratamiento a uno u otro grupo es controlada por el personal investigador.

Podemos encontrar diversos patrones de resultados sobre los que hay que analizar las AMENAZAS A LA VALIDEZ INTERNA

Diseño de cohortes

COHORTE: Grupo de personas que pertenecen a algún tipo de institución (formal o informal) sometidos, durante un período de tiempo, a las mismas circunstancias. Van cambiando de un nivel a otro en dichas instituciones. Muy útil en investigaciones del ámbito educativo. Primera promoción de estudiantes que vive una reforma educativa

–  Poder estudiar cómo un determinado acontecimiento afecta a un grupo (cohorte experimental) y compararlo con otro que no vivió dicho acontecimiento (cohorte de control).

–  Grupos fácilmente comprables, aunque no se llegue a la equivalencia conseguida con la aleatorización (no se puede descartar definitivamente la amenaza de selección). Permite establecer inferencias causales razonables (siempre evaluando si existen efectos de VVEE que interfieran en los resultados).

Diseños de discontinuidad en la regresión

VENTAJA: Permite estables hipótesis causales con más garantías porque la regla de asignación a los grupos es conocida (alto grado de validez interna). Las personas van a un grupo u otro en función del pretest (C = Puntuación de corte a partir de la que unas personas se asignan al grupo de control y otras al grupo experimental).

Su nombre viene de calcular una recta de regresión a partir de las puntuaciones obtenidas (pretest+postest).

Fig. (a): Tratamiento sin efecto. Fig. (b): Tratamiento con efecto (discontinuidad a partir del punto de corte “C”).

Como medida pretest, debe poder aplicarse una variable continua (en función de la que se formarán los grupos).

En la práctica, se utiliza poco porque la asignación a las condiciones no siempre se puede hacer de acuerdo a un único criterio. Suele utilizarse en…

• –  Educación: Para valorar sistemas educativos.
• –  Medicina: Para probar la efectividad de un medicamento. Conocer la regla de asignación permite descartar algunas AMENAZAS a la validez interna, otras como la interacción entre tratamiento y maduración, no.

Diseños cuasi-experimentales sin grupo de control

A veces no es posible disponer de un grupo de control (por razones prácticas y/o éticas). Tratamiento médico

Tienen menos potencia para justificar inferencias causales que los diseños con grupo de control (menor validez interna). Algunos son más aconsejables como parte de diseños más complejos que como diseños independientes.

Diseño de retirada del tratamiento con pretest y postest O1 X O2 O3 X O4

Con la retirada del tratamiento, quien investiga, trata de crear unas condiciones que ejerzan la función del grupo de control. Secuencia experimental: O1 X O2 // Secuencia de control: O3 X O4 (Vigilancia policial en barrio conflictivo)

Sólo puede aplicarse cuando el efecto inicial del tratamiento es transitorio.

Tratamiento efectivo: diferencias entre O1 y O2 en dirección opuesta a las diferencias entre O3 y O4.

Posibles efectos del tratamiento entre O2 y O3 (aunque siga presente):

• Incremento.
• Mantenimiento.
• Disminución.

Tras la retirada del tratamiento debe haber un cambio apreciable.

PROBLEMAS que presenta:

Se necesitan muestras grandes y medidas muy fiables.

A veces, la retirada del tratamiento puede plantear problemas éticos y/o frustración.

Puede producirse una alta mortalidad experimental.

Las observaciones deben hacerse a intervalos de tiempo iguales para controlar posibles cambios lineales espontáneos que tengan lugar dentro de un período de tiempo dado.

Diseño de tratamiento repetido O1 X O2 X O3 X O4

Se dispone de un único grupo en el que el personal investigador introduce, retira y vuelve a introducir el

tratamiento, en diferentes momentos. La aplicación del tratamiento tiene que correlacionar con cambios en la VD. Sólo puede aplicarse cuando el efecto inicial del tratamiento es transitorio. Resultados más interpretables:

–  O1 difiere de O2.

–  O3 difiere de O4.

–  O3 – O4 difieren en la misma dirección que O1 – O2.

–  Maduración cíclica (diferencias por el momento de registro y no por el efecto del tratamiento): Posible.

–  Historia: Poco probable. Sería mucha casualidad que un suceso externo produjera el mismo cambio que la introducción, retirada y reintroducción del tratamiento.

Diseños de Series Temporales Interrumpidas

Toman varias medidas de la VD, antes y durante el tratamiento. Se realizan registros periódicos.

Para su análisis hay que saber en qué momento se introduce el tratamiento. Si es efectivo, las observaciones posteriores mostrarán un cambio en la serie.

Frecuentes en:

–  Estudios sociales.

–  Estudios educativos.

–  Estudios sanitarios.

–  Evaluación de programas.

Diseño SIMPLE de serie temporales interrumpidas

O1 O2 O3 O4 O5 X O6 O7 O8 O9 O10 (Metadona)

• –  Requiere un solo grupo.
• –  Es similar al diseño pretest-postest, pero se toman varias medidas antes y después de introducir el tratamiento.
• –  El efecto del tratamiento se aprecia por la variación de la tendencia de la VD. Si el tratamiento es efectivo, dicha tendencia cambiará.

Posibles AMENAZAS a la validez interna:

–  Maduración: Se puede controlar evaluando la tendencia pretratamiento (representando las observaciones

anteriores al mismo).

–  Cambios cíclicos: El estudio de la serie temporal permite detectar y controlar su efecto (ventaja respecto a un

diseño pretest-postest en el que podría darse de forma encubierta).

–  Regresión estadística: Puede controlarse estudiando la tendencia pre.

–  Instrumentación: Se puede controlar utilizando siempre el mismo procedimiento de registro.

–  HISTORIA: Es la amenaza más difícil de controlar. Podría hacerse…

o Acortando los intervalos temporales entre las medidas. o Aumentando el número de observaciones. o Midiendo simultáneamente las VVEE que pudieran influir en la VD, antes y después del tratamiento. o Evaluandoelefectodelaretiradadeltratamiento(sólosiésteesreversible).

Diseño de serie temporales interrumpidas CON GRUPO DE CONTROL NO EQUIVALENTE

Añadir un grupo de control es la mejor forma de controlar las amenazas a la validez interna.

Punto fuerte = Principal dificultad: Encontrar un grupo de control lo más semejante posible al experimental.

Biogeosfera

Diseño cuasi experimental: Una guía completa para entender su importancia en la investigación

Qué es el diseño cuasi experimental y por qué es importante en la investigación.

El diseño cuasi experimental es una metodología utilizada en la investigación para validar hipótesis y examinar el impacto de una intervención o tratamiento en un grupo de estudio. A pesar de que no es considerado un diseño experimental completamente aleatorizado, es una alternativa válida cuando no es posible asignar aleatoriamente a los participantes a diferentes grupos.

Este tipo de diseño es importante en la investigación porque permite evaluar el efecto de una intervención o tratamiento en condiciones reales, donde es difícil controlar todas las variables. Al permitir la comparación de un grupo que recibe el tratamiento con otro grupo de control, se pueden obtener conclusiones más sólidas sobre la eficacia y eficiencia de la intervención.

En el diseño cuasi experimental, se utilizan diferentes estrategias para asignar a los participantes a los grupos, como el muestreo por conveniencia o la asignación mediante criterios preestablecidos. Aunque esto puede limitar la generalización de los resultados, este diseño ofrece la posibilidad de realizar estudios en situaciones donde la asignación aleatoria no es posible o ética.

Características del diseño cuasi experimental:

• No hay asignación aleatoria: A diferencia del diseño experimental, en el diseño cuasi experimental no se asignan aleatoriamente a los participantes a los grupos de estudio. Esto puede afectar la validez interna del estudio.
• Grupos de control: A pesar de no haber una asignación aleatoria, es importante contar con un grupo de control que no reciba el tratamiento, para poder comparar los resultados y evaluar el impacto del mismo.
• Variables confusas: En el diseño cuasi experimental, es necesario tener en cuenta y controlar las variables confusas, aquellas que pueden influir en los resultados y no están relacionadas con la intervención.

En resumen, el diseño cuasi experimental es una herramienta importante en la investigación, ya que permite evaluar el efecto de una intervención o tratamiento en situaciones donde la asignación aleatoria no es posible. A pesar de sus limitaciones, este diseño ofrece la posibilidad de obtener conclusiones válidas y aplicables en contextos reales.

Principales características y elementos del diseño cuasi experimental

Características del diseño cuasi experimental

El diseño cuasi experimental es una metodología de investigación que se utiliza en estudios en los que no es posible asignar aleatoriamente sujetos a grupos de control y de tratamiento. A diferencia del diseño experimental tradicional, en el cuasi experimental los sujetos ya tienen características preexistentes que los diferencia y que influyen en el resultado del estudio.

Una de las características principales del diseño cuasi experimental es que se utiliza cuando no es ético o practicable asignar aleatoriamente a los sujetos. Esto puede ocurrir cuando se tratan de estudiar determinadas intervenciones o situaciones en las que no es posible controlar todas las variables, como en estudios sobre adicciones, trastornos mentales o ciertos fenómenos sociales.

Elementos del diseño cuasi experimental

En el diseño cuasi experimental, se utilizan diferentes elementos para llevar a cabo el estudio. Uno de los elementos fundamentales es la selección de los sujetos. En este tipo de diseño, los sujetos a menudo se seleccionan de forma no aleatoria, lo que significa que pueden haber diferencias significativas entre los grupos de control y de tratamiento.

Otro elemento importante es la intervención o tratamiento que se aplica a los sujetos. En el diseño cuasi experimental, no hay un control total sobre la aplicación del tratamiento, lo que puede afectar los resultados del estudio. Por lo tanto, es necesario tener en cuenta estas limitaciones al interpretar los resultados.

Importancia del diseño cuasi experimental

El diseño cuasi experimental es una herramienta fundamental en la investigación científica, especialmente en aquellos casos en los que no es ético o práctico llevar a cabo estudios experimentales tradicionales. A pesar de sus limitaciones, este tipo de diseño permite obtener información valiosa sobre la efectividad de ciertas intervenciones o la relación entre variables en situaciones del mundo real. Es importante que los investigadores sean conscientes de las características y elementos de este diseño para poder llevar a cabo estudios rigurosos y evitar sesgos o interpretaciones erróneas en los resultados.

Ventajas y desventajas del diseño cuasi experimental en comparación con otros diseños de investigación

Ventajas del diseño cuasi experimental:.

• Flexibilidad: A diferencia de las investigaciones experimentales, el diseño cuasi experimental permite la manipulación de variables en situaciones donde no es ético o práctico asignar aleatoriamente a los participantes en los grupos de estudio. Esto otorga flexibilidad en el diseño de estudios y la capacidad de estudiar fenómenos en situaciones del mundo real.
• Aplicabilidad: El diseño cuasi experimental se utiliza con mayor frecuencia en estudios de investigación social y de comportamiento, lo que permite un mayor grado de aplicabilidad a situaciones cotidianas en comparación con los diseños experimentales tradicionales. Esto significa que los resultados obtenidos pueden ser más fácilmente extrapolables y aplicables a la población en general.
• Estudio de variables temporales: En algunos casos, el diseño cuasi experimental permite el estudio de variables temporales, lo que significa que se pueden analizar los efectos a lo largo del tiempo. Esto proporciona una perspectiva más completa y ayuda a comprender cómo las variables pueden influir entre sí en diferentes momentos.

Desventajas del diseño cuasi experimental:

• Falta de control: A diferencia de los diseños experimentales, el diseño cuasi experimental carece de control total sobre las variables y puede haber factores de confusión no identificados que puedan sesgar los resultados. Esto puede limitar la capacidad de establecer una relación causal clara.
• Posibles sesgos de selección: En el diseño cuasi experimental, el investigador puede tener limitaciones en la selección y asignación de participantes a los grupos de estudio. Esto puede conducir a posibles sesgos de selección que afecten los resultados y la generalización de los hallazgos a la población objetivo.
• Dificultad en la replicación: Debido a la naturaleza específica y única de cada situación de estudio, el diseño cuasi experimental puede ser difícil de replicar o repetir con el mismo grado de control y validez en diferentes contextos. Esto puede comprometer la confiabilidad de los resultados obtenidos.

En resumen, el diseño cuasi experimental ofrece flexibilidad y aplicabilidad en la investigación cuando no es posible asignar aleatoriamente a los participantes o cuando se estudian variables temporales. Sin embargo, debido a la falta de control total y los posibles sesgos de selección, así como a la dificultad en la replicación, es importante considerar estas limitaciones al interpretar los resultados de estudios que utilizan este tipo de diseño de investigación.

Aplicaciones y ejemplos prácticos del diseño cuasi experimental en diferentes campos de estudio

El diseño cuasi experimental es una metodología utilizada en diversos campos de estudio para investigar el efecto de una variable independiente sobre una variable dependiente. A diferencia del diseño experimental tradicional, en el diseño cuasi experimental no se asignan al azar los participantes a los grupos de estudio, sino que se basa en asociaciones preexistentes o en la asignación no aleatoria de los grupos.

Una de las aplicaciones más comunes del diseño cuasi experimental es en la evaluación de programas o intervenciones en el campo de la educación. Por ejemplo, se puede utilizar este diseño para evaluar el impacto de un programa de tutoría en el rendimiento académico de los estudiantes. En este caso, se formarían dos grupos de estudiantes, uno que recibe la tutoría y otro que no, y se compararían sus resultados académicos después de cierto período de tiempo.

Otro campo en el que se utiliza el diseño cuasi experimental es en la investigación en psicología. Por ejemplo, se puede utilizar este diseño para investigar el efecto de la exposición a un estímulo en el comportamiento de los sujetos. Se formarían dos grupos, uno expuesto al estímulo y otro no, y se medirían las diferencias en su comportamiento.

En resumen, el diseño cuasi experimental es una herramienta valiosa en diferentes campos de estudio para investigar el efecto de una variable independiente en una variable dependiente. Aunque no permite establecer relaciones causales con la misma certeza que el diseño experimental tradicional, el diseño cuasi experimental ofrece la posibilidad de realizar investigaciones éticas y prácticas en situaciones en las que la asignación aleatoria no es posible o ética.

Consideraciones éticas y metodológicas al utilizar el diseño cuasi experimental en investigaciones

Consideraciones éticas.

Al utilizar el diseño cuasi experimental en investigaciones, es fundamental tener en cuenta diversas consideraciones éticas para asegurar que el estudio se realice de manera responsable y respetuosa hacia los participantes. Es primordial obtener el consentimiento informado de los sujetos involucrados, explicándoles claramente el propósito de la investigación y cualquier posible riesgo o beneficio asociado. Además, se debe garantizar la confidencialidad y privacidad de la información recopilada, protegiendo la identidad de los participantes.

Metodología rigurosa

La aplicación del diseño cuasi experimental requiere seguir una metodología rigurosa para obtener resultados válidos y confiables. Es esencial identificar y controlar las variables extrañas que puedan influir en los resultados, utilizando técnicas como el emparejamiento de grupos o el análisis de covarianza. También se debe considerar el tamaño de muestra adecuado para generar conclusiones estadísticamente significativas y evitar sesgos. Una cuidadosa elección de las medidas y los instrumentos utilizados contribuye a la validez y confiabilidad de los resultados obtenidos.

Limitaciones y consideraciones adicionales

Es importante reconocer las limitaciones inherentes al diseño cuasi experimental. Debido a la falta de asignación aleatoria de los sujetos a los grupos de estudio, puede haber sesgos o diferencias basadas en características individuales que no se pueden controlar completamente. Además, es relevante considerar que los resultados obtenidos pueden no ser generalizables a toda la población, ya que los participantes pueden no representar la diversidad del grupo objetivo. Por tanto, los hallazgos deben interpretarse con cautela y considerar otros enfoques metodológicos en futuras investigaciones.

En resumen, la utilización del diseño cuasi experimental en investigaciones implica importantes consideraciones éticas y metodológicas. Es fundamental asegurar la protección de los derechos de los participantes y seguir una metodología rigurosa para obtener resultados válidos. Sin embargo, se deben reconocer las limitaciones inherentes al diseño y considerar otras aproximaciones metodológicas de forma complementaria.

Deja un comentario Cancelar la respuesta

Guarda mi nombre, correo electrónico y web en este navegador para la próxima vez que comente.

Servicios Personalizados

Indicadores, links relacionados.

Anales de Psicología

Versión on-line  issn 1695-2294 versión impresa  issn 0212-9728, anal. psicol. vol.30 no.2 murcia may. 2014, https://dx.doi.org/10.6018/analesps.30.2.166911 .

Validez Estructurada para una investigación cuasi-experimental de calidad. Se cumplen 50 años de la presentación en sociedad de los diseños cuasi-experimentales

Structured Validity for a quasi-experimental research of quality. They are fulfilled 50 years of the presentation in company of the quasi-experimental designs

Paula Fernández-García 1 , Guillermo Vallejo-Seco 1 , Pablo E. Livacic-Rojas 2 y Ellián Tuero-Herrero 1

1 Universidad de Oviedo, España 2 Universidad de Santiago de Chile, Chile

Este trabajo ha sido apoyado por una beca que el Ministerio Español de Ciencia e Innovación (Ref: PSI-2011-23.395) otorgó a los autores.

Dirección para correspondencia

Investigación cuasi-experimental es aquella que tiene como objetivo poner a prueba una hipótesis causal manipulando (al menos) una variable independiente donde por razones logísticas o éticas no se puede asignar las unidades de investigación aleatoriamente a los grupos. Debido a que muchas decisiones a nivel social se toman en base al resultado de investigaciones con estas características, es imperativo que tengan una planificación exquisita de la aplicación del tratamiento, del control en el proceso de la investigación y del análisis de los datos. El pasado año 2013 los diseños cuasi-experimentales cumplieron 50 años, y este trabajo es un homenaje a Campbell y a todos los investigadores que día a día aportan ideas para mejorar el método cuasi-experimental en alguno de sus aspectos. De la mano de una revisión de las investigaciones cuasi-experimentales publicadas en un período de 11 años en tres revistas de Psicología destacamos algunos aspectos que se refieren al cuidado del método. Finalizamos el trabajo proponiendo el concepto de Validez Estructurada, que en resumen, es el hilo conductor que debe seguir la realización de toda investigación para poner a prueba con garantía las hipótesis que responden a los objetivos que en ella se plantean, concretamente, en las investigaciones cuasi-experimentales.

Palabras Clave: Calidad; planificación; evidencia científica; validez estructurada; revisión teórica y revisión sistemática no cuantitativa.

Quasi-experimental investigation is that one that has as aim test a causal hypothesis manipulating (at least) an independent variable where for logistic or ethical reasons it is not possible to assign the units of investigation at random to the groups. Due to the fact that many decisions at the social level take on the basis of the result of investigations with these characteristics, it is imperative that have an exquisite planning of the application of the treatment, of the control in the process of the investigation and of the analysis of the data. Last year 2013 the quasi-experimental designs expired 50 years, and this work in an honoring to Campbell and to all the investigators who day after day contribute ideas to improve the quasi-experimental method in someone of his aspects. From the hand of a review of the quasi-experimental investigations published in a period of 11 years in three journals of psychology we distinguish some aspects that refer to the care of the method. We finished work by proposing the concept of Structured Validity, which in summary, is the thread that must follow all research to test with guarantee the hypothesis that respond to the objectives it raised, in particular, in quasi-experimental investigations.

Key words: Quality; planning, scientific evidence; structured validity; theoretical review and no quantitative systematic review.

Introducción

Caía la hoja en Central Park aquel 17 de octubre de 1956 cuando Robert James Fischer disputaba una partida de ajedrez frente a Donald Byrne. Negras frente a blancas que, hasta el movimiento 16 en que las blancas dan jaque a la dama de Bobby, la partida se tornaba sólo interesante. Bastaron dos movimientos más y definitivamente Byrne se decide por la dama negra. Bobby ha sacrificado a su reina, pero para entonces ya tenía la torre estratégicamente situada y también un caballo y un alfil. Desde ese momento, lentamente, como saboreando a su presa, las jugadas poliédricas de Bobby logran hacerse con un control absoluto del tablero, y en el movimiento 41 también de la partida. A quienes somos profanos en la materia nos cuesta comprender que aquellos movimientos, desde el 16 y hasta el 18, no fuesen movimientos improvisados de un adolescente de 13 años. A fuerza de perder, aprender y volver a perder entendemos de qué modo Bobby fue capaz de conseguir inmovilizar el rey blanco en una esquina, y en la esquina opuesta, movimiento a movimiento, restar todo el poder a la dama del mismo color a quien, por aquel entonces, era uno de los ajedrecistas más respetados de los Estados Unidos.

Al tiempo, Donald Campbell trabajaba en el Departamento de Psicología de la Universidad de Northwestern desde 1953 (en la que estuvo 26 años). Campbell se había doctorado en Berkeley con la fortuna de haber tenido dos grandes maestros que por entonces estaban trabajando la idea representative design , Egon Brunswik y Edward Tolman. Cuando Bobby Fischer jugaba la que fue bautizada como 'la Inmortal del Siglo XX" se publicó el libro Perception and the representative design of psychological experiments (Brunswik, 1956). El concepto de diseño representativo surge como contrapunto al diseño clásico realizado en el laboratorio. Cuando un experimento se lleva a cabo en el ámbito ecológico en el que se manifiesta la conducta observada, entonces el diseño es representativo. No cabe duda, la investigación realizada en ambientes naturales entraña una enorme dificultad debido a que junto a las variables que se pretende estudiar pueden aparecer variables ajenas que es muy difícil, si no imposible, aislar o mantener constantes, y que provocan ambientes inciertos e inestables estableciendo un complejo entramado causal. Esta idea fue recogida por Campbell y al año siguiente, en 1957, publica en la revista PsychologicalBulletin el trabajo titulado Factors relevant to the validity of experiments in social settings . Este artículo bien pudiera considerarse el punto de partida de la obra científica extraordinaria de un virtuoso del método, que, desde el capítulo 5 de la obra de Gage (1963) y junto con Julian Stanley (Campbel & Stanley, 1963), por primera vez ofrecen al mundo los diseños cuasi-experimentales comprensivamente explicados. Obras posteriores cuyo denominador común es la figura de Campbell (Cook & Campbell, 1979; Cook, Campbell & Peracchio, 1990; Shadish, Cook & Campbell, 2002, int.al.) abundarían en lo que podríamos denominar Mandamientos que, a modo de brújula metodológica, nos ilustran y guían cómo realizar correctamente una investigación en las ciencias sociales.

Qué es un diseño cuasi-experimental: a vista de pájaro la trayectoria de los diseños cuasi-experimentales es obligada una definición. El diseño cuasi-experimental es un plan de trabajo con el que se pretende estudiar el impacto de los tratamientos y/o los procesos de cambio en situaciones donde los sujetos o unidades de observación no han sido asignados de acuerdo con un criterio aleatorio (ver Arnau, 1995). A veces incluso, la aplicación del tratamiento no la ejerce directamente el investigador, viene impuesta por una organización, por mandato gubernamental, etc., y si este es el caso, tampoco se tiene control sobre las circunstancias que rodean a la aplicación (Campbell & Stanley, 1963, p.34; Shadish et al., 2002, p.14), en este caso con frecuencia se los denomina experimentos naturales o experimentos de campo (Kunstmann y Merino, 2008; Trochim, 2001, int.al.).

Cambiando el paso. Por su capacidad de movimiento, la dama es la pieza de mayor valor en el juego del ajedrez. No se conoce partida alguna disputada por jugadores de alto nivel, ni de medio o bajo nivel tampoco, que hayan perdido la dama por un descuido y hayan conseguido remontar la partida (J. Cordero Fernández, maestro de ajedrez y responsable de la página Web "Ajedrez de Ataque", comunicación personal, 14 de mayo de 2012). Tampoco sucedió en 'la Inmortal del Siglo XX". Bobby Fischer había previsto y calculado cómo impulsar el ataque asumiendo al mismo tiempo una defensa difícil cuando sacrificó a la reina. Haciendo gala de una técnica excelente, granada de recursos estudiados para ser utilizados en situaciones complicadas, ganó la partida sumando su talento e imaginación. En este punto, podríamos decir que la dama es al ajedrez lo que la aleatorización al método científico. Ítem más, tan indiscutible es que la aleatorización y el control sobre la manipulación son recursos inestimables para poner a prueba las hipótesis de calado causal, como que las investigaciones realizadas en tan particulares circunstancias como las descritas al principio de este párrafo (frecuentemente con finalidad aplicada) son siempre previsibles por el mero hecho de que se conoce el cómo y cuándo de la sucesión temporal.

Antes de aplicar el tratamiento: la investigación cuasi-experimental es una herramienta poderosa para inferir relaciones causales, pero es una herramienta condicionada que requiere el mimo de un artesano. En 1979 Cook y Campbell presentan la primera obra dedicada íntegramente a los diseños cuasi-experimentales en la que se aprecia la profunda influencia de las ideas sobre causalidad de Kenny, y el feedback entre estos autores. No es casualidad, por tanto, que en ese mismo año Kenny publicase el magnífico trabajo Correlation and causality donde destaca los tres supuestos necesarios en que fundamentar su existencia, a saber, las variables de tratamiento y de resultado deben covariar, la relación entre ellas no debe ser espuria y la causa debe preceder al efecto. Estos tres supuestos son ávidamente buscados en la investigación cuasi-experimental. Así las cosas, antes de aplicar el tratamiento el investigador debe "profundizar" en el conocimiento de las condiciones particulares donde se va a realizar la intervención, de las complicaciones que puede conllevar, de los posibles efectos no deseados, de las personas a las que va dirigida la investigación, debe conocer si las variables dependientes pueden serlo también de otras variables alternativas a la variable independiente, etc., todo ello con la finalidad de prever y anticiparse a las adversidades y dificultades capaces de dar jaque a la prueba de su hipótesis. Esta tarea compleja es lo que Shadish et al. (2002, p.484) denominan The Centrality of Fu%py Plausibility . Esto es, es necesario que el investigador tenga un juicio bien formado acerca de si las amenazas a la validez interna de su estudio son relevantes y las posibilidades que tiene de eliminarlas o de reducirlas (y hasta qué punto). Dicho de otro modo, si éstas sólo pueden ser controladas o ajustadas parcialmente deberá considerar si el sesgo que podrían producir pudiera ser mayor que el tamaño del efecto que espera encontrar. En definitiva, el investigador debe ponerse en guardia.

Este juicio que denominan de plausibilidad (op.cit ) probablemente desemboque en la necesidad de tomar nota de variables del ambiente (en el que se realiza el experimento y ambiente adyacente también, características del responsable de la aplicación del tratamiento y del registro de los datos, condiciones en las que se lleva a cabo, cercanía entre los grupos control y experimental, etc.) y variables de sujeto (físicas y psicológicas, tanto actuales como históricas) que puedan estar relacionadas con la variable dependiente (y/o independiente) y ejercer un efecto activo no deseado (sesgo) moderador, o supresor, o mediador, incluso un efecto de confundido, siendo auténticas explicaciones alternativas del resultado hallado. La única posibilidad de conocer si es así o no, y de controlar el sesgo que son capaces de producir, es tomar nota de ellas y registrarlas antes de aplicar el tratamiento, "Better to have imprecise attention to plausibility than to have no attention at all paid to many important threats just because they cannot be well measured" (Shadish et al., 2002, p. 484). Esto tiene una importancia capital.

El tiempo y las medidas: estas investigaciones llevan tiempo, y como consecuencia, tanto los sujetos como las condiciones naturales donde es implementado el tratamiento y recogidos los datos pueden cambiar y evolucionar. Si esas variables no son constantes en su estado se debe considerar su variabilidad, lo que obliga, de una parte, a estudiar de qué depende, y de otra, a elegir cuándo y de qué modo es necesario tomar los registros para tenerla en cuenta.

Inadvertidamente, en los tres párrafos anteriores ya hemos sumado el registro de muchas medidas de variables de control y del efecto del tratamiento, así pues, es imperativo no descuidar la posible pérdida accidental de datos o de sujetos en determinadas ocasiones (puntuaciones faltantes, registros inservibles, errores del investigador, etc.), o peor aún, el abandono de los sujetos (por falta de adherencia al tratamiento, cambio de domicilio o condición social, incoherencia en la administración del tratamiento, etc.). El diagnóstico y conocimiento de la causa es determinante para poner solución a este problema que desafortunadamente es tan habitual (ver West et al., 2008).

Los grupos de control: no sólo de múltiples medidas de múltiples variables se alimentan los diseños cuasi-experimentales, también necesitan grupos de control bien formados (mejor múltiples) que sean lo más homogéneos posible a los grupos experimentales con ánimo de tener capacidad para controlar el sesgo de selección, y otros, capaces de confundir la acción del tratamiento. Aunque se debate las ventajas y desventajas de utilizar grupos de control activos o pasivos (e.g., Datta, 2007; Donaldson & Chistie, 2005; Cook, 2006), parece existir consenso acerca de que los primeros son mejores. Además, siempre que sea posible se debe evitar la autoselección (Shadish et al., 2002), la participación voluntaria, la selección arbitraria, o que los pacientes con peor pronóstico (Kunz & Oxman, 1998) sean quienes formen el grupo de control. Precisamente, y a colación de lo comentado en el párrafo anterior, son las investigaciones donde se presta escasa atención a la formación de los grupos (control y tratamiento) las que sufren mayor desgaste de muestra (Heisman & Shadish, 1996; Shadish & Ragsdale, l996).

Sobre el diseño: hemos decidido qué variables controlar, cuántos registros efectuar y qué grupos van a participar en la investigación, pero aún resta determinar de qué modo vamos a aplicar el tratamiento y recoger los datos, es decir, qué diseño de investigación elegimos utilizar. Campbell y colaboradores han destacado que los distintos diseños cuasi-experimentales varían entre sí con respecto a la transparencia y la capacidad para poner a prueba la hipótesis causal. De hecho, han ordenado deliberadamente los capítulos de sus libros para reflejar el aumento de la potencia inferencial que supone pasar de diseños sin una medida previa o sin un grupo de control, diseños pre-experimentales, a aquellos con ambas divisas, los diseños cuasi-experimentales. Sucintamente, estos diseños se pueden organizar en dos grandes bloques, transversales y longitudinales (ver Arnau, 1995). Los primeros se clasifican a su vez en dos tipos, diseños de grupo control no equivalente y diseños de discontinuidad en la regresión (ver Ato, 1995). De estos, los últimos tienen mayor potencia inferencial porque controlan la variable de selección utilizándola como criterio de formación de los grupos. Los primeros no deben olvidar que una de las medidas pre-tratamiento debe referirse a la posible variable de selección para así ser eficazmente controlada estadísticamente. Los diseños longitudinales ocupan una gran variedad de diseños de series temporales (ver Vallejo, 1995), y, como Kenny argumentaba en su obra de 1979, en estos es más fácil verificar los tres supuestos de causalidad. Volviendo a los capítulos de sus libros. Dentro de cada uno de ellos también ilustran cómo la inferencia se puede mejorar mediante la adición de elementos de diseño (añadiendo más puntos de observación pre-test, aplicando y retirando el tratamiento en varias ocasiones, registrando variables dependientes no equivalentes, utilizando más grupos tanto de control como de tratamiento y poniendo esmero en su elección y/o formación, etc.). La capacidad para poner a prueba las hipótesis del investigador y descartar hipótesis alternativas es distinta en función de todas estas características.

Sobre el análisis de los datos: Mimando la planificación de la investigación en los matices anteriormente comentados ya solo resta analizar los datos. Son varias las alternativas de análisis que existen, pero no se trata de elegir la más cómoda, sino la más oportuna en función de nuestras hipótesis, del modelo que estimamos explica los resultados, y de las características de nuestros datos. Más adelante nos extenderemos en este asunto, hasta entonces, sólo un apunte. Campbell y colaboradores siempre han defendido que los ajustes estadísticos sólo se deben utilizar cuando se han extremado todos los controles anteriormente comentados con la finalidad de reducir todo lo posible la no equivalencia entre los grupos "In this book, we have advocated that statistical adjustments for group nonequivalence are best used after design controls have already been used to the maximum in order to reduce nonequivalence to a mínimum" (Shadish, et al., 2002, p.503).

Evolución del diseño cuasi-experimental: nada hemos leído de Campbell que pudiera presagiar la idea de que estas investigaciones fuesen otra cosa que investigaciones primarias. Ahora, cuando se cumple medio siglo de historia, existe una segunda derivada, investigaciones cuasi-experimentales realizadas mediante técnicas de minería de datos. Esta idea ha sido desarrollada en la Universidad de Amherst por un grupo de investigadores liderados por David Jensen. En 2001 fundaron Knowledge Discovery Laboratory con la finalidad de desarrollar técnicas innovadoras para el descubrimiento de conocimiento que denominan software de proximidad . La materia prima con la que trabajan se extrae de las enormes bases de datos públicas que prácticamente existen en todos los ámbitos sociales (salud, educación, etc.), y que son alimentadas de modo regular con el registro temporal de una abundante cantidad de variables que guardan relación entre sí. En el año 2008 Jensen, Fast, Taylor and Maier presentaron el algoritmo AIQ ( Automated Identification of Quasiexperiments ). Es el primer sistema automatizado que identifica lo que "denominan" diseños cuasi-experimnetales (es la primera versión, y sólo identifica Diseños de grupo control no equivalente).

Evidencia científica: no existe objetivo más codiciado en cualquier disciplina de las Ciencias Sociales y de la Salud que buscar y encontrar evidencia científica en la que fundamentar decisiones clínicas, sanitarias, educativas, etc., y los diseños cuasi-experimentales alcanzan evidencia científica cuando el investigador cuida los aspectos anteriormente mencionados (e.g., Avellar & Paulsell, 2011 y Cook & Gorard, 2007) en aras de conseguir con ellos las garantías que ofrecen las investigaciones experimentales. Así es, a pesar de que muchos científicos comparten la idea de que las investigaciones experimentales constituyen el mejor modo de alcanzar evidencia científica (e.g., Cook, 2000; Nezu & Nezu, 2008), quienes más saben de ésto están convencidos de que "in the best of quasi-experiments, internal validity is not much worse than with the randomized experiment " (Sha dish et al., 2002, p.484).

Al hilo, y en este empeño, en 1968 en la Universidad de Northwestern se fundó The Institute for Policy Research (IPR) al abrigo de Campbell. IPR se gestó con la misión de estimular y apoyar la investigación de excelencia en las ciencias sociales sobre importantes cuestiones de política pública. Una visita a su página Web no dejará indiferente a ningún investigador interesado en estos diseños, http://www.ipr.northwestern.edu/index.html . Desde el año 2008 se celebran en la citada Universidad, y en colaboración con el Institute of Education Sciences (IES), importantes Workshops sobre cómo realizar una investigación cuasi-experimental de calidad en el ámbito de Educación (diseño y análisis) organizados y dirigidos por dos de los grandes discípulos de Campbell, Thomas D. Cook y William Shadish. Desde la página anterior podemos conocer todo lo que en ellos se ha expuesto y debatido.

Si nuestra investigación tiene calidad metodológica suficiente para garantizar evidencia científica quizá tenga el privilegio de formar parte de alguna revisión sistemática realizada mediante técnicas de meta-análisis (Bai, Shukla, Bak & Wells, 2012; Centre for Review and Dissemination, 2010), hasta el momento, considerados los mejores estudios para sintetizar la evidencia científica capaces de responder a cuestiones específicas. En lo que a revisiones sistemáticas respecta, dos asociaciones, The Cochrane Collaboration en el ámbito de la salud y The Campbel Collaboration en el ámbito de las ciencias sociales (en http://www.cochrane.org y http://www.campbellcollaboration.org/ , respectivamente) son el referente. Desde que se constituyeron cada año celebran un Colloquium en algún lugar del mundo. Si nos introducimos en sus páginas Web y visitamos los programas de los Colloquia ya realizados podemos advertir, además de su estrecha colaboración, cómo una parte importante de los trabajos presentados están relacionados con la incorporación de las investigaciones no aleatorizadas en las revisiones sistemáticas y las características de calidad que deben tener para ser incorporadas.

Práctica basada en la evidencia, evaluación y aplicación de programas de intervención: la evidencia científica certificada mediante revisiones sistemáticas realizadas con investigaciones primarias de alta calidad metodológica con frecuencia tiene buena acogida para dar respuesta a necesidades de políticas gubernamentales o a intereses de determinadas empresas que deciden transformar el conocimiento científico en práctica efectiva realizando investigación aplicada.

Cuando se utiliza la expresión "programa de intervención" se está haciendo referencia a tareas múltiples y complejas que requieren contemplar múltiples aspectos de diseño, de implementación y de evaluación en contextos de intervención, que no son otros que contextos naturales, que, además, están sometidos a cambio continuo (e.g., Rossi & Freeman, 1985 y Trochim, 1984). No es intención de este trabajo abundar en la aplicación y evaluación de programas, pero sí destacar tres aspectos fundamentales:

Primero: ejecutar de facto la implementación de un programa requiere evaluaciones constantes antes, durante y después de la aplicación de la intervención (Avellar & Paulsell, 2011; Brandy & Moore, 2011) por dos razones fundamentalmente. Además de que los motivos económicos no son baladí y es preciso asegurar que el programa se implanta correctamente y que no tiene consecuencias indeseadas, porque los objetivos del programa siempre son varios (prácticos, económicos, teóricos, etc., donde la aplicación del tratamiento es sólo uno de ellos) y nunca podrían abordarse todos desde una única aproximación metodológica. En los últimos 20 años el concepto de Metodología Mixta está cobrando un auge extraordinario (se ocupa de integrar datos de una multiplicidad de fuentes para captar la diversidad de los fenómenos de modo profundo e integral), como muestra, la prestigiosa revista New Directions for Evaluation dedica el segundo número del pasado año 2013 a este tema que titula Mixed Methods and Credibility of Evidence in Evaluation.

Segundo: implantar un programa a nivel social requiere tener en cuenta que las personas no somos compartimentos estancos, sino que de modo natural estamos organizados en sociedad en unidades jerárquicamente superiores que nos imprimen características de grupo y diferencias entre los mismos que interesa conocer, controlar y tratar. La evaluación o implantación de un programa demanda por tanto realizar un muestreo de estas unidades de agregación porque interesa conocer lo que ocurre en cada nivel, pero también interesa conocer el flujo de relaciones entre los distintos niveles con ánimo de examinar si la intervención ha tenido su impacto sobre los resultados previstos. El análisis de datos tradicional con técnicas contenidas en el Modelo Lineal General es inerme a dos particularidades, entre otras, que tienen los datos agregados, la existencia de más de un término aleatorio, y el hecho de que las unidades pertenecientes a una misma unidad de agregación de nivel emiten respuestas correlacionas. En los últimos 20 años ha tenido lugar el desarrollo de las técnicas de análisis de datos más potentes, versátiles y con mayores prestaciones de cuantas existen para poner en evidencia de qué modo, en qué medida y de qué depende que un programa de intervención tenga efectos (positivos, negativos, directos, inversos, etc) sobre las diferentes unidades de análisis en que están inmersas las personas. Nos estamos refiriendo a los procedimientos estadísticos enmarcados en los denominados Modelos Mixtos, Modelos Jerárquicos o Modelos Multinivel.

Tercero: La meta última de toda disciplina científica es disponer de teorías causales capaces de explicar todo el universo de sea lo que sea que abarca esa disciplina. Elaborar un modelo causal capaz de explicar todo lo que sucede y por qué en el proceso de la intervención no es tarea fácil. El concepto de causalidad es complejo y multifacético (e.g., Funnell & Rogers, 2011), los agentes causales son muchos, a veces complementarios y a veces en conflicto, a veces la relación entre causa y efecto no es lineal, a veces incluso es discontinua, incluso a veces la causa tiene que alcanzar un umbral determinado antes de producir un efecto, añadiendo que los individuos a quien va dirigida la evaluación del programa lejos de ser agentes pasivos ejercen un papel activo en la determinación de los efectos del programa. El modelo causal casi nunca es unidireccional, pueden existir bucles de feedback, peor aún, incluso ese feedback puede ser incluso retardado complicando el análisis de los modelos causales. A la par que el desarrollo de los Modelos Mixtos en los últimos 20 años se han desarrollado los Modelos de Ecuaciones Estructurales que permiten poner a prueba relaciones de causalidad y elaborar teorías causales basadas en la evaluación.

El Fichero adicional 5 (ver Adenda) contiene referencias destacadas sobre la implantación y evaluación de programas, la Metodología Mixta, los Modelos Mixtos o Multinivel y sobre los Modelos de Ecuaciones Estructurales.

Así comenzaron Campbell y Stanley el capítulo 5 de la obra de Gage (1963):

McCall as a model. In 1923, W.A. McCall published a book entitled How to Experiment in Education...In this preface said: "There are excellent books and courses of instruction dealing with the statistical manipulation of experimental data, but there is little help to be found on the methods of securing adequate and proper data to which to apply statistical procedure". This sentence remains true enough today to serve as the leitmotif of this presentation also. (Campbell & Stanley, 1963, p.171).

Este trabajo es un tributo a esta idea, y lo llevamos a cabo realizando una revisión de las investigaciones cuasi-experimentales y pre-experimentales publicadas en tres revistas españolas de Psicología evaluando algunos aspectos metodológicos relacionados con la planificación del diseño, la recogida y análisis de datos, la exposición de resultados y la elaboración de conclusiones. El objetivo que perseguimos es saber cuáles son los diseños más utilizados y qué características tienen, pero también, y sobre todo, conocer si los investigadores toman las precauciones necesarias para que la investigación ofrezca confianza en sus resultados, saber cuáles son sus errores y sus vicios, y si son los mismos que los reportados en otros trabajos similares a éste.

El pasado año 2013 los diseños cuasi-experimentales cumplen 50 años. Este trabajo es un homenaje a la persona que revolucionó los principios fundamentales de la investigación científica en las Ciencias Sociales, Campbell, y a sus discípulos Stanley, Cook, Shadish, Trochim, Myers, etc., que tanto están trabajando esta idea que tan buenos resultados aporta. Sirva para convulsionar a investigadores, revisores y editores para que (se) exijan, más si cabe, el cuidado del método. Va por ellos, de quienes hemos aprendido tanto, y va para todos aquellos que gusten de hacer bien las cosas.

Hemos realizado una revisión sistemática no cuantitativa (Shadish & Myers, 2004 a) de las investigaciones pre-experimentales y cuasi-experimentales, en adelante Cx. y Px., contenidas en tres revistas españolas de Psicología durante el período temporal de 11 años entre 1999 y 2009, ambos incluidos.

El criterio para la selección de las revistas fue cumplir con tres requisitos, ser revistas de temática general en el campo de la Psicología, aparecer en el Journal Citation Reports (JCR) con factor de impacto en el año 2009, y constar en el IN -RECS con índice de impacto dentro del primer cuartil en el mismo año. Estos criterios los satisfacían las revistas Psicothema, Internacional Journal of Clinical and Health Psychology y Psicológica .

Unidad de análisis

La unidad de análisis ha sido el estudio, considerando unidades independientes cada uno de los estudios Cx. y Px. publicados en un mismo artículo.

Diseño y procedimiento

Una vez identificados los artículos que contenían investigaciones Cx. y Px. aleatoriamente fueron repartidos en dos grupos y cada uno de ellos fue asignado aleatoriamente a dos expertos en metodología de investigación que, de modo independiente entre e intra-grupo, examinaron las variables de interés. La información de cada estudio fue extraída de los apartados introducción, método, resultados y conclusiones. Posteriormente los expertos de cada grupo compararon sus datos. El porcentaje de acuerdo fue del 94%. Los casos en que hubo discrepancia fueron revisados por un tercer experto. El contenido del estudio se discutía hasta que desembocara en una conclusión compartida.

Variables registradas

Las variables que hemos observado han sido consideradas de importancia capital en destacados trabajos sobre calidad de las investigaciones no aleatorizadas en el ámbito médico (e.g., Li, Moja, Romero, Sayre & Grimshaw, 2009; Shahar & Shahar, 2009, int al.), educativo (e.g., Cook, Cook, Landrum & Tankersley, 2008; Cook, Tankersley & Landrum, 2009, int al.), de las organizaciones (e.g., Creswell, 2009; Gibbert & Ruigrok, 2010; Paluck & Green, 2009, int.al.), y en el ámbito de las ciencias sociales en general (e.g., Shadish & Myers, 2004 a). Anidadas en cinco bloques, de modo resumido son:

1. - Características molares de la investigación Cuasi y Pre-experimental: Prevalencia, área de conocimiento, finalidad de la investigación, y definición del diseño y metodología utilizada. 2. - Aspectos determinantes de la planificación para defender las inferencias sustantivas y estadísticas: Composición y tamaño de la muestra, cálculo del tamaño, composición y formación de los grupos de control, número de variables dependientes y cantidad de registros efectuados. 3. - Examen exploratorio de los datos y precauciones tomadas antes de decidir qué estadístico utilizar para poner a prueba las hipótesis: Tamaño de los grupos y equilibrio entre ellos, relación entre el tamaño de los grupos y el tamaño de las varianzas, examen de outliers, evaluación de datos perdidos y comprobación de asunciones sobre los datos. 4. - Análisis de los datos: Si comprueban o no la igualdad de los grupos antes de la aplicación del tratamiento y cómo, qué modelo asumen los investigadores que explica sus resultados, qué estadístico inferencial utilizan, si examinan el tamaño del efecto, los intervalos confidenciales y la potencia de la prueba empírica. 5. - Exposición y redacción de las conclusiones: Hemos examinado si se realizan comentarios de autocrítica sobre el tamaño y composición de la muestra y sobre amenazas a la validez interna, externa y de conclusión estadística.

Una exposición detallada y sucintamente justificada de todas las variables registradas está expuesta en el Fichero Adicional 1.

Análisis de los datos

Los estadísticos utilizados son frecuencias, porcentajes y razones (de modo testimonial también medias y desviaciones típicas). Los cálculos se han realizado mediante el paquete estadístico SPSS 19.

Resultados y discusión

Utilizando como modelo el trabajo de Keselman et al., (1998) los resultados se exponen acompañados de una breve discusión. Sólo se comenta una selección de todos los análisis realizados, sin embargo, nos van a permitir evaluar la coherencia metodológica interna de las investigaciones en todo su recorrido, desde la gestación del diseño hasta la elaboración de las conclusiones (en el Fichero Adicional 2 se exponen, libres de discusión, los resultados de todos los análisis llevados a cabo). En el texto hacemos referencia a unas Tablas donde se detalla la información que describimos. Todas ellas están contenidas en el Fichero Adicional 3.

En el período de 11 años comprendido entre 1999 y 2009 las investigaciones Cx. y Px. contenidas en las tres revistas examinadas apenas suponen un 4% en el volumen de sus publicaciones. En este período de tiempo, por cada 10 investigaciones experimentales sólo se han publicado 1.2 Cx. o Px.

El debate en torno al valor de las investigaciones cuya muestra está compuesta por universitarios es un clásico en vanguardia (Cooper, McCord & Socha, 2010; Highhouse & Gillespie, 2010; McNemar, 1946; Wiecko, 2010, int al.). En nuestro caso el porcentaje no es muy alto (21.21%), aunque en absoluto desdeñable. Las personas con algún problema que resolver o con alguna necesidad especial (que hemos denominado muestra específica enferma y no enferma respectivamente) están presentes en el 53% de las investigaciones. Si sumamos a las anteriores los niños menores de 12 años y a las personas con más de 65 alcanzarían un porcentaje del 68.15% (Tabla 3). Este es el motivo por el cual la investigación con finalidad aplicada es muy superior (68.2%) a la básica, y la realizada en el área clínica superior a la realizada en el resto de categorías contempladas. Aunque en la introducción hemos destacado que la investigación Cx. y la evaluación del impacto de programas van de la mano, no hemos encontrado ningún trabajo que se refiera a la evaluación del impacto de ningún programa de trascendencia social relevante.

Ubicar la investigación que publicamos en su metodología correspondiente y denominar correctamente el diseño utilizado para recoger los datos no es sinónimo de calidad del trabajo realizado, pero tampoco es baladí. Más al contrario, es de importancia destacada para que los lectores y consumidores de los productos de investigación ajusten sus lentes y puedan juzgar su validez y determinar la confianza que les merece (Wilkinson & Task Force on Statistical Inferencie, 1999). Que únicamente el 43.9% de los D.Cx. clasifiquen (en metodología) y definan el diseño correctamente en el trabajo que defienden no es, por escaso, un buen dato (Harris et al., 2005 hallaron resultados similares), aunque peor es saber que el 29.2% no definen la metodología o lo hacen incorrectamente, y que el 51.2% no definen el diseño o no lo hacen bien (ver Tabla 2).

Sin embargo, el diseño "concreto" utilizado sí es sinónimo de confianza en la capacidad para poner a prueba las hipótesis del investigador. Abundando es este aspecto, Cook and Campbell (1979), Heisman and Shadish (1996), Marcantonio and Cook (1994), Orwin (1997), Shadish and Myers, (2004 a y b), Shadish and Ragsdale (1996), Shadish et al. (2002) y Trochim (1984) int.al., han destacado que los D. Cx. de Discontinuidad en la Regresión y de Series Temporales son más potentes que los diseños Cx. de Grupo Control no Equivalente (GCNE), incluso algunos investigadores piensan que son tan potentes como los diseños experimentales (Avellar & Paulsell, 2011; Cook, 2008; Cook, Scriven, Coryn & Evergreen, 2010; Cook, y Wong, 2008; Shadish & Cook, 2009; Shadish, Galindo, Wong, Steiner, & Cook, 2011). De otra parte, en lo que a los D.Cx.-GCNE respecta, muchos investigadores han destacado que existe una jerarquía en la que los diseños con intercambio de tratamiento, aquellos que tienen más de un grupo experimental (G.E), más de un grupo de control (G.C), más medidas post que una y más medidas pre que una son mucho más potentes por dos razones. La primera, porque tienen más capacidad para poner a prueba nuestra hipótesis. A la sazón existe una gran cantidad de trabajos meta-analíticos que han concluido que diseños Cx. distintos alcanzan tamaños del efecto (TE) distintos (e.g., Heisman & Shadish, 1996; Lipsey & Wilson, 1993; MacLehose et al., 2000; Sacks, Chalmers & Smith, 1982, 1983; Schochet 2009a; Schochet et al., 2010; Shadish et al., 2002; Shadish & Heinsman, 1997; Shadish & Ragsdale, 1996; Swaen, Teggeler & Van Amelsvoort, 2001; Weisburd, Lum & Petrosino, 2001). La segunda es porque son más capaces de liberar nuestros datos de posibles amenazas a la validez interna (Deeks et al., 2003; Johnston, Ottenbacher, y Reichardt, 1995; Shadish et al., 2002; Shadish & Myers, 2004 b).

A pesar de lo comentado en el párrafo anterior, hemos visto que el Diseño Cx. de GCNE clásico (2x2) y el Diseño Px. de un solo grupo con medidas pre y post son los más utilizados, suponen casi el 50% de todos los de su clase (Tabla 2). Estos resultados no divergen de los hallados por otros autores en ambientes disciplinares tan distintos como intervención temprana (Snyder, Thompson, Mclean & Smith, 2002), educación (Gersten, Baker, Smith-Johnson, Flojo & Hagan-Burke, 2004; Hsieh et al., 2005; Seethaler & Fuchs, 2005), Psicología de las organizaciones (Grant & Wall, 2009; Scandura & Williams, 2000), o enfermedades infeccionas (Harris, Lautenbach & Perencevich, 2005; Harris et al., 2006; Shardell et al., 2007). Solo hemos contado una investigación Cx. (2.4%) que realiza un diseño de GCNE con intercambio de tratamiento, y únicamente 7(17.1%) D. Cx. que "podrían ser" de Discontinuidad en la Regresión (DR). Escribimos "podrían ser", porque ninguno ha sido denominado con tal por sus autores, que sería lo de menos, lo de más es que tampoco han sabido aprovechar la potencia que tienen por el hecho de conocer qué variable es la que divide a los grupos experimental y control (Lesik, 2006; Reardon & Robinson, 2012; Reichardt & Henry, 2012; Shadish et al. , 2002, int.al. En los trabajos revisados ha sido más habitual contar con más de un G.E (sucede en el 24.39% de los D. Cx. y en el 48% de los D. Px.) que con más de un G.C (sucede en el 12.19% de los D. Cx. y en el 16% de los D.Px.). Este aspecto es de sumo interés. Los grupos experimentales tienen el poder de replicar el efecto del tratamiento y también de controlar el efecto de historia. Los grupos de control tienen el poder extraordinario de poner a prueba los efectos de sesgo de selección, historia, maduración y regresión a la media entre otros.

Probablemente, cuando un investigador lleva a cabo una investigación Cx., más importante que cualquier otro aspecto de la planificación, es la elección adecuada de un G.C que sea comparable al G.E para evitar el riesgo de posibles amenazas a la validez interna. En este sentido, se debe considerar que la proximidad de los grupos no implica necesariamente que sean comparables, que características de los sujetos que se antojan accidentales (e.g., unos eligieron cursar ética otros religión) pueden conllevar diferencias importantes entre los grupos, que no basta con estimar que los grupos son parecidos (hay que demostrarlo), que los sujetos voluntarios nunca forman un buen G.C., y por supuesto, no decir nada de cómo es el G.C es enfatizar que nada se sabe de estos diseños (ver ICH Expert Working Group, 2000). En esta revisión, el 69.69% de los D. Cx. de GCNE han formado el G.C. de alguna de estas maneras (ver Tabla 5). Por el contrario, toda técnica utilizada para formar los grupos que trate de emular la asignación no condicionada que supone la asignación aleatoria, utilizando la técnica del apareamiento ( matching ) por ejemplo, o que permita considerar una continuidad entre los sujetos de los grupos experimental y control como por ejemplo dejar que el azar decida cuál de los grupos incidentales (comparables, que no exclusivamente próximos) sea G.E y cuál G.C, que el G.C sea aquel que está en lista de espera, que el G.C esté compuesto por aquellas personas deseosas de participar en la investigación porque tienen un problema que resolver pero por algún motivo no pueden acudir a la terapia (e.g., coincide en horario laboral; no les van bien las fechas, etc.) "garantiza" un G.C válido (Marcus, Stuart, Wang, Shadish & Steiner, 2012; McCaffery et al., 2011; Walter, Turner, Macaskill, McCaffery & Irwig, 2012), y de éstos hemos visto sólo el 30% en los D. Cx. de GCNE. [En el Fichero Adicional 5 se exponen referencias destacadas sobre el concepto, control y corrección del sesgo de selección].

Además de la función de "control", otro aspecto que se debe valorar del G. C es la potencia que puede aportar al diseño para poner a prueba las hipótesis del investigador. Los resultados meta-analíticos constatan que los TE son menores cuando el G.E se compara con G.C activos (e.g., placebo, tratamiento de costumbre, tratamiento alternativo) que cuando se compara con G.C pasivos (e.g., sin tratamiento, en lista de espera) (Heisman & Shadish, 1996; Shadish & Ragsdale, 1996) (ni que decir tiene que el investigador también debe cuidar que no surjan efectos reactivos, ni suyos ni de los sujetos, capaces de sesgar seriamente los resultados, y éstos es más fácil evitarlos cuando los G.C son activos). También se ha demostrado que el TE es mayor, y más preciso cuando se emplea la técnica de apareamiento anteriormente citada en la formación de los grupos (Shadish & Myers, 2004 a; Shadish & Ragsdale, 1996).

Cuidar el G.C no tiene sentido si no cuidamos también el G.E. Es imperativo considerar si el tratamiento se administra de modo individual o en grupo, y sea de un modo u otro es preciso asegurar que la administración sea homogénea para todos los sujetos y que la adherencia al tratamiento sea satisfactoria. Estos aspectos y más tienen que ver con la integridad del tratamiento (Devito et al., 2011; Higgins & Green, 2011; McLeod & Islam, 2011; Perepletchikova, Hilt, Chereji & Kazdin, 2009). Nosotros no hemos revisado estos matices. Algunas revisiones y otras referencias destacadas sobre esta temática las exponemos en los Ficheros Adicionales 2 y 5.

El número de medidas registradas, tanto antes de la intervención como después de ella es extraordinariamente importante (Mara & Cribbie, 2012; Mara et al., 2012; Rausch, Maxwell & Kelley, 2003; Schulz, Czaja, McKay, Ory & Belle, 2010; Shadish et al., 2011; Steiner, Cook, Shadish & Clark, 2010; Venter, Maxwell & Bolig, 2002). Las efectuadas antes de la intervención son un bastión esencial para defender la no existencia de regresión a la media, de error en el registro, de efectos de maduración de los sujetos (evolución o involución emocional, conductual, intelectual, etc.), y para defender la estabilidad y confiabilidad en las medidas. Llevar a cabo varios registros post tratamiento nos permitirán analizar la evolución de la conducta estudiada, si se mantiene el resultado esperado, hasta cuándo se mantiene, si el efecto es inmediato o retardado, o si no hay efecto. Hemos comprobado que en ninguna investigación de esta revisión se efectúa más de una medida pre-tratamiento, y sólo en el 24.39% de los diseños Cx. y en el 36% de los Px. se registra más de dos medidas post-tratamiento (Tabla 2).

La planificación del tamaño de la muestra en base a un TE deseado tiene una importancia capital. Implica tener en cuenta tanto la sensibilidad de la investigación como la precisión de la misma, y ambos aspectos determinan la posibilidad de tener suficiente potencia de prueba. Ninguna de las investigaciones revisadas calcula a priori el tamaño de la muestra (Tabla 4), con el añadido de que los tamaños de muestra utilizados tampoco son elevados (Tabla ó). Sánchez Meca, Valera, Velandrino y Marín (1992), Valera, Sánchez Meca y Marín (1998) y Valera, Sánchez Meca, Marín y Velandrino (2000) hallaron resultados similares. Así pues, sea grande o no el tamaño de la muestra, lo que no podemos saber es si fue suficiente para detectar el TE que deseaban encontrar. De otra parte, siendo el tamaño de muestra pequeño y recordando cómo fueron formados los grupos, es probable que algunas muestras tampoco fuesen representativas, con el problema que eso supone respecto a la trasferibilidad de los resultados y a la validez externa de población (Burchett , Umoquit & Dobrow, 2011; Cambon , Minary, Ridde & Alla, 2012; Ferguson, 2004; Glasgow & Emmons, 2007;Green & Glasgow, 2006; Steckler & McLeroy, 2008;Thomson y Thomas , 2012).

Tan preocupante como lo anteriormente expuesto es, de una parte, el desequilibrio en el tamaño de los grupos, y de otra, que a esto se sume la tan temida relación directa o inversa entre el tamaño de los grupos y el tamaño de las varianzas. El examen de la potencia y robustez de los procedimientos analíticos frente a estos problemas es un tema candente en la actualidad tanto por lo habitual del problema como por las consecuencias indeseables que tiene. Es numerosa la investigación que ha puesto en evidencia la inflación del error de Tipo I y de Tipo II cuando la relación es negativa y positiva respectivamente. En esta revisión hemos encontrado un porcentaje de diseños no balanceados altísimo (82.69%) donde la diferencia media entre los tamaños de los grupos es de 28.6 ( DT = 49.93) (Tabla 6). Ya se observe el desequilibrio entre el tamaño de los grupos en función de diferencia o de razón es notable el fuerte sesgo positivo, lo que quiere decir, que, aunque no demasiadas, existen investigaciones con una diferencia mucho mayor aún entre los tamaños de los grupos (Sánchez Meca et al., 1992, Valera et al., 1998 y Valera et al., 2000 en revistas de Psicología editadas en España, y Keselman et al., 1989 y Ruscio & Roche, 2012 en revistas editadas fuera de nuestras fronteras han encontrado parecidos resultados). Añadido a esto, observamos dos problemas más. Uno, que solamente hemos encontrado una razón entre el tamaño de los grupos y el tamaño de las varianzas nula, en el resto, o es positiva o es negativa casi al 50%. Otro, que esto sólo lo hemos podido observar en el 50% de los D.Cx. no balanceados debido a que en la otra mitad no se exponen las varianzas (Keselman et al., 1989 hallaron resultados similares). Este último dato no es inocuo, aquellos que realizan investigaciones meta-analíticas conocen como nadie la importancia de contar con los estadísticos descriptivos de las variables (Higgins & Green, 2011).

Registrar la medida pre y otras variables relacionadas con la variable dependiente antes de aplicar el tratamiento tiene una importancia crucial dado que nos van a permitir poner a prueba la igualdad de los grupos antes de aplicar el tratamiento. En 27 (84.37%) de las investigaciones Cx.-GCNE se comprueba de algún modo la igualdad de los grupos antes de aplicar el tratamiento, pero existen 5 (15.62%) en que no se hace. De mayor envergadura es el valor que tiene la medida pre-tratamiento y el registro inicial de otras variables para aparear a los sujetos de los grupos antes de decidir qué grupo va a ser el experimental y cuál va a ser control y evitar así de modo mucho más eficiente el sesgo de selección (entre otros). En esta revisión esto sólo se hace en 4(12.5%) investigaciones Cx.-GCNE, luego en el 87.5% de ellas ambos registros se han efectuado después de decidir qué grupo es el experimental y qué grupo es el control. Sólo en 3 (42.85%) investigaciones Cx.-DR se aparearon los sujetos de los grupos en base a la información de variables relevantes. Todos estos resultados están expuestos en la Tabla 8 a.

Todas las precauciones anteriores son necesarias pero no son suficientes para demostrar la veracidad de nuestra hipótesis cuando la aleatorización no es posible. Son imprescindibles, al menos, dos condiciones más. Una, debemos demostrar que otras variables no son responsables de los resultados hallados, y para eso debemos de eliminar o tener controladas variables extrañas capaces de ser explicaciones alternativas a nuestra hipótesis. En este caso sólo en 22(68.75%) investigaciones Cx.-GCNE y en 5 (71.42%) Cx.-DR se registran variables consideradas "sospechosas" para examinar la equivalencia de los grupos en ellas o para formar los grupos en base a que esas características permanezcan constantes, pero sólo en 4 (12.5%) investigaciones Cx.-GCNE (y en ninguna Cx.-DR) se lleva a cabo control estadístico (se introducen en el modelo matemático) de las mismas (ver Tabla 8 a). Dos, debemos tener meridianamente claro qué modelo explica mejor los resultados encontrados (Ato y Vallejo, 2011), y esto porque nuestra hipótesis quizás sea cierta con matices (puede haber variables mediadoras o moderadoras o supresoras de la relación causal). Que el investigador avance un modelo explicativo de sus resultados es de importancia capital en las investigaciones no aleatorizadas. En ninguna investigación de esta revisión los autores exponen que "asumen un modelo de cambio" o un "modelo mediacional", o simplemente "un modelo causal directo". En su lugar hemos encontrado que "escriben" que deciden analizan los datos mediante las puntuaciones de cambio, o que están interesados en la interacción, o en ambas (sin saber que el resultado es el mismo estadísticamente), o que sólo les interesa analizar las diferencias post-tratamiento, o que les interesa todo lo anterior (ver Tabla 8 a). Precisamente son aquellos que están interesados en las diferencias post los que únicamente analizan los datos mediante el análisis de la covarianza si es que hallaron diferencias iniciales entre los grupos en la medida pre u en otras. La medida pre u otras registradas antes de recibir el tratamiento nunca se utilizaron como covariables cuando las diferencias iniciales entre los grupos no fueron estadísticamente significativas, y debiera hacerse si se asume un modelo mediacional. En fin, los autores parecen haber olvidado que en la investigación cuasi-experimental el análisis de la covarianza no sólo se hace para reducir variabilidad e incrementar la precisión, sino también, porque la covariable puede ser una variable explicativa del resultado. En el Fichero Adicional 5 se exponen referencias destacadas sobre los efectos, la detección y el análisis de fenómenos como mediación, moderación, etc.

Antes de exponer qué estadístico escogen utilizar los investigadores para poner a prueba "las puntuaciones de cambio, o la interacción, o la simple diferencia entre las medidas post" hacemos un inciso para destacar de nuevo que, si la planificación de la investigación es deficitaria poco sentido tiene ocuparse del análisis de los datos. Campbell y Stanley (1963, p.22) ya hicieron hincapié en este aspecto:

Good experimental design is separable from the use of statistical tests of significance. It is the art of achieving interpretable comparisons and as such would be required even if the end product were to be graphed percentages, parallel prose case studies, photographs of groups in action, etc. In all such cases, the interpretability of the results depends upon control oven the factors we have been describing.

Cuarenta años más tarde se vuelve a insistir en ello:

In this book, we have advocated that statistical adjustments for group nonequivalence are best used after design controls have already been used to the maximum in order to reduce nonequivalence to a minimum. So we are not opponents of statistical adjustment techniques such as those advocated by the statisticians and econometricians described in the appendix to Chapter 5. Rather we want to use them as the last resort. (Shadish et al., 2002, p.503).

Este pensamiento no es exclusivo del ámbito de las Ciencias Sociales, Deeks et al., (2003, p.91) en el ámbito médico expresan que "Statistical methods of analysis cannot properly correct for inadequacies of study design" . En definitiva, es notorio en todos los campos de investigación ver expresado que por muy elegante, novedoso, robusto y poderoso que sea el procedimiento de análisis utilizado, nunca va a corregir ni las deficiencias del método ni la mala planificación del diseño elegido para recoger los datos (e.g., Des Jarlais, Lyles, Crepaz & TREND Group, 2004; Eastmond, 1998; Harns et al., 2004; Scheirer, 1998; Shadish & Myers, 2004 a; Shardell et al., 2007; Sridharan & Nakaima, 2011; Stone et al., 2007; Valentine & Cooper, 2003, int. al).

La probabilidad de acertar en la elección del estadístico (conveniente y correcto) para poner a prueba nuestra hipótesis es muy pequeña si antes no se realiza un examen exploratorio de los datos (Cohen, 1992, 1994) para determinar por ejemplo, si algunos sujetos tienen puntuaciones extremas (valores atípicos debidos a un defectuoso instrumento de medida, a fallos en el registro, a una mala aplicación del tratamiento, etc.), si tenemos pérdida de datos ocasionales (no acudieron ese día por algún motivo ajeno a la investigación, no se registró el dato debido a un fallo del experimentador, etc.) o si lo que sucede es que hay sujetos que abandonan (debido a la no adherencia al tratamiento, de modo circunstancial se han trasladado a otro lugar, una enfermedad nos les ha permitido continuar, etc. ). Es necesario también conocer si se satisfacen o no las asunciones de normalidad y homoscedasticidad, que con frecuencia sucede cuando los grupos están desequilibrados como en este caso. Y si procede, es imprescindible valorar la independencia entre la(s) covariada(s) y el tratamiento, si las pendientes en los grupos son paralelas, si existe o no multicolinealidad, si es posible que alguna variable esté mediando en la relación causal, etc. Las causas capaces de provocar estos problemas pueden ser varias y requerirían tratamientos distintos.

La existencia de puntuaciones atípicas sólo se examina en una investigación. En ninguna se comenta si falta algún dato, a pesar de lo habitual que es este problema en los diseños Cx. (Shadish et al., 2002). Sólo en 14(21.2%) investigaciones se reconoce haber perdido sujetos (Tabla 7) pero en ningún caso los investigadores se plantean por qué se ha producido, cual ha sido el patrón de pérdida ni qué consecuencias puede tener para la inferencia. Investigaciones meta-analíticas han demostrado que el TE es sensible al abandono de los sujetos (Shadish & Ragsdale, 1996) y por lo tanto es preciso tener en cuenta el tamaño de la muestra al principio y al final de la investigación para valorar el efecto del desgaste de muestra (Shadish & Myers, 2004 a). Sin excepción, ya sean puntuaciones atípicas ya sea pérdida de sujetos, en las investigaciones afectadas se afronta el problema eliminando el problema, esto es, eliminando del análisis a los sujetos que tienen puntuaciones atípicas y a los que abandonan (Tabla 7). Una excelente exposición sobre estos problemas y el modo de hacerlos frente la realizan West et al. (2008).

En el 87.9% (Tabla 7) de las investigaciones no se comprueba si se satisfacen las asunciones de normalidad ni de homogeneidad, tampoco las asunciones añadidas a éstas cuando se hace análisis de la covarianza. En las pocas veces que se utiliza el análisis de la regresión o el análisis multivariado no se examina la existencia de multicolinealidad, en el primero tampoco mediación y en el segundo nunca se completa con el análisis discriminante. Así las cosas, no se ha utilizado ningún estadístico robusto (e.g., F de Brown Forsythe en ausencia de homogeneidad) y las pruebas no paramétricas se utilizan en pocas ocasiones, y cuando se utilizan se justifican por ser escaso el tamaño de muestra. Por lo tanto, el análisis de los datos realizado para poner a prueba las hipótesis es un fiel precipitado del diagnóstico que no se ha hecho de los datos.

Aunque en las Tablas 8 b y 8 c podemos observar que casi cada diseño Cx. y Px. ha sido analizado de un modo distinto, y que los diseños que comentamos "podrían ser" de DR ninguno se analiza como tal, sin duda alguna la prueba t de Student, estresándola hasta la saciedad, es la prueba estrella. Con frecuencia no se tiene una visión conjunta del diseño y, desmembrando los grupos y las ocasiones temporales, los autores ponen a prueba las hipótesis estudiando las diferencias dos a dos en cada grupo (entre dos momentos temporales) y dos a dos entre grupos (en cada momento temporal), y esto para cada una de las variables dependientes que, del mismo modo que otros autores han encontrado (e.g., Scandura & Williams, 2000; Snyder et al., 2002), aquí también son muchas.

Es indiscutible que analizando así los datos los investigadores aseguran tener una alta probabilidad de rechazar la Ho, sin embargo no lo hacen cuidando la planificación de la investigación, sino que lo consiguen debido al nivel de significación acumulado tras realizar una gran cantidad de contrastes, y no debemos olvidar que el estrés sometido al análisis de los datos no convierte en válidas las comparaciones efectuadas "Use of significnce tests presumes but does not prove or supply the comparability of the comparison groups or the interpretability of the diference found" (Campbell & Stanley, 1963, p.22). De esta parte, por tanto, cometer un elevado error de Tipo I está garantizado. De otra parte, párrafos atrás expusimos que el tamaño de los grupos es pequeño por lo general, en los diseños balanceados y en los no balanceados también. En este caso, los investigadores trabajan con escasa potencia de prueba para detectar, quizás, un TE relevante, que nunca sabremos si lo era porque pocas veces se calcula, y en aquellas que se calculó no hubo comentario alguno sobre su relevancia a nivel sustantivo. De este modo, por tanto, los trabajos están destinados a tener una alta probabilidad de cometer error de Tipo II. Esta conducta polarizada convierte la inferencia estadística en un ejercicio abandonado al capricho del azar. Desafortunadamente sigue siendo actual el comentario de Campbell y Stanley "The tests of significance used with it are often wrong, incomplete, or inapropiate" ( op.cit , pp. 21-22).

Finalmente, aunque el valor empírico del estadístico de contraste y los gl . están reflejados prácticamente en la totalidad de los trabajos, el valor exacto de p se expone en 41(62.1%) investigaciones y el TE en 13(19.7%). Sin embargo, la potencia de prueba empírica sólo se calcula en una y los intervalos confidenciales en ninguna (Tabla 11). Este panorama también se ha detectado en otras revisiones sobre investigaciones Cx. (Hsieh et al., 2005; Snyder et al., 2002).

En el Fichero Adicional 5 se exponen excelentes referencias sobre cómo analizar los D. Cx. de GCNE, de DR y de series temporales.

Una vez redactados los resultados corresponde elaborar una discusión y concluir. Cuando se ha realizado una investigación Cx. o Px. es esperable, en mayor medida que cuando se lleva a cabo una investigación experimental, que el investigador extreme precauciones al extender sus conclusiones. Es el momento de reconocer las debilidades de la investigación, y de poner en tela de juicio si la pretendida relación causal ha podido resultar afectada por alguna de las posibles amenazas a la validez interna. Es el momento de valorar si la relación estadísticamente significativa encontrada es espuria en lugar de causal. O por el contrario, esa relación estadística que no hemos encontrado ha sido debida a la presencia de variables que estaban oscureciendo la relación o a la existencia de una incontrolada varianza del error por ejemplo, entre otras razones de cariz estadístico. Esto es, el investigador debe valorar si también ha cuidado la validez de conclusión estadística. Sólo si ambas se han cuidado tiene sentido examinar la validez externa y ecológica. Examinamos los apartados "discusión" y "conclusiones" con ánimo de observar si los investigadores manifiestan la sospecha, o explicitan la certeza de que alguna amenaza a la validez pudiera estar presente, y si así es, saber de qué modo la ponen a prueba y de qué modo solventan el problema. En la Tabla 12 se exponen los resultados.

Advertimos que en 31(77.5%) investigaciones Cx. no se comenta ninguna posible amenaza a la validez interna. Del resto, sólo en un trabajo el hallazgo de diferencias estadísticamente significativas entre las medidas pre de los grupos se denominó sesgo de selección, pese a que en 33(84.61%) se pone a prueba la igualdad inicial de los grupos de alguna manera y que en 6 (18.8%) se efectúa un análisis de la covarianza con la medida pre o con otras (ver Tabla 8 a) justificando que se hace debido a que ha habido diferencias entre los grupos en ellas y que así ya estarían controladas. Por lo tanto, existe la creencia generalizada de que si los grupos experimental y control son iguales estadísticamente con respecto a la medida pre, y/o con respecto a alguna otra, no existe sesgo de selección, lo escriban así o no, y además, que basta el análisis de la covarianza para controlar esas diferencias iniciales, de haberlas. Nada más lejos de la realidad. No basta con eso. El que no haya diferencias en la medida pre o el que las haya, ni es suficiente ni es necesario para que exista o no sesgo de selección. El sesgo de selección es un activo tóxico complejo responsable de las diferencias sistemáticas entre los grupos de comparación en la respuesta al tratamiento o en su pronóstico, y se produce cuando variables relacionadas con la variable dependiente existen en grado distinto entre los grupos sometidos a comparación (debido a distorsiones en los procedimientos utilizados para seleccionar los sujetos, debidos a factores que influyen en la participación en el estudio, etc.) y pueden ser otras distintas a las registradas, esto es, quizás variables como la edad, el sexo, etc., no sean causa de sesgo en según qué muestra, pese a ser las que habitualmente se registran. Esta falsa creencia explicaría por qué las variables registradas antes recibir la intervención nunca se han introducido como covariables cuando han resultado estadísticamente no significativas entre los grupos, cuando de hecho debiera hacerse si se asume un modelo mediacional (ver Judd & Kenny, 1981 y Huitema, 2011).

En 7 (17.5%) investigaciones Cx. se reconoce haber perdido muestra debido al abandono de sujetos aunque sólo en una se denomina mortandad experimental. Denominarlo así o no pensamos que no tiene importancia, lo que sí la tiene es que en ninguna se ha examinado a qué ha podido deberse y sólo en 4 de ellas se estudia de algún modo el posible efecto que esto haya podido causar poniendo a prueba si los sujetos que abandonan tienen las mismas características que tiene el grupo al que pertenecían (Tabla 12). En las 7 investigaciones realizan los análisis inferenciales posteriores prescindiendo de los sujetos que han abandonado. Sin saberlo han realizado lo que se denomina análisis por Protocolo ( per-protocol-analysis ), pero podrían haber procedido de modo más saludable realizando el análisis por Intención de Tratar ( Intention-to-Treat Analysis ). Para conocer las particularidades y ventajas de uno y otro modo de proceder, y tomar el pulso al debate que sobre este tema está teniendo lugar se puede consultar Anderson (2012), Sedgwick (2011), Shah (2011), White, Carpenter & Horton (2012), int. al.

En dos investigaciones los autores sospechan que la cantidad de tiempo existente entre los registros de las medidas pudiera ser un problema. En ambas, y sólo en el G. C, examinan si estas diferencias (post-pre) son estadísticamente significativas y en las dos resultó no serlo. En ambas concluyeron entonces que la distancia temporal no influía en el efecto del tratamiento. Esta conclusión es errónea, pero sin saberlo estaban poniendo a prueba el efecto de la maduración, pero también de la historia, de la regresión a la media (si las medidas hubiesen estado más próximas), pero de modo tan débil que, en ningún caso, esas no diferencias estadísticamente significativas pueden eliminar la sospecha de que estas amenazas pudieran estar presentes, máxime conociendo el escaso cuidado que se ha puesto en la formación de los grupos. De ahí la necesidad de contar con más de un G. C como anteriormente hemos comentado. De otra parte, los autores podrían haber observado lo mismo teniendo también en cuenta al G. E. Si hubiesen tenido la sospecha de un cambio maduracional, examinar las puntuaciones de cambio tiene sentido. De haber resultado el análisis estadísticamente significativo pensaríamos que ambos grupos evolucionan con un ritmo distinto, esto es, es posible que pudiera haber cierto efecto de maduración pero sería posible concluir que el tratamiento ejerce un efecto añadido en el grupo que lo recibe. Si no hubiese sido estadísticamente significativo (y además observamos el gráfico de medias) tal vez podríamos concluir que los dos grupos evolucionan al mismo ritmo. Esta podría haber sido una forma sencilla de proceder. Ahora bien, cuando la distancia entre las medidas es mucha (quizás debido a que el tratamiento tarda un tiempo en ser efectivo y eso justificaría esa distancia), o sea por otro motivo, hay que pensar que en mucho tiempo caben muchas circunstancias, y alguna es esperable que afecte a las variables dependientes que se toman. De ahí la necesidad de registrar variables dependientes no equivalentes y de contar con más grupos tanto de tratamiento como de control y ponerlos a prueba en situaciones y momentos temporales distintos. En fin, necesidades distintas requieren controles distintos.

De otras amenazas a la validez se comenta sólo su sospecha pero no se ponen a prueba, como el posible efecto de regresión a la media que se comenta en dos investigaciones, y los posibles efectos de orden que se comentan sólo en una.

Otras amenazas ni siquiera se sospechan. A saber, en la Tabla 5 pudimos ver que en 12 (30.7%) ocasiones los grupos experimental y control están muy próximos entre sí y en estas situaciones puede ocurrir rivalidad compensatoria, difusión del tratamiento, etc., (Cook & Campbell , 1979) que en ningún caso se comentan.

Sólo en una investigación Px. los autores calculan el tamaño de muestra, pero lo hacen una vez que ya estaban formados los grupos con ánimo de saber si sería suficiente para estimar un tamaño del efecto medio según Cohen (1988). Lo fue. Así las cosas, teniendo en cuenta que en ninguna investigación se planificó el tamaño de la muestra esperábamos leer algún comentario referente a ella tanto con respecto a su composición como con respecto a su tamaño. Advertimos que en 30(75%) investigaciones no se hace ningún comentario explícito acerca de la muestra, del problema que pueda suponer tener poco tamaño, o tener diferente número de sujetos en los grupos, si su composición no es enteramente adecuada, etc. Únicamente en 2 (5%) los autores advierten que podría estar sesgada, y, sólo en 8 (20%) investigaciones se comenta que el tamaño de la muestra puede ser escaso. Como anécdota, en una investigación los autores escriben que su tamaño de muestra es suficiente porque es mayor que el empleado en otras investigaciones . Ninguna investigación cuestiona la representatividad de la muestra utilizada.

Finalmente estábamos interesados en saber si los autores que habían realizado una investigación con finalidad aplicada 45(68.2%), sobre todo cuando la composición de la muestra fue "específica enferma" y habían concluido que la intervención fue efectiva, manifestaban explícitamente el propósito de aplicar el tratamiento en los grupos que habían sido de control. En ningún caso se expresó explícitamente esto cuando de hecho debiera de hacerse por razones éticas, sin embargo, expresiones como "sería deseable" o "sería conveniente" fueron habituales.

Es un clásico concluir los informes de investigación comentando limitaciones en el sentido de que "manipulando otros niveles de variables..., aplicándolo a otras muestras distintas..., etc, los resultados pudieran ser otros". Esto también se hace en los trabajos que revisamos, pero no es suficiente. A la misma conclusión han llegado otros investigadores que también han realizado revisiones sobre la calidad de las investigaciones Cx. A saber, Scandura & Willians (2002) manifiestan que tienen una baja validez de constructo, interna y externa. Castro & Mastropieri (1986), Deeks et al. (2003), Dunst & Rheingrover (1981), Farran (1990, 2000), Grant & Wall (2009), Higghouse (2009) y Snyder et al. (2002) lamentan el poco rigor en la planificación de estas investigaciones (diseño pobre, medidas imprecisas e inservibles, etc.) e inadecuados análisis estadísticos. Harris et al. (2005) manifiestan su enorme preocupación por el hecho de que muy pocos autores describen las limitaciones de los diseños que utilizan en las investigaciones Cx. y por lo tanto no pueden esbozar las posibles amenazas a las conclusiones.

Ya se había avisado "Encouraging good design and logic will help improve the quality of conclusions." (Wilkison & TFSI, 1999).

Conclusiones y recomendaciones

Hemos examinado minuciosamente las 66 investigaciones Cx. y Px. contenidas en las revistas Psicothema, International Journal of Clinical and Health Psychology y Psicológica en el periodo comprendido entre 1999 y 2009 (11 años). Debido a que son el total de las de su clase en el período temporal examinado constituyen un censo.

A colación de la cantidad. Es un hecho que conforme el total de casos se aleja de 100 en sentido negativo más grande nos parece el porcentaje de una cantidad dada, del mismo modo que cuando de 100 se aleja en sentido positivo nos parece más pequeño el de la misma cantidad. Por esta razón, contar con tan pocas investigaciones ha supuesto una virtud para el propósito que pretendíamos, ya que el cálculo de porcentajes ha hecho las veces de tinta de contraste que hemos aprovechado para destacar las debilidades de estas investigaciones y ahondar en la enorme importancia que tiene cuidar el método.

Consideramos de justicia, antes de nada, realizar una digresión para destacar tres aspectos. Primero. Estas 66 investigaciones sólo suponen el 4.02%, 4.47% y 2.2% de los trabajos publicados por las tres revistas (respectivamente, en el orden anteriormente citado, ver también Tabla 1) y en absoluto son representativas del conjunto de trabajos publicados en ellas. Segundo. Entre las 66 investigaciones sometidas a revisión hay algunas extraordinarias, y salvo alguna que requeriría una revisión en mayor profundidad, el resto adolecen de una u otra deficiencia, pero no de todas, hecho que en absoluto va a suponer que pierdan su envergadura y su sentido y sirvan como fuente de tensión en su campo de estudio sea el que sea. Tercero. Huelga comentar que la excelencia de las tres revistas sometidas a examen es incuestionable, no sólo por su trayectoria, sino porque las tres han sido y son objeto de deseo de grandes científicos en el campo de la Psicología o afines que deciden publicar en ellas sus trabajos. Proseguimos.

En el proceso de investigación desde que comienza hasta que se redactan los resultados existe un orden lógico en el que se debe considerar cada aspecto y cada matiz de la misma. Hemos tratado de ordenar el discurso del apartado anterior en ese mismo orden, y lo hemos hecho así para destacar que la planificación de una investigación, sea la que sea, (cualitativa o cuantitativa, experimental o no experimental, etc.) es en sí un ejercicio estructurado que exige considerar la validez en toda su diversidad, aunque con distinta profundidad en función de la finalidad perseguida.

Así pues, para comenzar a planificar una investigación cuasi-experimental es preciso reconocer que las condiciones son SIEMPRE adversas debido a la ausencia de aleatorización. Esta falta de control exige que el investigador se ponga en alerta y comience a pensar que los supuestos que debe considerar son muchos y que ponerlos en evidencia no va a ser tarea fácil. Lo primero que debe hacer es familiarizarse con el contexto en el que se va a celebrar la investigación y conocer en profundidad las características de la población en la que desea poner a prueba su hipótesis. Evidentemente a estas alturas las hipótesis las debe tener perfectamente definidas y el modelo explicativo también. En este momento se produce uno de los pasos más delicados, que es traducir o interpretar las piezas de las hipótesis para hacerlas operativas. Es el momento de cuidar la validez de constructo (referente a sujetos, medidas, momentos, tratamiento, variables dependientes, etc.) porque será la que nos va a permitir cuidar la formación de los grupos, aplicar el tratamiento "con integridad", y observar sus efectos en la extensión deseada para que la validez interna en la parrilla de salida sea impecable. El modelo explicativo de sus hipótesis y las posibilidades con las que cuenta para ponerlas a prueba van a determinar el diseño de recogida de datos que garantizará que la validez interna no se malogre. En este punto la validez de la conclusión estadística ya está casi en su totalidad sentenciada. Si en lo que resta el investigador cuida que el modelo explicativo de sus hipótesis también sea el que dirija la elección del modo de análisis, y en este punto usa los estadísticos de prueba del modo que sea correcto y pertinente, el error de Tipo I y de Tipo II los tendrá controlados. A esto es lo que nosotros denominamos Validez Estructurada y condición sine qua non para que TODA investigación alcance niveles óptimos de calidad. Conforme nos alejamos de la libertad que permite la asignación aleatoria es preciso molestarse más para hacer el mismo recorrido.

En resumen, la validez siempre va a venir explicada por un modelo no aditivo en el que aparecen enhebrados los cuatro tipos de validez del modelo capitaneado por Campbell. Es la Validez Estructurada. Una investigación tiene Validez Estructurada cuando, en primer lugar se ha cuidado la validez de constructo. Cuidada ésta, es posible la validez interna. Satisfechas ambas posibilitan, hacen eficaz la validez de conclusión estadística. La validez de conclusión estadística no es validez interna, pero si el modelo que explica las hipótesis ha sido el correcto, la validez de conclusión estadística consolidaría la validez interna. La validez externa y ecológica en parte están delimitadas por la validez de constructo inicial, pero no tienen sentido si la validez interna no se logra. Cook & Campbell (1979, p.80-85) ya habían comentado la relación que había entre validez interna y de conclusión, de una parte, y validez de constructo y validez externa de otra. Nosotros hemos querido hacer una modesta aportación a su modelo de validez.

In science we are like sailors who must repair a rotting ship while it is afloat at sea. We depend on the relative soundness of all other planks while we replace a particularly weak one. Each of the planks we now depend on we will in turn have to replace. No one of them is a foundation, for point of certainty, no one of them is incorrigible. (Campbell, 1969, p. 43).

Recomendaciones prácticas que nos permitirán salir a flote:

1. - Al principio de este trabajo redactamos que la dama es al ajedrez lo que la aleatorización al método científico, y pensamos que así es, sin embargo, es la posición del rey la que gana o pierde la partida. Los maestros del método nos han inculcado que la aleatorización no hace bueno el método, el buen método se hace gestionando bien los recursos. 2. - Sólo es posible gestionar bien los recursos trabajando con Validez Estructurada. Es el único modo de evitar la acumulación de amenazas, activos tóxicos venidos desde distintos frentes, siendo uno de los más vulnerables el que a los grupos de control se refiere. Si éstos no están bien formados, o aún estándolo, no son adecuados para poner a prueba la hipótesis que se pretende, lejos de ser un valor, se convierten en testigos incómodos capaces de arruinar la investigación. 3. - Nos guste o no, las hipótesis se ponen a prueba mediante alguna técnica estadística, y como antes hemos comentado, las ideas excelentes (hipótesis) no hacen válidos ni siquiera los más potentes procedimientos de análisis de datos. Si la validez de conclusión estadística está desnuda de masa sustantiva habrá una conclusión estadística que se mantendrá dentro de unos márgenes de error (cuando por ejemplo tenemos mucho tamaño de nuestra pero sin considerar el tamaño del efecto), pero la probabilidad de no ser válida (validez interna) será muy alta. 4. - Resulta fatigoso leer el apartado de resultados en muchos trabajos publicados. Es imperativo embridar el derroche en el análisis de los datos. Los análisis no se hacen bien, más que por no elegir correctamente el estadístico, por el modo de hacerlo. Por ejemplo, es cierto que el análisis de la varianza es imperfecto en algunas situaciones, pero repetirlo múltiples veces conduce a generar un error de tipo I insostenible. Esta conducta ha sido y sigue siendo criticada hasta la saciedad en múltiples revisiones en cualquier área de investigación ( e.g ., Schochet, 2009b). 5. - La conducta compulsiva anterior nos lleva a pensar que muchos investigadores quizás tengan la creencia errónea de que tener validez es equivalente a rechazar la Ho, con lo importantes que son las Ho cuando de significación práctica se trata, o simplemente para conocer qué camino nos lleva a ninguna parte, que no es poco. Rechazar la hipótesis nula (y su correspondiente análisis forense) sólo es un punto de llegada (y siempre provisional) si antes hemos demostrado que las hipótesis alternativas (que hasta el momento conocemos o podemos poner a prueba) son falsas. 6. - Es imperativo reconocer que no somos autosuficientes, y aunque estemos versados en el tema que investigamos conviene recurrir a un experto en metodología y análisis de datos que nos ayude a planificar la investigación que nos permita poner a prueba del mejor modo posible nuestras hipótesis y a analizar correctamente los datos (Altman, 2006; Harns et al., 2004, 2005; Shadish et al., 2002; Shardell et al., 2007, int.al).

Bobby Fisher reconocía que había aprendido a jugar al ajedrez observando el juego de los clásicos, de los jugadores románticos del Siglo XIX y principios del XX que gustaban de comienzos difíciles, con sacrificios de piezas que ponían a prueba el talento e imaginación de quien defendía uno y otro color en el tablero. Pensamos que para investigar "bien y mejor" es absolutamente necesario saber lo que nos falta por aprender, y ahora ya lo sabernos, al menos parte. Es bueno también tener algún modelo de referente. En este sentido, y para abrir boca, recomendamos leer el trabajo de una de las investigaciones cuasi-experimentales realizadas de modo magistral por Campbell y Ross (1968), The Connecticut crackdown on speeding: Time-series data in quasiexperimental analysis .

Así fue cómo en plena guerra fría se produjo la chispa que impulsaría, en el mundo del ajedrez, la carrera de uno de los más grandes genios de la historia, y en la ciencia, el punto de partida de una obra metodológica extraordinaria.

A lo largo de artículo se ha hecho referencia a cinco ficheros adicionales. Todos ellos se encuentran en la página http://www.unioviedo.es/dise investigacion/ . Los ficheros son:

Fichero Adicional 1: descripción de todas las variables registradas en todas sus categorías de clasificación.

Fichero Adicional 2: redacción de los resultados obtenidos libres de discusión.

Fichero Adicional 3: exposición de los resultados obtenidos en 12 Tablas.

Fichero Adicional 4: referencias bibliográficas seleccionadas sobre investigación Cx. (y otras investigaciones no aleatorizadas), algunas de carácter general y otras más específicas referidas a distintos ambientes disciplinares (educativo, clínico, etc.), también sobre causalidad.

Fichero Adicional 5: referencias bibliográficas seleccionadas sobre aspectos concretos y específicos de las investigaciones Cx. (y en general de las investigaciones no aleatorizadas): análisis de datos (para D-GCNE, D-DR y de series temporales), sesgo de selección, mediación, pérdida de datos, evaluación de programas, Método mixto, Modelos Multinivel, Modelos de Ecuaciones Estructurales, etc.

Referencias

1. Altman, D. G. (2006). Practical statistics for medical research. New York: Chapman & Hall.         [  Links  ]

2. Anderson, R. A. (2012). Reply: Intention-to-treat and per-protocol analyses. Human Reproduction, 27, 3118-3119.         [  Links  ]

3. Arnau, J. (1995). Metodología de la investigación en psicología. En M. T. Anguera, J. Arnau, M. Ato, R. Martínez, J. Pascual, J., y G. Vallejo, G. (Eds.), Métodos de investigación en Psicología (Cap. 1). Madrid: Síntesis.         [  Links  ]

4. Ato, M. (1995). Tipología de los diseños cuasi-experimentales. En M. T. Anguera, J. Arnau, M. Ato, R. Martínez, J. Pascual, J., y G. Vallejo, G. (Eds.). (1995). Métodos de investigación en Psicología (Cap. 9). Madrid: Síntesis.         [  Links  ]

5. Ato, M., y Vallejo, G. (2011). Los efectos de terceras variables en la investigación psicológica. Anales de Psicología, 27, 550-561.         [  Links  ]

6. Avellar, S., & Paulsell, D. (2011). Lessons Learned from the Home Visiting Evidence of Effectiveness Review. Office of Planning, Research and Evaluation, Adrmmstration for Children and Families, U.S. Department of Health and Human Services. Washington, DC. Recuperado de http://homvee.acf.hhs.gov/Lessons Learned.pdf .         [  Links  ]

7. Bai, A., Shukla, V. K., Bak, G., & Wells, G. (2012). Quality assessment toolsproject report. Ottawa: Canadian Agency for Drugs and Technologies in Health.         [  Links  ]

8. Brunswik, E. (1956). Perception and the representative design of psychological experiments (2nd. Ed.). Berkeley, CA: University of California Press.         [  Links  ]

9. Burchett, H., Umoquit, M., & Dobrow, M. J. (2011). How do we know when research from one setting can be useñil in another? A review of external validity, applicability and transferability frameworks. Journal of Health Services Research & Policy, 16, 238-44.         [  Links  ] .

10. Cambon, L., Minary, L., Ridde, V., & Alla, F. (2012). Transferability of interventions in health education: a review. BMC Public Health, 12(497).         [  Links  ]

11. Campbell, D.T. (1957). Factors relevant to the validity of experiments in social settings. Psychological Bulletin, 54, 297-312.         [  Links  ]

12. Campbell, D.T. (1969). A phenomenology of the other one: Corrigible, hypothetical and critical. En T Mischel (Ed.), Human Action: conceptual and empirical issues (pp. 41-69). New York: Academic Press.         [  Links  ]

13. Campbell, D. T., & Ross, H. L. (1968). The Connecticut Crackdown on Speeding: Time-Series Data in Quasi-Experimental Analysis. Journal of the Law and Society Association, 3, 33-54.         [  Links  ]

14. Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research on teaching. In N. L. Gage (Ed.), Handbook of research on teaching (pp. 171-246). Chicago: Rand McNally. (Reprinted as Experimental and quasi-experimental designs for research. Chicago: Rand McNally, 1966).         [  Links  ]

15. Castro, G., & Mastropieri, M. (1986). The efficacy of early intervention programs: A meta-analysis. Exceptional Children, 52, 417-424.         [  Links  ]

16. Centre for Reviews and Dissemination, CRD. (2010). Finding studies for systematic reviews: A resource listfor researchers. New York: Umversrty of York. Recuperado de http://www.york.ac.uk/inst/crd/revs.htm (accessed 13 Sep 2012).         [  Links  ]

17. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.         [  Links  ]

18. Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49, 997-1003.         [  Links  ]

19. Cohen, J. (1992). Cosas que he aprendido (hasta ahora). Anales de Psicología, 8, 3-17.         [  Links  ]

20. Cook, T.D. (2000). The false choice between theory-based evaluation and experimentation. New Directions for Evaluation, 87, 27-34.         [  Links  ]

21. Cook, T. D. (2006) Describing what is special about the role of experiments in contemporary educational research: putting the "Gold Standard" rhetoric into perspective. Journal of MultiDisciplinary Evaluation, 3, 1-7.         [  Links  ]

22. Cook, T. D. (2008). "Wartmg for life to amve": A history of the regression-discontinuity design in psychology, statistics and economics. Journal of Econometrics, 1422, 636-54.         [  Links  ]

23. Cook, T. D., & Campbell, D. T. (1976). The design and conduct of quasi-experiments and true experiments in fields settings. En M. Dunnette (Ed.), Handbook of industrial and organizational psychology (pp. 223-326). Chicago: Rand McNally.         [  Links  ]

24. Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues forfield settings. Chicago: Rand-McNally.         [  Links  ]

25. Cook, T. D., Campbell, D. T., & Peracchio, L. (1990). Quasi-experimentation. En M. D. Dunnette & L. M. Hough (Eds.), Handbook of industrial and organizational psychology (pp. 491-576). Palo Alto, CA: Consulting Psychologists Press.         [  Links  ]

26. Cook, L., Cook, B. G., Landrum T. J., & Tankersley, M. (2008). Examining the role of group experimental research in establishing evidenced-based practices. Intervention in School and Clinic, 44, 76-82.         [  Links  ]

27. Cook, T. D., & Gorard, S. (2007). Where does good evidence come from? International Journal of Research and Method in Education, 30, 307-323.         [  Links  ]

28. Cook, T. D., Scriven, M., Coryn, C. L. S., & Evergreen, S. D. H. (2010). Contemporary thinking about causation in evaluation: A dialogue with Tom Cook and Michael Scriven. American Journal of Evaluation March, 31 , 105-117.         [  Links  ]

29. Cook, B. G., Tankersley, M., & Landrum, T. J. (2009). Determining Evidence-Based Practices in Special Education. Exceptional Children, 75, 365-383.         [  Links  ]

30. Cook, T. D., & Wong, V. C. (2008). Empirical tests of the validity of the regression discontinuity design. Annales d'Economie et de Statistique, 91-92, 127-150.         [  Links  ]

31. Cooper, C.A., McCord, D. M., & Socha, A. (2010). Evaluating the college sophomore problem: The case of personality and politics. The Journal of Psychology: Interdisciplinary and Applied, 145, 23-37.         [  Links  ]

32. Creswell, J. W. (2009). Research design: Qualitative, quantitative, and mixed methods approaches (3rd ed.). Thousand Oaks, CA: Sage.         [  Links  ]

33. Datta, L. E. (2007). What are we, chopped liver? or why it matters if the comparisons are active and what to do. The Evaluation Center, The Evaluation Café. Recuperado de  http://www.wmich.edu/evalctr/wp-content/uploads/2010/05/chopped-liver.pdf .         [  Links  ]

34. Devito, D. A., Song, M. K., Hawkins, R., Aubrecht, J., Kovach, K., Terhorst, L., ... Callan, J. (2011). An Intervention Fidelity Framework for Technology-Based Behavioral Interventions. Nursing research, 60, 340-347.         [  Links  ]

35. Deeks, J. J., Dinnes, J., D'Amico, R., Sowden, A. J., Sakarovitch, C., Song, F., ... Altman, D.G. (2003). Evaluating non-randomised intervention studies. Health Technology Assessment, 7(27), 1-173.         [  Links  ]

36. Des Jarlais, D. C., Lyles, C., Crepaz, N., & TREND Group (2004). Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: (2004). The TREND Statement. American Journal of Public Health, 94, 361-366.         [  Links  ]

37. Donaldson, S., & Christie, C. (2005). The 2004 Claremont debate: Lipsey vs. Scriven. Determining causality in program evaluation and applied research: Should experimental evidence be the gold standard? Journal of Multidisciplinary Evaluation, 3, 60-77.         [  Links  ]

38. Dunst, C. J., & Rheingrover, R. (1981) An analysis of the efficacy of early intervention programs with organically handicapped children. Evaluation and Program Planning, 4, 87-323.         [  Links  ]

39. Eastmond, N. (1998). Commentary: when funders want to compromise your design. American Journal of Evaluation, 19, 392-395.         [  Links  ]

40. Farran, D. C. (1990). Effects of intervention with disadvantaged and disabled children: A decade review. En S. J. Meisels & J. P. Shonkoff (Eds.), Handbook of early childhood intervention (pp. 501-539). New York: Cambridge University Press.         [  Links  ]

41. Farran, D. C. (2000). Another decade of intervention for children who are low income or disabled: What do we know now? En J. P. Shonkoff & S. J. Meisels (Eds.), Handbook of early childhood intervention (2nd ed., pp. 510-548). New York: Cambridge University Press.         [  Links  ]

42. Ferguson, L. (2004). External validity, generalizability, and knowledge utilization. Journal of Nursing Scholarship, 36(1), 16-22.         [  Links  ]

43. Frick, R. W. (1995). Accepting the null hypothesis. Memory & Cognition, 23, 132-138.         [  Links  ]

44. Funnell, S. C., & Rogers, P. J. (2011). Purposeful program theory: Effective use of theories of change and logic models (Research Methods for the Social Sciences). San Francisco: John Wiley & Sons.         [  Links  ]

45. Gage, N. L. (Ed.) (1963). Handbook of research on teaching. Chicago: Rand McNally.         [  Links  ]

46. Gersten, R., Baker, S. K., Smith-Johnson, J., Flojo, J. R., & Hagan-Burke, S. (2004). A tale of two decades: Trends in support of federally funded experimental research in special education. Exceptional Children, 70, 323-332.         [  Links  ]

47. Gibbert, M., & Ruigrok, W. (2010). The "What" and "How" of Case Study Rigor: Three Strategies Based on Published Work. Organizational Research Methods, 13, 710-737.         [  Links  ]

48. Glasgow, R. E., & Emmons, K. M. (2007). How can we increase translation of research into practice? Types of evidence needed. Annual Review of Public Health, 28, 413-33.         [  Links  ]

49. Grant, A. M., & Wall, T. D. (2009). The Neglected Science and Art of Quasi-Experimentation Why-to, When-to, and How-to Advice for Organizational Researchers. Organizational Research Methods, 12, 653-686.         [  Links  ]

50. Green, L. W., & Glasgow, R. E. (2006). Evaluating the relevance, generalization, and applicability of research: issues in external validation and translation methodology. Evaluation & the Health Professions, 29(1), 126-53.         [  Links  ]

51. Gupta, S. K. (2011). Intention-to-treat concept: A review. Perspectives in Clinical Research, 2, 109-112.         [  Links  ]

52. Harris, A. D., Bradham, D. D., Baumgarten, M., Zuckerman, I. H., Fink, J. C., & Perencevich, E. N. (2004). The use and interpretation of quasi-experimental studies in infectious diseases. Clinical Infectious Diseases, 38, 1586-91.         [  Links  ]

53. Harris, A. D. Lautenbach, E., & Perencevich, E. (2005). A systematic review of quasi-experimental study designs in the fields of infection control and antibiotic resistance. Clinical Infectious Diseases, 41 , 77-82.         [  Links  ]

54. Harris, A. D. McGregor, J. D., Perencevich, E. N., Furuno, J. P., Zhu, J., Peterson, D. E., & Finkelstein, J. (2006). The Use and Interpretation of Quasi-Experimental Studies in Medical Informatics. Journal of the American Medical Informatics Association, 13, 16-23.         [  Links  ]

55. Highhouse, S. (2009). Designing experiments that generalize. Organizational Research Methods. Organizational Research Methods, 12, 584-566.         [  Links  ]

56. Highhouse, S., & Gillespie, J. Z. (2010). Do samples really matter that much? En C. E. Lance & R. J. Vandenberg (Eds.) Statistical and methodological myths and urban legends (pp. 247-262). New York: Taylor & Francis Group.         [  Links  ]

57. Higgins, J. P. T., & Green, S. (Eds.) (2011). Cochrane Handbook for Systematic Reviews of Interventions Version 5.1.0. The Cochrane Collaboration. Recuperado de http://www.cochrane.es/files/handbookcast/Manual_Cochrane_510.pdf .         [  Links  ]

58. Heisman, D. T., & Shadish, W. R. (1996). Assignment methods in experimentation: When do nonrandomized experiments approximate answers from randomized experiments? Psychological Methods, 1 , 154-169.         [  Links  ]

59. Hsieh, P., Acee, T., Chung, WH., Hsieh, YP., Km, H., Thomas, G.D., ... Robinson, D.H. (2005). Is Educational Intervention Research on the Decline? Journal of Educational Psychology, 97, 523-529.         [  Links  ]

60. Huitema, B. E. (2011).The Analysis of Covariance and Alternatives: Statistical Methods for Experiments, Quasi-Experiments, and Single-Case Studies (2da. Ed.). New York: John Wiley.         [  Links  ]

61. ICH Expert Working Group. (2000). Choice of control group and related issues in clinical trials. ICH Harmonised Tripartite Guideline. Current Step 4. E10. Recuperado de http://www.ich.org/fileadmin/Public_Web_Site/ICH_Products/Guidelines/Efficacy/E10/Step4/E10_Guideline.pdf .         [  Links  ]

62. Jensen, D. D., Fast, A. S., Taylor, B. J., & Maier, M. E. (2008). Automatic Identification of Quasi-Experimental Designs for Discovering Causal Knowledge. 14 th ACM SIGKDD, International Conference on Knowledge and data mining. August 24-27, Las Vegas, NV, USA.         [  Links  ]

63. Johnston, M. V., Ottenbacher, K. J., & Reichardt, C. S. (1995). Strong quasi-experimental designs for research on the effectiveness of rehabilitation. American Journal of Physical Medicine Rehabilitation, 74, 383-92.         [  Links  ]

64. Judd, C.M., y Kenny, D.A. (1981). Estimating the effects of social interventions. Cambridge, England: Cambridge University Press.         [  Links  ]

65. Kenny, D. A. (1979). Correlation and causality. New York: John Wiley.         [  Links  ]

66. Keselman, H. J., Huberty, C.J., Liz, L.M., Olejnik, S., Cribbie, R., Donahue, B., ... Levin, J.R. (1998). Statistical practices of educational researchers: An analysis of their ANOVA, MANOVA and ANCOVA analyses. Review of Educational Research, 68, 350-386.         [  Links  ]

67. Kunstmann, L. N., y Merino, E. J. M. (2008). El experimento natural como un nuevo diseño cuasi-experimental en investigación social y de salud. Ciencia y Enfermería XIV (2), 9-12.         [  Links  ]

68. Kunz, R., & Oxman, A. D. (1998). The unpredictability paradox: review of empirical comparisons of randomised and nonrandomised trials. British Medical Journal, 317, 1185-1190.         [  Links  ]

69. Lesik, S. (2006). Applying the regression-discontinuity design to infer causality with non-random assignment. Review of Higher Education, 30, 1-19.         [  Links  ]

70. Li, L. C., Moja, L., Romero, A., Sayre, E. C., & Grimshaw, J. M. (2009). Nonrandomized quality improvement intervention trials might over-state the strength of causal inference of their findings. Journal of Clinical Epidemiology, 62, 959-66.         [  Links  ]

71. Lipsey, M. W., & Wilson, D. B. (1993). The efficacy of psychological, educational,and behavioral treatment: Confirmation from meta-analysis. American Psychologist, 48, 1181-1209.         [  Links  ]

72. MacLehose, R. R., Reeves, B. C., Harvey, I. M., Sheldon, T. A., Russell, I. T., & Black, A. M. (2000). A systematic review of comparisons of effect sizes derived from randomised and non-randomised studies. Health Technology Assessment, 4, 1-154.         [  Links  ]

73. McCaffery, K. J., Turner, R., Macaskill, P., Walter, S.D., Chan, S. F., & Irwig L. (2011). Determining the impact of informed choice: separating treatment effects from the effects of choice and selection in randomized trials. Medical Decision Making, 31 , 229-236.         [  Links  ]

74. McLeod, B. D., & Islam, N. Y. (2011). Usrng Treatment Integrity Methods to Study the Implementation Process. Clinical Psychology. Science and practice, 18, 36-40.         [  Links  ]

75. McNemar, Q. (1946). Opinion attitude methodology. Psychological Bulletin, 43, 289-374.         [  Links  ]

76. Mara, C., & Cribbie, R. A. (2012). Paired-samples tests of equivalence. Communications in Statistics: Simulation and Computation, 41 , 1928-1943.         [  Links  ]

77. Mara, C., Cribbie, R. A., Flora, D., LaBrish, C., Mills, L., & Fiksenbaum, L. (2012). An improved model for evaluating change in randomized pretest, posttest, follow-up designs. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 8, 97-103.         [  Links  ]

78 Marcantonio, R. J., & Cook, T. D. (1994). Convincing quasi-experiments: The interrupted time series and regression-discontinuity designs. En J. S.Wholey, H.P. Hatry, & K.E. Newcomer (Eds.), Handbook of practical program evaluation (pp. 133-154). San Francisco: Jossey-Bass.         [  Links  ]

79. Marcus, S. M., Stuart, E. A., Wang, P., Shadish, W. R., & Steiner, P. M. (2012). Estimating the causal effect of randomization versus treatment preference in a doubly randomized preference trial. Psychological Methods, 17, 244-54.         [  Links  ]

80. Nezu, A. M., & Nezu, C. M. (Eds.) (2008). Evidenced-based outcome research: A practical guide to conducting randomized clinical trials for psychosocial interventions. New York: Oxford Press.         [  Links  ]

81. Orwin, R. G. (1997). Twenty-one years and counting: The interrupted time series design comes of age. En E. Chelimsky & W. R Shadish (Eds.), Evaluation for the 21st century: A handbook (pp.443-465). Thousand Oaks, CA: Sage.         [  Links  ]

82. Paluck, E. L., & Green, D. P. (2009). Prejudice Reduction: What Works? A Review and Assessment of Research and Practice. Annual Review of Psychology, 60, 339-367.         [  Links  ]

83. Perepletchikova, F., Hilt, L. M., Chereji, E., & Kazdin, A. E. (2009). Bamers to implementing treatment integrity procedures: Survey of treatment outcome researchers. Journal of Consulting and Clinical Psychology, 77, 212-218.         [  Links  ]

84. Rausch, J. R., Maxwell, S. E., & Kelley, K. (2003). Analytic Methods for Questions Pertaining to a Randomized Pretest, Posttest, Follow-Up Design. Journal of Clinical Child and Adolescent Psychology, 32, 467-486.         [  Links  ]

85. Reardon, S. F., & Robinson, J. P. (2012). Regression discontinuity designs with multiple rating-score variables. Journal of Research on Educational Effectiveness, 5, 83-104.         [  Links  ]

86. Reichardt, C. S., & Henry, G. T. (2012). Regression-discontinuity designs. En H. Cooper, P. M. Camic, D. L. Long, A. T. Panter, D. Rindskopf & K J. Sher (Eds.), APA handbook of research methods in psychology, Vol 2: Research designs: Quantitative, qualitative, neuropsychological, and biological (pp. 511-526). Washington, DC US: American Psychological Association.         [  Links  ]

87. Rossi, P. H., & Freeman, H. (1985). Evaluation: A systematic approach. Beverly Hills, CA: Sage Publications.         [  Links  ]

88. Ruscio, J., & Roche, B. (2012). Variance heterogeneity in Published Psychological Research: A Review and New Index. Metholology, 8, 1-11.         [  Links  ]

89. Sacks, H. S., Chalmers, T. C., & Smith, H. (1982). Randomized versus historical controls for clinical trials. The American Journal of Medicine, 72, 233-240.         [  Links  ]

90. Sacks, H. S., Chalmers, T. C., & Smith, H. (1983). Sensitivity and specificity of clinical trials: Randomized v historical controls. Archives of Internal Medicine, 143, 753-755.         [  Links  ]

91. Sánchez, J., Valera, A., Velandrino, A. P., y Marín, F. (1992). Un estudio de la potencia estadística en Anales de Psicología. Anales de Psicología, 8, 19-32.         [  Links  ]

92. Scandura, T. A., & Williams E. A. (2000). Research methodology in management: Current practices, trends, and implications for future research. Academy of Management Journal, 43, 1248-1264.         [  Links  ]

93. Scheirer, M. A. (1998). Commentary: Evaluation Planning is The Heart of the Matter. American Journal of Evaluation, 19, 385-391.         [  Links  ]

94. Schochet, P. Z. (2009a). Statistical power for regression discontinuity designs in education evaluations. Journal of Educational and Behavioral Statistics, 34, 238-266.         [  Links  ]

95. Schochet, P. Z. (2009b). An approach for addressing the multiple testing problem in social policy impact evaluations. Evaluation Review, 33, 539-567.         [  Links  ]

96. Schochet, P., Cook, T., Deke, J., Imbens, G., Lockwood, J. R., Porter, J., & Smith, J. (2010). Standards for regression discontinuity designs. Washington DC: U.S. Department of Education, Institute of Education Sciences, What Works Clearinghouse. Recuperado de http://ies.ed.gov/ncee/wwc/pdf/wwc_rd.pdf .         [  Links  ]

97. Schulz, R., Czaja, S. J., McKay, J. R., Ory, M. G., & Belle, S. H. (2010). Intervention Taxonomy (ITAX): Describing Essential Features of Interventions (HMC). American journal of health behavior, 34, 811-821.         [  Links  ]

99. Seethaler, P. M., & Fuchs, L. S. (2005). A drop in the bucket: Randomized controlled trials testing reading and math interventions. Learning Disabilities Research & Practice, 20, 98-102.         [  Links  ]

100. Shadish, W. J., & Cook, D. T. (2009). The renaissance of experiments. Annual Review of Psychology, 60, 607-29.         [  Links  ]

101. Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. New York: Houghton Mifflin.         [  Links  ]

102. Shadish, W. R., & Heinsman, D. T. (1997). Experiments versus quasi-experiments: Do you get the same answer? En W. J. Bukoski (Ed.), Meta-Analysis of Drug Abuse Prevention Programs (pp. 147-164). Washington DC: Superintendent of Documents.         [  Links  ]

103. Shadish, W. R., Galindo, R., Wong, V. C., Steiner, P. M., & Cook, T. D.(2011). A randomized experiment comparing random to cutoff-based assignment. Psychological Methods, 16, 179-191.         [  Links  ]

104. Shadish, W., & Myers, D. (2004a). Research Design Policy Brief. Recuperado de http://www.campbellcollaboration.org/artman2/uploads/1/C2_Research_Design_Policy_Brief-2.pdf .         [  Links  ]

105. Shadish, W., & Myers, D. (2004b). How to make a Campbell Collaboration Review: The Review. Documento elaborado para Nordic Campbell Center (The DNIHSR). Recuperado de http://www.sfi.dk/graphics/Campbell/Dokumenter/For_Forskere/guide_3_review_samlet20DEC04.pdf .         [  Links  ]

106. Shadish, W. R., & Ragsdale, K. (1996). Randomized versus quasi-experimental designs: A metaanalysis investigating the relationship between random assignment and effect size. Journal of Consulting and Clinical Psychology, 64, 1290-1305.         [  Links  ]

107. Shah, P. B. (2011). Intention-to-treat and per-protocol analysis. Canadian Medial Association Journal, 183, 696.         [  Links  ]

108. Shahar, E., & Shahar, D. J. (2009). On the causal structure of information bias and confounding bias in randomized trials. Journal of Evaluation in Clinical Practice, 15, 1214-1216.         [  Links  ]

109. Shardell, M., Harris, A. D., El-Kamary, S.S., Furuno, J. P., Miller, R. R., & Perencevich, E. N. (2007). Statistical Analysis and Application of Quasi Experiments to Antimicrobial Resistance Intervention Studies. Antimicrobial Resistance, 45, 901-907.         [  Links  ]

110. Snyder, P., Thompson, B., Mclean, M. E., & Smith, B. J. (2002). Examination of Quantitative Methods Used in Early Intervention Research: Linkages With Recommended Practices. Journal of Early Intervention, 25, 137-150.         [  Links  ]

111. Sridharan, A., & Nakaima, A. (2011). Then steps to making evaluation matter. Evaluation and Program Panning, 34, 135-146.         [  Links  ]

112. Steckler, A., & McLeroy, K. R. (2008). The importance of external validity. American Journal of Public Health, 98, 9-10.         [  Links  ]

113. Steiner, P. M., Cook; T. D., Shadish, W. R., & Clark M. H. (2010). The importance of covariate selection in controlling for selection bias in observational studies. Psychological Methods. 15, 250-67.         [  Links  ]

114. Stone, S. P., Cooper, B. S., Kibbler, C. C., Cookson, B. D., Roberts, J. A., Medley, G. F., ... Davey, P. G. (2007). The ORION statement: guidelines for transparent reporting of outbreak reports and intervention studies of nosocomial infection. The Lancet Infectious diseases, 7, 282-288.         [  Links  ]

115. Swaen, G., Teggeler, O., & van Amelsvoort, L. (2001) False positive outcomes and design characteristics in occupational cancer epidemiology studies. International Journal of Epidemiology, 30, 948-954.         [  Links  ]

116. Thomson, H. J., & Thomas, S. (2012). External validity in healthy public policy: application of the RE-AIM tool to the field of housing improvement. BMC Public Health, 12, 633.         [  Links  ]

117. Trochim, W. M. K. (1984). Research Design for Program Evaluation: The Regression- Discontinuity Approach. Beverly Hills: Sage.         [  Links  ]

118. Trochim, W. M. K. (2001). The research methods knowledge base. Cincinnati: Atomic Dog Publishing.         [  Links  ]

119. Valentine, J. C., & Cooper, H. (2003). What Works Clearinghouse Study Design and Implementation Assessment Device (Version 1.0). Washington, DC: U.S. Department of Education. Recuperado de http://www.w-w-c.org/standards.html .         [  Links  ]

120. Valera, A., Sánchez Meca, J., y Marín, F. (2000). Contraste de hipótesis e investigación psicológica española: análisis y propuestas. Psicothema, 12, 549-552.         [  Links  ]

121. Valera, A., Sánchez Meca, J., Marín, F., y Velandrino, A. P. (1998). Potencia estadística de la revista de Psicología General y Aplicada (1990-1992). Revista de Psicología General Aplicada, 51 , 233-246.         [  Links  ]

122. Vallejo, G. (1995). Diseños de series temporales interrumpidas. En M. T. Anguera, J. Arnau, M. Ato, R. Martínez, J. Pascual, J., y G. Vallejo, G. (Eds.), Métodos de investigación en Psicología (Cap. 12). Madrid: Síntesis.         [  Links  ]

123. Venter, A., Maxwell, S. E., & Bolig, E. (2002). Power in randomized group comparisons: The value of adding a single intermediate time point to a traditional pretest-posttest design. Psychological Methods, 7, 194-209.         [  Links  ]

124. Walter, S. D., Turner, R. M., Macaskill, P., McCaffery, K. J., & Irwig, L. (2012). Optimal allocation of participants for the estimation of selection, preference and treatment effects in the two-stage randomised trial design. Statistics in Medicine, 31 , 1307-1322.         [  Links  ]

125. Weisburd, D., Lum, C. M., & Petrosino, A. (2001). Does research design affect study outcomes in criminal justice? Annals of the American Association of Political and Social Science, 578, 50-70.         [  Links  ]

126. West, S. G., Duan, N., Pequegnat, W., Gaist, P., Des Jarlais, D. C., Holtgrave, D., ... Mullen, P. D. (2008). Alternatives to the Randomrzed Controlled Trial. American Journal of Public Health, 98, 1359-1366.         [  Links  ]

127. Whitea, I. R., Carpenterb, J., & Hortonc, N. J. (2012). Including all individuals is not enough: Lessons for intention-to-treat analysis. Clinical Trials, 9, 396-407.         [  Links  ]

128. Wiecko, F. M. (2010). Research Note: Assessing the validity of college samples: Are students really that different? Journal of Criminal Justice, 38, 1196-1190.         [  Links  ]

129. Wilkinson, L., & the Task Force on Statistical Inference. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54, 594-604.         [  Links  ]

Artículo recibido: 22-1-2013 Revisado: 20-5-2013 Aceptado: 22-7-2013

Investigación cuasi experimental: ¿qué es y cómo está diseñada?

¿cuáles son las características de la investigación cuasi experimental y cómo se utiliza.

Laura Ruiz Mitjana

La investigación cuasi experimental es un tipo de investigación muy empleada en psicología . Su característica más relevante es que no se seleccionan los grupos experimentales de forma aleatoria, sino que se escogen grupos ya formados (por ejemplo un equipo de fútbol).

Se fundamenta en una metodología descriptiva y en algunos elementos cuantitativos y cualitativos, y se utiliza para estudiar diferentes comportamientos, variables sociales, etc. En este artículo conoceremos sus características y algunas diferencias con la investigación experimental, así como las ventajas y desventajas que presenta.

• Artículo relacionado: " Los 15 tipos de investigación (y características) "

¿Qué es la investigación cuasi experimental?

La investigación cuasi experimental se utiliza especialmente en el ámbito de la psicología, aunque también en las ciencias sociales. Esta consiste en un tipo de investigación a medio camino entre la investigación experimental y la investigación observacional . En realidad, muchos autores no la consideran científica, aunque presenta notables ventajas, como veremos en este artículo.

A diferencia de la investigación experimental, en la investigación cuasi experimental el grado de control de las variables extrañas (VVEE) es menor . Por su parte, las variables extrañas son aquellas variables o factores que producen un efecto en la variable que estamos estudiando (variable dependiente), pero que debemos controlar, ya que su efecto es diferente al que produce(n) la(s) variable(s) independiente(s) (que son las que nos interesa estudiar).

¿Cómo se investiga?

¿Pero, cómo se investiga realmente? Tanto en investigación cuasi experimental como en otros tipos de investigación, ya sea en psicología como en otras ciencias, la investigación se basa sobre todo en estudiar el efecto de una variable independiente (VI) (o más) sobre otra variable , denominada variable dependiente (VD) (o más).

Por ejemplo, investigamos cuando queremos estudiar la eficacia de un tratamiento (variable independiente) a la hora de reducir la ansiedad (variable dependiente).

La investigación cuasi experimental tiene su origen en el ámbito educativo . Nació a raíz de observar que algunos efectos o fenómenos no podían estudiarse empleando el método experimental, y debían utilizarse diseños alternativos. Se trataba sobre todo de fenómenos o variables sociales.

En los últimos años, la cantidad de estudios realizados a través de una investigación cuasi experimental han ido aumentando cada vez más.

Características

Existen ciertas características que diferencian la investigación cuasi experimental de otros tipos de investigación. Son las siguientes.

1. No aleatoriedad

La característica básica de la investigación cuasi experimental (y que la diferencia de la investigación propiamente experimental) es la no aleatoriedad en la formación de los grupos experimentales . Es decir, el investigador selecciona a grupos ya formados (por ejemplo los estudiantes de un curso o los trabajadores de una oficina) para realizar su experimento.

Además, se utiliza este tipo de investigación cuando los sujetos no pueden asignarse de forma aleatoria a las diferentes condiciones experimentales de la investigación.

Para ilustrarlo, pensemos en un ejemplo: imaginemos que queremos estudiar la eficacia de tres tipos de terapia psicológica (por ejemplo psicodinámica, cognitivo-conductual y sistémica) a la hora de reducir el nivel de ansiedad en un grupo de personas.

Si utilizáramos un diseño experimental y no cuasi experimental, asignaríamos los sujetos a las diferentes condiciones experimentales (en este caso, los tres tipos de terapia) de forma aleatoria, es decir, utilizando el azar.

En la investigación cuasi experimental, en cambio, eso no lo podríamos hacer. Para solventar este problema, frecuentemente se opta por incluir un grupo control en el experimento .

2. No control de la varianza sistemática secundaria

Por otro lado, la investigación cuasi experimental también es una buena opción cuando no se puede controlar la varianza sistemática secundaria ; ésta se origina cuando la validez interna del experimento se ve amenazada. La validez interna es la que asegura que la variable independiente sea causa de la variable dependiente (es decir, ejerza efecto sobre ella).

• Quizás te interese: " Los 10 tipos de validez fundamentales en ciencia "

Consecuencias

Cuando se utiliza un tipo de investigación cuasi experimental, y al no haber seleccionado a los grupos experimentales de forma aleatoria, ocurre una cosa: que no podemos garantizar que todos los sujetos tengan características similares . Es decir, se produce un control menor de las variables. Ello hace que los resultados puedan sean menos fiables (de ahí el nombre de “cuasi” experimental).

Eso conlleva que este tipo de investigación no se utilice tanto en contextos de laboratorio , sino más bien en contextos naturales, en las escuelas, etc. O sea, que se utiliza sobre todo en investigación aplicada.

Así, la investigación cuasi experimental presenta tanto componentes positivos como negativos. Vamos a ver sus ventajas y desventajas.

La ventaja principal de la investigación cuasi experimental es que permite seleccionar grupos accesibles y ya formados ; además, en muchas ocasiones es difícil encontrar grupos que cumplan todos los requisitos para participar en un experimento (como ocurriría en un diseño experimental).

Por otro lado, son diseños fáciles de aplicar y económicos. El tiempo de preparación que requieren y los recursos a destinar son menores que en un diseño experimental. Además, se trata de un tipo de investigación que se puede aplicar no solo para estudiar grupos, sino también casos individuales.

Desventajas

Como características negativas o desventajas en la investigación cuasi experimental, encontramos su menor precisión y su menor validez, en comparación con los diseños experimentales .

Además, la falta de aleatoriedad en la formación de los grupos supone una amenaza a la validez del experimento y a la precisión o exactitud del mismo.

Por otro lado, muchas veces en este tipo de experimentos se produce el llamado efecto placebo , que consiste en sentir o percibir una mejora después de creer que hemos recibido un tratamiento (que en realidad no hemos recibido).

• Quizás te interese: " ¿Qué es el efecto placebo y cómo funciona? "

Tipos de diseños

En investigación cuasi experimental, concretamente en el campo de la psicología, se utilizan especialmente dos tipos de diseños cuasi experimentales:

1. Diseños transversales

A partir de estos diseños se estudian diferentes grupos en un momento temporal concreto . Por ejemplo, los podemos utilizar para medir el coeficiente intelectual (CI) de una clase de 4º de la ESO el día 1 de enero.

Es decir, este tipo de diseño se basa en recoger datos en un momento determinado (en un tiempo único). El objetivo del mismo es describir y analizar una serie de variables.

2. Diseños longitudinales

Este segundo tipo de diseños, los longitudinales, estudian cómo evolucionan o cambian unas determinadas variables (o una sola) en un grupo de sujetos (o más) . Es decir, estudian dichas variables en diferentes momentos temporales. Por ejemplo, en enero, febrero y marzo (aunque podría ser con intervalos de tiempo de años, también, o más).

También se pueden aplicar de forma individual para casos únicos. El objetivo es estudiar el cambio que se produce en “X” período de tiempo.

• Balluerka, N. y Vergara, A. I. (2002). Diseños de investigación experimental en psicología. Madrid: Prentice-Hall.
• Fontes de Gracia, S. García, C. Quintanilla, L. et al. (2010). Fundamentos de investigación en psicología. Madrid: UNED.
• Shadish, W. R., Cook, T. D. y Campbell, D. T. (2002). Experimental and cuasi-experimental designs. Boston: Houghton Mifflin Company.

Cómo citar este artículo

Al citar, reconoces el trabajo original, evitas problemas de plagio y permites a tus lectores acceder a las fuentes originales para obtener más información o verificar datos. Asegúrate siempre de dar crédito a los autores y de citar de forma adecuada.

Laura Ruiz Mitjana . ( 2019, julio 4 ). Investigación cuasi experimental: ¿qué es y cómo está diseñada? . Portal Psicología y Mente. https://psicologiaymente.com/miscelanea/investigacion-cuasi-experimental Copiar cita

Artículos relacionados

Artículos nuevos.

¿Cómo influye en el Cerebro el hacer Dieta?

Nerea Moreno

La presión de unas vacaciones extraordinarias y la pérdida de la magia en lo ordinario

Rafael De Silva

Psicología clínica

Cómo gestionar los cambios psicológicos de la etapa vacacional

Adhara Psicología

Psicología social y relaciones personales

Los beneficios psicológicos de dar las gracias

Javi Soriano

Quizás te interese

Coaching y liderazgo.

¿Cómo sentirnos realizados sin estar preocupados por nuestras finanzas?

Álex González Herrero

Los efectos negativos de la frustración (y 5 maneras de gestionarla)

Georgina Hudson

Drogas y adicciones

¿Vicio o adicción?

Blanca Esther Molina

• Skip to main content
• Skip to primary sidebar
• Skip to footer
• QuestionPro

• Soluciones Soluciones Muestra Online Comunidades Online Encuestas Offline Repositorio de Insights Quizzes y sondeos Licencia Académica Herramientas Net Promoter Score AskWhy Análisis Conjoint MaxDiff Closed-Loop Van Westendorp
• Recursos Blog eBooks Webinarios Plantillas para encuestas Estudios de caso Centro de ayuda
• Características

Inicio Investigación de mercado

¿Qué es la investigación cuasi experimental?

La investigación cuasi experimental es una forma de investigación experimental muy utilizada en las ciencias sociales y la psicología. Aunque se considera poco científico y poco fiable en las ciencias físicas y biológicas, el método es, sin embargo, una forma muy útil de medir las variables sociales.

Conozcamos más de sus características y de las ventajas y desventajas de su aplicación.

La investigación cuasi experimental es un tipo de estudio que se caracteriza porque el sujeto de estudio no se selecciona de forma aleatoria , sino que se encuentra o establece previamente.

La metodología de este tipo de investigación se caracteriza por ser descriptiva, la cual consiste en observar el comportamiento de los individuos y de las diferentes variables sociales y registrar datos cualitativos y cuantitativos. 

La investigación cuasi experimental se ubica entre la investigación experimental y el estudio observacional . Sin embargo, no tiene el control de variables o de los elementos que intervienen en el contexto del sujeto de estudio.

Características de la investigación cuasi experimental

La investigación cuasi experimental tiene las siguientes características: 

• La población de estudio que forma parte de esta investigación no se selecciona aleatoriamente, por el contrario, el investigador selecciona grupos previamente establecidos.
• La investigación cuasi experimental es de suma importancia para la investigación aplicada .
• Aunque su origen surgió para realizar investigaciones en el sector educativo, actualmente, también se utiliza en la rama de la psicología con el propósito de llevar a cabo estudios sociales .
• Este tipo de investigación se enfoca en identificar la forma en la que se relaciona una variable independiente sobre la variable dependiente y qué es lo que esto produce.
• La investigación cuasi experimental se lleva a cabo en campo , en un ambiente donde el sujeto de estudio se desarrolla naturalmente, lo que disminuye el control de las variables. 

Conoce más de los tipos de variables en una investigación .

Pasos para realizar una investigación cuasi experimental

A continuación, tenemos para ti esta guía que te ayudará a realizar una investigación cuasi experimental correctamente: 

Selección del grupo de estudio : El primer paso para realizar una investigación cuasi experimental es la selección del grupo que vas a estudiar y se les asigna una variable. 

Como mencionamos anteriormente, no se hace de forma aleatoria, sino que son grupos establecidos como por ejemplos los trabajadores de un hospital, los alumnos de una carrera universitaria, etc.

Ejecutar el estudio: Recordemos que la investigación cuasi experimental se basa principalmente en la metodología descriptiva y en el análisis de datos cuantitativos y cualitativos .

Análisis de los resultados: El análisis de datos consiste en identificar la influencia de las variables independientes sobre las dependientes y sus consecuencias. Entre los elementos que se analizan y los comportamientos sociales. 

Establecer las conclusiones: Después de analizar la información obtenida, es importante establecer conclusiones y presentar resultados a las partes interesadas para crear estrategias que permitan la solución del problema. 

Métodos de investigación cuasi experimental 

Para realizar una investigación cuasi experimental correctamente, es indispensable que los investigadores seleccionen entre dos tipos de diseños que le darán sentido al proceso. 

Diseños transversales

Los estudios transversales se utilizan con el objetivo de comparar diferentes grupos en momentos específicos del tiempo. 

Con este tipo de diseño no es posible obtener una conclusión general, por el contrario se mide una variable en un momento concreto . 

Diseños longitudinales

La investigación longitudinal tiene el objetivo de estudiar los cambios por los que atraviesa el sujeto de estudio en un período de tiempo continuo. 

Estos diseños consisten en seleccionar diferentes medidas de la variable para cada sujeto de estudio, los cuales pueden ser una persona o un grupo de personas que conformen una unidad.

Ventajas y desventajas de realizar una investigación cuasi experimental 

Estas son algunos puntos que debes de tomar en cuenta si decides utilizar una investigación cuasi experimental en tu próximo proyecto:

Entre las principales ventajas de realizar este tipo de investigación se encuentran:

• A diferencia de otros tipos de investigación social , la investigación cuasi experimental trabaja con grupos ya establecidos , que cumplen con las características necesarias para realizar el estudio y que además son accesibles, lo que facilita el proceso.
• Este tipo de investigación no es muy precisa, sin embargo, aún es posible que el investigador pueda identificar las tendencias generales .
• La investigación cuasi experimental, a diferencia de otros métodos tradicionales, es fácil de llevar a cabo y no requiere del uso de muchos recursos económicos.
• Por último, la investigación cuasi experimental puede realizarse tanto para casos individuales como grupales . 

Desventajas

Algunas de las desventajas de realizar una investigación cuasi experimental son:

• Al impedir que los investigadores realicen un muestreo al azar , es posible que los datos recolectados estén sesgados .
• Los investigadores no tienen conocimiento del contexto del sujeto de estudio . Esto puede provocar que los resultados no sean precisos y se obtengan conclusiones diferentes.
• En ocasiones los sujetos de estudio cambian su comportamiento al saber que se encuentran en un proceso de investigación . 

Si el proceso se realiza correctamente y eliges el método que se adapte a tu proyecto, podrás obtener grandes resultados.

Conclusión:

La investigación cuasi experimental puede ser una herramienta muy poderosa, especialmente en situaciones en las que los experimentos «reales» no son posibles.

Son una muy buena manera de obtener una visión general, y luego seguir con un estudio de caso o una investigación cuantitativa , para centrarse en las razones de los resultados obtenidos.

MAS COMO ESTO

Qualtrics vs. SurveyMonkey: Comparativa 2024

Ago 16, 2024

Correlación negativa: Qué es, ejemplos y cómo encontrarla

Ago 15, 2024

Microsoft Forms vs Google Forms: ¿Cuál es mejor?

Ago 14, 2024

Correlación positiva: Qué es, importancia y cómo funciona

Ago 13, 2024

Otras categorías

• Beneficios para empleados
• Capacitación
• Compromiso con el cliente
• Compromiso de los empleados
• Comunidades
• Comunidades en línea
• Conocimiento de la marca
• Entrenamiento
• Estrategia de marketing
• Estudios de casos
• Experiencia del Cliente
• Fuerza de Trabajo
• Funciones mejoradas
• Herramientas y aplicaciones de investigación
• InsightsHub
• Interceptar
• Investigación académica
• Investigación de Consumidores
• Investigación de mercado
• Lealtad del cliente
• Mejores Practicas
• Mercadotecnia
• Productos de QuestionPro
• Productos QuestionPro
• Retención de empleados
• Satisfacción al cliente
• Sin categorizar
• Software para Encuestas
• Startup @es
• Toma de decisiones

• Experimental Studies

Estudios Experimentales 2 Parte: Estudios Cuasi-Experimentales

• International Journal of Morphology 33(1):382-387
• 33(1):382-387
• CC BY-NC 4.0

• Universidad de La Frontera

Discover the world's research

• 25+ million members
• 160+ million publication pages
• 2.3+ billion citations
• Ulises Arturo Torres Cabrera

• Roberto Lorenzo-Benítez
• Nathaly Tatiana Calle-Espinoza
• Gloria Yessenia Mora-Erazo
• Cristopher David Herrera-Navas

• Kevin Mario Laura-De La Cruz

• Rocio Diaz-Zavala

• Mauricio López Benítez
• Luis Adrián Lasso Cardona
• Guillermo Andrés Calle-Jaramillo

• Jose Antonio Gonzalez-Jurado
• Cristal Alejandra Flores Villavicencio

• Norma Elena Castrezana Guerrero
• Elsa Chávez Álvarez
• Benjamín Dueñas Zambrano
• High Blood Pres Cardiovasc Prev
• Pablo Gulayin

• Diana Pinto

• Alba Martinez-Satorres

• Maria Isabel Fernandez San Martin

• REV CHIL INFECTOL

• Abouzar Mohammadi
• Hamed Najaran
• Shala Khazaei

• Maria Sgouraki
• Xenia Souvatzis

• V Nebreda Pérez
• Concepción García Lacalle
• Thomas D. Cook
• Donald T. Campbell
• D.T. Campbell
• J.C. Stanley
• Donald Thomas Campbell
• Julian C. Stanley
• Recruit researchers
• Join for free
• Login Email Tip: Most researchers use their institutional email address as their ResearchGate login Password Forgot password? Keep me logged in Log in or Continue with Google Welcome back! Please log in. Email · Hint Tip: Most researchers use their institutional email address as their ResearchGate login Password Forgot password? Keep me logged in Log in or Continue with Google No account? Sign up

Investigación cuasi experimental: concepto, características, ejemplos

¿Qué es la investigación cuasi experimental?

La investigación cuasi experimental es un tipo de investigación en la que se pretende encontrar una relación causa-efecto entre la variable independiente y la dependiente. Sin embargo, no es igual a un experimento real, ya que los sujetos no son asignados a los grupos de estudio de forma aleatoria. Se da especialmente en el campo educativo y social.

Por ejemplo, en una investigación se quiere estudiar el efecto de un nuevo tratamiento para el cáncer en un hospital. Sin embargo, por motivos éticos la dirección del hospital no permite asignar el tratamiento a una mitad de los pacientes y a la otra mitad no.

El tratamiento es ofrecido por la dirección a los pacientes y una parte de ellos deciden tomar el nuevo tratamiento, mientras que otra parte prefiere seguir con el tratamiento tradicional. El investigador estudia el efecto en cada grupo, convirtiéndose por tanto en una investigación cuasi experimental, ya que los sujetos no han podido ser asignados aleatoriamente a un grupo experimental (que reciba el tratamiento) y uno control (que no lo reciba).

La no aleatoriedad en su elección determina que no va a existir un control sobre las variables importantes. Igualmente, provoca que este tipo de investigación sea mucho más proclive a la aparición de sesgos. Existe una serie de alternativas a la hora de realizar el diseño del estudio. 

Por ejemplo, se pueden establecer unos controles históricos o, aunque no es obligatorio, crear un grupo de control que sirva para verificar la validez de los resultados. Se considera que este tipo de investigación se puede dividir en cuatro tipos: experimentos naturales, estudios con controles históricos, estudios posintervención y estudios antes/después.

Características de la investigación cuasi experimental

El origen de la investigación cuasi experimental se dio en el ámbito educativo. Las propias características de ese sector impedía que se pudieran realizar estudios de ciertos fenómenos con experimentos convencionales.

A partir de los años 60 del siglo pasado, pero sobre todo en las últimas décadas, este tipo de estudios se han multiplicado. Hoy en día tienen mucha importancia en la investigación aplicada .

Manipulación de la variable independiente

Como ocurre también en la investigación experimental, estos estudios tienen como objetivo definir cómo actúa una variable independiente sobre la dependiente. En resumen, se trata de establecer y analizar las relaciones causales que se producen.

Grupos no aleatorios

Como se apuntaba anteriormente, una de las características definitorias de la investigación cuasi experimental es la no aleatorización en la formación de los grupos.

El investigador recurre a grupos ya formados por las circunstancias que sean. Por ejemplo, pueden ser los miembros de una clase universitaria o un grupo de trabajadores que comparten oficina.

Esto provoca que no exista la certidumbre de que todos los sujetos presenten similares características, lo que puede provocar que los resultados no sean totalmente científicos.

Por ejemplo, a la hora de estudiar la alimentación escolar y las alergias relacionadas, puede haber niños totalmente sanos que pueden distorsionar los resultados.

Poco control de las variables

Estos modelos son frecuentes en investigaciones aplicadas. Esto significa que se van a desarrollar en ambientes ajenos a los laboratorios, en contextos naturales. De esta manera, el control del investigador sobre las variables es mucho menor.

Metodologías y diseño

De manera resumida, el modo en el que se desarrollan las investigaciones cuasi experimentales es muy simple. Lo primero es elegir el grupo a estudiar, tras lo que se le asigna la variable deseada. Una vez hecho esto, se analizan los resultados y se sacan conclusiones.

Para obtener la información deseada se utilizan varias herramientas metodológicas. La primera es una serie de entrevistas con los individuos del grupo elegido. De igual manera, existen protocolos estandarizados para realizar las observaciones pertinentes que aseguran un resultado más objetivo.

Otro aspecto que se recomienda es hacer una “preprueba”. Esto consiste en medir la equivalencia entre los sujetos estudiados previamente al experimento.

Además de estas líneas generales, es importante delimitar bien el tipo de diseño que se quiere establecer, ya que va a marcar el sentido de la investigación.

Diseños transversales

Sirven para comparar diferentes grupos, enfocando la investigación en un punto temporal concreto. Así, no se utiliza para obtener conclusiones universales, sino simplemente para medir una variable en un momento concreto.

Diseños longitudinales

En este caso se van a tomar varias medidas de la variable para cada individuo. Estos, que son los sujetos del estudio, pueden ser desde una sola persona hasta grupos que conformen una unidad, como una escuela.

A diferencia de los que sucede con los transversales, con este diseño se pretende estudiar los procesos de cambio en un periodo continuado de tiempo.

Ventajas y desventajas

En muchos estudios de ciencias sociales es muy complicado seleccionar grupos que puedan cumplir los requisitos para realizar investigaciones puramente experimentales.

Por esto, los cuasi experimentales, aunque menos precisos, se convierten en una herramienta muy valiosa para medir las tendencias generales.

Un ejemplo muy clásico es la medición del efecto del alcohol en adolescentes. Obviamente, no sería posible éticamente dar de beber a los chavales y observar de manera experimental los efectos. Por eso, lo que hacen los investigadores es preguntar cuánto alcohol han bebido y cómo les ha afectado.

Otra ventaja es que estos diseños pueden ser usados en casos individuales y, más tarde, extrapolar con otras entrevistas parecidas.

Por último, la característica de estos estudios los hace mucho más baratos y fáciles de desarrollar. Los recursos necesarios y el tiempo de preparación es mucho menor que si se quisiera realizar un experimento tradicional.

Desventajas

La principal desventaja que los expertos señalan es el no reunir a los grupos aleatoriamente, al azar. Esto provoca que los resultados puedan no ser todo lo exactos que se desearía.

Parte del problema es la imposibilidad de los investigadores de tener en cuenta factores externos que puedan desvirtuar las respuestas de los sujetos.

Cualquier circunstancia preexistente o rasgo personal que no se adapte al estudio puede suponer que las conclusiones sean diferentes. Entonces, el investigador queda sin respuesta ante estas situaciones.

Por otra parte, muchos teóricos advierten de que se puede presentar lo que llaman efecto placebo o de Hawthorne. Este consiste en la posibilidad de que alguno de los sujetos participantes cambie su conducta al saber que está participando en un estudio.

No se trata de que exista una manipulación externa, pero está demostrado que el ser humano tiende a adaptar su comportamiento a los patrones generales o a lo que piensa que se espera de él.

Para intentar evitar que esto altere los resultados, los investigadores cuentan con herramientas metodológicas para evitarlo, aunque es imposible un control al cien por cien.

Ejemplos de investigaciones cuasi experimentales

– Se investiga el nivel educativo entre niños que han ido a un colegio y niños que han ido a otro, con padres que se han mostrado voluntarios.

– Se investiga los efectos de dos vacunas contra el coronavirus, tomando como sujetos de estudio a personas que se presentan voluntarias. Es cuasi experimental porque no se ha podido asignar aleatoriamente a los sujetos a distintos grupos.

– Se investiga los efectos en la salud dental de dos comidas para perros, tomando como sujetos de estudio a perros cuyos dueños han sido voluntarios.

– Estudiar los efectos de un programa para encontrar trabajo, en el que los sujetos del grupo experimental y control no son asignados aleatoriamente.

– Se estudia el efecto de dos métodos de relajación, permitiendo a los sujetos de estudio que elijan el método voluntariamente.

Diseños Cuasiexperimentales con grupo de control

Tabla de contenidos

Dependiendo de que en la formación de los grupos se haya seguido una regla de asignación conocida o desconocida, podemos distinguir dos tipos de diseños:

• Diseños de grupo de control no equivalente , en los que se trabaja con grupos ya formados, por lo que la regla de asignación a los grupos es desconocida.
• Diseños de discontinuidad en la regresión , en los que se trabaja con grupos donde la regla de asignación para la formación de los grupos es conocida.

Diseños de grupo de control no equivalente

Aunque se trabaja con grupos formados, el investigador tratará de seleccionar grupos lo más equivalentes posible, intentando que no influyan variables extrañas que pongan en peligro la interpretación unívoca de los resultados. Si el tratamiento ha tenido efecto, las diferencias en el postest entre los grupos serán mayores que las que pudieran existir entre ellos en las medidas en el pretest.

Diseño pretest-postest con grupo de control no equivalente

Es uno de los diseños cuasiexperimentales más utilizados en las Ciencias Sociales. Este diseño consta de dos grupos: un grupo experimental (al que se aplica el tratamiento) y otro de control (al que no se le aplica). En ambos grupos se realiza una medida pretest y otra postest. El investigador, aunque utilice grupos ya formados, debe intentar que estos sean lo más similares posibles en algunas variables relevantes (por ejemplo, variables relacionadas con las características de los participantes y con el contexto) para poder inferir la eficacia del tratamiento.

La falta de garantías de la equivalencia inicial de los grupos genera riesgos de amenazas a la validez interna difíciles de detectar y que se deben tener en cuenta en la interpretación de los resultados. Estas se refieren a la interacción entre:

• Selección x maduración : El grupo experimental y el grupo control son de diferente procedencia y esto puede suponer que la pauta de maduración en ambos grupos sea distinta. Cuando no se pueda excluir el efecto de esta amenaza habrá que tenerla en cuenta en la interpretación de los resultados, a pesar de que en el grupo control no se observe incremento en el postest con respecto a la medida pretest.
• Selección x historia : También denominada historia local. Se refiere a acontecimientos externos que pueden afectar, durante la investigación, de forma diferente a los grupos debido al hecho de que los participantes proceden de contextos distintos.

En el análisis de datos hay que tener en cuenta la influencia de las variables extrañas que pueden llevar a una interpretación equívoca sobre el efecto del tratamiento. Por tanto, emplearemos el control estadístico con el que se puede eliminar la influencia de una o varias variables extrañas sobre la variable dependiente .

Diseño de cohortes

El término cohorte se utiliza en este contexto para indicar un grupo de personas que pertenecen a algún tipo de institución formal o informal (familiar, social, educativa, militar, etc.) que se encuentran sometidos durante un período de tiempo a las mismas circunstancias y que van cambiando de un nivel a otro en dichas instituciones. Estos diseños también se denominan de ciclo institucional. El estudio de cohortes es de gran utilidad fundamentalmente en investigaciones de ámbito educativo.

• Poder estudiar cómo un determinado acontecimiento afecta a un grupo, cohorte experimental, (por ejemplo, una reforma educativa) y compararlo con otro grupo (curso anterior en el que no se produjo esta reforma), cohorte de control.
• Se supone que entre las cohortes las diferencias son pequeñas, lo que hace que los grupos puedan llegar a ser más comparables que en los diseños que hemos visto hasta ahora, aunque no se llegue a la equivalencia conseguida con la aleatorización y, por tanto, no se pueda descartar definitivamente la amenaza de selección.
• Los grupos pertenecen, normalmente, a instituciones, por ello, se suele disponer de abundante información sobre las características de los participantes a través de archivos o registros institucionales.

La ventaja fundamental de estos diseños, respecto a los anteriores, es que permiten establecer inferencias causales razonables basándose en que los grupos de cohortes son relativamente similares unos a otros, aunque esto no descarta la amenaza a la selección. En estos diseños también se debe evaluar si existen efectos de variables extrañas que puedan dar lugar a diferencias significativas entre la cohorte experimental y la de control. Existen otras variantes de diseños de cohortes consistentes en añadir grupos de cohortes o añadir más medidas en cada cohorte.

Diseño de discontinuidad en la regresión

Es uno de los diseños cuasiexperimentales considerado de mayor importancia por Cook y Campbell (1979). Este diseño tiene un alto grado de validez interna. Es un diseño pretest-postest con grupo de control. En el diseño de grupo de control no equivalente se trabaja con grupos ya formados (se desconoce la regla de asignación), sin embargo, en este diseño los participantes son asignados a las condiciones aplicando una regla de asignación conocida: los participantes son asignados a un grupo u otro en función de sus puntuaciones en la medida pretratamiento. Se representa de la siguiente forma, donde la letra C indica la puntuación de corte en el pretest, a partir de la cual unos participantes se asignarán a la condición de control y otros a la condición de tratamiento:

Este tipo de diseño requiere que se pueda aplicar como medida pretest una variable cuantitativa, en función de la cual se formarán los grupos. Se suele utilizar en educación para valorar sistemas educativos, en medicina para probar la efectividad de un medicamento en pacientes con distinto grado de afectación, etc. Este diseño de discontinuidad en la regresión permite descartar algunas amenazas a la validez interna al conocerse la regla de asignación de los sujetos. Sin embargo, no se pueden excluir otras como la interacción entre tratamiento y maduración, ya que podría darse el caso de que los participantes que están por debajo de la línea de corte maduren a un ritmo más rápido, o más lento, que aquellos que se sitúan por encima.

Referencias

• Quintanilla Cobián, Laura. Fundamentos De Investigación En Psicología. 2ª Ed. [adaptada a 7ª Ed. Normas APA]. ed. Madrid: Universidad Nacional De Educación a Distancia, 2020. Print. Grado (UNED) ; 6201104.

Deja un comentario Cancelar la respuesta

•   DSpace Home
• 1. Tesis UNIFE
• 1.3. Doctorado
• Escuela de Posgrado
• Doctorado en Educación

Efectos de un programa educativo en proactividad y resiliencia de estudiantes de segundo grado de secundaria

Description

Collections.

• Doctorado en Educación [58]