Sistema de Evaluaciones Escuelas que Cuidan

Lectura web

SISTEMA DE EVALUACIONES ESCUELAS QUE CUIDAN

Marco para documentar, comparar, interpretar y comunicar evaluaciones del modelo, sus componentes, procesos, resultados y límites

Documento técnico-académico integradoEscuelas que CuidanVersión propuesta para investigación, pilotaje, implementación, Observatorio, gobernanza, transparencia y eventual escalamiento

Nota de estatus

El presente documento define el componente Evaluaciones del Núcleo de Memoria y Transparencia de Escuelas que Cuidan.

Su finalidad no es crear una colección de informes favorables al proyecto, ni utilizar indicadores aislados para afirmar que una escuela “funciona” o “no funciona”, ni convertir la evaluación en un mecanismo de sanción.

Se propone como una infraestructura de memoria institucional y rendición de cuentas mediante la cual Escuelas que Cuidan pueda conservar, revisar y comunicar:

qué fue evaluado;

con qué preguntas;

mediante qué métodos;

con qué población;

qué resultados aparecieron;

qué limitaciones existieron;

qué efectos adversos se observaron;

qué decisiones se tomaron después.

Esta propuesta se apoya en el propio diseño doctoral, que plantea una evaluación mixta, longitudinal y aplicada, con mediciones antes y después de la intervención y con especial atención a cambios en prácticas, clima relacional, capacidad institucional de detección, respuesta, reparación y seguimiento.

El mismo diseño advierte que, cuando se utiliza un esquema preexperimental, los resultados deben comunicarse como cambios asociados y no como prueba causal definitiva de impacto.

A partir de esta base, el Sistema de Evaluaciones amplía la lógica evaluativa a todo el ecosistema de Escuelas que Cuidan.

1. Propósito general

El Sistema de Evaluaciones tendrá como propósito:

conservar una memoria estructurada y transparente de las evaluaciones realizadas sobre Escuelas que Cuidan, sus componentes, sus procesos de implementación y sus resultados, permitiendo distinguir claramente entre evidencia de diseño, implementación, desempeño, resultados, efectos adversos, sostenibilidad e impacto.

La secuencia central será:

PREGUNTA → DISEÑO → MEDICIÓN → ANÁLISIS → RESULTADO → LIMITACIÓN → DECISIÓN → APRENDIZAJE.

2. Problema que intenta resolver

Un proyecto que crece puede terminar acumulando:

encuestas;

reportes;

pilotos;

evaluaciones;

tesis;

indicadores;

testimonios;

presentaciones;

resultados parciales.

Pero si éstos no están organizados:

la memoria evaluativa se fragmenta.

Con el tiempo se corre el riesgo de no poder responder:

“¿qué sabemos realmente que funcionó?”

“¿qué sólo parecía prometedor?”

“¿qué no fue evaluado?”

“¿qué produjo efectos no esperados?”

“¿qué resultados dependen de una sola escuela?”

“¿qué cambió después de los hallazgos?”

El Sistema de Evaluaciones se diseña precisamente para responder estas preguntas.

3. Definición

Se entenderá por Sistema de Evaluaciones Escuelas que Cuidan:

la estructura mediante la cual se registran, clasifican, conservan, comparan y comunican las evaluaciones realizadas sobre el modelo, sus componentes, su implementación, sus resultados y sus consecuencias, incluyendo metodología, población, temporalidad, indicadores, hallazgos, limitaciones, conflictos de interés, decisiones derivadas y estado actual de la evidencia.

4. Qué NO es

No es:

repositorio de testimonios favorables;

ranking de escuelas;

mecanismo de propaganda;

expediente disciplinario;

certificación institucional;

sistema de puntuación moral;

sustituto de evaluación independiente;

prueba automática de causalidad.

La regla central será:

EVALUAR PARA APRENDER, NO PARA CONFIRMAR.

5. Principio rector

TODA AFIRMACIÓN IMPORTANTE SOBRE ESCUELAS QUE CUIDAN DEBERÍA PODER RESPONDER: “¿QUÉ EVALUACIÓN LA SUSTENTA?”

Y, si no existe:

deberá presentarse como hipótesis, propuesta o expectativa.

6. Relación con memoria y transparencia

El Núcleo de Memoria y Transparencia necesita conservar no sólo:

qué se decidió,

sino también:

qué evidencia llevó a esa decisión.

Por ello:

Registro de Decisiones = memoria de la decisión.

Sistema de Evaluaciones = memoria de la evidencia.

Ambos sistemas deben permanecer conectados.

PARTE I

NIVELES DE EVALUACIÓN

7. Evaluación de diseño

Pregunta:

¿el modelo está conceptualmente bien construido?

Puede revisar:

coherencia;

teoría de cambio;

taxonomía;

correspondencia entre problema y respuesta;

plausibilidad de mecanismos.

8. Evaluación de contenido

Pregunta:

¿los componentes representan adecuadamente aquello que pretenden abordar?

Puede aplicarse a:

instrumentos;

perfil competencial;

formación;

protocolo;

recursos;

indicadores.

9. Evaluación de factibilidad

Pregunta:

¿puede implementarse realmente?

Analiza:

tiempo;

recursos;

personal;

carga;

aceptación;

barreras.

10. Evaluación de implementación

Pregunta:

¿se implementó como estaba previsto?

Incluye:

cobertura;

exposición;

fidelidad;

adaptación;

calidad;

participación;

seguimiento.

11. Evaluación de aprendizaje

Pregunta:

¿las personas aprendieron?

Puede aplicarse a:

docentes;

directivos;

APDS;

formadores;

evaluadores.

12. Evaluación de desempeño

Pregunta:

¿pueden demostrar la competencia?

Aquí se conecta con:

Perfil Competencial + Estándar + IEC.

13. Evaluación de transferencia

Pregunta:

¿lo aprendido aparece en la práctica real?

Este nivel es crucial porque:

formación ≠ transferencia.

14. Evaluación de resultados proximales

Ejemplos:

mayor claridad;

mayor capacidad de detección;

mejor recepción;

mejores prácticas de corrección;

mejor registro;

mayor uso de reparación.

15. Evaluación de resultados intermedios

Ejemplos:

seguridad relacional;

confianza;

participación;

percepción de justicia;

agencia;

capacidad institucional.

16. Evaluación de resultados distales

Ejemplos:

clima escolar;

cultura;

recurrencia;

sostenibilidad;

institucionalización.

17. Evaluación de impacto

Pregunta:

¿qué parte del cambio puede atribuirse causalmente a la intervención?

Este nivel requiere diseños más sólidos.

El proyecto ya reconoce que los diseños sin grupo de comparación permiten hablar de asociación temporal, no de causalidad exclusiva.

18. Evaluación de sostenibilidad

Pregunta:

¿los cambios se mantienen?

19. Evaluación de efectos adversos

Pregunta:

¿qué daños o consecuencias no previstas produjo el modelo?

Este nivel es obligatorio.

PARTE II

OBJETOS DE EVALUACIÓN

20. El modelo completo

Evaluar:

Escuelas que Cuidan como intervención integrada.

21. Taxonomía

Evaluar:

claridad;

utilidad;

diferenciación;

validez conceptual.

22. Teoría de Cambio

Evaluar:

si los mecanismos esperados aparecen.

23. Sistema de Indicadores

Evaluar:

comprensión;

utilidad;

sensibilidad;

redundancia;

estabilidad.

24. Protocolo

Evaluar:

acceso;

respuesta;

seguridad;

confidencialidad;

reparación;

seguimiento.

25. APDS

Evaluar:

factibilidad;

aceptación;

cambios en práctica;

límites;

recurrencia.

26. Microhábitos

Evaluar:

comprensión;

adopción;

transferencia;

mantenimiento.

27. Formación

Evaluar:

aprendizaje;

desempeño;

transferencia.

28. IEC

Evaluar:

claridad;

validez;

confiabilidad;

concordancia;

factibilidad.

29. Recursos

Evaluar:

acceso;

comprensión;

utilidad;

acción derivada.

30. Observatorio

Evaluar:

calidad;

utilidad;

independencia;

protección.

31. Participación

Evaluar:

acceso;

diversidad;

voz;

incidencia;

devolución.

32. Red de aliados

Evaluar:

aportación;

continuidad;

dependencia;

conflicto de interés.

33. Gobernanza

Evaluar:

claridad;

responsabilidad;

independencia;

trazabilidad.

34. Ética y datos

Evaluar:

incidentes;

cumplimiento;

comprensión;

minimización;

seguridad.

PARTE III

CLASIFICACIÓN DE EVALUACIONES

35. Por origen

Interna

realizada por el equipo del proyecto.

Mixta

participación interna + externa.

Externa

realizada por actor independiente.

Replicación

realizada sin dependencia operativa del proyecto.

36. Por temporalidad

Ex ante

antes de implementar.

De proceso

durante.

Intermedia

a mitad.

Final

al cierre.

Ex post

después.

Longitudinal

seguimiento.

37. Por enfoque

Cuantitativa

Cualitativa

Mixta

El enfoque mixto es congruente con el diseño metodológico del proyecto porque el fenómeno incluye tanto cambios observables como experiencias, significados y percepciones.

38. Por alcance

Piloto

Institucional

Multiescuela

Estatal

Multientidad

Nacional

39. Por nivel de evidencia

Exploratoria

Descriptiva

Asociativa

Cuasiexperimental

Experimental

Síntesis de evidencia

40. Regla

El nombre de la evaluación debe reflejar:

lo que realmente permite concluir.

PARTE IV

FICHA MAESTRA DE EVALUACIÓN

41. Identificación

Código: __________________

Título: __________________

Componente: __________________

Fecha: __________________

Responsable: __________________

Tipo: __________________

Origen: Interna / Mixta / Externa

42. Pregunta evaluativa

¿Qué queremos saber?

43. Hipótesis o expectativa

44. Diseño

45. Población

Escuelas: ________

Participantes: ________

Características relevantes: ________

46. Periodo

Inicio: ________

Fin: ________

Seguimiento: ________

47. Componentes evaluados

48. Indicadores

49. Instrumentos

50. Fuentes

alumnado;

docentes;

familias;

directivos;

observación;

registros;

documentos.

51. Resultados principales

52. Resultados secundarios

53. Efectos adversos

54. Resultados inesperados

55. Limitaciones

56. Inferencia permitida

¿Qué podemos afirmar?

57. Inferencia no permitida

¿Qué no podemos afirmar?

Este campo deberá ser obligatorio.

58. Conflictos de interés

59. Revisión externa

60. Decisión derivada

61. Código del Registro de Decisión relacionado

62. Estatus

En diseño

En curso

Cerrada

Replicada

Superada

Retirada

PARTE V

JERARQUÍA DE EVIDENCIA INTERNA

63. Nivel E0 — Sin evaluación

Existe:

propuesta.

64. Nivel E1 — Revisión conceptual

Existe:

fundamento teórico.

65. Nivel E2 — Validación de contenido/factibilidad

Existe:

revisión experta o pilotaje inicial.

66. Nivel E3 — Evaluación pre-post o descriptiva

Existe:

evidencia empírica inicial.

67. Nivel E4 — Comparación

Existe:

grupo de comparación o diseño más robusto.

68. Nivel E5 — Replicación independiente

Existe:

evidencia en contextos distintos.

69. Nivel E6 — Evidencia acumulativa

Múltiples estudios suficientemente consistentes.

Esta escala es una propuesta interna de memoria epistemológica, no una jerarquía científica universal ni una certificación de eficacia.

70. Uso de la escala

Cada componente podría mostrar:

Estatus actual de evidencia: E2

en lugar de afirmar:

“validado”.

Esto mejora transparencia.

PARTE VI

REGLA DE EVIDENCIA

71. Tres categorías públicas

DOCUMENTADO

Existe evidencia externa relevante.

EVALUADO

Existe evaluación propia.

VALIDADO

Sólo utilizar cuando exista evidencia suficiente para esa afirmación específica.

72. No usar “validado” como sinónimo de

revisado;

pilotado;

utilizado;

aprobado internamente;

bien recibido.

73. Ejemplo

No:

“Microhábitos validados”.

Si sólo fueron utilizados en un taller.

Sí:

“Microhábitos propuestos y pilotados inicialmente”.

PARTE VII

EVALUACIÓN DE IMPLEMENTACIÓN

74. Dimensiones mínimas

Cobertura

¿quién recibió?

Dosis

¿cuánto?

Fidelidad

¿se realizó?

Adaptación

¿qué cambió?

Calidad

¿cómo se realizó?

Participación

¿quién se involucró?

Aceptabilidad

¿resultó viable?

75. Importancia

Sin implementación:

no puede interpretarse correctamente el resultado.

76. Ejemplo

Resultado:

“no mejoró seguridad”.

Pero:

sólo 30 % de docentes asistió.

La conclusión no debería ser:

“el modelo no funciona”.

Sino:

“la implementación fue insuficiente para evaluar adecuadamente el mecanismo”.

PARTE VIII

EVALUACIÓN DE RESULTADOS

77. Cambios proximales

lenguaje;

conocimiento;

detección;

alternativas.

78. Cambios intermedios

seguridad;

agencia;

justicia;

confianza.

79. Cambios organizacionales

respuesta;

reparación;

seguimiento;

cultura.

80. Resultados a largo plazo

No deberían asumirse sin seguimiento.

81. Regla temporal

EL CAMBIO INMEDIATO NO DEMUESTRA MANTENIMIENTO.

PARTE IX

EVALUACIÓN DE EFECTOS ADVERSOS

82. Obligatoria

Toda evaluación relevante debe preguntar:

¿qué pudo empeorar?

83. Posibles efectos

temor docente;

sobrerreporte;

ocultamiento;

burocratización;

saturación;

conflicto familiar;

represalias;

etiquetamiento;

sobreinterpretación.

84. Regla

Un modelo que mejora un indicador pero:

genera daño relevante en otro

no debe evaluarse únicamente por:

el indicador favorable.

PARTE X

EVALUACIÓN MULTIFUENTE

85. No depender de una sola voz

El proyecto ya establece la importancia de triangulación y de no utilizar un instrumento aislado para declarar la existencia de maltrato o atribuir responsabilidad.

Por ello:

una evaluación institucional tampoco debería depender de una sola fuente cuando la pregunta exige varias perspectivas.

86. Discrepancias

Si alumnado dice:

mejoró.

Docentes:

empeoró.

Familias:

no perciben cambio.

Eso:

no debe promediarse sin más.

Debe analizarse.

87. Discrepancia como hallazgo

Puede revelar:

experiencias diferentes;

implementación desigual;

expectativas distintas;

efectos adversos específicos.

PARTE XI

EVALUACIÓN LONGITUDINAL

88. Secuencia sugerida

T0 — línea base

T1 — post inmediato

T2 — seguimiento

T3 — sostenibilidad

cuando sea factible.

89. No medir todo siempre

La periodicidad dependerá de:

carga;

riesgo;

utilidad;

recursos.

90. Medición de mantenimiento

Pregunta:

¿el cambio continúa cuando disminuye el acompañamiento?

PARTE XII

EVALUACIÓN COMPARATIVA

91. Comparación temporal

mismo grupo a través del tiempo.

92. Comparación entre escuelas

Sólo cuando:

exista comparabilidad suficiente.

93. Comparación con lista de espera

Puede fortalecer inferencia.

94. Cuasiexperimental

Podría utilizar:

escuelas con características comparables.

95. Limitación

Sin asignación aleatoria:

persiste riesgo de confusión.

PARTE XIII

EVALUACIÓN INDEPENDIENTE

96. Principio

ESCUELAS QUE CUIDAN NO DEBE SER EL ÚNICO JUEZ DE SU PROPIA EFICACIA.

97. Cuándo es especialmente necesaria

afirmaciones de eficacia;

escalamiento;

política pública;

certificación;

expansión territorial;

financiamiento importante.

98. Tipos

Revisión externa

revisa metodología.

Evaluación externa

analiza resultados.

Replicación

prueba en otro contexto.

99. Independencia mínima

El evaluador debe poder:

publicar resultados desfavorables.

PARTE XIV

EVALUACIÓN Y CONFLICTO DE INTERÉS

100. Declaración

Toda evaluación deberá identificar si quien evalúa:

diseñó;

implementó;

capacitó;

financió;

comercializa.

101. No invalida automáticamente

Pero sí exige:

transparencia y contrapeso.

102. Ejemplo

Si el equipo fundador evalúa:

primera factibilidad,

es razonable.

Si afirma:

eficacia nacional,

sin revisión externa,

es insuficiente.

PARTE XV

REGISTRO MAESTRO DE EVALUACIONES

103. Tabla general

ID

Evaluación

Componente

Tipo

Población

Fecha

Resultado

Evidencia

Estatus

104. Código

Ejemplo:

EQC-EVAL-2027-001

105. Subcódigos

EQC-EVAL-FOR-001

formación.

EQC-EVAL-OBS-001

Observatorio.

EQC-EVAL-IMP-001

implementación.

PARTE XVI

FICHA PÚBLICA DE EVALUACIÓN

106. Formato

Qué evaluamos

Por qué

Cómo

Con quién

Qué encontramos

Qué no podemos concluir

Qué cambiaremos

107. Regla de lenguaje público

No comunicar:

únicamente resultados positivos.

108. Ejemplo

“La capacitación mejoró conocimiento inmediato, pero todavía no contamos con evidencia suficiente de transferencia sostenida al aula.”

Esta frase:

informa mejor

que:

“la capacitación fue exitosa”.

PARTE XVII

MATRIZ DE RESULTADOS

109. Cuatro categorías

Favorable

resultado consistente con expectativa.

Mixto

algunos indicadores mejoran, otros no.

Nulo

no se observa cambio relevante.

Adverso

aparece efecto negativo.

110. Regla

“Mixto”:

no debe ocultarse bajo “positivo”.

111. Resultado no concluyente

Puede existir:

evidencia insuficiente.

Debe tener categoría propia.

PARTE XVIII

EVALUACIÓN Y DECISIONES

112. Toda evaluación importante debe producir una respuesta

Mantener

Modificar

Ampliar

Replicar

Pausar

Retirar

Seguir investigando

113. No toda evaluación exige cambio

Puede justificar:

mantener.

114. Registro asociado

Toda decisión deberá vincularse con:

Registro de Decisiones.

115. Ejemplo

Evaluación: EQC-EVAL-FOR-004

Resultado: conocimiento ↑, transferencia incierta.

Decisión: añadir práctica supervisada.

Registro: EQC-FOR-2028-011.

PARTE XIX

EVALUACIÓN Y VERSIONADO

116. Toda modificación importante

Debe generar:

nueva versión.

117. Ejemplo

Formación v1.0

↓

evaluación

↓

Formación v1.1

118. Memoria

El sistema debe conservar:

qué versión fue evaluada.

De lo contrario:

se mezclan resultados de programas diferentes.

PARTE XX

EVALUACIÓN Y ESCALAMIENTO

119. Antes de escalar

Debe existir evidencia suficiente sobre:

factibilidad;

seguridad;

implementación;

resultados;

efectos adversos.

120. No escalar por prestigio

Una invitación gubernamental:

no sustituye evidencia.

121. Matriz de preparación para escalar

Dimensión

Insuficiente

En desarrollo

Suficiente

Diseño

Implementación

Seguridad

Resultados

Sostenibilidad

Capacidad

Evaluación externa

No constituye una escala validada; es una herramienta de deliberación.

PARTE XXI

EVALUACIONES NEGATIVAS

122. Deben conservarse

No borrarse.

123. Razón

Una evaluación desfavorable puede explicar:

por qué el modelo cambió.

124. Valor científico

Puede ser más útil que:

una evaluación positiva superficial.

125. Política de publicación

Resultados negativos relevantes:

deberían poder comunicarse.

PARTE XXII

EVALUACIONES FALLIDAS

126. También son memoria

Ejemplos:

instrumento incomprensible;

muestra insuficiente;

pérdida de seguimiento;

implementación incompleta.

127. No esconder

Registrar:

qué impidió interpretar.

128. Aprendizaje

Una evaluación fallida puede mejorar:

el siguiente diseño.

PARTE XXIII

META-EVALUACIÓN

129. Evaluar la evaluación

Pregunta:

¿nuestras evaluaciones son buenas?

130. Criterios

pertinencia;

rigor;

utilidad;

factibilidad;

protección;

independencia;

claridad.

131. Pregunta clave

¿Estamos evaluando lo que realmente importa o sólo lo que es fácil medir?

132. Otra

¿Nuestros instrumentos están generando información útil?

133. Otra

¿La evaluación está cambiando decisiones?

PARTE XXIV

TABLERO DE EVIDENCIA

134. Propuesta

Cada componente podría mostrar:

Componente

Diseño

Factibilidad

Implementación

Resultado

Transferencia

Sostenibilidad

Taxonomía

✓

en estudio

NA

—

—

—

Formación

✓

piloto

piloto

preliminar

en estudio

—

APDS

✓

propuesta

—

—

—

—

Recursos

✓

piloto

piloto

utilidad

—

—

Sólo cuando existan datos reales.

135. Prohibición

No llenar:

celdas con “✓”

por expectativa.

Sólo:

evidencia documentada.

PARTE XXV

ESTATUS EPISTEMOLÓGICO PÚBLICO

136. Etiquetas sugeridas

PROPUESTO

No evaluado.

EN REVISIÓN

Evaluación conceptual.

PILOTADO

Aplicación inicial.

EVALUADO PRELIMINARMENTE

datos iniciales.

EVIDENCIA PROMETEDORA

patrón favorable, insuficiente para conclusión fuerte.

REPLICADO

múltiples contextos.

EVIDENCIA CONSISTENTE

acumulación suficiente.

Estas etiquetas son propuestas de transparencia y requerirán criterios formales.

PARTE XXVI

TRANSPARENCIA DEL FRACASO

137. Sección pública futura

LO QUE NO FUNCIONÓ

Puede incluir:

componentes retirados;

hipótesis rechazadas;

instrumentos modificados;

efectos adversos.

138. Razón

Esto distingue:

investigación

de:

mercadotecnia.

139. Riesgo

No debe utilizarse:

lenguaje autodestructivo.

Debe comunicarse:

con contexto.

PARTE XXVII

TRANSPARENCIA DE CAMBIOS

140. Formato

EVALUAMOS

ENCONTRAMOS

CAMBIAMOS

POR QUÉ

141. Integración con participación

Puede añadirse:

USTEDES NOS DIJERON

PARTE XXVIII

EVALUACIÓN ÉTICA

142. No todo éxito operativo es éticamente aceptable

Ejemplo:

una herramienta obtiene:

mucha información

pero:

genera malestar innecesario.

Debe reconsiderarse.

143. Indicadores éticos

voluntariedad;

comprensión;

incidentes;

revictimización;

privacidad;

represalias.

144. Regla

UTILIDAD NO JUSTIFICA AUTOMÁTICAMENTE INTRUSIÓN.

PARTE XXIX

EVALUACIÓN DE EQUIDAD

145. Pregunta

¿el modelo funciona igual para todos?

146. Analizar, cuando sea ético y metodológicamente posible

grados;

sexo;

contexto;

escuelas;

necesidades educativas;

recursos.

Sin generar:

subgrupos identificables innecesarios.

147. Inequidad de implementación

Una escuela puede tener:

más capacidad que otra.

Esto afecta:

resultados.

PARTE XXX

EVALUACIÓN DE COSTOS Y RECURSOS

148. Pregunta

¿qué requiere producir el cambio?

149. Analizar

horas;

personal;

formación;

tecnología;

supervisión;

oportunidad.

150. Costo no sólo monetario

También:

carga;

tiempo;

desplazamiento;

atención;

fatiga.

PARTE XXXI

EVALUACIÓN DE SOSTENIBILIDAD

151. Preguntas

¿continúa cuando termina el piloto?

¿se conserva sin fundador?

¿se integra a procesos?

¿se financia?

¿se mantiene formación?

152. Indicadores posibles

permanencia;

institucionalización;

personal capacitado;

actualización;

recursos;

liderazgo.

PARTE XXXII

EVALUACIÓN DE LA RED DE ALIADOS

153. Preguntas

¿qué alianzas producen capacidad real?

¿cuáles son nominales?

¿existe dependencia excesiva?

154. Resultado

Puede llevar a:

renovar, modificar o cerrar.

PARTE XXXIII

EVALUACIÓN DE PARTICIPACIÓN

155. Pregunta principal

¿la participación cambia algo?

156. Indicadores

diversidad;

respuesta;

incidencia;

devolución;

seguridad.

PARTE XXXIV

EVALUACIÓN DEL OBSERVATORIO

157. Pregunta

¿produce conocimiento confiable y útil?

158. Revisar

calidad;

protección;

independencia;

utilización;

transparencia.

PARTE XXXV

EVALUACIÓN DEL REGISTRO DE DECISIONES

159. Pregunta

¿la organización está aprendiendo de sus decisiones?

160. Revisar

decisiones registradas;

revisiones;

modificaciones;

aprendizaje;

trazabilidad.

PARTE XXXVI

REPOSITORIO DE EVALUACIONES

161. Arquitectura pública futura

Evaluaciones en curso

Evaluaciones finalizadas

Replicaciones

Evaluaciones externas

Resultados adversos

Cambios derivados

Metodología

Datos disponibles

162. Cada evaluación debe tener

resumen;

metodología;

resultados;

limitaciones;

decisión.

163. Acceso completo

Cuando sea posible:

informe técnico.

164. Acceso restringido

Cuando:

exista información sensible.

PARTE XXXVII

RELACIÓN CON EL OBSERVATORIO

165. Diferencia

El Observatorio:

monitorea continuamente.

El Sistema de Evaluaciones:

organiza estudios o procesos evaluativos definidos.

166. Relación

OBSERVATORIO genera señales.

EVALUACIÓN responde preguntas específicas.

PARTE XXXVIII

RELACIÓN CON INVESTIGACIÓN

167. Diferencia

Investigación puede preguntar:

“¿cómo ocurre el fenómeno?”

Evaluación:

“¿qué ocurrió después de implementar este componente?”

168. Intersección

Pueden utilizar:

métodos semejantes.

Pero:

finalidades distintas.

PARTE XXXIX

RELACIÓN CON TRANSPARENCIA

169. Transparencia evaluativa

Escuelas que Cuidan debería publicar:

tanto evidencia favorable como limitaciones relevantes.

170. No sobrecargar

Transparencia no significa:

publicar bases crudas sin protección.

171. Tres capas

Pública

síntesis.

Técnica

informe completo.

Restringida

anexos sensibles.

PARTE XL

INDICADORES DEL SISTEMA DE EVALUACIONES

172. Cobertura

% de componentes críticos evaluados.

173. Independencia

% de evaluaciones relevantes con revisión externa.

174. Transparencia

% con limitaciones publicadas.

175. Utilización

% que generan decisión documentada.

176. Seguimiento

% con medición posterior cuando corresponde.

177. Adversidad

% que incluyen búsqueda de efectos adversos.

178. Memoria

% con documentación disponible y versionada.

PARTE XLI

LÍNEAS ROJAS

179. El Sistema de Evaluaciones no deberá

ocultar resultados desfavorables;

presentar correlación como causalidad;

generalizar muestras locales;

utilizar satisfacción como eficacia;

usar testimonios como única prueba de impacto;

combinar versiones distintas sin explicarlo;

evaluar sin medir implementación;

ignorar efectos adversos;

modificar indicadores retrospectivamente sin documentarlo;

utilizar evaluación para represalia;

publicar datos identificables;

presentar pilotaje como validación;

usar “científicamente comprobado” sin evidencia suficiente;

excluir resultados porque contradicen el modelo;

evaluar únicamente lo fácil de medir.

PARTE XLII

ESTATUS EPISTEMOLÓGICO DEL SISTEMA

180. Sustentado en el proyecto

El diseño doctoral contempla:

evaluación mixta;

medición longitudinal;

comparación temporal;

triangulación;

revisión de implementación;

cambios en clima;

respuesta institucional;

reparación;

seguimiento;

límites causales.

El mismo proyecto establece que, en diseños preexperimentales, las conclusiones deben formularse como cambios asociados y no como impacto causal definitivo.

181. Derivación conceptual

De esta base se deriva la necesidad de conservar una memoria integrada de:

evaluaciones + resultados + limitaciones + decisiones.

Sin esa estructura:

la evidencia del proyecto puede fragmentarse.

182. Aportación original

Son propuestas propias de Escuelas que Cuidan:

jerarquía interna E0–E6;

repositorio público de evaluaciones;

ficha maestra;

tablero de evidencia;

transparencia del fracaso;

vínculo obligatorio con Registro de Decisiones;

matriz de preparación para escalar;

evaluación integral del ecosistema.

Estas herramientas deberán pilotarse y simplificarse conforme avance el proyecto.

PARTE XLIII

DEFINICIÓN FORMAL

183. Definición integral propuesta

El Sistema de Evaluaciones de Escuelas que Cuidan es la infraestructura de memoria, análisis y transparencia mediante la cual se registran, clasifican, conservan, interpretan y comunican las evaluaciones realizadas sobre el diseño, implementación, desempeño, transferencia, resultados, efectos adversos, sostenibilidad e impacto potencial de los distintos componentes del modelo, documentando metodología, población, instrumentos, hallazgos, limitaciones, conflictos de interés, nivel de inferencia permitido y decisiones derivadas, con el propósito de sostener aprendizaje institucional, rendición de cuentas, mejora continua y escalamiento basado en evidencia.

184. Misión

Conservar y comunicar de manera rigurosa la evidencia que permita saber qué componentes de Escuelas que Cuidan funcionan, para quién, bajo qué condiciones, con qué límites y con qué consecuencias.

185. Visión

Construir una memoria evaluativa suficientemente transparente y acumulativa para que el desarrollo futuro de Escuelas que Cuidan dependa cada vez menos de convicciones y cada vez más de evidencia revisable, replicable y útil para la toma de decisiones.

186. Regla de oro

NINGÚN RESULTADO FAVORABLE DEBE SER MÁS IMPORTANTE QUE LA CALIDAD DE LA EVIDENCIA QUE LO PRODUJO.

187. Prueba mínima de una evaluación

Toda evaluación debería poder responder:

¿Qué preguntamos?

¿Cómo lo medimos?

¿A quiénes?

¿Qué encontramos?

¿Qué no podemos concluir?

¿Qué riesgo o efecto adverso observamos?

¿Qué decisión cambió como resultado?

Si la última respuesta es:

“ninguna”,

también conviene preguntarse:

¿para qué evaluamos?

188. Articulación con el Núcleo de Memoria y Transparencia

Con este componente puede empezar a definirse la arquitectura del núcleo:

REGISTRO DE DECISIONES

conserva por qué se decidió.

EVALUACIONES

conserva qué evidencia existía y qué resultados produjo.

VERSIONES E HISTORIAL

conserva cómo cambió el modelo.

INFORMES Y TRANSPARENCIA

comunican qué aprendió.

MEMORIA INSTITUCIONAL

conecta decisiones, evidencia y evolución.

La relación central puede expresarse así:

EVALUACIÓN

↓

RESULTADO

↓

DECISIÓN

↓

REGISTRO

↓

CAMBIO

↓

NUEVA VERSIÓN

↓

NUEVA EVALUACIÓN

↓

MEMORIA.

CONCLUSIÓN

El componente Evaluaciones es uno de los mecanismos que puede evitar que Escuelas que Cuidan se convierta, con el tiempo, en una propuesta defendida principalmente por:

convicción,

reputación,

narrativa,

antigüedad

o:

autoridad de quienes la desarrollaron.

Una iniciativa científica y pública necesita poder responder algo más exigente:

¿qué evidencia tenemos?

Y todavía más:

¿qué calidad tiene?

¿qué permite concluir?

¿qué no permite concluir?

¿quién la produjo?

¿qué intereses estaban presentes?

¿qué efectos no esperados aparecieron?

¿qué hicimos después de conocer los resultados?

Esto es especialmente importante porque un proyecto puede acumular señales aparentemente favorables y aun así equivocarse.

Una capacitación puede:

gustar mucho

y no modificar práctica.

Un canal puede:

recibir más comunicaciones

sin significar que aumentó el riesgo.

Una escuela puede:

reportar menos casos

porque mejoró

o porque:

disminuyó la confianza para hablar.

Un docente puede:

aprobar un examen

sin transferir competencia al aula.

Una intervención puede:

mostrar mejora pre-post

y aun así no poder atribuirse causalmente el cambio.

Por eso, la evaluación no debe funcionar como:

certificado de aprobación del modelo.

Debe funcionar como:

mecanismo de contradicción, corrección y memoria.

Escuelas que Cuidan tendrá mayor credibilidad cuando pueda decir:

“esto funcionó”,

pero también:

“esto todavía no lo sabemos”,

“esto funcionó sólo parcialmente”,

“este componente produjo un efecto adverso”,

“esta hipótesis no se sostuvo”,

“este instrumento tuvo que retirarse”,

“esta evaluación no permitió concluir”.

Una política pública que puede decir eso:

está aprendiendo.

Y una organización que conserva esa memoria reduce el riesgo de:

repetir errores,

exagerar resultados,

reinventar decisiones

o:

reconstruir convenientemente su historia.

De ahí surge el principio final:

ESCUELAS QUE CUIDAN NO DEBE CONSTRUIR UN ARCHIVO PARA DEMOSTRAR QUE FUNCIONA, SINO UNA MEMORIA CAPAZ DE MOSTRAR QUÉ FUNCIONÓ, QUÉ NO, QUÉ SIGUE SIENDO INCIERTO Y QUÉ CAMBIÓ COMO CONSECUENCIA DE SABERLO.

Así, dentro del Núcleo de Memoria y Transparencia, la secuencia queda:

PREGUNTAR → MEDIR → CONTRASTAR → INTERPRETAR → LIMITAR → DECIDIR → DOCUMENTAR → MODIFICAR → VOLVER A EVALUAR → RECORDAR.

Y la regla que articula todo el sistema puede formularse de manera aún más breve:

LO QUE NO SE EVALÚA NO PUEDE APRENDERSE CON RIGOR; LO QUE SE EVALÚA PERO NO SE RECUERDA, TERMINA APRENDIÉNDOSE DOS VECES.