Saltar al contenido

Cuando el que falla es el vigilante

Un monitor avisó de que varias webs se habían caído a la vez y ninguna lo estaba: fallaba la red del propio monitor. Cómo lo detectamos y los tres arreglos que lo evitan.

Por Diego Meijide ·

La noche del 16 al 17 de noviembre fue movida. El monitor que vigila las webs de los clientes de Orbitalia avisó de que varias se habían caído a la vez, y al final ninguna lo estaba. Lo que fallaba era el servidor desde el que vigila. Ese monitor lo hemos construido y lo mantenemos nosotros para Orbitalia, la agencia SEO con la que colaboramos. Aquí contamos cómo lo detectamos, qué tocamos y qué hemos cambiado para que un fallo así no vuelva a llenar el correo de falsas alarmas ni mande avisos indeseados a los clientes.

Qué vigila el monitor

El monitor corre en un servidor dedicado y hace mucho más que comprobar si la web responde:

  • Disponibilidad: pide la portada cada 5 minutos y avisa si lleva 15 minutos seguidos caída.
  • SEO: cada noche revisa las URLs de cada web (title, canonical, noindex, H1, schema, sitemap) y avisa de los cambios peligrosos.
  • Diseño: abre la portada con un navegador real para detectar la web servida sin CSS, un fallo típico de caché en webs con Elementor.
  • Actualizaciones: cuando se actualiza el core o un plugin crítico, compara las páginas clave antes y después.
  • Formularios: comprueba que cargan, que tienen estilos y que el captcha da token.
  • Correo: envía un correo de prueba desde la web y mira si llega.
  • DNS y certificados: avisa si cambian los registros o si un certificado está a punto de caducar.

La noche de las falsas alarmas

Hora

Suceso

22:00

La respuesta media que mide el monitor pasa de 0,6 a 1,3 segundos.

23:00 a 00:20

La mitad de las comprobaciones se quedan sin respuesta: 271 de 540 en una sola hora. El monitor da por caídas webs de clientes distintos, alojadas en servidores distintos.

00:25

Desplegamos los canarios. Paran las falsas caídas.

00:25 a 09:55

La red sigue mal. Ahora saltan otros avisos: «algo se ha roto tras actualizar», CSS de Elementor sin respuesta, un captcha que no carga y cambios de DNS que no eran tales.

09:55

La red se normaliza sola.

10:00 a 12:00

Extendemos el freno a todas las alertas y añadimos un DNS de respaldo al servidor.

En total, 41 avisos en una noche, 16 de ellos críticos, y ninguna web de cliente estuvo realmente caída.

Lo que más nos preocupaba era que los avisos de caída también le llegan al cliente. Un cliente que recibe a medianoche un correo diciendo que su web está caída, entra, ve que funciona y descubre que era mentira, y deja de fiarse del aviso. Y el día que su web se caiga de verdad, ya no lo leerá con la misma urgencia. Por eso lo primero que atajamos fueron las falsas caídas, antes que cualquier otra alerta.

Por qué supimos que no eran las webs

  1. Fallaban a la misma hora webs de servidores que no tienen nada que ver. Una tienda en un VPS propio, una web de servicios alojada en Reino Unido, otra en el servidor de la agencia. Una caída real no coincide al minuto en tres sitios distintos.
  2. Desde fuera cargaban bien. Pedidas desde la oficina respondían con un 200 en 0,2 a 0,6 segundos mientras el monitor las daba por caídas.
  3. Los errores eran de red, no de las webs. Ni un 500 ni un 404: EAI_AGAIN (el DNS no contestaba), conexiones que no llegaban a establecerse y tiempos de espera agotados. El monitor ni siquiera llegaba a preguntar a la web.

El origen estaba en la salida a internet del propio servidor del monitor, sobre todo en el DNS: los dos resolutores que pone el proveedor por defecto dejaron de responder con normalidad durante horas. Lo vimos también en las webs alojadas en ese mismo servidor, que no podían conectar con su servidor de correo.

El gráfico muestra el tiempo medio que tardaban en responder las webs vistas desde el monitor. Fuera de la noche del corte, unos 0,4 segundos.

Gráfico de líneas: la respuesta media que veía el monitor pasa de 0,5 segundos a las 20:00 a casi 6 segundos a las 23:00, se queda entre 2 y 3,6 segundos toda la noche y vuelve a 0,4 segundos a las 10:00

El primer arreglo: canarios y caída masiva

La idea viene de las minas de carbón, el canario se desmayaba antes que los mineros y avisaba de que el aire estaba mal. Aquí los canarios son destinos que prácticamente nunca caen: Google, Cloudflare y Microsoft. En cada ronda de 5 minutos el monitor comprueba a la vez las webs de los clientes y los 3 canarios, y solo después decide.

La ronda se atribuye a la red del monitor si se cumple cualquiera de estas dos condiciones:

  • Fallan al menos 2 de los 3 canarios. Si no llegamos a Google ni a Cloudflare, el problema no está en la web de nadie.
  • Caída masiva: fallan a la vez webs de 3 o más servidores distintos, y fallan sin ninguna respuesta HTTP. Para contar servidores agrupamos las webs que comparten infraestructura, por cliente o por IP. Así, 10 webs del mismo cliente detrás de una CDN, o 20 webs en un mismo VPS, cuentan como un solo servidor. Que caiga un servidor con muchas webs es normal y hay que avisar. Que caigan 3 servidores que no tienen nada que ver en el mismo minuto, no.
Animación de dos rondas del monitor. En la primera cae una web y los tres canarios responden, así que se avisa a su dueño. En la segunda falla la red del monitor: tres webs y dos de los tres canarios quedan sin respuesta, no se avisa a nadie y la comprobación se repite

El umbral no es a ojo. Antes de fijarlo repasamos 30 días de comprobaciones, unas 8.600 rondas: en una ronda normal, como mucho fallaban a la vez webs de 2 servidores distintos, y solo pasó en 17 rondas. 3 o más solo apareció en los cortes de red del 29 de octubre, del 9 de noviembre y de esa noche.

Cuando la ronda se atribuye a la red del monitor, esos fallos no se apuntan: no bajan el uptime de ningún cliente ni disparan avisos. Lo que sí sigue contando siempre es un 4xx o un 5xx, porque eso sí es una respuesta de la web.

El segundo arreglo: un freno común para todas las alertas

Los canarios acabaron con las falsas caídas, pero la red siguió mal 9 horas más y el resto de comprobaciones siguieron avisando. Cada una sacaba su propia conclusión de un «no responde»: la vigilancia de actualizaciones lo tomaba por una web rota, la guardia de Elementor por un CSS perdido y la prueba de formularios por un captcha roto.

La solución fue sacar la decisión de cada comprobación y ponerla en un solo sitio. Cada ronda de ping deja apuntado si la red del monitor está bien o mal. Antes de dar algo por roto, todas las comprobaciones preguntan lo mismo: ¿ha fallado nuestra red en los últimos 15 minutos? Si no hay dato reciente, prueban los canarios en ese momento.

Si la respuesta es sí, nada se da por roto y todo se repite pronto:

  • Una página que no responde tras una actualización no suma fallo.
  • Una portada sin estilos no se purga ni se avisa hasta verla con la red bien.
  • Si todos los CSS de Elementor salen «sin respuesta» y ninguno con un código real, no se abre incidencia.
  • Un captcha que no carga, un sitemap que no responde o un correo de prueba sin leer esperan a la siguiente ronda.
  • Un cambio de DNS visto con respuestas a medias no se compara ni sobrescribe los registros guardados.

El tercer arreglo: un DNS de respaldo

Los frenos evitan los falsos avisos, pero no atacan la causa. El servidor resolvía los dominios solo con los dos DNS que pone el proveedor, y si fallan los dos, el servidor se queda sin saber dónde está cada web.

Le hemos añadido dos resolutores públicos más, los de Cloudflare (1.1.1.1) y Quad9 (9.9.9.9). El sistema pregunta a la vez a los del proveedor y a estos, y se queda con la primera respuesta buena. Con todo funcionando no se nota: las consultas siguen tardando entre 1 y 43 milisegundos.

Animación del DNS de respaldo. Sin respaldo, los dos DNS del proveedor no responden y el servidor no sabe dónde está la web. Con Cloudflare y Quad9 añadidos, el servidor pregunta a los cuatro y se queda con la primera respuesta buena

No lo dimos por bueno sin probarlo. Bloqueamos durante 20 segundos, a propósito, los DNS del proveedor y pedimos dominios que el servidor no tenía en caché. Resolvieron en 8 a 211 milisegundos desde el propio servidor, y en 11 a 65 desde dentro del monitor. El bloqueo se quitó solo a los 20 segundos.

Un detalle para quien use Docker: los contenedores leen la configuración DNS al arrancar. Uno que ya estaba en marcha sigue usando solo los DNS antiguos hasta que se reinicia.

Lo que aprendimos

Si vigilas webs de clientes, esto te ahorrará una noche mala:

  1. Antes de culpar a la web, mira quién más falla a la vez. Si caen webs de servidores que no comparten nada, el problema está en tu lado.
  2. El vigilante también necesita vigilancia. Unos pocos canarios fiables cuestan una petición cada 5 minutos y separan «se ha caído una web» de «me he quedado sin red».
  3. Decide una vez y pregunta en todas partes. Si cada comprobación interpreta un «no responde» por su cuenta, arreglas una y salta la siguiente.
  4. Aplaza, no descartes. Un aviso dudoso se repite cuando la red vuelve; uno real no puede perderse por prudencia.
  5. Prueba el arreglo rompiendo lo que arregla. El DNS de respaldo lo dimos por bueno cuando bloqueamos el principal y vimos que seguían resolviendo.

Al monitor también lo vigila alguien de fuera: UptimeRobot comprueba el servidor y cada una de las herramientas, así que si el monitor se cae entero nos enteramos igual. Esa noche no saltó, y era lo correcto: el servidor respondía, lo que fallaba era su salida a internet. Por eso hacían falta los canarios.

¿Quieres algo así para tus webs?

Podemos ayudarte de dos formas:

  • Te montamos tu propio sistema de monitorización y alertas, para tus webs o para tu empresa: qué vigilar, cada cuánto, a quién avisar y cómo evitar que salte en falso. Es software a medida, como el que hicimos para Orbitalia.
  • Nos encargamos del mantenimiento de tu web WordPress con monitorización incluida. Si algo se rompe, nos enteramos nosotros primero y lo arreglamos; a ti solo te avisamos cuando de verdad hay algo que contar.

Cuéntanos cuántas webs tienes y cómo las vigilas hoy, y te proponemos la opción que mejor encaja.

¿Quieres que lo hagamos por ti? Mira cómo trabajamos en este servicio o cuéntanos tu caso en el chat.

Newsletter

Los artículos nuevos, en tu email

Un email por artículo sobre WordPress, WooCommerce, velocidad, seguridad e IA, y otro cuando publiquemos una herramienta gratis. El principio en el email y el resto en la web. Sin spam.

¿Hablamos de tu web?

No hace falta que lo tengas todo claro. Cuéntanos qué tienes y qué te gustaría conseguir, y te diremos qué haríamos nosotros y cuánto costaría.

Primera consulta sin coste. Analizamos lo que nos cuentas y te damos una respuesta en 48 h laborables.

Tu proyecto Contratar mantenimiento

Asistente de proyectos

IA AGENCIA RSE · responde al momento

    Estás hablando con una IA. Puedes escribir o pulsar para responder por voz. Una persona revisa cada ficha antes de responderte.

    Pago seguro con Stripe

    Preparando el pago…