[CLOS] Incident sur la quarantaine

Nous avons eu des problèmes hier (17/04/2014) a partir de 18 heures sur la quarantaine. Malheureusement les sondes ne nous ont pas alertées et nous avons vu ce problème que ce matin. Il a été corrigé vers 8:00.

Durant cet intervalle la mise en quarantaine de la majorité des mails a échouée sans générer d’erreur SMTP et ils ne sont donc pas récupérables.

Nous faisons le nécessaire pour améliorer les sondes et faire en sorte que ça ne se reproduise pas.

 

 

 

 

Incident du 30 décembre 2013

Comme vous avez certainement du le constater nous avons eu à subir des perturbations dans l’acheminement de certains mails aujourd’hui.

Avant toute chose je tiens a m’en excuser au nom de toute l’équipe et en assumer l’entière responsabilité.

Pour bien comprendre ce qui s’est passé il est nécessaire de revenir sur le fonctionnement de notre service, au moins sur ce qui a été déterminant concernant cet incident.

– Notre activité consiste à filtrer le flux de messagerie de nos clients.

– Nous recevons tous les mails à destination des domaines que nous protégeons, nous les classifions (spam, phishing, publicité, virus, légitimes,…) et ensuite :

  • nous transmettons au serveur du client les mails légitimes.
  • nous mettons en quarantaine les spams ou nous les transmettons en les ayant préalablement tagués (en fonction de la configuration choisie par le client ou de son abonnement).

– Notre quarantaine est consultable à tout moment et  il est possible de débloquer les mails classifiés comme spam.

– Toutes les nuits nous envoyons à nos clients qui utilisent notre système de quarantaine un “mail de résumé” qui contient la liste des spams interceptés la veille et les liens pour les visualiser et se les faire ré-expedier.

Comme vous pouvez le constater à la lecture de ces informations nous sommes amené  à relayer légitimement, à la demande des destinataires, nos clients, des mails qui peuvent être classifiés comme spams par un scanner antispam.

Pour cerner le problème il manque deux informations essentielles :

1 – Toute notre infrastructure est hébergée chez OVH.

2 – OVH a mis en place il y quelques semaines un système qui  analyse tous les mails sortant de leurs clients et en fonction de cette analyse (et de l’humeur du capitaine) OVH se réserve le droit de bloquer toute sortie vers le port 25 d’un autre serveur. Autrement dit le serveur concerné n’est plus en mesure d’envoyer des mails.

Bien entendu quand nous avons appris cette décision, nous avons demandé si nous risquions quelque chose vu que nous relayons sur demande des destinataires des mails pouvant être considérés comme spam.

Comme Octave (CEO&CTO d’OVH) est un fervent défenseur de la transparence je ne pense pas qu’il voit d’un mauvais oeil le fait que je vous  fasse part de sa réponse :

au lieu d’un long discours, il faut un moment arreter de reflechir et regarder les faits.

le systeme est en place et fonctionne depuis 1 mois deja.

on analyse 100% des emails et on bloque en 3 secondes apres l’envoie de spams. on a un algo tres complexe qui determine les ip a bloquer.

est ce que tu as eu un blocage d’ip ? si non, alors ce que notre algo est bien fait .. si oui, quelle IP / quand ?

Faute de réfléchir venons en aux faits :

Il y a une dizaine de jours 3 de nos frontaux se sont fait bloquer car ils relayaient les spams à mettre en quarantaine vers un autre de nos serveurs (autrement ça ne sortait pas de notre infra).

Il n’y a eu pour ce problème pratiquement aucun impact perceptible pour nos clients (les autres serveurs ayant pris le relais). Pour autant nous avons fait le nécessaire pour que ça ne se reproduise plus en chiffrant les échanges internes. Ainsi OVH ne peut plus mettre le nez dans nos affaires.

Dans la nuit de samedi à dimanche c’est au tour de nos SMTP sortants de se faire bloquer. Comme c’était la premiere fois, ils n’ont dû aller au coin que pendant une heure.

Suite à ce problème nous avons pris la décision de migrer une partie de notre infra chez un autre fournisseur. Malheureusement ce genre de migration ne se fait pas en quelques heures. D’autant plus que concernant nos SMTP sortant, beaucoup de nos clients ont configurés leur firewall pour n’accepter que les transactions SMTP venant de nos IP, il n’est donc pas question de migrer sans que de leur coté les modifications soient faites.

Cette nuit certains de nos SMTP sortants se sont de nouveau fait bloquer. Cette fois comme c’était la seconde, la punition devait durer  24 heures. (la prochaine ce sera 1 mois)

La cause de ce blocage ?
Les mails de résumés que nous envoyons à nos clients. Autrement dit des mails parfaitement légitimes et sollicités.

Nous avons contacté le support OVH qui n’a pu que constater qu’il s’agissait de faux-positifs, que c’était bien une erreur de leur scanner. Pour autant la solution proposée n’était pas que de leur coté ils corrigent leur système mais que du notre on change le contenu de nos mails – et par la même occasion des mails de nos clients – pour que leur scanner ne les détecte plus comme spam.

Je crois que ça se passe de tout commentaire si ce n’est que visiblement chez OVH la neutralité du net  ça n’existe qu’au département marketing.

En conclusion :

  • A l’heure actuelle plus aucun serveur n’est bloqué.
  • Les deniers mails en attente sont en train d’être délivrés.
  • La migration d’une partie de notre infra est en cours mais prendra quelques jours pour être effective.
  • Nous allons envoyer dans les prochains jours un mail avec nos nouvelles adresses IP sortantes, pour que nos clients puissent mettre à jour leur firewall.
  • En attendant nous faisons le maximum pour éviter un nouveau blocage arbitraire de la part d’OVH, mais nous ne pouvons hélas rien garantir car ça ne dépend pas que de nous. En particulier nous allons désactiver l’envoi des mails de résumés  pour éviter de chatouiller le scanner antispam utilisé par OVH. 
  • En dédommagement nous offrons à tout nos clients qui en feront la demande un mois d’abonnement gratuit. 
  • Octave il serait peut être temps de se remettre à réfléchir non ?

 

Edit 31/12/2013 : On nous à demandé en privé des précisons  sur la réponse exacte apportée par le support OVH, concernant le fait qu’ OVH reconnaisse que leur antispam génère des faux positifs mais que plutôt que de le corriger ils nous demandent d’adapter le contenu des mails .

La voici :

Notre Antispam détectent des emails comme des spam.

En fonction de ce que vous m’avez fournit, je vous indique ce que vous devez respecter pour qu’il ne soit pas détecté comme spam.

Vous avez plusieurs point à respecter qui ne le sont pas dans l’exemple de votre mail, pour éviter une détection et dans votre cas créer de faux positif.

Le mail fournit n’est pas un spam , mais pour une détection plusieurs point vont faire cette détection , il vous suffit de corriger ce que je vous ai préciser dans le mail précédent pour l’eviter. 

Cordialement, 
XXXXX