Vis ma vie de tech !

image

Sylvain M, Maxime, Thierry, Sylvain A, Alexandrine et Céline de l’équipe produit ! 

Bonjour à toutes et à tous,

Pour ce troisième article de l’équipe tech, je vous propose une expérience de lecture un peu différente: un « vis ma vie » de tech chez A little. J’ai décidé de vous partager notre matinée du mercredi 7 septembre de 10:06 à 10:36 à travers un  événement important, le passage en mode maintenance du site.

Nota bene : j’ai essayé d’être le plus clair possible, mais si votre curiosité vous titille, n’hésitez pas à me poser vos questions ! 

Pourquoi cette maintenance ?

Nous avons transféré notre base de données d’une technologie à une autre, à savoir de RDS à Aurora.
Par base de données, on entend: le stockage des titres et descriptions de produits, noms de boutique, catégories, URL des images (mais pas les images en elles-mêmes).

Le but de ce transfert était de gagner à la fois en coût et en performance.
En effet, si nous avons fait le choix de toujours proposer aux vendeurs la mise en ligne de produits gratuite et illimitée sur nos sites, nous souhaitons tout de même garantir un service de qualité (bien qu’onéreux) à nos vendeurs et donc stocker les données de manière performante ! 

Ce choix de transfert a également été motivé par un soucis de performance.  Comme vous n’êtes pas sans savoir, nous approchons de la période des forts volumes précédant les fêtes de fin d’année, et le mot d’ordre est donc : prévoyance ! 

Pourquoi en pleine journée ?

L’opération délicate en elle-même n’a duré qu’une petite dizaine de minutes. Nous avons hésité entre la faire la nuit avec peu de personnes disponibles ou en journée avec toute l’équipe technique présente au besoin. C’est cette dernière solution qui a été retenue pour limiter les risques.

Pour les curieux, que s’est-il vraiment passé ?

Dès le début de l’été, nous avons d’abord répliqué les données RDS sur Aurora. Nous avons ensuite dirigé les requêtes de lectures directement sur Aurora (vous me suivez toujours ?) Puis il nous fallait basculer les écritures sur Aurora directement (hum, j’en ai perdu la moitié ? :-) ). C’est cette opération qui a nécessité une mise en maintenance du site. 

tech4

L’équipe tech dans le feu de l’action !

Une période de maintenance décortiquée minute par minute – mercredi 7 septembre de 10h06 à 10h36:

À 10:00, nous avons désactivé les CRONS (programmes qui s’exécutent à intervalles réguliers) puis vérifié que tous nos systèmes de supervision étaient bien fonctionnels. Nous avons aussi vérifié que la base de données Aurora n’était pas trop en retard sur RDS.

À 10:06, tout étant en ordre, nous décidons de passer le site en mode maintenance. A partir de ce moment, chaque minute compte car le site n’est plus accessible.
(c’est généralement le moment, où le service client et l’équipe de la com’ commencent à faire des bonds sur leurs chaises …)

Nous vérifions les connexions à RDS. Surprise, il en reste encore et leur nombre ne diminue pas. Dommage ! (une investigation ultérieure nous montrera que la maintenance n’affectait pas les applications mobiles).

À 10:16, face à ce souci, nous prenons la décision de bloquer directement l’accès à RDS sauf depuis un ensemble très restreint de serveurs, à travers le concept de security group d’AWS.

À 10:21, on constate bien qu’il n’y a plus de requêtes sur RDS. Ouf!

À 10:25, on vérifie que la réplication vers Aurora n’a plus de requêtes en attente et nous stoppons la réplication.

À 10:37, nous basculons le DNS pour que l’adresse de la base A little soit maintenant Aurora et nous attendons la propagation du DNS.

À 10:32, nous pensons faire un test de vérifications manuelles (dit smoke test) depuis les bureaux et essayons de filtrer la maintenance aux IP externes. Mais n’ayant pas préparé cette manipulation, contrairement à toutes les étapes précédentes, nous n’arrivons pas à faire cette manipulation. Nous testons donc simplement avec des requêtes curl.

À 10:36, nous enlevons le mode maintenance et supervisons le bon fonctionnement du site.

À 11:00, nous sommes confiants, il ne sera pas nécessaire de faire marche arrière.
L’équipe explose de joie – mission réussie !

Quelques jours plus tard, nous démantelions les instances qui faisaient tourner RDS.

tech2

L’équipe Data (données) en pleine réunion avec Zouhir, Vincent et Romain ! 

Qu’avons-nous appris ?

Tout d’abord, nous avons fait une erreur de communication envers nos vendeurs. Si la veille il avait été communiqué sur l’espace perso vendeur que cette maintenance ne prendrait que 10 minutes, en réalité cette opération avait été planifiée pour 30 minutes. Cette erreur de communication s’est produite du fait d’une incompréhension entre les équipes.
Depuis ce jour, nous travaillons à améliorer les process de communication entre notre équipe opérationnelle, notre équipe technique et notre équipe communication.

D’un point de vue technique, deux leçons ont été retenues. La première est que nous avons découvert que le passage en mode maintenance omettait les applications mobiles et la seconde, que nous aurions dû préparer la phase de smoke test interne avec un mode de maintenance sélectif.

La préparation technique en amont a cependant porté ses fruits. Il n’y a pas eu de problème particulier survenant après cette opération.

babyfoot

Après l’effort, le réconfort :-) 

Conclusion

La base de données supporte mieux les enregistrements de nouveaux produits. Vous pouvez donc vous en donner à coeur joie et mettre encore plus de produits en ligne ! :-) 

A très bientôt,
Jérôme

17 Commentaires
  • mylittledecormylittledecor

    Super compte-rendu !
    Merci pour les avancées !

    Maintenant , je rêve d’une amélioration qui permettrait au client qui nous envoie un message pour une demande de recevoir notre réponse par mail .
    Si vous avez un jour quelques minutes ( ou plus si nécessaire ) , n’hésitez pas ! On vous en sera éternellement reconnaissant !
    Philippe de Mylittledecor

    • almjerome

      Bonjour Philippe,

      Merci pour cette remontée c’est vrai qu’on dirait qu’il y a quelque chose qui cloche. Nous allons investiguer.

      • mylittledecormylittledecor

        Merci pour votre réponse

        • almjerome

          Bonjour,

          Pour plus de transparence, voici l’analyse du comportement actuel:
          Quand un potentiel acheteur envoie un message à un vendeur, en effet, il n’y pas de notification par e-mail.
          Si le vendeur répond rapidement, le vendeur et le potentiel acheteur reçoivent une notification par e-mail (je suppose que c’est en fait la notification attendue originalement qui justement est envoyée au vendeur)
          Si le vendeur répond plus lentement, le potentiel acheteur est notifié par email.

          • mylittledecormylittledecor

            Merci pour ces renseignements.
            Juste pour information,
            Lorsqu’un potentiel acheteur m’envoie un message, je reçois toujours une notification par email.
            C’est plus , ensuite , que je me demandais si le vendeur recevait la réponse car beaucoup de messages restent avec le point rouge.(non lu )
            Je crois aussi que si le message est lu sur un téléphone , le point rouge ne s’enlève pas.
            Donc, si je vous comprend bien, on a intérêt à attendre un peu avant de répondre pour que le potentiel acheteur reçoive une notification par email.
            Merci encore.

  • Pascale DYLLIS

    Merci aussi pour ce compte-rendu instructif ^^
    Je rejoins mylittledécor sur la demande d’amélioration de la messagerie car il n’y a rien de plus pénible que de perdre du temps à taper une réponse qui ne sera jamais lu par nos prospects ou clients et de passer, en plus, pour une créatrice impolie… notre réputation est engagée ! Cela devient urgent !

    • almjerome

      Pascale, oui, on dirait que seul la notification sur les site même est fonctionnelle. Oopsie

  • Pascale

    Super ! Je n’ai pas compris grand chose d’un point de vue technique… suis pas assez calée… Mais la conclusion est très claire !!! En tout cas merci beaucoup pour cette explication et un grand bravo à toute l’équipe !!

    • almjerome

      Bonjour Pascale!

      Et bon courage pour les ventes de Noël

  • liegard marc

    Une petite explication pourquoi les clients n’achète que les anciens articles et plus les nouveaux en ligne merci pour votre travail

    • almjerome

      Bonjour Marc,

      Il se peut que dans certains cas, des produits anciens soient d’avantage achetés que des nouveaux. Cependant, sur l’ensemble de la plateforme, nous constatons le phénomène inverse. Ce sont les produits les plus récents qui sont les plus achetés. Autrement dit, l’espérance mathématique d’être acheté diminue après un certain temps.

      • liegard marc

        ok merci beaucoup pour la réponse bonne journée

  • little-lisa

    Et à 11h15? Champagne ?

    • almjerome

      Bonjour Lisa,

      Presque 😉

  • Collignon joelle

    Merci beaucoup de ces infos; mais où sont stockées les images du site? si j’ai bien suivi vos explications. cordialement

  • Cabochons-fl

    Bonjour,
    Sujet intéressant !! pour rebondir sur l’intervention de my little décor, j’ai de gros soucis de communication avec mes clients. Pour envoyer des images digitales , comme ils ne me donnent jamais leur adresse mail (demandée dans le message), je n’ai que la messagerie pour leur envoyer (problème de taille de fichiers, plusieurs envois …), jamais de retour, de réponse, je ne sais jamais si tout est arrivé oui ou non !! RIEN … assez rageant. Quand résoudra t’on ce problème de communication essentiel du à la façon dont la messagerie fonctionne, il me semble.
    Bravo pour votre boulot , quand même !!!

Laisser un commentaire