Wat is er gebeurd?

Op 9 december 2019 om 15:58 werden beide Recras-servers getroffen door een grote storing.  Recras draait synchroon op twee servers op fysiek twee verschillende locaties. Als de ene server het niet doet of overbelast is dan neemt de andere het over. De grote storing betrof echter datacorruptie op beide servers.

Backups en kleine storingen gedurende de dag

Iedere nacht wordt van heel Recras een back-up gemaakt. Daarnaast worden per server alle wijzigingen (alles wat in alle Recrassen wordt gewijzigd of toegevoegd) bijgehouden. Bij een eventuele storing kan zo’n logboek normaal gesproken worden gebruikt om ervoor te zorgen dat er geen data verloren gaat. Echter gedurende de dag waren er al een aantal kleine storingen geweest die konden worden verholpen door de server te herstarten. Door de herstarts waren op beide databaseservers deze logboeken niet meer goed. Onze serverbeheerder Osso heeft op verschillende manieren geprobeerd om de databaseservers weer te laten starten en de corrupte gegevens te herstellen, maar helaas zonder succes. Daarom is in overleg met Osso besloten om de backup van 01:19 ’s nachts terug te zetten.

Tussen welke tijdstippen zijn de gegevens in Recras verloren gegaan?

Alle gegevens die op 9 december tussen 01:19 en 15:58 Nederlandse tijd zijn ingevoerd in Recras zijn verloren gegaan.

Hoe kun je de boel herstellen?

Wat ben je kwijt?

Het is goed om te beseffen dat elke handeling die in Recras is gebeurd op 9 december tussen 01:19 en 15:58 verloren is gegaan. Hieronder een aantal zaken waar je rekening mee moet houden.

  • Nieuwe aanvragen/boekingen (vanaf je website)
  • Verstuurde of gegenereerde facturen, betalingen of offertes
  • Automatisch verzonden mails (die worden een dag later opnieuw verstuurd) ook herinneringen.
  • Wijzigingen in beheer, zoals producten, materialen, startmomenten, PDF-templates en boekingsvoorstellen.
  • Geplande en geregistreerde uren

Laat alle gebruikers (personeel) weten dat ze alle handelingen die ze op 9 december tussen 01:19 en 15:58 in Recras hebben gedaan opnieuw moeten doen.

Hoe kun je erachter komen wat je had verstuurd?

Office 365

Indien je Office 365 gebruikt en hebt ingesteld in Recras, zijn alle verzonden mails te vinden onder “Verzonden mails” van het account dat je hebt ingesteld als SMTP-gebruiker bij bedrijfsinstellingen.
Mogelijk werkt dit ook bij andere mailaanbieders.

BCC-mailadres

Leden die een BCC-mailadres hebben ingesteld blijken gelukt te hebben gehad. Die kunnen achterhalen welke mails er door Recras zijn verzonden. Om te zien of je een BCC mailadres hebt ingesteld kijk dan onder Beheer → Overig → Overige instellingen → BCC-e-mailadres. Als je hier een mailadres hebt ingesteld kun je de volgende stappen doorlopen:

  • Ga naar de mailbox toe dat is ingesteld bij het BCC-e-mailadres.
  • Bekijk alle mails die tussen 01:19 en 15:58 op 9 december zijn verzonden.
  • Loop ze 1 voor 1 bij langs en zorg dat je de betreffende mail, boeking en contactgegevens handmatig in je Recras zet.
  • Als hier facturen tussen zitten, moet je de klant mailen dat de factuur opnieuw zal worden verzonden, om zo in Recras je boekhouding op orde te houden. De kans is groot dat ze dan een ander factuurnummer krijgen.
  • Maak de betreffende factuur dan opnieuw aan bij de klant in Recras en indien het een online boeking betrof die al met Mollie is betaald dien je ook handmatig de betaling goed te zetten.

Als je geen BCC-mailadres hebt ingesteld

  • Kijk in Mollie of er online betalingen zijn verricht tussen 01:19 en 15:58 op 9 december 2019.
    • Als dat niet het geval is zijn er geen online boekingen met betalen gedaan.
    • Als dat wel het geval is staat er bij omschrijving bijvoorbeeld ‘Boekingsreferentie 55-4’, zoek in Recras op het boekingsnummer. Als deze niet bestaat is de kans groot dat de boeking verdwenen is, maar dat jouw klant wel netjes een bevestiging met factuur heeft ontvangen. Er staat dan wel de naam van de consument in Mollie, dus misschien goed dat je daar alvast een klant voor aanmaakt in jouw Recras met een boeking van dat bedrag.
  • Kijk in je mailbox (eventueel in je gearchiveerde mails) en kijk/probeer in te schatten welke mails je op maandag 9 december had verwerkt en beantwoord vanuit Recras. Je moet al deze mails opnieuw verwerken in Recras (in principe heeft jouw klant al wel een mail ontvangen). Je zou kunnen vragen of ze de mail die je had gestuurd terug willen sturen.
  • Kijk in de historie van je telefoon. Bekijk met wie je allemaal hebt gebeld op 9 januari en probeer de telefoongesprekken te achterhalen en zo nodig in Recras de juiste boekingen te plaatsen / wijzigingen door te voeren.
  • Indien je een koppeling hebt met een boekhoudpakket kun je wellicht in je boekhoudpakket facturen terug vinden, deze facturen zullen in Recras opnieuw moeten worden aangemaakt waardoor ze een ander factuurnummer zullen krijgen.

Zie hier documentatie om alsnog een bcc mailadres in te stellen.

Vragen en vervolg

Wij vinden het ontzettend vervelend dat dit heeft kunnen gebeuren. We hebben ondertussen helder waardoor het is misgegaan. Er volgt nog een zeer uitgebreid storingsverslag voor de liefhebber.

Ondertussen hebben we al maatregelen genomen waardoor bij een soortgelijke corrupte database er maximaal zo’n 10 minuten dataverlies zou mogen kunnen optreden. Daarnaast zouden we sneller online moeten zijn.

Mocht je vragen hebben schroom niet om contact met ons te zoeken.