Wat is jouw IT horror story?

Wat is jouw IT horror story?

geplaatst in: IT, Security | 4

Onlangs hebben we onze cursisten gevraagd om IT-horrorverhalen in te sturen, we werden overrompeld met reacties! Omdat het bijna Halloween is, vonden we het een goed idee om deze IT-horrorverhalen te delen. Lees de meest onverwachte en beklijvende “IT-nachtmerries” van collega-IT-professionals en voeg jouw ervaringen toe:

Single Point of Failure

Ik kan het bedrijf, om duidelijke redenen, niet bij naam noemen behalve dat ik kan zeggen dat het een zeer groot bedrijf was. Ik werkte op de IT-afdeling voor middleware-apps. Op een dag vielen alle draaiende applicaties stil, niet alleen de middleware-apps, maar ook vele andere. Er werd een P1-incident melding gemaakt en alarmmeldingen verzonden. We konden bijna drie volle dagen niet op een normale manier aan het werk. Bij de IT-afdeling was het opgevallen dat er onvoldoende noodstroomvoorzieningen waren die een back-up voor het hoofddatacenter waren. Hierop was iemand ingehuurd om de stroombelasting te verdelen en te versterken. Hij werd door het datacenter-team geïnformeerd en verzekerd dat er geavanceerde failover-maatregelen waren en ging dus aan het werk.
Hij ontdekte dat één switch helemaal geen noodstroomvoorziening had. Hij trok de stekker uit het stopcontact, stopte de nieuwe noodstroomvoorziening ertussen en schakelde de schakelaar weer in. Niks aan de hand toch? Nou nee. Ik kom er namelijk achter dat de architectuurtekeningen onjuist waren. Honderdduizenden dollars later (aan verspilde inkomsten en tijd), bleek dat de essentiële switch die hij had losgekoppeld meer dan 3000 vaste en virtuele servers had uitgeschakeld. Elke server moest opnieuw worden opgestart om weer online te komen. Ja, dat was een nachtmerrie !!!
Lessons learned:  zorg ervoor dat je bedrijfsnetwerk niet afhankelijk is van één single point of failure. In dit geval was het wel een goede zaak om een noodstroomvoorziening aan te koppelen. Ironisch genoeg werd het feit dat deze werd aangesloten om een storing te verhinderen, precies de oorzaak van deze storing.

Door: Mike H.

Opschonen van onze Intranet Omgeving

In het jaar 2000 was ik door slechte communicatie tussen mijn eigen team en het IT-team niet op de hoogte dat de bestanden ter ondersteuning van het intranet van ons bedrijf waren geherstructureerd. Toen ik een taak uitvoerde om oude logs en bestanden op servers op te ruimen, dacht ik ten onrechte dat deze 10K-bestanden niet langer in gebruik waren en ik heb ze verwijderd. Resultaat – ons gehele intranet was verwijderd en het kostte veel mankracht en een aantal dagen werk om de fout te herstellen.
Ik was er ZEKER van dat ik ontslagen zou worden, maar in plaats daarvan gaf het ons bedrijf de gelegenheid om te bekijken wat er mis ging in onze processen en om dit op te lossen. Ik ben daar nog 10 jaar blijven werken.

Door: Yolanda J.

Wanneer een “PatchServer” gewoon zijn werk wil doen

IT Horror StoriesEnkele jaren geleden hadden we een ‘maintenance window’ ingesteld om de Windows-servers te patchen. Alles was volgens het beleid en Change Management had onze wijziging en timing goedgekeurd de melding was verzonden dat we dit buiten kantooruren zouden doen om de impact te minimaliseren.
Aan het begin van het ‘maintenance window’ logde de systeembeheerder in bij de patchbeheerserver, opende de toepassing en startte de patching-job. De patchbeheerserver crashtte onmiddellijk en wilde niet opnieuw opstarten. We hebben de wijziging via de policy geannuleerd en contact opgenomen met  hardwaresupport om de problemen met de patchserver op te lossen. Vanwege de SLA die we hebben, kwam de on-site support pas de volgende dag tijdens kantooruren langs. Na het uitvoeren van diagnostische tests stelde hij vast dat het probleem in een defecte geheugenmodule in de patching-server zat.
Hij verving de geheugenmodule en startte de server op. Een paar minuten later lichtte de monitoring-console op als een kerstboom, Apps en smsalerts stroomden als kerstcadeau’s richting de server- en applicatiemanagers toe. Servers binnen de hele onderneming vielen bij bosjes uit. Senior managers begonnen te bellen om erachter te komen wat er in godsnaam aan de hand was. Bij onze klanten waren applicaties niet meer beschikbaar.
Na een klein onderzoek realiseerden we ons wat er was gebeurd. De patchserver had een taak opgestart om de patching uit te voeren voordat deze crashte. Toen de server werd gerepareerd en opnieuw opgestart, ging deze plichtsgetrouw verder waar die de nacht ervoor gestopt was en startte met het uitvoeren van alle patches – midden op de werkdag! Lesson learned: voer dit soort jobs nooit uit midden op een werkdag, ook al zou dit geen impact mogen hebben. Je weet het gewoon nooit.

Door: Derrick B.

Een computer “Guru” die haar eigen anti-virusprogramma heeft gebouwd en nog nooit van Google heeft gehoord

Ik werkte van 2004 tot 2008 voor een IT-servicesbedrijf dat deel uitmaakt van een groot bedrijf. Ze hadden vroeger een bedrijf voor kabel- en hogesnelheidsinternet. In die tijd bood het bedrijf waar ik werkte technische ondersteuning voor hen, wat altijd interessant is.
Op een avond had ik een klant die op zoek was naar hulp bij haar e-mail en ze vertelde me toen dat ze bijna alles wist over computers en dat ze beschikte over een Master-titel in computerwetenschappen. Eerst dacht ik: waarom bel je ons dan? Maar omdat ik een goede helpdesk-techneut ben, ging ik door met het oplossen van haar problemen, het controleren van instellingen, enz., enz.  Halverwege het gesprek begon ze de pop-up advertenties te vervloeken die steeds weer op haar scherm naar voren kwamen, dus ik vroeg haar of ze een virusscan op haar computer heeft uitgevoerd. “Nee”, zegt ze en ik vraag haar of ze het heeft overwogen om Norton, McAfee of AVG te gebruiken of te installeren. Hierop zegt ze dat ze haar eigen antivirus programma heeft geschreven.
Huh?
Ik vroeg haar nogmaals welk antivirusprogramma ze heeft geïnstalleerd en ze antwoordde: “Geen, omdat ik mijn eigen software heb geschreven.” WTF ?? Dus stelde ik een aantal anti-spyware programma’s voor waarop zij vroeg welke zij moest gebruiken. Ik stelde drie programma’s voor en zij vond dat oké:  “Ik kan ze namelijk “reverse-engineeren” na het zien van de code”. Dit gesprek werd steeds vreemder! Vervolgens vroeg ze me hoe ik deze programma’s had gevonden, waarop ik haar vertelde dat ze naar Google.com moet gaan en het kan ‘Googlen’ … Waarop ze zei dat ze nog nooit van Google had gehoord, en dat ze een advocaat zou raadplegen om hen te gaan aanklagen over de naam Google!
Ik vroeg haar of ik nog iets anders voor haar kon doen en  toen vroeg ze me welke kwalificaties ik had mijn baan, waarop ik antwoordde: “Mijn kwalificaties en ervaring zijn alleen van belang voor mijn baas en de HR-afdeling.” Ik vroeg haar toen waar ze haar computerwetenschappen diploma vandaan haalde en haar antwoord was een mooie “F *** You” en ze gooide de hoorn op de haak.

Door: Donald M.

De angst van elke IT Professional

Elke dag hebben we een horrorverhaal, omdat niemand echt weet wat we doen. Iedereen in ons team heeft zijn eigen specilisatie in iets anders en wanneer een netwerkspecialist een vraag krijgt over de mobiele telefoon van een gebruiker, zorgt dit voor de nodige ergernis.

Door: Natasha A.

De “Reply-All” e-mail die de server heeft laten crashen

Jaren geleden werkte ik voor een softwarebedrijf dat net gemigreerd was van Lotus Notes naar Exchange 4.0 voor e-mail. Onze medewerkers hadden problemen om aan de nieuwe e-mailclient te wennen. Na ongeveer een maand crashte de nieuwe e-mailserver. De harde schijf was vol!
Wat bleek; niemand maakte een back-up van de e-mailserver waardoor de database logboeken al snel te groot werden. Toen we het probleem eenmaal hadden ontdekt, startte we met het maken van een back-up van de server, maar we realiseerden ons al snel dat we veel te weinig ruimte op de harde schijf hadden. We bestelden nieuwe en grotere harde schijven. Ook hebben we een bericht naar alle medewerkers gestuurd om hen te vragen geen grote bijlagen meer te verzenden totdat we het probleem hebben opgelost. Eén van onze salesmanagers vond dit een perfect moment om de mooie nieuwe e-mailclient te gebruiken en “reply all” mail met een video van een ontevreden gebruiker die zijn monitor aan het “bashen” was…  Tsja, hiermee ging de server voorgoed down! Twee dagen later kregen we de herstel schijf die we nodig hadden om de server weer online te brengen… Gelukkig werd ik niet verantwoordelijk gehouden voor de servercrash en hield ik mijn baan… De netwerkbeheerder daarentegen, had minder geluk
.

Door: Tina I.

Ik heb geleerd dat computers een “geheime” CD Drive hebben!

Een computergebruiker klaagde dat haar cd-drive haar cd’s aan het opeten was. Bij het openen van haar CD-drive was er niets te zien, ze was verbaasd wat ik deed, en had geen enkel idee dat de CD-drive daar zat. Ze liet me de kleine sleuf zien tussen het 5.25″ CD-drive en de tweede 5.25″ gat en duwde er een CD-rom in. Het maakte een afschuwelijk geluid zodra het de bodem van de computer behuizing raakte. Toen ik de buitenkant van de PC openmaakte lagen er ongeveer een dozijn CD’s op de bodem.

Door: Eddie N.

Excel Files zijn zwaar

Mijn, zeer coole, CEO vroeg mij om een mini- én een full-size laptop te leveren aan een nieuwe VIP die de volgende dag vanuit Duitsland zou arriveren. Dit verhaal gaat over situatie van ongeveer 10-15 jaar geleden, en ja, de CD-rom was nog echt heel hip.
Het ging ongeveer zo:
“Hoeveel wegen deze laptops? En, zit er een groot verschil tussen?” “Ik vermoed 1,5 tot 2.4 kilo misschien, de grotere versie heeft een ingebouwde CD-drive, en dit kleinere apparaat niet, is dat een probleem?” “Ik denk het eigenlijk wel … kan er een CD-Rom worden toegevoegd aan de kleinere laptop?” “Ja, zoiets ja, je zou dan dit apparaat, het CD-station zelf en 2 extra kabels moeten los dragen …. en dit zal dan ongeveer hetzelfde gewicht zijn als die grotere, alleen dan kan je onderdelen verliezen of verkeerd gebruiken” “Oh ja, daar ben ik het wel mee eens …. dus, 2,4 kilo hè? Hoeveel gaat het wegen als je mijn gegevens eraan toevoegt, zoals mijn e-mails, Word- en Excel-bestanden … Ik heb vreselijk veel van die Excel-bestanden. ”
“Uhhhhhh …”
Op dit moment gebruikte ik elke spier in mijn gezicht om niet te gaan glimlachen, laat staan om te lachen. Maar weet gewoon dat ik graag wilde zeggen: “Ook PowerPoint of PDF’s? Want zijn die zijn nog veel zwaarder.”

Door: Mark M.

Wat is jouw IT Horror Story? Deel jouw tenenkrommende relaas of ervaring in de comments hieronder

 

 

4 Antwoorden

  1. Ik begon aan een baan bij een regioziekenhuis in het najaar van 2009. We ontvingen supporttickets op mijn eerste dag dat de tijden op de klokken op bijna alle pc’s een uur achterliepen. Het duurde niet lang voordat ik erachter kwam dat de pc’s al geruime tijd niet waren gepatcht. Na een beetje speurwerk ontdekte ik dat alle 250+ XP-pc’s niet waren gepatcht, op Service Pack 1 na, en velen hadden dat zelfs niet. Ik vroeg de systeembeheerder wat er aan de hand was en hij zei dat hij een WSUS heeft opgezet om voor alles te zorgen en dat de pc’s moesten worden hersteld. Ik probeerde in te loggen op de WSUS en die deed helemaal niets (we kwamen er uiteindelijk achter dat het een defect moederbord was, maar dat is een ander verhaal).
    Ik begon me af te vragen hoe iemand niet kon weten hoe een WSUS-server eruitzag en dat de pc’s niet meerdere jaren werden gepatcht, maar ik moest uitzoeken wat er moest gebeuren om het probleem op te lossen. Geen probleem, we hebben veel vrije ruimte op een andere server, dus ik zal daar gewoon een WSUS opnieuw opbouwen, dacht ik bij mezelf. Ik informeerde de IT-directeur over wat er gebeurde en wat ik zou gaan doen om de situatie te verhelpen. Ik ben vervolgens begonnen met het bouwen van een WSUS en begin met het downloaden van alle benodigde patches via onze enige verbinding met internet (een enkele T1-lijn). Ik liet het ’s nachts lopen, denkend dat alle patches gedownload zouden zijn tegen de tijd dat ik de volgende ochtend aankwam.
    De volgende dag kom ik binnen en zijn we helemaal offline. Niemand lijkt te weten wat er aan de hand is. De meeste dingen gebeuren buiten de time-out van ons netwerk. Die paar die terugkomen hebben een extreem hoge latency. Ik realiseerde me al snel tot mijn schrik dat alle 250 pc’s een aantal jaar aan patches probeerden te downloaden, samen met verschillende servicepacks van Microsoft via onze enkele T1-lijn. Ik vroeg de systeembeheerder onmiddellijk wat hij veranderde en hij zei dat hij de GPO voor de vorige WSUS had verwijderd, omdat deze niet werkte. Hij leek zich niet te realiseren dat de PC’s zelf zouden proberen de patches van Microsoft te bemachtigen.
    Ik heb snel een nieuw group policy object gemaakt dat naar de nieuwe WSUS verwijst en we waren later die ochtend weer online. Dit was slechts één van de vele interessante IT-ervaringen in dit ziekenhuis.

  2. Aan het begin van dit millennium werkte ik als systeembeheerder bij een bedrijf waar Lotus Domino werd gebruikt voor email en filesharing tussen een 20-tal locaties. In het hart van Lotus Domino staat het ‘Name and Address book’ dat naast alle gebruikers ook configuratie documenten bevat van de verschillende Domino servers en de connecties daartussen. Dit ‘Name and Address book’ wordt gerepliceerd tussen alle locaties met een Domino server. So far so good.
    Helaas had men alle lokale systeembeheerders ‘administrator’ rechten gegeven op het ‘Name and Address book’. De details weer ik niet meer exact, maar één van de systeembeheerders kreeg het voor elkaar essentiële configuratie informatie te verwijderen waardoor na de replicatie hiervan 1 voor 1 alle locaties met een corrupt systeem te maken kregen en er niet meer gemaild kon worden.
    De tweede fout die men gemaakt had, was dat er op het hoofdkantoor geen backup van het ‘Name and Address book’ aanwezig was. Dat werd immers toch gerepliceerd naar 20 locaties….
    Het bleek dat de vestiging waar ik werkte de enige was waar dagelijks een backup van het systeem werd gemaakt. De rest had er op vertrouwd dat het hoofdkantoor dit wel geregeld had.
    Dus nadat ik de backup had teruggezet en onze vestiging tijdelijk als ‘master’ in de replicatietopologie had ingesteld, konden we weer locatie voor locatie in de lucht brengen en de oude situatie herstellen. Al met al heeft dat wel 24 uur geduurd…

Laat een reactie achter