Vous en avez sûrement été témoin de vos propres yeux (ou allez le faire) tôt ou tard: cet horrible projet / système / situation où quelque chose s'est tellement foutu que vous ne pouvez tout simplement pas croire qu'il s'est réellement passé comme il l'a fait.
Mauvaise gestion? Mauvais budget? Malentendu? Juste stupide, simple ignorance? Nommez votre cause, elle s'est certainement produite (et continue de se produire beaucoup, malheureusement; voir ici ).
Décrivez-le ici pour l'amusement (bien que quelque peu du genre cynique) et l'apprentissage (avec un peu de chance).
Certaines règles:
- Ce n'est pas l'endroit pour les erreurs d'administration aléatoires (même si elles sont complètement dévastatrices), alors veuillez éviter "argh j'ai mal tapé ce rm -r" ou "OMG j'ai copié la base de données corrompue sur ma dernière bonne sauvegarde" (là, fait cela) ; ces choses sont meilleures ici . Il s'agit de "quel type de médicaments était exactement sous l'influence de qui a conçu / mis en œuvre ce système?".
- Un WTF par publication, afin qu'ils puissent être correctement commentés.
- Veuillez poster quelque chose dont vous avez réellement été témoin :-)
- Si c'est vous qui l'avez fait, ça se qualifie quand même :-)
Je vais bientôt ajouter du matériel, n'hésitez pas à ajouter le vôtre; et merci de faire :-)
Réponses:
Réponse par e-mail d'un ingénieur du support Microsoft à un problème signalé:
Or!
la source
J'ai été appelé par une entreprise dont je n'avais jamais entendu parler auparavant, qui avait été chargée d'implémenter un serveur de messagerie Exchange 2003 pour un client et n'avait aucune idée de la façon de procéder; rien de trop étrange, non? Je travaille en tant que consultant indépendant, donc je vais parfaitement bien faire des travaux que vous ne savez pas faire pour vous (et obtenir votre argent pour cela).
Je suis donc allé sur le site du client et j'ai découvert quelque chose d'assez étrange: chaque serveur du réseau était un contrôleur de domaine ; tous les 15 environ.
Puis j'ai découvert quelque chose d'encore plus étrange: aucun d'entre eux ne se répliquait correctement avec un autre, le comportement global d'Active Directory ne pouvait être décrit que comme "erratique", les utilisateurs rencontraient des problèmes de réseau que vous pouvez imaginer et Exchange refusait tout simplement d'installer avec un inconnu- des erreurs humaines.
J'ai donc jeté un coup d'œil à la configuration du réseau sur le serveur, et j'ai vu ... qu'il utilisait les serveurs DNS publics du FAI. Ensuite, je regarde un autre serveur ... et c'était la même chose. Ensuite, je regarde un DC ... même chose. Ensuite, j'ai demandé ... et cela a été officiellement confirmé: chaque ordinateur du réseau (environ 1500) utilisait le DNS du FAI au lieu d'un contrôleur de domaine légitime.
J'ai continué en expliquant que le DNS est assez critique pour le bon fonctionnement d'Active Directory, et j'ai pu reconstruire l'histoire suivante:
la source
Il était une fois un client qui était une petite entreprise (10 personnes) avec un dossier de santé électronique. (Pas un médecin). J'ai remarqué un jour que les sauvegardes avaient échoué. Lors des tests, le lecteur de bande ne fonctionnait pas du tout. J'en ai parlé au propriétaire, qui a dit qu'il savait très bien que le lecteur était mauvais, mais qu'il était trop cher à remplacer.
Bien sûr - ce n'est pas très WTF.
La WTF a demandé à son personnel de tourner la bande quotidiennement, de l'emmener dans un coffre-fort et tout ce jazz pendant les 6-9 mois depuis sa mort .
"Ne le dites pas au personnel, cela pourrait les inquiéter"
la source
Je travaillais en tant qu'administrateur système pour une grande agence gouvernementale (l'un des principaux organes du gouvernement italien) et gérais leur centre de données depuis quelques mois. Un soir, mon téléphone sonne et mon patron me dit quelque chose de très grave: une panne de courant totale .
Ok, nous avons des onduleurs, non?
Oui, mais ils ne dureront pas longtemps, alors mieux vaut y aller et éteindre tout jusqu'à ce que le courant revienne.
J'y vais, me fraye un chemin dans les couloirs sombres, arrive dans la salle des serveurs ... et je suis accueilli par ce qui ne peut être décrit que comme un enfer pur . Au sens propre. La chambre était si chaude qu'on aurait pu y faire des gâteaux. L'onduleur était correct, mais la moitié des serveurs s'étaient déjà arrêtés de surchauffer et les autres hurlaient de douleur.
La raison?
Les serveurs étaient alimentés par UPS ... la climatisation ne l'était pas .
la source
Échec du ventilateur HP ProLiant ML370 G3 ... Les capteurs du ventilateur sur la carte mère de ce modèle ont tendance à se détériorer après 5 ans. Le serveur ne peut pas démarrer lorsque la mauvaise combinaison de ventilateurs n'est pas détectée. J'ai dû guider le client pour démarrer la machine avec un aspirateur (pour faire tourner les fans au démarrage) et c'est ainsi qu'ils ont maintenu le serveur en marche jusqu'à ce que je puisse arriver avec un nouveau système.
la source
J'étais auparavant consultant logiciel de comptabilité pour la comptabilité Dac-Easy. Une fois, j'ai été appelé au bureau principal d'une entreprise locale et le comptable m'a dit que si je ne pouvais pas résoudre pourquoi le programme était plein d'erreurs comptables chaque week-end, il faudrait qu'il trouve une autre application et un autre consultant. En parcourant les fichiers journaux administratifs, j'ai découvert que toutes les entrées étaient généralement effectuées le vendredi ou le samedi soir. J'ai alors découvert que la femme du propriétaire se connectait à l'ordinateur du système comptable depuis chez elle en utilisant PC Anywhere et essayait d'équilibrer les comptes avec son chéquier après plusieurs verres de vin. Une fois que les chiffres semblaient bons, elle se déconnectait.
la source
J'ai soulevé un ordinateur que j'ai reçu du bureau de notre société mère quand j'ai entendu quelque chose cliqueter à l'intérieur. Lorsque j'ai ouvert le boîtier, je l'ai trouvé à moitié plein avec des mini-blés givrés. Je suppose qu'une souris y vivait ou utilisait une cache de nourriture. Le point d'entrée probable était l'écart entre le boîtier et la prise clavier DIN.
Pas exactement ce que vous avez demandé, mais un WTF définitif.
la source
Un autre client, une autre histoire d'horreur.
Dans le billet principal, j'ai parlé d'avoir remplacé par erreur une bonne sauvegarde avec la base de données corrompue qu'elle devait remplacer; ça arrive :-(
Une restauration à partir d'une sauvegarde a donc été nécessaire. Heureusement, il y a effectivement ÉTAIT une sauvegarde là: il a été fait tous les jours, sur un serveur de sauvegarde central avec une bibliothèque de bandes vraiment grand attachée; ce serveur gérait des sauvegardes pour toute l'entreprise, il était vraiment cher et avait un vrai logiciel de sauvegarde installé dessus.
Jusqu'ici tout va bien. Nous recherchons le travail de sauvegarde, chargeons la bande appropriée, commençons l'opération de restauration, la bande est chargée, la restauration démarre ... et rien ne se passe.
Nous essayons à nouveau, quelque chose.
Nous déchargeons, rechargeons, redémarrons, essayons de restaurer les sauvegardes précédentes ... rien ne change.
Nous supposons qu'une longue opération était en cours et la laissons toute la nuit ... le lendemain, toujours rien ne change.
Ok, il est temps d'appeler le support du fournisseur Real Backup Software ... mais cela ne peut pas être fait, nous sommes dimanche. Nous essayons de rechercher le site d'assistance du fournisseur, mais un code d'accès spécial est requis, et un seul gestionnaire l'a ... le même gestionnaire qui sera vraiment contrarié de découvrir que le système est toujours en panne lundi, quand il vient au travail.
Un autre jour de douleur, et je découvre que le bogue est bien connu, et il a été corrigé par un correctif du fournisseur, que (évidemment) personne ne prend la peine d'appliquer. Je vais donc l'appliquer ... mais cela ne peut pas être fait: la direction ne veut pas risquer de casser quoi que ce soit à moins que le fournisseur ne confirme que le patch peut être appliqué en toute sécurité; le fait que le serveur de sauvegarde n'a pas pu restaurer quoi que ce soit ne leur semblait pas assez "cassé".
Ce n'est qu'après quatre jours au total, divers appels de support et l'envoi d'un ingénieur de support par le fournisseur que nous avons finalement pu appliquer le correctif et restaurer la sauvegarde; le serveur de sauvegarde n'avait JAMAIS pu faire de restauration, mais personne ne l'a jamais testé, donc personne ne l'a remarqué.
la source
Émulation de terminal pour le plaisir et le profit
Je travaille avec un système plus ancien - essentiellement un tas de terminaux texte qui se connectent à une boîte Unix, avec quelques ordinateurs Windows juste pour compliquer les choses.
Quelques faits essentiels
Je pense que vous pouvez voir où je veux en venir.
Il y avait eu des tentatives timides pour ajouter un support terminal approprié aux fichiers terminfo et termcap, mais ceux-ci ne sont que partiellement fonctionnels. Le fichier propriétaire termcap utilisé par l'application système principale fonctionne, mais il n'est généralement pas pertinent car $ TERM n'est jamais défini correctement de toute façon.
En se connectant, chaque utilisateur doit essentiellement sélectionner d'où il se connecte et quelle disposition de clavier il souhaite utiliser - aucune détection automatique n'est impliquée. Cela définira $ TERM sur ANSI, quel que soit le terminal utilisé côté client, et une variable d'environnement définie de sorte que l'application logicielle principale remappe certaines clés de manière appropriée.
Dans le cas de personnes utilisant la disposition de clavier intégrée sur les terminaux de texte, un script est ensuite exécuté pour reprogrammer certaines des touches de la disposition intégrée (telles qu'imprimées physiquement sur le clavier lui-même), mais pas toutes. Sur les PC Windows, une carte de touches client est chargée pour remapper la plupart des touches de fonction vers ANSI. Impossible de les remapper tous, sinon certaines des autres touches cesseront de fonctionner.
La connexion à quoi que ce soit d'autre à partir de l'un des terminaux est un exercice d'échec et ne peut raisonnablement être effectuée directement sur le serveur lui-même. Puisque tout fonctionne, il est difficile de justifier le temps et les efforts nécessaires pour le réparer. Mais ajouter quelque chose de plus récent que les terminaux de texte vieux de 20 ans avec lesquels nous sommes coincés maintenant nécessiterait essentiellement une réécriture de l'ensemble du système.
Je pleure un peu à l'intérieur chaque fois que je le vois.
la source
Je connaissais quelqu'un qui avait décidé de réorganiser les fichiers sur son ordinateur en mettant tous les .exe dans un dossier.
la source
Un réseau avec environ 60 ( SIXTY ) PC.
Un patron fanatique de la sécurité.
Quelques nouveaux commutateurs avec capacités VLAN.
Un «plan de réorganisation du réseau» impliquant ~ 20 ( VINGT ) VLAN.
Grâce à une puissance supérieure inconnue, je suis parti avant que tout cela ne puisse réellement commencer ...
la source
Nous avons donné à l'un de nos administrateurs Unix une boîte Windows. C'était peu de temps après que nous ayons donné des boîtes Linux aux administrateurs Windows à l'administrateur dans le but d'augmenter notre familiarité entre les différents systèmes d'exploitation. En tant qu'administrateur Windows essayant de ne pas bousiller ma boîte Linux, j'avais posé une tonne de questions à l'équipe Unix. Je suppose que c'était l'objectif de l'exercice. Après une conférence sévère sur la façon de m'assurer de bien dimensionner tous mes volumes et de ne pas tout mettre sur un seul volume, ou sur une seule partition, je suis allé de l'avant et j'ai construit une boîte parfaitement adéquate, qui fonctionne toujours en production deux ans plus tard.
Lorsque le gars Unix qui m'avait donné la conférence sur les différents volumes et ne pas construire des choses pour qu'un disque complet puisse planter le système d'exploitation a construit sa boîte Windows, il a tout mis sur C :. Quand j'ai dit "Je ne peux pas sauvegarder cela avec n'importe quelle politique que nous avons et quand ces journaux rempliront votre boîte plantera." Il a dit "Eh bien, je pensais que c'était Windows, tout sur C: est logique." Il n'a pas du tout fait de partition. J'étais sérieusement stupéfait. Absolument WTF pensiez-vous à quelque chose. Apparemment, il ne lui est pas venu à l'esprit que certaines des meilleures pratiques sont les mêmes quel que soit le système d'exploitation.
la source
La réponse de Massimo me rappelle un autre WTF ...
Un petit bureau a un serveur Windows 2003 avec Exchange, Symantec AV, etc. La société nous utilise généralement pour faire tout son travail informatique .. mais ce nouveau point chaud est au bureau et a acheté un nouveau PC. Nous les avions sur une plate-forme unifiée Dell Optiplex, ce type a décidé de remplacer 3 d'entre eux par de "super machines" qui étaient en vente chez Best Buy.
Quoi qu'il en soit - ils parviennent en quelque sorte à le joindre au domaine.
Premier appel:
Nous ne pouvons pas trouver de perspectives. La machine est livrée avec Word (Microsoft Works), alors où est tout le reste.
Deuxième appel:
Comment utilisons-nous l'antivirus réseau?
C'est le wtf. Je suis allé sur place et 7 de leurs machines avaient été configurées en tant que SERVEURS Symantec Antivirus , au lieu d'installer le client. Apparemment, le monsieur n'a pas aimé le fait que nous ayons verrouillé les paramètres du client et décidé de "réinstaller" le client afin qu'il puisse le modifier lors de la numérisation. Apparemment, le premier CD pour Symantec AV que nous avions laissé de côté l'a persuadé d'installer le "serveur", plutôt que le client.
la source
Un client m'a appelé pour m'aider avec certaines versions de serveur. Pendant la construction, j'ai été informé qu'il s'agissait de serveurs de remplacement pour les deux derniers du rack. J'ai trouvé étrange que la position du rack soit pertinente et j'ai demandé pourquoi. Il s'avère que la salle des serveurs a été inondée après l'éclatement de la conduite d'eau qui traverse le milieu.
Alors, que fait une pipe à eau au milieu de la salle des serveurs que vous demandez? Eh bien, la salle de bain pour dames est à côté et la salle des serveurs est commodément hors de vue. Quel meilleur endroit pour mettre l'alimentation principale dans la salle de bain?
la source
Oh, c'est facile ...
J'avais une installation de système Linux pour une entreprise située dans un entrepôt dans le Kentucky rural. Ce système est l'application de comptabilité / inventaire de l'organisation. Je remplaçais un serveur SCO de 1998 par un nouveau serveur CentOS 4. En conséquence, je m'attendais au pire en termes de connectivité et de clients. Vous savez, vieux PC, mauvais câblage, etc. J'ai expédié de nouveaux commutateurs, câbles, clients légers, etc. sur le site ...
Cependant, je ne m'attendais pas à ce que le "placard" de câblage soit dans la salle de bain ! En fait, le câblage était situé dans l'espace au-dessus du plafond suspendu directement au-dessus des toilettes de la salle de bain de l'entrepôt. Cela comprenait le modem DSL, un HUB de 10 mégabits et un bloc de 66 pour les téléphones ...
la source
Même client impliqué dans l'affaire DNS From Hell.
Leur serveur Exchange a continué à fonctionner pendant des années avec élégance et a même survécu à certaines pannes de disque (merci, RAID et merci plus, sauvegardes). Un jour, j'ai été rappelé pour un problème indépendant, et ils m'ont dit en passant que quelque chose les troublait: quelques fois auparavant, ils ont découvert que tout le monde pouvait ouvrir la boîte aux lettres de tout le monde; ils ont pensé que c'était étrange, mais n'ont rien fait, car ils ne savent pas comment résoudre ce problème, et de toute façon le courrier électronique fonctionnait et (presque) personne ne l'avait découvert.
J'ai été assez choqué ici: tout le monde a pu ouvrir la boîte aux lettres de n'importe qui d'autre, et ils ont pensé que c'était SEULEMENT UNE NUISANCE MINEURE et n'ont pas pris la peine de faire quoi que ce soit pendant TROIS MOIS . Toute personne ordinaire aurait immédiatement retiré le cordon réseau du serveur, mais pas eux.
La source du problème était ... étrange: quelqu'un avait défini "Tout le monde / Contrôle total" au niveau de l'organisation Exchange dans Active Directory, donc tout le monde est immédiatement devenu un administrateur Exchange complet; leur seule chance était que très peu de gens l'ont remarqué.
À ce jour, personne ne sait encore qui a réellement fait cela.
la source
A travaillé en tant que programmeur à temps plein et administrateur à temps partiel pour une petite entreprise de logiciels de comptabilité de cabinet médical (lire: facturation client et réclamations d'assurance). J'ai reçu un appel d'un gros client que leur serveur était en panne; c'était le nouveau produit exécutant Altos Unix SysV / 386. Comme j'étais tout ce qu'ils avaient, ils m'ont envoyé ainsi que la nouvelle fille.
J'y suis arrivé et il y avait une salle pleine d'opérateurs de saisie de données tapant les documents WordPerfect aussi vite qu'ils le pouvaient. Il y avait une ligne longue distance qui sortait de l'état où un autre groupe d'opérateurs faisait de même.
Le répertoire des documents contenait environ 10 000 documents parfaits, tous suivant le même format. TOUT DANS UN RÉPERTOIRE. Untel a été blessé et souffre de telle ou telle chose. Semble que ce médecin était le gars de choix pour les avocats qui intentent des poursuites pour blessures.
J'ai essayé de démarrer à partir d'une disquette et je n'ai eu que beaucoup de bruits de recherche. J'ai retiré la disquette et elle était complètement recouverte de toiles d'araignées, je parle ici de poignées. C'était un bureau de médecin, j'ai donc exigé des tampons et de l'alcool (c'était le seul disque de démarrage Unix que nous avions, et la seule chance de réparer les choses sur cet appel de service), et j'ai commencé à nettoyer la disquette, le lecteur et le serveur.
Il y avait deux problèmes, l'un était que le serveur était plein de saleté provenant du bureau recouvert de moquette et de son coin de la pièce (sur une moquette épaisse et moelleuse), et qu'il surchauffait dans le bureau à 80 degrés. Le système de fichiers avait besoin d'un FSCK sérieux et j'ai divisé les fichiers 10K en un nouvel ensemble de sous-répertoires alphabétiques et leur ai suggéré de les décomposer davantage.
Le docteur était un trou parfait *** qui nous en a déchiré un nouveau quand nous sommes entrés dans la porte. Lorsque nous sommes partis, nous avons expliqué que l'achat de l'option WordPerfect pour UNIX ne signifiait pas que nous avions dimensionné le serveur pour la création de documents intracontinentaux; il avait également besoin d'un A / C, d'un emplacement de serveur sans tapis, d'un onduleur, d'un RAID externe et d'un meilleur protocole de classement d'annuaire. Soudain, il était tout ouïe car c'était ainsi qu'il gagnait tout son argent. J'ai donné toutes les informations aux ventes, mais j'ai quitté ce travail peu de temps après pour d'autres raisons.
la source
Mon meilleur WTF est né de mon employeur actuel, lorsque j'ai commencé ici.
À peu près les deux premiers mois de travail ont impliqué un état constant de panique et d'horreur pure et simple lorsque j'ai découvert l'état des serveurs. À mon niveau d'expérience actuel, j'aurais peut-être simplement recommandé de mettre le feu à l'endroit et de percevoir l'assurance. Mais la meilleure partie était une politique d'entreprise:
Il n'y avait pas de comptabilité pour les clients commutés. Chez un FAI qui a obtenu la moitié de ses revenus des clients commutés. Il s'agissait en fait d'une politique qui était en place depuis environ 6 ans au moment où j'ai commencé, et cela m'a simplement laissé perplexe que rien n'avait été fait à ce sujet. La ligne standard était "nous faisons simplement confiance à nos clients pour ne pas en utiliser trop". Le fait que l'endroit fonctionnait avec un budget restreint et n'avait pas de véritable administrateur au commutateur pendant tout ce temps n'a pas aidé les choses, je ne pense pas.
Le résultat final de cette politique était bien sûr que les spammeurs avaient essentiellement réquisitionné le pool d’accès à distance. Presque tous les soirs, ils utilisaient un compte pour se connecter à plusieurs modems jusqu'à ce que le pool soit plein, puis diffusaient le spam aussi vite qu'ils le pouvaient. La version de AAA RADIUS n'a pas aidé les choses dans la mesure où il n'y avait pas de commutateur rapide "autoriser un seul utilisateur à la fois" à la fois. J'ai piraté quelque chose ensemble en Perl pour déconnecter toute personne disposant de deux connexions jusqu'à ce que le serveur RADIUS puisse être remplacé, et cela a résolu ce problème au cours de la première semaine ou deux. Un autre problème était que je n'avais pas le temps de réparer les choses (voir: budget restreint) car je faisais également du support technique en même temps. Mais une partie de la raison pour laquelle je suis toujours ici était que j'avais le règne libre sur tout cela. Je ne pense pas que je ' On ne m'a jamais vraiment dit de ne pas aller de l'avant et de mettre en œuvre une bonne idée. La seule restriction que j'ai jamais eue était l'argent.
la source
Il y a dix ans, j'ai interviewé une entreprise dont le câblage de la salle des serveurs principale ressemblait à une soupe de spaghetti. L'équipement de mise en réseau était dans 3 racks près d'un coin d'une pièce de 20 pieds x 60 pieds. Il y avait une cascade de câbles réseau de toutes sortes de couleurs dégringolant dans les racks et se terminant par une piscine de câbles emmêlés d'environ 7 pieds de large et se déversant à environ 5 pieds des racks. Il n'y avait aucune documentation et personne ne savait ce qui allait où.
L'entreprise détenait une part de marché de 95% dans un domaine lié à la sécurité des personnes et des biens. Tout ce que je peux dire, c'est que cela peut donner une vraie pause.
BTW, l'entreprise est toujours en activité et a apparemment nettoyé beaucoup de choses depuis lors.
la source
Était dans un placard Demarc il n'y a pas si longtemps et a trouvé cette configuration douce sur un site:
Installation du câble fibre Elite = ATTACHE TWIST
texte alternatif http://locobox.googlepages.com/Fiber.jpg texte alternatif http://locobox.googlepages.com/Fiber2.jpg
la source
Il y a quelques années, l'entreprise pour laquelle je travaillais a acquis un de nos concurrents et j'ai dû auditer leurs machines (Centos) pour s'assurer qu'elles répondraient à nos normes en termes de configuration (leur administrateur système avait refusé l'opportunité de rejoindre notre entreprise en faveur de démarrer sa propre entreprise qui a développé des solutions clés en main).
Dans /etc/rc.local (la maison de tous les grands WTF), j'ai trouvé:
et
Remarque: eth1 a été configuré dans ifcfg-eth1 avec un masque de réseau de 255.255.255.0
Apparemment, les vrais administrateurs système n'utilisent pas ces fichiers de configuration clichés comme / etc / fstab et / etc / sysconfig / network-scripts / *
la source
Plus tôt cette année, nous avons embauché une nouvelle fille. On m'a demandé de m'assurer que toutes les polices de l'entreprise étaient installées sur son ordinateur. Je savais qu'ils l'étaient, mais j'ai décidé de choisir mes batailles et de les réinstaller. J'ai reçu un appel de la fille environ 5 minutes après et elle voulait que je vienne lui montrer comment utiliser le nouveau "logiciel" que j'ai installé. Je me suis approché, j'ai ouvert Word et lui ai expliqué comment changer les polices .... c'est ce que j'ai installé.
Cette fille avait un doctorat !! Elle ne travaille plus ici, mais pas parce qu'elle ne savait pas comment utiliser les polices.
la source