Inspiriert von einem bestimmten Adventskalender möchte ich bedauern, was ich in einer Produktionsumgebung getan habe.

Produktionsarbeit

Dies ist die Veranstaltung in meinem zweiten Jahr als Mitglied der Gesellschaft. Zu dieser Zeit war ich für die Wartung des BtoB-Systems in der Cloud-Umgebung verantwortlich. Als Wartungsmitglied erinnere ich mich, dass es zwei Infrastrukturen und drei Apps gab. Ich war für die Infrastruktur verantwortlich und das andere Mitglied war der Leiter.

An diesem Tag sollte ich die Einstellungen der Middleware auf dem Server ändern. Ich sagte dem Systembesitzer, dass es keinen Ausfall gab. Daher erfolgt kein Wechsel zum Wartungsbildschirm oder zur Wartungsbenachrichtigung. Wie üblich schickte ich eine E-Mail an den Eigentümer, um mich zu kontaktieren, um die Produktionsarbeiten zu starten und die Produktionsarbeiten zu starten. Wir werden nach dem verifizierten Verfahren vorgehen. Als die Einstellungsänderung selbst abgeschlossen und der Vorgang bestätigt wurde, wurde ich informiert, dass der Dienst nicht verfügbar war. .. .. Ich weiß nicht, was passiert ist und ich erinnere mich, dass mein Kopf weiß wurde. Ich bat den Anführer um Hilfe und der Anführer leitete die Untersuchung ein. Dann sagte der Anführer: "Der Name des Gastgebers ist seltsam."

↓ Hostname zu diesem Zeitpunkt

^i

Er bemerkte dies, indem er sich den Hostnamen ansah, der an der Eingabeaufforderung angezeigt wurde, nachdem er sich beim Server angemeldet hatte. Ich habe es übrigens nicht bemerkt, weil ich mich nicht vom Server abgemeldet oder eine neue Eingabeaufforderung gestartet habe.

Fehlerursache

Wenn Sie den Verlauf überprüfen, wird der folgende Befehl angezeigt. .. ..

hostname ^i

Wie jeder, der es versteht, habe ich den Hostnamen umgeschrieben. Ich wusste nicht, dass ich den Hostnamen umgeschrieben hatte, indem ich fälschlicherweise "Hostname -i" als "Hostname ^ i" eingegeben hatte. Ich wusste damals noch nicht, dass der Befehl hostname auch ein Befehl ist, der den Hostnamen ändern kann.

Befehl (Referenz) Hostname

Beispiel für die Befehlsausführung	Erläuterung
hostname	Hostnamen anzeigen
hostname -i	IP-Adresse anzeigen
hostname <string>	Hostname<string>ändern

Notfallwiederherstellung

Das Ändern des Hostnamens mit dem Befehl hostname wird ungültig, wenn das Betriebssystem neu gestartet wird (kehrt vor der Änderung zum Hostnamen zurück). Daher wurde das Betriebssystem neu gestartet und der Hostname wiederhergestellt. Der Fehler wurde erfolgreich behoben.

Warum ist die Tragödie passiert?

Sie haben manuell einen Befehl eingegeben, der nicht im Verfahrenshandbuch enthalten ist. Im Verfahrenshandbuch wurden nur die Mindestbefehle beschrieben, und die Befehle zur Bestätigung wurden weggelassen. ・ Die Arbeit wurde von einer Person ausgeführt. Es gab auch ein Problem mit der Arbeitskraft, so dass es sich im Grunde genommen um eine Ein-Mann-Arbeit handelte.

Was haben Sie getan, um zu verhindern, dass sich die Tragödie erneut ereignet?

Was damals als Wiederholungspräventionsmaßnahme umgesetzt wurde

Führen Sie keine anderen als die im Verfahrenshandbuch beschriebenen Befehle aus. Beschreiben Sie alle erforderlichen Verfahren, z. B. Bestätigungsbefehle. ・ Kopieren und fügen Sie Befehle nicht manuell ein. Beseitigen Sie manuelle Befehlseingabefehler.
Verwenden Sie bei der Überprüfung Befehle, die das System nicht beeinflussen. Vermeiden Sie die Verwendung von Befehlen, die die Einstellungen so weit wie möglich ändern können. ・ Führen Sie die Arbeiten unbedingt von zwei Personen aus und führen Sie eine doppelte Überprüfung durch. Sichern Sie ein System, um Tippfehler sofort zu bemerken. Durch die Verteilung der Verantwortlichkeiten auf die beiden Personen ist Platz im Herzen. Woran ich jetzt denken kann -Automatisieren Sie die Arbeit selbst. Minimieren Sie den Raum für menschliches Eingreifen und reduzieren Sie menschliches Versagen.

Das ist alles für mich. Danke fürs Lesen.