トラブル減少大作戦！【第１回】 人間はミスして当たり前…「自動化」で激減！設定ミスのトラブル

「設定変更時のミスでトラブル発生。対応で半日の業務が止まってしまった…。いつもと同じ作業なのになんでミスしたのだろう…」ネットワーク管理が複雑化する今日。「通常ならしないようなミスをしてしまった…」という経験をしているネットワーク管理者も少なくありません。そこで本シリーズでは、「トラブル減少大作戦」と称してケーススタディを通じて解決策を考えます。人間はミスするもの。今回のキーワードは「自動化で防ぐ」です。

事例：「いつものネットワーク設定変更」でトラブルに陥ったA社

動画ニュースをはじめとしたメディアサービスを提供しているＡ社。近年、スマートデバイスの普及もあり、動画コンテンツを手軽に利用するユーザーが増えています。A社のサービスを利用するユーザーも増え続ける一方で、売上も順調に推移していました。

一方、その動画コンテンツを配信するシステム担当者。「ネットワークはつながって当たり前」と思われる中で、厳しい“戦い”を日々強いられていました。年々、扱うコンテンツの量もユーザーも増え続けていることから、しばしばネットワーク変更などの必要もありましたが、システム担当者たちの努力により、何とか大きなトラブルは発生せずにすんできました。

しかし、あるとき一部製品のメンテナンスにより、他のスイッチ製品もほんの少しの間だけ設定変更が必要になりました。難しい変更ではありません。万が一のために冗長構成をとっているし、何度もやっている作業。丁度、新しいサービスのリリース準備で人手もいないことも後押しし、担当者は「いつもの作業なのでやっておきました」と、簡単にすませてしまいました。

その結果…冒頭で述べたようなトラブルが発生。当初はなぜトラブルが起きているのかわからなかったのですが、「そういえば一時的に設定を変更していた」ということに気付き、どこでミスが起きているのかを１つずつ検証。問題が解決できました。

「いつも行っている簡単な作業」という担当者の油断と、「多忙でルーチン作業のチェックまで気が回らない」という、２つの要因から発生したトラブルでした。今回は比較的、軽微なトラブルで済みましたが、もしユーザーが集中している時間帯に長時間にわたりサービス提供ができなくなったら、視聴者離れ、さらには信頼を失い、企業運営上大きな損失となりかねない重大問題と考えたA社。しかしどのように対策を行えばよいのでしょうか。

対策：ネットワークのトラブル予防策としての「自動化」とは？

Ａ社のようなネットワーク運用の課題を解決するキーワードの１つが「自動化」です。今回のミスは、「いつもの手順通りに行えばよい」「入力もルール通りに行えばよい」という、 “機械的な作業”を人の手で行うことにより生じたもの。つまり、機械的な作業は“機械に”置き換えてしまえばよいのです。置き換えるのは、次のような業務が考えられます。

ルーチンワークの自動化

自動化する業務の代表格が、設定変更や移行作業のうちルーチンワーク化しているタスクを、「可能な限り人の手を介さない」という自動化が考えられます。これまで必要な度に担当者が手動で対応することによる作業負担と、何よりヒューマンエラーのリスクを軽減することができるでしょう。

このようなルーチンワークの自動化を進めることで得られる「時間」を、ダブルチェックに回すことで、よりミスのない運用につなげることができます。

「手順書」などドキュメントの作成の自動化

タスクの自動化だけでなく、トラブル発生時の切り戻しを安全に行うためなどにも、移行設定データの記録も自動化することができるでしょう。設定変更時のログを自動で記録しておくことで、移行の手順を、手間を省きながらも正確に記録することができるようになります。さらに、任意のバージョンに切り戻しができる機能があれば、「切り戻し手順書」の作成も不要となるでしょう。

設定反映の自動化

検証の為に一時的に設定を変えるけれど、30分後には元の設定に戻したい…。人の手で元に戻すことはもちろんできますが、いつも多忙なシステム担当者。自動的に切り戻されるようにすれば、精神衛生上も安心です。

このように、ネットワーク運用に関するさまざまな項目の自動化が、ネットワーク管理者の負荷を削減してミス撲滅に貢献することでしょう。システム担当者の負荷が軽くなることは、集中して作業ができる環境や、ダブルチェックのための時間を作ることにもつながります。

年々ネットワークの運用管理が複雑化・高度化している現代。「トラブルが起こりにくい運用環境をどう設けるか？」が重要な取り組みとなることは間違いないでしょう。そのためにはネットワーク機器の選定も重要なテーマの１つとなります。特定のシングルベンダーだけではなく、必要な機能を持つ他ベンダーのネットワーク製品を選んでマルチベンダー環境として構築することも必要かもしれません。

「マルチベンダー環境だと運用しにくそう」と考えるシステム担当者の方もいるかもしれませんが、果たしてそうでしょうか？最近ではメーカーもマルチベンダー構成を意識し、充実したサポートや操作性が良いものが次々登場しています。今まで特定のシングルベンダーのみに偏向していた方には「勿体ない」時代がきているのかもしれません。ネットワーク製品は時代に合わせて選ぶべきです。そのヒントを知りたい方は、下記の資料をご覧頂いてはいかがでしょうか。