NTTコミュニケーションズ(NTTコム)は2005年10月14日、9月21日から24日にかけて、奈良県、和歌山県全域と大阪府、兵庫県、三重県の一部で起こったパケット通信網の障害について、最終報告書を公開した(リンク)。

 この報告書でNTTコムは、今回の障害の原因を「パケット中継交換機のプログラム処理の不具合」と結論している。同社はこのバグを修正するパッチを作成し、トラブルを起こした中継交換機を含み全国84機ある同型の交換機すべてに適用して、この障害の抜本的な対策とした。

 今回の障害は9月21日17時3分から、奈良県、和歌山県全域と三重県の一部(南牟婁郡鵜殿村)で「INS-Pサービス」の約3万5000回線(約3500ユーザー)が、また、大阪市を含む大阪府の13市と兵庫県尼崎市で「DDX-TPサービス」の約3万3000回線(約1万ユーザー)が不通になったというもの。これらはNTTコムが旧電電公社時代の1980年から提供する企業向けのパケット交換網「DDX(Digital Data eXchange)」に、ISDN回線やアナログ電話回線経由で接続するサービスである。

 このトラブルの影響で、主に奈良県や和歌山県で、コンビニエンス・ストアやガソリン・スタンドでクレジット・カード決済ができなくなったり、ウィルコムやNTTドコモのPHSサービスの一部が利用不能になるといった被害が出た。

 INS-Pのサービス再開は24日の午後5時25分で、停止は実に72時間22分に及んだ。DDX-TPはダウン翌日の22日10時28分に復旧したが、それでも停止時間は29時間25分。DDX(Digital Data eXchange)パケット網サービス始まって以来の大規模障害となった。ちなみにこれまで最長ダウンは15時間だったという。

 NTTコムによると、今回発生した障害は、トラブルを起こした中継交換機が、このバグにより間違った形式の制御パケットを中継網に送り出していたのが原因だった。中継網側の装置がこの制御パケットを即座に送り返すため、大量の制御パケットが問題の中継交換機内に滞留し、プロセッサの処理能力を食いつぶす。中継交換機内は2重化されているが、プロセッサが切り替わってもすぐに同じ状況が起こるので、結果的にサービスが断続的にダウンするという状況になった。

 このバグはいくつかの条件が重なって初めて発現する。NTTコムでは9月21日に、DDX-Pサービスを収容する加入者交換機と、問題の中継交換機を切り離す作業を行った。両者を接続するインタフェースの故障修理のためだが、結果的にこの作業で「バグを発現させるすべての条件が、たまたまそろってしまった」(NTTコム)。

 NTTコムは当初トラブルの原因を、大量のパケットが何らかの原因で外部から問題の中継交換機に流入したせいと見ていた。この中継交換機は「約5年間、安定動作しており、バグの可能性は考えにくかった」(NTTコム)ためだ。こうした見込み違いが、特にINS-Pサービスの復旧を遅らせる結果になった。