アクセスログ分析

1998 年 2 月に行った、Live! Eclipse98 のミラーサイトへの時間単位のアクセス推移です。
今後のサーバ運営の参考までに。。。

ログの見方

縦軸が転送バイト量で、横軸が日と時刻 (27/04は2月27日の午前4時を意味する)です。


各ログはあちこちで途切れていますが、ログが消失しているだけなのか、何らかのトラブルで止まっていたのかは不明です。
全てのバイト量計算は HTTP サーバが吐き出したログから採集していますので、分単位ではあまり正確ではありません。特に大量データの転送の場合、タイムスタンプがいつのものかが問題となるでしょう。

トータルのトラフィック

まずは全てのミラーサイトの1時間当たりのアクセス数です。
ミラーが稼働し始めた2/26から3/1の夕方までを取ってみましたが、 およそ 10 時間ほどの間にアクセスが集中しています。 昨年行なった Live! Eclipse97 の時は3時間程度に集中していましたから、 それよりはましです。 ただ本当にトラフィックが多かったのはせいぜい5時間程度ですから、やはり 日食などのイベントに関するアクセスの集中度はこういったものだと考えるのが 妥当でしょう。

Imasy と 日大は Web コンテンツミラー以外に Pipecam というストリーミング的な データ転送を行なっており、そのためにある時期からトラフィックが爆発しています。 Bakkers, Humbug は Pipecam を提供していません。
最もトラフィックが高かった時間帯 (27日4時) では、 グラフからはみ出してしまっていますが、 一時間当たり Imasy で 530MB, 日大で 680MB を記録しています。 1.5Mbps の論理的最大値がおおよそ 675MB/hour ですから、ちょっと記録的な 数字かも知れません。(ただしトラフィックの大半を占める Pipecam のログが 本当に送出したバイト数を示しているか今一つ不安。とにかく非常に多く、 回線をいっぱいまで使った、ということで理解して下さい。)

上のグラフのピークタイム周辺だけに絞って詳しく表示させてみました。 今度は 10 分ごとの合計としています。

かなりバラつきがあることが分かります。 これらの上に飛び出しているトゲのような大きなトラフィックは Pipecam によるものです。 ここまで細かくすると、ちょっとごちゃごちゃして分かりにくくなってしまいますね。


WWWコンテンツミラーのみのトラフィック

以下に Pipecam によるトラフィックを除いた、ピークタイムのグラフを示します。

更に詳細な WWW コンテンツミラーのトラフィックを以下に。 今度は縦軸が分単位のバイト数です。

なんとも正直に、ピーク時には IMASY と日大サイトが殆ど WWW コンテンツを提供できない状態に陥っていることが分かります。 恐らく Pipecam によるデータ転送が回線を圧迫して WWW コンテンツが流れなくなっているのでしょう。 数字で出すと 130Kbps あたりまでは日大のサーバも何とかなったようですが、それ以上になったところでガクンと出力が止まり、非常に低いところを推移します。 IMASY は日大に比べて回線が細いためだと思いますが、60Kbps あたりで頭打ちとなっているようです。
Bakkers, Humbug ミラーは WWW コンテンツミラーのみを行なっていますので、順調に伸びています。。と言いたいところなのですが、Bakkers ミラーはどうしたことか、午前 1 時頃から断続的にトラフィックの落ち込みを起こしています。この理由は良く分かりません。代わりにと言っては何ですが、その時間帯はオーストラリアの Humbug がトラフィックを伸ばしています。
飛び込みでやってくれたオーストラリアの Humbug 管理者、Bruce さまさまです。


Streaming と WWW コンテンツミラーの競合

さてここまでくると気になる、IMASY, 日大の Pipecam と WWW コンテンツミラーの競合の検証です。

少し見にくいグラフですが、注意深く眺めると、やはり Pipecam のトラフィックがドッと増えた時から、WWW コンテンツミラーのサービス量がガクンと落ち込み、Pipecam トラフィックが落ちたと同時に、WWW ミラーサービス量が復活してきています。
サーバマシン能力は問題なかったとしても、先のデータ転送量の大きさから言って、回線が競合状態にあるのだと思います。


結論

今回のミラーのログを見ることによって、以下のようなことが分かります。
  1. ミラーサイトは複数上げておく方が安全である。
    今回は思わぬ IMASY, 日大の回線競合と、Bakkersの謎の落ち込みによって、 WWW コンテンツミラーが実質オーストラリアだけになっている時点があります。

  2. ストリーミング的トラフィックを発生させるサイトは、WWW コンテンツミラーと同一回線上に置くべきではない。
    利用者の快適さを確保するために、WWW コンテンツミラーは、ただそれだけを提供するホストでやるべきです。 また、一台のミラーホストが吐けるトラフィックが、楽に 700Kbps 以上に到達することが 1997 年の Live! Eclipse のログ解析ではっきりしていますから、回線に 1.5Mbps 以上の速度がないかぎり、同一回線上に複数台のミラーホストを置く価値はあまりありません。

  3. 瞬間的アクセス集中に対して、分散ミラーは有効だが、事後にその有効性を調査することが重要。(^_^!)
というわけで、今後こうした、ある短い時間帯にアクセスが集中する可能性が高いイベントのミラーに関しては、WWW コンテンツ専用ミラーを分散して配置することをお勧めします。
比較のために各サイトの回線状況を書いておきます。
ご意見、ご質問などは yasuda@bakkers.org までお願いします。
1998.4