List:     linux-kernel
Subject:  (STP) automated Kernel testing
From:     Nathan Dabney ()
Date:     2001-10-22 19:08:09

OSDL では、Linux のカーネルのための自動化したテストシステムを稼働しています。テスト環境の記録、テストの設定と実行、レポートを提供出来ればと思っています。

現在稼働中の実行環境は以下でご覧になれます。

http://www.osdl.org/stp/

我々は、このプロジェクトを「スケーラブル テスト プラットフォーム」、略して「STP」と呼んでいます。

以下のテストが利用可能です（現段階のものであることにご注意ください）。

bash-memory
UNIXbench
lmbench（メモリテストオプションのあるものとないものの両方）
bonnie++（ファイルサイズやファイル数のストレスのためのさまざまな実行を含む）
dbench（1〜100 台のクライアントマシンからの短時間のサンプルの実行とグラフ生成の長時間実行）

我々は、次の作業を行っています。

LTP テスト（大半は揃っていますが、一式全てではありません）
iozone
AIM
More bonnie++ テスト
ファイルシステムを変更するテスト方法
2 台以上のホスト（例・クライアント/サーバ）を必要とするテストの実行能力
自動パッチ生成プログラム（レスポンス・レポートを伴ったパッチを含む）

カーネルの CVS レポジトリが、khack.osdl.org:/var/cvs にて、要求に応じて（ssh 経由で）書き込み可能な匿名（anonymous）ユーザとして（pserver 経由で）利用可能です。

このシステムの稼働方法は、開発者がパッチを我々のカーネル CVS レポジトリにある開発ツリーに入れてチェックし、それにタグ付けをします。そして、開発者は、Web インターフェースを使用して、どのテストを実施するのかを指定、カーネルのタグを示し、テストを実行するマシンのタイプを特定します。その後は、すべてのプロセスが自動化され、テストが終了すると、ユーザはテストが終了した旨の電子メールを受け取り、そこには結果の要約が書かれています（この機能を持っている特定のテストに限られます）。

現在、我々は、複数の 2、4、8 way のマシンを立ち上げ、実行しています。（上手く行けば）来週中に、シングルプロセッサのマシンを追加します。

2.4.12 に対するサンプルテストが利用できます。

dbench long:
2-way: http://www.osdl.org/stp/results/38/
4-way: http://www.osdl.org/stp/results/39/
8-way: http://www.osdl.org/stp/results/40/

UNIXbench:
4-way: http://www.osdl.org/stp/results/41/

lmbench (with memory test):
2-way: http://www.osdl.org/stp/results/36/

Bonnie++:
4-way: http://www.osdl.org/stp/results/46/

ユーザインターフェース、収集される環境記録データ、システムに対する可能な機能強化についてご意見をお待ちしております。お時間が許せば、上記のテストをごらんいただき、役に立つような追加情報をお知らせくだされば幸いです。

STP のフレームワークに関する SourceForge プロジェクトは、
http://www.sourceforge.net/projects/stp/
をご覧ください。

このシステムは、Linux のカーネルテストを希望している OSDL アソシエイト（無料の簡単なサインアップが必要です。）に対し開放されています。CVS リポジトリへアクセスを希望される方は、別途ご連絡ください。

Nathan Dabney
Open Source Development Lab