STP（Scalable Test Platform）の概要

STP（Scalable Test Platform）は、OSDL（Open Source Development lab）が提供する自動化されたテスト環境です。これにより Linux テストプロジェクト（LTP）のようなプロジェクトによるテストが容易になります。Open Source Development Lab では、2 プロセッサから 16 プロセッサのコンピュータとファイバ SAN 構成で約 2 テラバイトのスペースを提供します。

このプロジェクトの目標は、一連の安定したハードウェア構成とテストのインフラを提供して、異なる作業負荷のさまざまなシステム構成で開発者がソフトウェア変更を簡単にテストできるようにすることです。これは Linux テストプロジェクトの一部であり、ここでユーザはコードを探し、開発作業に参加することもできます。

OSDL が所有するコンピュータ、テストネットワークおよび cvs ツリーへのアクセスは、ラボのメンバーと、ラボのリソースを使用することを許可されているメンバーに制限されています。

ハードウェアの使用

この環境は長期間にわたり安定しなければなりませんが、環境が変更される場合は、ワーキングページにシステムとテストに関する最新の内容が示されます。

テストのセットアップは、比較的小規模な 32 ビットコンピュータによる複数のサーバから構成され、そのなかには 16 Way 64 ビットのシステムも含まれています。これらのシステム構成の重要な要素は、今日行った変更と、数週間前、数か月前、または一年前に行ったテストの実行を開発者が比較できるように、システムが長期間安定することです。安定した構成例として、以下のものがあります。

• 32 ビットコンピュータ、すべて IA-32 命令セット

• •  1 Way 700 MHz 256 K  キャッシュ、512 MB、 2 20 GB IDE ドライブ

  •  2 Way   1 GHz 256 K  キャッシュ、  2 GB、10 18 GB SCSI ドライブ

  •  4 Way 700 MHz   1 MB キャッシュ、  4 GB、20 18 GB SCSI ドライブ

  •  8 Way 700 MHz   1 MB キャッシュ、  8 GB、40 18 GB SCSI ドライブ

  • 16 Way 550 MHz   1 MB キャッシュ、 16 GB、40 18 GB & 40 36 GB ファイバチャネルドライブ

• 64 ビットコンピュータ、すべて同一の命令セット（構成例）

• •  1 Way 733 MHz 1 MB キャッシュ、 1 GB、 2 36 GB SCSI ドライブ

  •  2 Way 733 MHz 1 MB キャッシュ、 4 GB、10 36 GB SCSI ドライブ

  •  4 Way 800 HHz 4 MB キャッシュ、 8 GB、20 36 GB SCSI ドライブ

  •  8 Way 800 MHz 4 MB キャッシュ、16 GB、40 36 GB SCSI ドライブ

  • 16 Way 800 MHz 4 MB キャッシュ、32 GB、80 36 GB SCSI ドライブ

• クラスタ環境

• • 10 2 Way 866 MHz 256 K キャッシュ、256 MB、2 20 GB IDE ドライブ

  • 10 10 ベイファイバチャネル RAID ボックス、36 GB ディスクドライブ搭載

テストの使用可能性

注: 新しいテストが選択可能なリストに常に追加されているため、これは環境の中で最も変化する部分です。

これらのテストはコミュニティ、OEM および標準のベンチマークを組み合わせたものであり、Linux のさまざまな機能と関連ソフトウェアスタックをテストするためにいろいろなグループによって使用されます。この目標は、個々のテストが最高のパフォーマンスで行われるように「チューニング」することではなく、カーネルや関連ソフトウェアスタックの変更がいろいろなアプリケーションや環境で測定できるように、繰り返し使用可能な環境を提供することです。このため、コンピュータの異なる構成間で相対的パフォーマンスを比較できるようにすることは目標ではありません。そして、このテスト環境から 1 プロセッサから N プロセッサへの拡張性の結論を得ることはできません。唯一の有効な比較は、パッチ適用の前と後で同一コンピュータを比較することです。たとえば、テスト実行の前と後の 1 Way 構成を比較できますが、テスト実行の前と後の 1 Way と 4 Way のパフォーマンスの相対的な相違を比較することはできません。この理由は、さまざまなサイズのシステムに対して手動による余分なチューニング作業を回避することです。これらのパフォーマンステストの実行プロセスを自動化することはできません。

テストの種類には、さまざまな種類の負荷、シンプルなファイル I/O から複雑なデータベース負荷の下での互換性、サブシステム、および完全なシステム テストなどがあります。カテゴリのさまざまな例として以下のものがあります。

• Web のインフラ
• • Web サービス（SPEC WEB99）
  • インターネットのチャットサービス
  • 電子メールのパフォーマンス（SPEC MAIL2001）
• 企業のインフラ
• • NFS パフォーマンス（SPEC SFS97）
  • SAMBA （いろいろなテスト）
• サブシステムのパフォーマンス
• • TCP/IP
  • ファイルシステム
  • ディスク I/O
  • システムコールのパフォーマンス
  • 互換性（LSB テストスイート）
  • コンパイル速度（カーネルのビルド）
  • 他のいろいろな総合的ベンチマーク
• データベースの使用
• • OLTP パフォーマンス
  • Web トランザクション
  • DSS
  • 生のクエリーパフォーマンス
  • シンプルな Web データの再呼び出し

テスト環境

テスト環境は、基本構成サーバから成り、いろいろなテストを設定して、それをさまざまな構成に対して実行依頼するときに使用します。既定のテスト構成では、単一プロセッサと 4 Way 構成に基づきサブシステムのパフォーマンステストのみを実行します。

一連のテストを実行依頼する手順は簡単です。

1. Web アプリケーションを使用して、テストするシステムを選択する。
2. 次に、これらシステムのテストを選択する。
3. パッチファイルのリストと場所を「ビルド」サーバに設定する。
4. テストの実行依頼をする。
5. 個々のテストの終了を示す電子メールを待つか、Web インターフェースを使用してテストの実行状態を確認する。
6. Web ツールを使用して、自分のテストと前のテストを比較するか、未処理のデータをダウンロードする。

フロー図

• 安定テストフロー
• 安定テストプロセス
• コンパイルプロセス
• パッチプロセス