■ハード・ベンダーやソフト・ベンダーは,自社製品の性能やコストを競ってベンチマーク・テストを実施し,結果を公表している。海外には,これらを運営している団体のサイトや,結果をまとめたサイトがある。

(深町和哉=アトランジア 代表取締役)

 コンピュータのハードウエアやソフトウエアの優劣を比較するのは,本来単純な作業ではない。どのような処理をどのように実行させるかによって,パフォーマンス上の優劣はいくらでも変わってくるからだ。

 とはいえ,ソリューションの採用を検討する際に,何らかの基準となる客観的な値がほしい。その際に参考になるのがベンチマークである。標準的なベンチマークは,一定の基準に沿って処理速度や価格性能比などを比較している。独立系のベンチマーク・テストの運営団体の中には,テストを受ける側に耐久性テストや監査を実施してから公開しているところもあるので,客観性は比較的高い。今回は,こうした独立系やベンダーも含めて,ベンチマーク・サイトをいくつか見てみよう。

最も有名なベンチマーク・サイトTPC,EC
 TPC(Transaction Processing Performance Council,トランザクション処理性能評議会)は,1988年に設立された独立した調査機関である[1]。その名の通り,トランザクション処理の性能評価を行うための性能評価基準を定義するとともに,この性能評価に関するデータを公表している。

 特にベンチマークの1つであるTPC-Cに関しては2003年5月に,64ビット版のSQL Server 2000とWindows Server 2003との組み合わせで,HPが首位を取るなどの報道があった(既報)。その後も入れ替わりは激しく,ベンダー各社がその結果を宣伝材料としているため,目にする機会が比較的多いかもしれない。

 TPCのベンチマーク結果は,性能値,価格対性能比として公表されている。TPCが定義しているベンチマークには,「TPC-A」「TPC-B」「TPC-C」「TPC-D」「TPC-H」「TPC-R」「TPC-W」などがある。なお,TPC-A,B,Dは既に使われなくなっている。TPC-C[2]は,卸売り会社のトランザクション処理システムをシミュレートして性能を評価するもので,最もよく目にする。TPC-H[3]は,大型基幹業務向け意思決定支援環境をシミュレートして性能を評価する。そのほか,できたばかりで目にする機会が少ないが,TPC-R[4]はビジネス・レポートと意思決定支援環境をシミュレートし,TPC-W[5]は,Webアプリケーションのトランザクション処理をシミュレートするなど,TPCベンチマークは現実をできるだけ反映させるように進化している。

 TPC-Cのトップ10を見ると[6],現在(2003年8月1日)の首位は,ハードウエアがHP Integrity Superdomeで,OSがHP UX 11.iv2 64-Bit,データベース・ソフトがOracle Database 10G Enterprise Editionになっている。トップ10のうちの半分である3,4,6,8,10位をHewlett-PackardとNECのWindowsマシンが占めている。また,TPC-Hのトップ10でも([7],100Gバイトのデータベースを使用したものでは,10分の7をWindowsプラットフォームが占める。また,他のデータベース・サイズでは,300Gバイトが6分の3,1000Gバイトが3分の1,3000Gバイトが5分の1とWindowsが入っている。10,000Gバイトでは,まだ登場していない。TPC-Hの分野はUnix系が強く,Windowsはまだまだだといわれることもあったが,意外に健闘している。TPC-Wは,Windowsプラットフォームが独占している。

CPUの性能を測るSPEC
 SPEC(Standard Performance Evaluation Corporation)は[8],コンピュータの実環境の実行速度を測定するSPECベンチマークを作成し,またその結果を公表する団体である。一般的なコンピュータの性能を評価する「OSG(Open Systems Group)」と,大規模システムの性能を評価する「HPG(High Performance Group)」,グラフィックスの性能評価を行う「GPC(Graphics Performance Characterization Group)」がある。整数演算の性能評価用のSPECintや,浮動小数点数演算の性能価用のPECfpなどが,CPU性能を表す指標として有名だが,「SPEC CPU2000」のように実際にAIゲーム理論,コンパイラ,インタプリタ,データ圧縮,データベース,気象予想,流体力学,物理学,化学,イメージ処理など,CPUの演算速度が求められる分野をシミュレートしたテストも作成されている。また,Javaのパフォーマンスを測定する「SPECjbb2000」や,Web用の「SPECweb99」などもある。公開されているデータについては,Benchmark Results[9]のページからリンクをたどって見ることができるが,メーカー名や型番によって検索もできる[10]