これは役立つ！海外Webサイト 　ベンチマーク・サイト 　続き

SAPのベンチは新しい標準になりつつある
　「SAP Standard Application Benchmarks」（［11］）は，ドイツSAP社が公開しているベンチマークで，新しいハードウエアやシステム・コンポーネント，あるいはRDBMS（Relational Database Management System）などを選択するときの参考になるように開発・公開されている。1993年4月の「SAP R/3 Release 1.1H」の時代から公開されているので，それなりの歴史を持つ。最も知られているのは「Sales and Distribution（SD）Benchmark」で，SAP R/3の販売管理モジュールをそのまま稼働させるところが特徴。そして，このモジュールを使用したときの受注の入力・照会・変更，送り状発行など典型的な処理パターンをシミュレートし，平均応答時間2秒以下を維持できる同時並行ユーザー数と時間当たりのダイアログ数を測定する。ベンチマークの単位は「SAPS」。1SAPSは100明細行を1時間で処理できる性能を示す。SAP SDのほかにも，「Assemble-to-Order（ATO）Benchmark」「HR Benchmark（Batch）」をはじめとして多くのベンチマークがあり，用途に合わせて選択できる。テスト結果については，SD（Sales and Distribution benchmark），ATO（Assemble-to-Order Benchmark），BW（SAP Business Information Warehouse Benchmark）の各ベンチマークの結果が2-tier（2層）と3-tier（2層）といったシステム構成に分けられて公開されている。

OracleやSiebelなどソフト・ベンダーのサイトも要チェック
　米Oracleの「Oracle Applications Standard Benchmark」［12］は，Oracle Applicationを使用した場合のパフォーマンスを測定し，スケーラビリティをチェックしたり，チューニングなどを行う資料とするためのベンチマークである。特にERPにその比重を置いている。テストを実施するときのシステム構成としては，Oracle Financial Applicationsの「Accounts Payable（AP）」「Accounts Receivable（AR）」「Fixed Assets （FA）」「General Ledger（GL）」の各モジュール，Oracle Supply Chain Management Applicationsの「Inventory（Inv）」「Order Entry（OE）」「Purchase Orders（PO）」の各モジュールなどを使う。これらを18のオンライン・トランザクションと，7つのバッチ・ジョブなどからベンチマークが実施され，結果も公開されている。

　そのほかのソフトウエア・ベンダーも，例えば，米Siebel社の「Siebel PSPP（Platform Sizing and Performance Program）Benchmark」（［13］）や，オランダBaanERP社の「BaanERP benchmark Kit」などもSAPやOracleと同様に，独自のベンチマークを持っているようだ。さらに米J.D. Edwards OneWorldや米PeopleSoftなどのベンダーもベンチマーク・テストの結果を公表しており，米Microsoftが，自社製品に関連してどのようなベンチマークがあるかをまとめたWebサイト「SQL Server Benchmark」［14］や，「Windows Server 2003 Benchmark」［15］から逆引きで調べられる。

Exchange ServerもLotus Notesも標準ベンチマークで性能を競っている
　「Medium Messaging Benchmark（MMB）」は，Exchange Server用のベンチマーク・テストである。現在は，MMB2が使われている（［16］）。メール・サーバーとしてExchange Serverを使用し，クライアントとして，Outlookを使用したMAPI（Messaging Application Program Interface）のプロトコルを使ったパフォーマンスをスループットとして測定できる。ベンチマークの結果については，Performance and Scalability［17］のページで参照できる。これと同様に，Lotus Notes用にはNotesBench ConsortiumのNotesBench［18］というベンチマーク・ツールがあるようだ。

ベンチマークについて勉強するならこのサイト
　最後に紹介する「The Benchmark Handbook」は，実際のベンチマークではなく，米国の出版社Morgan Kaufmann Publishersと，WebサイトのBenchmarkResources.comが公開しているベンチマークに関するオンライン・ブックである［19］。同名の書籍をもとに，オンライン・ブックとして再構成したもので，TPCの歴史から始まり，Wisconsin Benchmark，AS3AP Benchmark，SPC，Neal Nelson Database Benchmarkなど様々なベンチマークが扱われている本格的なベンチマーク書籍。例えば，第11章「Doing Your Own Benchmark」など自分でベンチマークを行う際に参考となるような記載も見つかるだろう。ベンチマークについて集中的に勉強したいのであれば，このサイトはとても参考になる。

＊　　＊　　＊

　今回は，あくまでオンライン・トランザクション系のベンチマークなどを中心に取り上げてみた。PC改造やチューニング向けのベンチマーク・プログラムや，Webサイトのパフォーマンス・チェックなどに使えそうな実用的なベンチマークについてはあえて扱わなかった。もし，機会があればこの手のWebサイトのパフォーマンスやチューニングを行うための測定ツールなどを紹介してみたいと思っている。

■今回取り上げたサイトのリンク
　●TPC（Transaction Processing Performance Council）
　［1］ http://www.tpc.org/
　［2］ http://www.tpc.org/tpcc/default.asp
　［3］ http://www.tpc.org/tpch/default.asp
　［4］ http://www.tpc.org/tpcr/default.asp
　［5］ http://www.tpc.org/tpcw/default.asp
　［6］ http://www.tpc.org/tpcc/results/tpcc_perf_results.asp
　［7］ http://www.tpc.org/tpch/results/tpch_perf_results.asp
　●SPEC（Standard Performance Evaluation Corporation）
　［8］ http://www.specbench.org/
　［9］ http://www.spec.org/cgi-bin/osgresults?conf=general
　［10］ http://www.spec.org/results.html
　●SAP
　［11］ http://www.sap.com/benchmark/
　●Oracle
　［12］ http://www.oracle.com/apps_benchmark/
　●Siebel
　［13］ http://www.siebel.com/products/performance_benchmark/index.shtm
　●米MicrosoftのSQL ServerとWindows Server 2003のベンチマーク紹介サイト
　［14］ http://www.microsoft.com/sql/evaluation/compare/benchmarks.asp
　［15］ http://www.microsoft.com/windowsserver2003/evaluation/performance/benchmarks/default.mspx
　●Microsoft Exchange Server
　［16］ http://www.microsoft.com/exchange/techinfo/planning/2000/mmb2desc.asp
　［17］ http://www.microsoft.com/exchange/techinfo/planning/2000/PerfScal.asp
　●Lotus Notes
　［18］ http://www.notesbench.org/bench.nsf?OpenDatabase
　●The Benchmark Handbook
　［19］ http://www.benchmarkresources.com/handbook/