軟件性能測試指標介紹

　　作為一家非盈利性機構，事務處理性能委員會(TPC)負責定義諸如TPC-C、TPC-H和TPC-W基準測試之類的事務處理與數據庫性能基準測試，并依據這些基準測試項目發布客觀性能數據。TPC基準測試采用極為嚴格的運行環境，并且必須在獨立審計機構監督下進行。委員會成員包括大多數主要數據庫產品廠商以及服務器硬件系統供應商。

　　相關企業參與TPC基準測試以期在規定運行環境中獲得客觀性能驗證，并通過應用測試過程中所使用的技術開發出更加強健且更具伸縮性的軟件產品及硬件設備。

　　TPC-C是一種旨在衡量聯機事務處理(OLTP)系統性能與可伸縮性的行業標準基準測試項目。這種基準測試項目將對包括查詢、更新及隊列式小批量事務在內的廣泛數據庫功能進行測試。許多IT專業人員將TPC-C視為衡量“真實”OLTP系統性能的有效指示器。

　　TPC-C基準測試針對一種模擬訂單錄入與銷售環境測量每分鐘商業事務(tpmC)吞吐量。特別值得一提的是，它將專門測量系統在同時執行其它四種事務類型(如支付、訂單狀態更新、交付及證券級變更)時每分鐘所生成的新增訂單事務數量。獨立審計機構將負責對基準測試結果進行公證，同時，TPC將出據一份全面徹底的測試報告。這份測試報告可以從TPC Web站點(http://www.tpc.org)上獲得。

　　tpmC定義: TPC-C的吞吐量，按有效TPC-C配置期間每分鐘處理的平均交易次數測量，至少要運行12分鐘。

　　1.TPC-C規范概要

　　TPC-C是專門針對聯機交易處理系統(OLTP系統)的，一般情況下我們也把這類系統稱為業務處理系統。

　　TPC-C測試規范中模擬了一個比較復雜并具有代表意義的OLTP應用環境:假設有一個大型商品批發商，它擁有若干個分布在不同區域的商品庫;每個倉庫負責為10個銷售點供貨;每個銷售點為3000個客戶提供服務;每個客戶平均一個訂單有10項產品;所有訂單中約1%的產品在其直接所屬的倉庫中沒有存貨，需要由其他區域的倉庫來供貨。

　　該系統需要處理的交易為以下幾種：

　　New-Order：客戶輸入一筆新的訂貨交易;

　　Payment:更新客戶賬戶余額以反映其支付狀況;

　　Delivery:發貨(模擬批處理交易);

　　Order-Status:查詢客戶最近交易的狀態;

　　Stock-Level:查詢倉庫庫存狀況，以便能夠及時補貨。

　　對于前四種類型的交易，要求響應時間在5秒以內;對于庫存狀況查詢交易，要求響應時間在20秒以內。

　　邏輯結構圖：

　　流程圖：

　　2.評測指標

　　TPC-C測試規范經過兩年的研制，于1992年7月發布。幾乎所有在OLTP市場提供軟硬件平臺的廠商都發布了相應的TPC-C測試結果，隨著計算機技術的不斷發展，這些測試結果也在不斷刷新。

　　TPC-C的測試結果主要有兩個指標：

　　● 流量指標(Throughput，簡稱tpmC)

　　按照TPC的定義，流量指標描述了系統在執行Payment、Order-status、Delivery、Stock-Level這四種交易的同時，每分鐘可以處理多少個New-Order交易。所有交易的響應時間必須滿足TPC-C測試規范的要求。

　　流量指標值越大越好!

　　● 性價比(Price/Performance，簡稱Price/tpmC)

　　即測試系統價格(指在美國的報價)與流量指標的比值。

　　性價比越小越好!

　　3.結果發布

　　各廠商的TPC-C測試結果都按TPC組織規定的兩種形式發布：測試結果概要(Executive Summary)和詳細測試報告(Full Disclosure Report)。測試結果概要中描述了主要的測試指標、測試環境示意圖以及完整的系統配置與報價，而詳細測試報告中除了包含上述內容外，還詳細說明了整個測試環境的設置與測試過程。

　　P690 tpmC測試值：76,389,839.00

　　$/tpmC：831.00

　　美國美金報價：6,349,223.0

　　CPU數：32

　　數據庫：IBM DB2 UDB 8.1

　　操作系統：AIX 5L V5.2

　　中間件：TUXEDO 8.0

　　測試日期：2003.6.30

　　P690 TPC-C測試的配置：

　　1. 后臺：1 x eServer pSeries 690 with 32 x 1.7GHz POWER4+ processors with 128MB L3 cache per MCM (total of four MCMs), 512GB memory

　　2. 前端：30 x eServer pSeries 630 Model 6E4 each with 4 x 1.0GHz POWER4 CPUs with 32MB L3 cache, 16GB memory

　　SPECweb:

　　SPECweb96: 在SPECweb96基準測試程序上實現的每秒鐘超文本傳輸協議(HTTP)操作最多次數，響應時間無明顯退化。

　　SPECweb99: 接入數，網絡服務器可用預先確定的工作量支持的同時接入數。SPECweb99檢測設備模擬客戶通過慢Internet聯接，向網絡服務器發送HTTP工作量請求。

　　SPECweb99 測試Web服務器運行狀況

　　SPECweb99 是由標準性能評估組織(SPEC)開發的Web服務器基準測試。它測量滿足特定吞吐量和客戶請求響應速率要求的WEB服務器的最大并發連接數量。并發連接的合計波特率在320 Kbps到400Kbps范圍內，則滿足相應規范。

　　SPECweb99 在一臺稱為主客戶端的機器上運行，這臺機器上包含有允許用戶加載特定負載請求的配置文件。主客戶端也要處理在客戶端和服務器或測試中的系統(SUT)之間的傳輸協調問題?？蛻舳送ㄟ^許多子進程/線程生成獨立HTTP請求流，仿真足夠的負載發送給SUT。圖二表示客戶端/服務器的層次關系。

　　圖：典型的SPECweb99實驗環境

　　在這個測試中，客戶端向測試中的服務器發送請求數據。測試規范要求客戶端和服務器之間的連接不能使用片段大小大于1460比特的TCP協議。因此，每一個客戶端讀取1460比特或更少數據塊的響應。

原文轉自：http://www.anti-gravitydesign.com