Share via


將自動化測試的測試設定建立成測試計劃的一部分

「測試設定」(Test Setting) 使用「診斷資料配接器」(Diagnostic Data Adapter),其可指定要收集的各類型資料,或執行手動測試、自動化測試或兩者時如何影響測試電腦。 例如,診斷資料配接器可建立「動作記錄」(Action Recording)、動作記錄檔、視訊錄製或收集系統資訊。 此外,診斷資料配接器可以用來模擬測試電腦上的可能瓶頸,或減少可用的系統記憶體。 例如,您可以模擬慢速網路來在系統上產生瓶頸。

測試設定會定義下列內容:

  • 您要執行的測試類型 (手動或自動化測試)

  • 待測應用程式需要的角色集

  • 要用來執行測試的角色

  • 要針對每個角色使用的診斷資料配接器

若要執行自動化測試做為測試計劃的一部分,您可以將自動化測試與測試案例相關聯。

您可以使用 Visual Studio 將自動化測試與測試案例產生關聯。 您無法使用 Microsoft 測試管理員 建立此關聯。 您必須先使用 Visual Studio 開啟測試案例,如下圖所示。 如需如何從測試計劃執行自動化測試的詳細資訊,請參閱 HOW TO:使用 Microsoft 測試管理員執行測試計劃中的自動化測試

使用 Microsoft Visual Studio 開啟測試案例

接著,您可以建立測試方法與測試案例的關聯,如下圖所示。

使自動化與測試案例產生關聯

注意事項注意事項

您可以從 Microsoft 測試管理員檢視資訊,但無法修改資訊。

您也可以使用命令列工具,從自動化測試的組件建立測試案例。 如需詳細資訊,請參閱 HOW TO:使用 tcm.exe 從自動化測試的組件建立測試案例

如果您想要執行自動化測試做為測試計劃的一部分,則必須選取您測試設定的角色集並在測試計劃中使用包含此角色集的環境。 您可以加入在加入環境時所需的任何角色。 如需角色和環境的詳細資訊,請參閱設定測試電腦以便執行測試或收集資料

使用下列程序來定義測試計劃之自動化測試的測試設定,以及選取相符的環境。

將自動化測試的測試設定建立成測試計劃的一部分

若要將自動化測試的測試設定建立成測試計劃的一部分

  1. 開啟 [Microsoft 測試管理員]。

    注意事項注意事項

    若要顯示 [Microsoft 測試管理員] 視窗,請按一下 [開始],然後按一下 [所有程式]。 指向 [Microsoft Visual Studio 2010],然後按一下 [Microsoft Test Manager 2010]。

  2. 按一下置中群組切換器上的向下鍵,然後按一下 [測試中心]。

  3. 按一下置中群組功能表列上的 [計劃],然後按一下 [屬性]。

    所選測試計劃的屬性隨即顯示。

  4. 按一下 [自動化回合] 下方 [測試設定] 旁邊的下拉箭號,然後按一下 [新增]。

    [新測試設定頁] 隨即顯示,並選取 [一般] 頁面。

    注意事項注意事項

    您也可以按一下置中群組功能表列上的 [測試設定],然後按一下 [新增],以在 [實驗室中心] 中建立測試設定。

  5. 在 [名稱] 下方輸入測試設定的名稱。

  6. (選擇性) 在 [描述] 下方輸入測試設定的說明,讓其他小組成員可了解其用途。

  7. 在 [您要執行哪一種測試] 下選取 [自動化],然後按一下 [下一步]。

    [新測試設定頁] 隨即顯示,並選取 [角色] 頁面。

    注意事項注意事項

    如果您執行自動化測試,則無法選取名為「本機」的角色集進行本機執行,因為您必須使用環境執行自動化測試。

    如需如何執行手動測試的詳細資訊,請參閱建立手動測試的測試設定

    [測試設定角色] 頁面

  8. 從顯示 [角色集] 和 [相符環境] 的清單中選取角色集。 驗證您的角色集至少有一個相符環境。 如果沒有相符環境存在,您可以建立環境,或修改現有環境。 如需詳細資訊,請參閱設定測試電腦以便執行測試或收集資料

    警告

    您無法從 [測試設定管理員] 加入角色。 若沒有任何角色符合您的應用程式所需,您必須建立包含這些角色的環境。 您可以在建立環境時加入角色。

  9. 從 [選取要用來執行自動測試的角色] 下方的下拉式清單,選取要用以執行測試的角色。 然後按 [下一步]。

    [新測試設定頁] 隨即顯示,並選取 [資料和診斷] 頁面。

    [測試設定資料和診斷] 頁面

  10. 若要選取您要為每個角色收集的資料和診斷,請選取角色。 針對每個角色,根據測試計劃中各項測試的需求,選取「診斷資料配接器」(Diagnostic Data Adapter)。 若要設定您已為每個角色選取的診斷資料配接器,請按一下 [設定]。

    如需每個診斷資料配接器和其設定方式的詳細資訊,您可以檢視下表中的相關主題。

    注意事項注意事項

    下表僅顯示可與自動化測試搭配使用的配接器。 如需診斷資料配接器的詳細資訊,請參閱使用測試設定安裝電腦和收集診斷資訊

    適用於自動化測試的診斷資料配接器

    診斷資料配接器

    相關主題

    用於 IntelliTrace 和測試影響的 ASP.NET 用戶端 Proxy:此 Proxy 可讓您針對 IntelliTrace 和測試影響診斷資料配接器,收集從用戶端到 Web 伺服器之 HTTP 呼叫的相關資訊。

    不需任何設定,即可收集這項資訊。

    事件記錄:您可以設定測試設定來包含事件記錄收集 (該事件記錄收集是包含在測試結果中)。

    HOW TO:使用測試設定來設定事件記錄集合

    IntelliTrace:您可以設定 IntelliTrace 的診斷資料配接器,以收集特定診斷追蹤資訊來協助找出難以重現的 Bug。 這會建立包含此資訊的 IntelliTrace 檔 (副檔名為 .iTrace)。 測試失敗時,您可以建立 Bug。 隨測試結果儲存的 IntelliTrace 檔,會自動連結至此 Bug。 IntelliTrace 檔中收集的資料可縮短重現及診斷程式碼錯誤所需的時間,進而提高偵錯的效能。 透過這個 IntelliTrace 檔,您可以在另一台電腦上模擬本機工作階段,以降低無法重現 Bug 的可能性。

    如需詳細資訊,請參閱使用 IntelliTrace 進行偵錯

    HOW TO:收集 IntelliTrace 資料以協助偵錯困難的問題

    網路模擬:您可以使用測試設定指定要對測試加上人為的網路負載。 網路模擬可藉由模擬特定網路連線速度 (如撥號連線),對電腦的對外通訊產生影響。

    注意:網路模擬無法用以增加網路連線速度。

    HOW TO:使用測試設定來設定網路模擬

    系統資訊:測試設定可設定為包含測試執行所在電腦的相關系統資訊。 透過測試設定,系統資訊會指定於測試結果中。

    不需任何設定,即可收集這項資訊。

    測試影響:您可以收集在測試案例執行時,應用程式程式碼使用了哪些方法的相關資訊。 您可以將這項資訊對照開發人員對應用程式程式碼所做的變更,判斷有哪些測試受到這些開發變更的影響。

    HOW TO:收集資料以檢查程式碼變更後應該要執行的測試

    視訊錄製器:您可以在執行自動化測試時,建立桌面工作階段的視訊錄製。 這在檢視自動程式碼 UI 測試的使用者動作時可能很有用。 視訊可協助其他小組成員找出難以重現的應用程式問題。

    HOW TO:使用測試設定在您執行測試時錄製桌面的視訊

  11. 按 [下一步]。

    [新測試設定頁] 隨即顯示,並選取 [進階] 頁面。 若有必要,您可以為自動化測試設定進階設定。

  12. 若要設定要使用哪個目錄執行測試,以及加入用以執行測試的檔案或目錄,請按一下 [部署]。

    1. 若要將檔案加入至您執行測試所需的目錄,請按一下 [加入檔案],然後選取您要加入的檔案。

    2. 若要將目錄加入至您執行測試所需的目錄,請按一下 [加入目錄],然後選取您要加入的目錄。

    注意事項注意事項

    如需如何使用屬性 (Property) 和 DeploymentItem 屬性 (Attribute) 為個別測試部署檔案和目錄的詳細資訊,請參閱 HOW TO:設定測試部署

  13. 若要在測試之前與之後執行指令碼,請按一下 [指令碼]。

    1. 在 [啟動測試回合前要執行的安裝指令碼] 中輸入指令碼檔的位置,或按一下 [瀏覽] 尋找安裝指令碼。

    2. 在 [測試回合執行完成後要執行的清除指令碼] 中輸入指令碼檔的位置,或按一下 [瀏覽] 尋找安裝指令碼。

  14. 若要使用不同的主機執行測試,請按一下 [主機]。

    1. 若要在與 ASP.NET 網站相同的處理序中執行單元測試,請選取 [主機類型] 中的 [ASP.NET]。 接著請按一下 [設定]。 如需如何設定主機的詳細資訊,請參閱 ASP.NET Web 服務的單元測試

    2. 使用 [在 32 位元或 64 位元處理序中執行測試] 來選取您想要讓測試以 32 位元或 64 位元處理序的形式執行。

      秘訣秘訣

      為了達到最大彈性,您應該使用 [任何 CPU] 組態來編譯測試專案。 然後,您就可以在 32 和 64 位元代理程式上執行。 使用 [64 位元] 組態來編譯測試專案並沒有任何優點。

    3. 在 [針對無法在指定之主機上執行的測試] 底下,選取 [在預設主機中執行] 或 [不要執行]。

  15. (選擇性) 若要限制每個測試回合和個別測試的執行時間長度,請按一下 [逾時]。

    1. 若要在超過時間限制時中止測試回合,請選取 [如果總時間超過以下值,即中止測試回合],然後輸入此限制的值。

    2. 若要讓特定測試在超過時間限制時失敗,請選取 [如果個別測試執行時間超過以下值,便將該測試標記為失敗],然後輸入此限制的值。

  16. (選擇性) 若要套用單元測試和 Web 效能測試的增益集選項,請按一下 [增益集]。

  17. (選擇性) 如果您需要指定單元測試需要載入的組件位置,請按一下與 [單元測試] 選項相關聯的 [設定]。

    [設定增益集 - 單元測試] 對話方塊隨即顯示。

    1. 針對 [要載入之組件的根資料夾],按一下 [瀏覽] 找出資料夾並填入文字方塊。

      指定的根資料夾可以包含環境變數,而且代表當做測試執行所在之 AppDomain 的 ApplicationBase 使用的目錄。 這個目錄中的所有組件都可由單元測試載入。 在實際執行環境中,建議您最好將此值設定為待測程式碼組件的安裝目錄。 在開發環境中,建議您最好將此值設定為待測程式碼組件的建置目錄。 這樣可確保在探索和執行測試時可以載入並解析您任何產品二進位檔的參考,而不需要在測試進行時複製產品二進位檔。

      如果此處沒有設定任何值,用以執行測試之 AppDomain 的 ApplicationBase 就會設定為包含測試的目錄。

    2. 選取或清除 [為測試目錄中的組件使用載入內容] 的核取方塊。

      根據預設,大部分組件都會載入至正確的「載入內容」中。 一般而言,您應該讓 [為測試目錄中的組件使用載入內容] 保持核取狀態。 不過,在某些狀況中,您可能會想要關閉這項功能。 如果您的測試目錄具有大量組件、您已經在 [要載入之組件的根資料夾] 底下指定位置,而且測試不需要載入至載入內容,當您沒有使用載入內容來載入這些測試組件時,可能會看見效能提升。 如果您的測試需要載入至載入內容以外的內容 (不常見)。

      如需詳細資訊,請參閱組件載入的最佳作法

    3. 在 [測試執行時要使用的資料夾] 底下,按一下 [加入資料夾]。

      [瀏覽資料夾] 對話方塊隨即顯示。

    4. 找出要使用的資料夾,然後按一下 [確定]。

      [測試執行時要使用的資料夾] 設定是您可能會最常使用的設定。 您可以指定在測試探索和執行期間應該從中解析組件的多個資料夾路徑。 在這個區段中指定的每個路徑都可以包含環境變數。 除了此處所指定的每個路徑以外,還有兩個與它相關聯的選項:

      第一個選項:選取 [使用載入內容] 核取方塊,以便指定解析目錄中的組件時,目錄應該使用載入內容 (如果不需要載入內容,即可讓測試正確執行,您可以透過清除此核取方塊來看見效能改善)。

      第二個選項:選取 [包括子資料夾] 核取方塊,以便指定解析目錄中的組件時要包括任何子資料夾。

    5. 在 [探索測試時要使用的其他資料夾] 底下,按一下 [加入資料夾]。

      [瀏覽資料夾] 對話方塊隨即顯示。

    6. 找出要使用的資料夾,然後按一下 [確定]。

      當您在 Team Build 底下遠端執行測試或從 Microsoft 測試管理員執行自動化回合時,這個 [探索測試時要使用的其他資料夾] 就很有用。 此處提供的路徑將用於組件解析,但只在測試探索期間使用。 這些路徑可以包含環境變數。 如果測試已排程為從組建置放遠端執行,而且並非測試組件的所有相依性都位於相同的目錄中,這些路徑可用來確保 MSTest 或測試控制器可以找到足夠相依組件來探索測試並將測試排程為在遠端電腦上執行。

      若為從 Microsoft 測試管理員排程的回合,就會具有一個額外的語彙基元 "%BuildDrop%",可用來廣泛地參考組建置放位置。 這樣便不需要在每次測試新組建時建立或更新測試設定。 可惜的是,這個語彙基元無法直接透過 Team Build 支援 (不過,如果組建置放位置設定於組建定義中名為 BuildDrop 的環境變數內,它將具有相同的結果)。

      如需詳細資訊,請參閱使用單元測試驗證程式碼

    7. 按一下 [儲存]。

    8. 按一下 [關閉]。

  18. (選擇性) 若要在測試設定中設定可控制 Web 效能測試執行方式的屬性,請按一下與 [Web 測試] 選項相關聯的 [設定]。

    [設定增益集 - Web 測試] 對話方塊隨即顯示。

    1. 選取 [固定執行計數] 或 [每一資料來源資料列一次執行]。

    2. 使用 [瀏覽器類型] 下拉式清單來選取要搭配 Web 效能測試使用的 Web 瀏覽器。 例如 Internet Explorer 8.0

      如需 Web 效能測試的詳細資訊,請參閱測試應用程式效能和壓力

      注意事項注意事項

      Web 效能測試需要使用 Visual Studio 2010 Ultimate。

    3. 按一下 [儲存]。

    4. 按一下 [關閉]。

  19. 若要顯示測試設定的摘要,請按一下 [下一步]。

  20. 若要儲存測試設定,請按一下 [儲存後關閉]。

  21. [測試環境] 中會自動選取相符的測試環境。 若有多個測試環境符合您測試設定中的角色集,您可以選取不同的相符環境。

  22. 您可以按一下工具列上的 [儲存],以套用您對測試計劃的變更。

    注意事項注意事項

    若您必須變更測試設定,請按一下 [測試設定] 下拉箭號旁邊的 [開啟],或者,您也可以開啟 [實驗室中心],再按一下置中群組功能表列上的 [測試設定],然後按一下 [開啟]。 如需詳細資訊,請參閱 HOW TO:編輯測試計劃的現有測試設定

請參閱

概念

使用測試設定安裝電腦和收集診斷資訊

設定測試電腦以便執行測試或收集資料

其他資源

建立手動測試的測試設定

建立測試設定以便從 Visual Studio 執行自動化的測試