Windows 秘話: テストにまつわる話
アルファ版とベータ版を経て、リリース候補版がリリースされる従来のソフトウェア テスト サイクルに一体何が起こったのでしょうか。インターネットにより、このサイクル全体が変化しました。
Raymond Chen
インターネットにより言葉が変化しました。もちろん、テクノロジに関連する用語も変化しました。"ベータ テスト" などの用語については、皆さんが思っている以上に価値が下がっています。
以前、製品は、アルファ テストとベータ テストの段階を経て、リリース候補版 (RC 版) が次々に作成され、すべてのリリースの条件に合格した製品版が出荷されていました。アルファ版のビルドがマイクロソフトの社外に出ることはありませんでしたが、ベータ版のビルドは、少数の信頼できるテスターの手に渡っていました。
少し前から、ベータ版と言っても差し支えないバージョンをリリース候補版と呼ぶようになりました。これはユーザーの関心を引くために起こった現象だと考えられます。ところが最近では、ユーザーの期待値が変わったため、"ベータ版" という用語自体の意味が変化しました。
まず、以前、ベータ テスターは、製品をさまざまな条件でテストできるという点で選ばれた開発者でした。テストで検出した問題にソフトウェア開発者が対処できるように、ベータ テスターは、非常に詳細なバグ レポートを作成する必要がありました。ベータ テスターという称号は非常に名誉なものでした。と言うのも、この称号は、企業が、あなたの協力を得るために機密性の高い情報を喜んで共有する程、貴重な存在と見なされていることを表していたからです。
すばらしいベータ版
最近では、内々に選ばれるベータ テスターはほとんど存在しなくなり、パブリック ベータが求められるようになりました。パブリック ベータの公開を限定すると、ベータ版のプロダクト キーを巡る争いが激化します。たとえば、Microsoft Security Essentials で用意された 75,000 個のベータ テスターのポストは、公開から 24 時間で定員に達しました。
このうちどれくらいのユーザーが、さまざまなシステムにソフトウェアをインストールし、時間をかけて質の高いバグ レポートを作成するために、ソフトウェアをダウンロードしたのでしょうか。また、どれくらいのユーザーが、リリース前の製品のコピーを手に入れたいという理由で、ソフトウェアをダウンロードしたのでしょうか。おそらく後者のカテゴリに分類されるユーザーの方が圧倒的に多いでしょう。結局のところ、ソフトウェアは数が勝負です。
念のためにお伝えしておきますが、ソフトウェアでは、ベータ版がリリースされる前に、多くの改善が施されています。また、パブリック ベータが幅広く公開されるようになったことで、通常、ユーザーにソフトウェアが初めてお目見えするのがパブリック ベータになりました。第 1 印象を与える機会は一度きりです。ユーザーは、「これはベータ版だから、製品版はもっとすばらしいものになるだろう」とわかっていたとしても、後に無意識のレベルでは「この製品は知っているけど、最悪だった」と考えるものです。
パブリック ベータを公開することは、誕生日パーティを公に行うようなものです。確かにたくさんの人は集まるでしょうが、すばらしいパーティになるでしょうか。内々に選ばれたベータ テスターが提供するバグ レポートは、質が高い傾向があります。これは、質の高いバグ レポートを提供しないと、次のベータ テストへの参加が要請されないということを、テスターが理解しているからです。一方、パブリック ベータを公開すると、6 週間で 50 万件ものコメントが殺到しますが、有益なコメントを見つけるために、すべてのコメントを選別する必要があります。
あるテストで、パブリック ベータのテスターが、25 件くらいのバグを報告したのに、そのうち 3 件しか修正されなかったと不満を漏らしていました。この状況を大きな視点で考えてみましょう。50 万件のコメントが寄せられ、そのうち 2,000 件前後のバグが修正されました。つまり、修正率は 0.4% です。一方、不満を漏らしていたベータ テスターが報告したバグの修正率は、25 件中 3 件なので 12% になります。平均修正率の 30 倍の確率でバグが修正されているにもかかわらず、このテスターは満足していませんでした。
ところが、状況は、また一転しました。以前は、製品の開発が実際より進んでいると解釈されるように、実際はベータ版であるにもかかわらず、RC 版と呼んでいました。ですが、今では、意図的に、進捗が控えめに報告されます。インターネット上で "永遠のベータ版" が普及したことで、ユーザーはベータ版と称されるソフトウェアが完全な機能 (または、それに近い機能) を備えた状態でリリースされることを期待するようになりました。
製品チームは、ベータ版という名前の付いたソフトウェアに対するユーザーの感情が変化していることに気付いています。今後、Windows の "ベータ版" がリリースされたら、それは重要なアーキテクチャ上の変更を既に加えることができる段階を過ぎています。製品チームが必要としているのは、バグを見つけてもらうことだけです。
.jpg)
Raymond Chen は自分の Web サイト「The Old New Thing」および同じタイトルの書籍 (Addison-Wesley、2007 年) で、Windows の歴史、Win32 プログラミング、そして北京で迷子になったことについて触れています。