High Availability with Hyper-V and Failover Clustering

[アーティクル]
08/25/2016

仮想化

Hyper-V の高可用性を実現する

Steven Ekren

概要 :

Hyper-V を使用してサーバーを統合する
仮想マシンの高可用性を確保する
Windows Server 2008 フェールオーバーを構成する

サーバーの仮想化は企業の IT 部門に大きな影響を与えます。これを実現するのが、Hyper-V と Windows Server 2008 です。サーバーを少数の物理コンピュータに統合すると、リソースとコストを大幅に節約できますが、計画プロセスでは 2 つの重要な要素について考慮する必要があります。1 つ目は、ソフトウェアの可用性に関するユーザーの期待がますます高まっていることです。これらのソフトウェアには、基幹業務 (LOB) アプリケーションと、メッセージングプラットフォームやコラボレーションプラットフォームなどのツールが含まれます。2 つ目は、サーバーで問題や障害が発生すると、運用にきわめて大きな影響を与える可能性があることです。Windows Server 2008 と Hyper-V によって提供されるソリューションを実装すると、仮想マシン (VM) の高可用性 (HA) だけでなく、VM の内部でホストされるワークロードの HA も実現できます。

高可用性

可用性は、作業を行うためにユーザーがシステムにアクセスできるかどうかを示します。高可用性は、運用の継続性を確保できるように設計および実装されるので、ユーザーが常にシステムにアクセスできることが強く期待されます。

Hyper-V の高可用性は、Windows Server 2008 フェールオーバークラスタ機能を使用して実現されます。高可用性は、予定されたダウンタイムと予定外のダウンタイムの両方の影響を受けます。フェールオーバークラスタリングを使用すると、こうした状況における仮想マシンの可用性が大幅に向上する可能性があります。

仮想マシンは、フェールオーバークラスタによって管理できます。また、仮想マシンの内部でフェールオーバークラスタを使用して、VM でホストされるワークロードを監視および移行できます。この 2 つの構成シナリオについては後ほど詳しく説明しますが、この記事では主に、仮想マシンの管理について説明します。この記事を読み始める前に、補足記事「知っておくと役立つ Hyper-V 用語」に目を通すことをお勧めします。

ホストとゲスト

Hyper-V システムでは複数のオペレーティングシステムが実行されるので、どのレイヤや OS について説明しているかを明確にすることが難しくなる可能性があります。そのため、この記事では、"ゲスト" という言葉を使用して、子パーティションで実行される Hyper-V VM 内の OS と環境を表し、"ホスト" という言葉を使用して、Hyper-V 親パーティションの OS で管理される物理コンピュータを表します。

ホストの可用性を高めることにより、サーバーの統合によって生じる可能性がある、"1 つにすべてを賭ける" シナリオに付随する問題に対処できます。Hyper-V 子パーティション (仮想マシンまたはゲスト) の状態を監視し、子パーティションをクラスタのノード間で移行できるように、Hyper-V 親パーティション (ホスト) 上で Windows Server 2008 フェールオーバークラスタを構成できます。このように構成すると、次に示す重要なメリットを得ることができます。

Hyper-V と VM を実行している物理コンピュータを更新、変更、または再起動する必要がある場合、クラスタの他のノードに VM を移行できます。その後、物理コンピュータが使用可能な状態になったら、その VM を元のノードに移行できます。
Hyper-V と VM を実行している物理コンピュータで障害が発生するか (マザーボードの障害が予想されます)、物理コンピュータのパフォーマンスが大幅に低下した場合、Windows フェールオーバークラスタの他のメンバが VM の所有権を引き継ぎ、VM を自動的にオンラインにします。
VM で障害が発生した場合、その VM を同じ Hyper-V サーバーで再起動することも、別の Hyper-V サーバーに移行することもできます。この障害は Windows Server フェールオーバークラスタによって検出されるので、VM のリソースプロパティの設定に基づいて、自動的に回復ステップが実行されます。検出と回復は自動的に行われるので、ダウンタイムが最小限に抑えられます。

図 1 は、このような状況で行われる処理を表しています。まず、ホスト A に配置されている VM2 がホスト B に移行されます。この移行時に、SAN 記憶域の LUN 2 を所有するノードが、ホスト A からホスト B に変更されることに注意してください。高可用性ソリューションで可用性の要件を満たすには、VM の配置先を慎重に検討する必要があります。検討する必要があるのは、容量とパフォーマンスの両方です。

図 1 新しいホストに移行される仮想マシンとその記憶域 (画像をクリックすると拡大表示されます)

ノードには、すべての VM をホストでき、x 個のノードで障害が発生したり、x 個のノードがクラスタから除外されても問題なく動作できるだけの容量が必要です (x は、失われてもクラスタが機能し続け、すべての VM をホストできるノードの数を表しています)。容量を判断するとき、通常は VM をホストしないいくつかのノードを予備として確保しておくことを選択できます。また、すべてのノード間で VM を分散することで、x 個のノードで障害が発生した場合でも、正常に所有権を引き継いで VM を起動できるだけの容量をノードごとに確保できます。

日常のパフォーマンスを向上させるために、クラスタのすべてのノード間で VM を分散することが望ましい場合があります。予備のノードが確保されていて、これらのノードで VM をホストしない場合、VM をホストするノードで使用されるリソースが増加し、VM と管理パーティションのパフォーマンスが低下することがあります。ノード間で VM を分散すると、各ノードの負荷が減少し、VM と管理パーティションのパフォーマンスが向上する可能性がありますが、容量計画は困難になることがあります。System Center Virtual Machine Manager 2008 などの管理用ソフトウェアを使用すると、ノードの障害や VM の配置に関する容量を計算できるので、役立つ場合があります。

ゲストの可用性

ゲストの可用性は、VM の内部で実行されるワークロードの可用性を高めることに重点を置きます。一般的なワークロードには、ファイルサーバーとプリントサーバー、IIS、LOB アプリケーションなどがあります。VM の内部で実行されるワークロードの高可用性に関する要件や解決策は、スタンドアロンサーバーの場合とほぼ同じように分析できます。この解決策は、特定のワークロードに依存します。

一部のワークロードの高可用性は、Windows ネットワーク負荷分散 (NLB) によって実現されます。NLB を使用すると、複数のサーバーを、共通のネットワーク名を持つプールの一部にすることができます。その仮想ネットワーク名を使用してクライアントが接続要求を行い、NLB クラスタのいずれかのノードへの接続が確立されます。NLB クラスタリングを使用する一般的なシナリオは、IIS を使用した Web ファームの構築です。この Web ファームでは、各システムに IIS がインストールされ、各システムで同じ Web ページと同じデータへのアクセスが提供されます。NLB を使用すると、負荷分散を提供できるだけでなく、サーバーで問題が発生した場合やメンテナンスを行う場合に、該当するサーバーをメンバから除外することもできるので、高可用性が実現されます。Hyper-V VM で Windows Server 2008 (または NLB を含むそれ以前のバージョンの Windows Server) が実行されている場合、そのゲストを、同じまたは別の Hyper-V ホスト上に配置されたその他のゲストが構成する NLB クラスタのメンバにすることができます。

Windows Server 2008 を実行しているゲストでは、Windows フェールオーバークラスタ機能を使用して、ワークロードの高可用性を実現できます。ゲストの内部で Windows フェールオーバークラスタリング (ゲストクラスタリング) を使用すると、次に示すいくつかのメリットがあります。

ワークロードの正常性監視 Windows フェールオーバークラスタでは、クラスタに関連付けられたリソース DLL を呼び出すリソースモニタが提供されます。各リソースには、そのリソースによって管理されるアプリケーションまたはサービスをテストして、正しく動作しているかどうかを確認する、正常性の監視機能が備わっています。こうした確認は、一般に isAlive チェックや looksAlive チェックと呼ばれます。リソースでこれらの呼び出しが 1 つでも失敗すると、そのリソース自体で障害が発生します。リソースのプロパティがどのように構成されているかによって、サービスやアプリケーションが再起動したり、Windows フェールオーバークラスタの別のノードに移行したりすることがあります。

仮想マシンのメンテナンス VM の構成を変更する必要がある場合、あるいは OS やソフトウェアを更新または変更する必要がある場合は、クラスタの別のノードにワークロードを移行し、VM をシャットダウンまたは更新できます。こうすることで、エンドユーザーの中断を最小限に抑えることができます。

ホストマシンのメンテナンス Hyper-V VM をホストしている物理コンピュータでメンテナンスやソフトウェアの更新を行う必要があり、Windows フェールオーバークラスタの他のメンバが別の Hyper-V ホスト上に配置されている場合、VM のワークロードをクラスタの別のノードに移行して VM をシャットダウンすることで、物理サーバーの変更や再起動に対処できます。

仮想マシンまたはホストマシンでの障害 Hyper-V 物理ホストまたは仮想マシンゲストで障害が発生した場合、Windows フェールオーバークラスタの他のノードによって、そのクラスタメンバが応答せず、クラスタから除外されたことが検出されます。その後、正常に動作しているノードによって、障害が発生した VM で実行されていたアプリケーションやサービスがオンラインに切り替えられます。

知っておくと役立つ Hyper-V 用語

以下に、高可用性 Hyper-V システム (ホストクラスタ) の構成要素または機能を定義するのに役立つ用語の一覧を示します。

親パーティションハイパーバイザサーバー上で実行されるすべてのオペレーティングシステムに、RAM、CPU、その他のシステムコンポーネントなどのハードウェアリソースが割り当てられます。Hyper-V では、ハイパーバイザとシステムリソースの構成を管理するパーティションのことを、親パーティションと呼びます。Hyper-V の役割を構成し、サーバーを再起動すると、そのシステムのネイティブ OS であった Windows Server 2008 インスタンスが、Hyper-V サーバーの親パーティションの OS になります。

子パーティション Hyper-V サーバー上の分離された環境。ゲストオペレーティングシステムを保持し、そのオペレーティングシステムにハードウェアリソースを提供するように構成されます。

Hyper-V ホスト親パーティションの内部で実行される Hyper-V とオペレーティングシステムをホストする物理サーバー。

Hyper-V 仮想マシン Hyper-V の構成情報と、Hyper-V 子パーティションを起動および実行するために使用されるデータ。子パーティションを作成するための構成情報と、そのデータを含む VHD ファイルまたはパススルーディスクが含まれます。

パススルーディスク Hyper-V ゲスト専用に割り当てられた物理ディスクとしてディスクの管理に表示される記憶域デバイス。Hyper-V ゲストによってマウントされ、ローカルに接続された記憶域デバイスと同じように使用されます。

仮想ハードディスク (VHD) Hyper-V 子パーティションによって接続されるファイル。記憶域デバイス (ディスク) としてオペレーティングシステムに公開されます。.vhd ファイルは、親パーティションによってマウントされる記憶域デバイスに格納され、直接接続型記憶域デバイスにすることも、SAN、NAS、SMB などを経由して接続される記憶域にすることもできます。

VM の可用性を高める

高可用性を確保するために仮想マシンを構成する作業は、フェールオーバークラスタ管理で HA Role Wizard (HA の役割ウィザード) を実行するのと同じくらい簡単です。Hyper-V 仮想マシンを高可用性仮想マシンとして管理する場合は、いくつかの重要な構成要素について考慮する必要があります。いくつかの重要な概念と、一般的な前提条件を見ていきましょう。

フェールオーバークラスタノードフェールオーバークラスタの一部である各物理サーバーは、ノードと呼ばれます。ホストクラスタリングの場合、フェールオーバークラスタサービスは、Hyper-V システムの親パーティション上の Windows Server 2008 で実行されます。このため、同じ物理サーバー上の子パーティションで実行されている VM を高可用性仮想マシンとして構成できます。HA として構成された仮想マシンは、フェールオーバークラスタ管理コンソールにリソースとして表示されます。

HA 記憶域高可用性仮想マシンは、仮想ハードディスク (VHD)、パススルーディスク、および差分ディスクを使用するように構成できます。フェールオーバークラスタノード間で仮想マシンを移行できるようにするには、VM をホストするすべてのノードからアクセスでき、フェールオーバークラスタサービスによって管理される記憶域 (ディスクの管理にディスクとして表示される領域) が必要です。パススルーディスクをディスクリソースとしてフェールオーバークラスタに追加し、VHD ファイルを、ディスクリソースとしてフェールオーバークラスタに追加されるディスクに配置する必要があります。

仮想マシンリソース仮想マシンを表す、フェールオーバークラスタリソースの種類。仮想マシンリソースがオンラインになると、Hyper-V によって子パーティションが作成され、仮想マシンの OS が起動します。仮想マシンリソースのオフライン機能によって、ホストされていたノードの Hyper-V から VM が削除され、Hyper-V ホストから子パーティションが削除されます。仮想マシンがシャットダウン、停止、または保存された状態に復元されると、このリソースはオフライン状態になります。

仮想マシン構成リソース VM の構成情報を管理するために使用される、フェールオーバークラスタリソースの種類。仮想マシンごとに、1 つの仮想マシン構成リソースが存在します。このリソースのプロパティには、Hyper-V ホストに仮想マシンを追加するために必要なすべての情報を含む構成ファイルへのパスが記録されています。仮想マシンリソースを起動するには、構成ファイルにアクセスできる必要があります。構成は個々のリソースで管理されるので、VM がオフラインのときでも、VM リソースの構成を変更できます。

仮想マシンサービスとアプリケーショングループフェールオーバークラスタリングによってサービスやアプリケーションの可用性を高めるには、1 つのフェールオーバークラスタノードで複数のリソースをホストする必要があります。これらのリソースは、常に同じノード上に存在して適切に相互運用できるように、Windows Server 2008 フェールオーバークラスタで "サービスまたはアプリケーション" と呼ばれる 1 つのグループにまとめられます。VM の仮想マシンリソースと仮想マシン構成リソースは、必ず同じサービスまたはアプリケーショングループにまとめられます。サービスまたはアプリケーショングループには、VHD や構成ファイルが格納された 1 つ以上の物理ディスク (または他の種類の記憶域) リソース、またはパススルーディスクが含まれることもあります。

リソースの依存関係仮想マシン構成リソースをオンラインにしてから仮想マシンリソースをオンラインに (起動) すること、および仮想マシンリソースをオフラインにしてから仮想マシン構成リソースをオフラインに (停止) することは重要です。仮想マシンリソースが仮想マシン構成リソースに依存するように仮想マシンリソースのプロパティを設定すると、確実にこの順序でオンラインとオフラインが切り替わります。仮想マシン構成リソースまたは仮想マシンリソースのファイルが格納された記憶域リソースが存在する場合は、格納されているリソースをその記憶域リソースに依存させる必要があります。たとえば、仮想マシンでディスク G: とディスク H: に格納されている VHD ファイルを使用する場合は、仮想マシンリソースを、構成ファイルリソースと、ディスク G: およびディスク H: のリソースに依存させる必要があります。

前提条件

Windows Server 2008 フェールオーバークラスタ機能を使用して Hyper-V 仮想マシンの可用性を高めるには、以下に示す 3 つの前提条件を満たす必要があります。

クラスタのノードごとに、Windows Server 2008 フェールオーバークラスタ機能を構成する必要があります。フェールオーバークラスタの構成と管理の詳細については、補足記事「Hyper-V の関連情報」を参照してください。
Hyper-V の役割をインストールする必要があります。Hyper-V の更新プログラムをインストールし、フェールオーバークラスタのノードごとに役割を構成する必要があります (これについても、補足記事「Hyper-V の関連情報」を参照してください)。Hyper-V には、Hyper-V サーバーコンポーネントをインストールする更新パッケージと、Hyper-V 管理コンソールをインストールする更新パッケージが用意されています。Hyper-V サーバーコンポーネント用の更新プログラムをインストールした後は、サーバーマネージャまたは ServerManagerCMD を使用して役割を追加できます。
仮想マシンで共有記憶域を使用できるようにする必要があります。共有記憶域は、組み込みの物理ディスクリソースの種類としてフェールオーバークラスタで管理するか、サードパーティ製のソリューションを使用して管理できます。もちろん、使用するサードパーティ製のソリューションでは、Windows Server 2008 フェールオーバークラスタがサポートされている必要があります。

HA のチュートリアル

では、高可用性ソリューションの構成方法を見ていきましょう。最初の手順は、仮想マシンの構成です。Hyper-V の役割がインストールされているフェールオーバークラスタのいずれかのノードで、Hyper-V マネージャを使用して仮想マシンを構成します (図 2 参照)。新しい VM を手動で構成して使用することも、既存の VM をインポートすることもできます。VHD は、Windows Server 2008 フェールオーバークラスタによって管理され、現在 VM を構成しているノード上でオンラインになっているディスクに格納されている必要があります。

図 2 仮想マシンの構成 (画像をクリックすると拡大表示されます)

ここで、仮想マシンを停止状態にします。これを行うには、仮想マシンをシャットダウンまたは無効にするか、状態を保存します。停止状態になっていない仮想マシンは、フェールオーバークラスタによって管理されるように構成できません。

Windows Server 2008 フェールオーバークラスタの役割を実行している任意のサーバー、またはリモートサーバー管理ツール (RSAT) を実行している Windows Vista クライアントで、フェールオーバークラスタ管理コンソール (図 3 参照) を開きます。[クラスタの管理] を選択してノードまたはクラスタ名を選択するか、コンソールを実行しているノードでクラスタに接続するオプションを選択して、フェールオーバークラスタに接続します。

図 3 フェールオーバークラスタ管理コンソールに表示された仮想マシン (画像をクリックすると拡大表示されます)

フェールオーバークラスタ管理コンソールで、[サービスまたはアプリケーションの構成] を選択します。これにより、高可用性ウィザードが起動します。このウィザードでは、サービス、アプリケーション、または仮想マシンを、フェールオーバークラスタによって管理されるように構成できます。ウィザードの [サービスまたはアプリケーションの選択] ページで、[仮想マシン] を選択し、[次へ] をクリックします。

[仮想マシンの選択] ページには、フェールオーバークラスタのいずれかのノードで構成されているすべての仮想マシンが表示されます。仮想マシンを選択し、[次へ] をクリックします。ウィザードの [確認] ページに、すべての警告とエラーが表示されます。ここでは、仮想マシンを HA リソースとして構成できるかどうか、およびノードで仮想マシンをホストできるかどうかを検証するために、仮想マシンの構成が確認されます。[次へ] をクリックすると、仮想マシンが高可用性リソースとしてフェールオーバークラスタに追加されます。

概要ページには、仮想マシンを高可用性リソースとして追加した結果に関する情報が表示されます。この情報には警告も含まれます。[レポートの表示] をクリックすると、仮想マシンの可用性を高めるために実行されたタスクの詳細、およびすべての警告とエラーを確認できます。最後に、[完了] をクリックして高可用性ウィザードを終了します。

図 3 のウィンドウが示すように、フェールオーバークラスタ管理コンソールの左側のウィンドウにある、クラスタ名と [サービスまたはアプリケーション] の下に、"Virtual Machine(x)" (仮想マシン (x)) という既定の名前でオブジェクトが表示されます。ツリー構造内の仮想マシンを選択すると、サービスまたはアプリケーショングループに属しているリソースが、コンソールの中央のウィンドウに表示されます。その他の仮想マシンのファイルが、選択した仮想マシンのファイルと同じ記憶域に格納されている場合、その仮想マシンも選択した仮想マシンのグループに追加されます。グループに追加された仮想マシンごとに、仮想マシンリソースと仮想マシン構成リソースが表示されます。

サービスまたはアプリケーショングループの情報ウィンドウには、グループの状態、警告、優先する所有者、および現在の所有者に関する情報が表示されます。[所有者] ノードは、現在仮想マシンが構成または実行されているノードです。[Move Virtual Machine(s) to another node] (仮想マシンを別のノードに移行) を選択して、仮想マシンをオフラインにし、別のノードでオンラインにします。一般的なベストプラクティスとしては、フェールオーバークラスタ内で、VM をホストできる各ノードに VM を移行することによって、その移行が成功し、VM が起動および実行されるかどうかを確認します。

Hyper-V の関連情報

考慮事項

仮想マシンを高可用性リソースとして構成する場合は、以下に示すいくつかの重要点に留意してください。

記憶域複数の仮想マシンの VHD ファイルが同じ共有ディスクに格納されている場合、それらの仮想マシンは、同じディスク上の異なるボリュームに存在していても、同じサービスまたはアプリケーショングループに追加されます。ディスクを共有するメリットの 1 つは、共有記憶域の空き領域をさらに有効活用できるようになることです。

ただし、そうすると、1 台の仮想マシンが移行されると、その移行が仮想マシンに関する問題からの自動回復によるものであっても、管理者が決めた処理であっても、必ずグループ内のすべての仮想マシンが移行されることになります。

ドライブ文字と GUID ドライブ文字を割り当てずにボリュームを作成できます。仮想マシンでは、ドライブ文字が割り当てられていないボリュームを使用でき、これらのボリュームはフェールオーバークラスタで管理できます。ディスクリソースのボリュームで、ドライブ文字ではなく GUID が使用される場合は、その GUID がクラスタの管理に表示されます。仮想マシンを作成し、その VHD のパスを指定するときは、パスに含まれる GUID と、ボリュームのクラスタの管理に表示される GUID を一致させることが非常に重要です。一致しない場合、フェールオーバークラスタの他のノードで、仮想マシンが正常に起動しない (オンラインにならない) ことがあります。

GUID が一致しなくなる状況はいくつかあります。あるボリュームを複数のノード上でオンラインにした後、それらのノードをフェールオーバークラスタで管理されるディスクリソースとして追加すると、各ノードでそのボリュームに異なる GUID が割り当てられる可能性があります。また、単一ノード上でも、1 つのボリュームに複数の GUID が割り当てられる場合があります。あるディスクを物理ディスクリソースとしてフェールオーバークラスタに追加すると、そのディスクをオンラインにするノードで使用されているボリューム GUID が、ディスクリソースのプロパティに記録されます。

ディスクリソースがオンラインになると、これらのボリューム GUID がノードに追加されます。これにより、フェールオーバークラスタによってボリューム用に記録された特定の GUID が、そのディスクをオンラインにするどのノードでも有効なパスになります。このノードには、同じボリュームに関連付けられた他の GUID が割り当てられることもあります。そのため、ユーザーは、そのノード上にあるボリュームの有効な GUID を確認できても、その GUID は、他のノード上にあるボリューム用にフェールオーバークラスタで使用される GUID とは異なります。この問題の兆候としては、仮想マシンリソース (通常は構成リソース) をオンラインにすることができず、パスが無効であることを示すエラーメッセージが表示されます。エラーメッセージに含まれるパスは、そのボリューム用にクラスタで管理される GUID ではありません。

マウントポイントドライブ文字を割り当てたり、GUID を使用したりせずに、別のボリュームのフォルダにマウントされるボリュームを Hyper-V やフェールオーバークラスタで使用できます。マウントされるボリュームと、マウントポイントをホストするボリュームは、どちらも同じフェールオーバークラスタノード上に存在する必要があるので、マウントポイントの一部であるディスクはすべて、同じフェールオーバークラスタサービスまたはアプリケーショングループに含まれている必要があります。

ボリュームが同じディスク上に存在する場合、当然問題はありませんが、異なるディスク上に存在する場合は、間違いなく問題となります。また、マウントされるボリュームと、マウントポイントのホストはどちらも、フェールオーバークラスタで管理するように構成された共有記憶域である必要があります。これも当然のことですが、言及しておく価値があると判断しました。

差分ディスク差分ディスクの一部であるすべての VHD ファイルは、それらの差分ディスクを使用する VM と同じサービスまたはアプリケーショングループの共有記憶域に格納される必要があります。差分ディスクの最も単純な構成には、2 つの VHD が関与します。一方の VHD は親で、この VHD には基盤として使用される一連のデータが含まれます。もう一方の VHD は、その親に関連付けられた子です。

差分ディスクを初めて使用すると、親ディスクと同じ構成が提供されます。データが親 VHD に格納されている場合は、その親 VHD からデータが読み取られます。書き込みはすべて子 VHD で発生します。データが子 VHD に格納されている場合、そのデータの読み取りでは子 VHD が参照されます。

子 VHD が共有記憶域に格納されていても、親 VHD が同じグループの共有記憶域に格納されていないか、ローカルに接続された記憶域デバイスに格納されている場合は、VM を別のノードに移行しても起動 (オンラインに) できません。高可用性ウィザードでは、VM がこの点で正しく構成されているかどうかが確認され、問題が検出された場合はエラーメッセージが表示されます。ただし、VM の構成が変更された場合の要件にも注意が必要です。

Steven Ekren は、Windows Server フェールオーバークラスタおよび高可用性チームのシニアプログラムマネージャです。マイクロソフトのサポート部門に 12 年間在籍し、企業ユーザーが Windows Server フェールオーバークラスタと、Windows Hyper-V、System Center Virtual Machine Manager、Microsoft Virtual Server、Microsoft Virtual PC などの仮想化テクノロジを実装し、問題を解決する作業をサポートしてきました。

目次

その他のリソース