Secure Copy 7のパフォーマンスチューニング (4346020)

この記事には、Secure Copyバージョン7.0以降のパフォーマンスチューニングに関するよくある質問が含まれています。

Quest Secure Copyのパフォーマンスチューニングは、影響する可能性のある要素が多数あるため、実行する環境に依存します。特にネットワーク帯域幅とディスクスループットは、データ移行のパフォーマンスを決定する最大の要因です。

Secure Copy のパフォーマンスに何が影響しますか？

Secure Copy のパフォーマンスに影響を与える可能性のある要素は次のようなもので、影響度は必ずしも提示された順序ではありません。

Windows から Windows へのファイルコピーを実行するユーザーは Administrators グループのメンバーであることにご留意ください。特にコピージョブの [Synchronization] オプションにある 「Override Security on Access Denied」 機能を利用するために必要なバックアップオペレーター権限をコピージョブに効果的に付与するには、Administrators グループである必要があることに注意してください。ただし、ソースまたはターゲットで特定のネットワークストレージデバイス (NetApp Filerなど) を利用する場合は、「Override Security on Access Denied」 機能が正しく機能しない場合があります。これらの場合、コピージョブ実行ユーザーが手動でそれらネットワークストレージデバイスの Backup Operators グループのメンバーになってアクセスする必要があります。それらストレージがこのオプションをサポートしているかどうかについて質問がある場合は、ユーザーが Backup Operators グループのメンバーであることを確認して、ファイルまたはフォルダーへのアクセスが拒否されないように設定後、そのジョブの進行状況をご確認ください。アクセス拒否エラーはジョブの進行状況のダイアログに表示され、コピージョブのログにも書き込まれます。

コピー処理中にどの程度のパフォーマンスが期待できますか？

ソースとターゲットのハードディスクの読み取り/書き込みパフォーマンスに依存します。

コピー元（ソース）のデータとコピー先（ターゲット）のハードディスク パフォーマンスは、 SecureCopy のパフォーマンスに大きく影響する可能性があり、パフォーマンスボトルネックの最も一般的なソースです。通常、マシンには、ディスクの使用率、ハードウェアの種類、およびディスクの断片化によるディスクI/Oなどのボトルネックがあります。SecureCopy の既定ジョブの Performance 設定は、マルチコア CPU のメンバーサーバーから 100Mbps のネットワーク経由で単一の 5400rpm の SATA ハードディスクへコピーを実行する環境に理想的な値を設定しています。RAID、高性能 RAID コントローラー、ギガビットネットワーク、高性能 SCSI ディスク、ソリッドステートドライブなどのパフォーマンスの高いハードウェアを使用する場合は、環境に合わせて対象のコピージョブの [Performance] 設定の各値を増やすことを検討してください。

スレッド数とバッチ設定に関する推奨事項は何ですか？

コピーするデータファイルの総数とファイルの平均サイズに依存します。

コピーするデータファイルの数とサイズに応じて、スレッド数、バッチサイズ、およびバッチ数の設定を変更できます。移行されるデータの種類に基づいたスレッドおよびバッチ設定に関する一般情報と推奨事項については、後述にて詳しく説明します。

RAM と CPU はコピーのパフォーマンスに影響しますか？

RAM/CPUともにパフォーマンスに影響します。

RAM はソースマシンとターゲットマシンで消費されますが、RAM の大部分はコンソールを実行しているマシンで消費されます。SecureCopy コンソール マシンで使用される RAM はコピージョブの構成と実行用です。コピージョブを実行するプロセスで、コピーエンジンは、利用可能なスレッドとバッチに分けられたファイルのリストを生成します。コンソールマシンで使用可能な RAM と CPU サイクルを最大化にすると、メモリ不足のためにディスクにキャッシュしたり、使用可能な CPU リソース不足のために応答が無くなることなく、Secure Copy がジョブを実行できます。既定のパフォーマンス設定での単一のコピージョブの一般的なメモリ使用率は、実行中に 100〜200Mbyte の範囲である必要があります。 CPU の速度と可用性もコピーのパフォーマンスに影響します。

Secure Copyコンソールはどこにインストールすればよいですか？

SecureCopy コンソールの場所について

SecureCopy コンソールは、ソース、ターゲット、またはそれ以外の第 3 のマシンにインストールできます。 ソースマシンは、コンソールマシンにとって理想的な場所であるため、ソースデータのファイルとフォルダーの検索と列挙が最も速く実行されます。 コンソールは、RPC コマンドをソースとターゲットとやり取りする必要があります。 第 3 のマシンにコンソールがあると、ソースとターゲットの両方への追加のネットワーク接続が開かれるため、より多くのネットワークリソースが消費されます。 コンソール、ソース、およびターゲットマシン間のネットワーク遅延と帯域幅が作用するため、通常は SecureCopy コンソールは 3 台目ではなく、ソースかターゲットのマシンを使用することをお勧めします。

推奨されるスレッド数はいくつですか？

Thread count について

Thread count (コピースレッドの数) は、同時に実行できるコピー操作の数と同じです。範囲は 2〜100 スレッドです。数バイトから数百キロバイトのファイルは 「小」 ファイル、数メガバイトのファイルは 「中」 ファイル、ギガバイト以上のファイルは 「大」 ファイルとした場合、ジョブが主に中小規模のファイルを移動している場合は、スレッド数を増やすことを検討してください。その結果、ジョブごとにスレッドが増え、(何かほかのボトルネックに到達しないと仮定した場合、) 最短時間で最大数のファイルを移動します。主に大きなファイルを移動する場合、使用中のスレッドが少ない方が効率的です。これは、大きなファイルをコピーする際にスレッド数が多い場合、多数のリソースを必要としているスレッドが複数あり、その間でリソースの制御を OS が切り替えることが想定されます。それよりも少ないスレッドが単一のバッチで大きなファイルコピーする場合、リソースの集中が期待できるためです。

このようにコピーするファイルの大小に応じてスレッド数を変更すると、コピーのパフォーマンスを最大化に最も 「良い」 結果が得られます。

推奨されるバッチ数はいくつですか？

Batch count について

Batch count (バッチ数) は、個々のスレッドが一度に処理できるファイルの数に基づく制限値です。 範囲は 25〜1000 ファイルで指定できます。コピージョブが処理されているときの、一つのスレッドに対して指定されたバッチ数またはファイルの最大数でファイルをコピーします。 バッチ数またはファイルの最大数のいずれか最初に到達した値がしきい値です。 主に小さなファイルを処理する場合は、効率のためにバッチ数を最大値に設定することをお勧めします。 大きなファイルを処理する場合、バッチサイズのしきい値は、バッチ数の制限を満たす前に満たされる可能性が高いため、大きなバッチ数は適切ではありません。 ほとんどの場合、既定値が最適です。 バッチ数を変更すると、移行するデータに応じてパフォーマンスが増減する可能性がありますが、通常、この設定の調整は小さなファイルをコピーする場合にのみ設定変更することが効果的です。

他のどのジョブ オプションがコピーのパフォーマンスに影響する可能性がありますか？

[Performance] 設定およびその他のオプション設定が関係します。

一部のジョブ オプションは、より多くの処理オーバーヘッドを引き起こす可能性があります。 ほとんどの場合、オーバーヘッドは最小限に抑えられますが、これらのオプションを組み合わせて使用すると、累積的な悪影響が生じる可能性があります。

Bandwidth Throttling

Bandwidth Throttling (帯域幅調整) は、[Performance] オプションの一部です。 既定では、パケット間ギャップは 0 に設定されています。 フレーム間ギャップ (Inter-Frame Gap) とも呼ばれるパケット間ギャップ (Inter-Packet Gap) は、コピー プロセスの速度を低下させ、ネットワーク上の帯域幅の使用量を削減します。 ファイルがコピーされると、一度に 64KB がコピーされます。 パケット間ギャップは、次の  64KB を送信する前に待機するミリ秒 (ms) 単位のタイムスパンです。 100ms のパケット間ギャップ値でさえ、リソース使用率を劇的に削減できます。 ネットワーク上の他のトラフィックの量などの要因により、希望の帯域幅を達成するために、このパケット間のギャップを調整が必要な場合があります。

Specify Files to Purge

パージするファイルの設定は、[Synchronize] オプションの一部です。 ファイルをパージするには、ソースパスとターゲットのパスを比較し、それに応じてパージする必要があります。 ソースとターゲットのディレクトリとファイルの比較が必要なため、このオプションはコピープロセスの全体的な期間に影響します。

Verification of file copy

この設定は、[Performance] オプションの一部です。 ファイルコピーの検証は、ソースファイルとターゲットファイルの CRC32 チェックサムを比較するため、I/O や CPU の処理を集中的に使用するアクティビティです。 ソースファイルとターゲットファイルの比較が必要なため、このオプションはコピープロセスの全体的な期間とリソース使用率に影響します。 コピージョブの [Performance] ページに、スキップされたファイルとコピーされたファイルの CRC32 チェックサム検証を含めるオプションが追加されました。これらファイルの検証が不要な場合は、この機能を無効化することでパフォーマンスの向上が期待できます。

Test copy job

ライブ データを使用してネットワークパフォーマンスをテストし、移行ジョブ時間を推定します。 ターゲットサーバー上のテストデータは、テストが完了すると自動的に削除されます。これらのテストが不要な場合は、この機能を無効化することでテストを省略することでき、パフォーマンス向上が期待できます。

コピージョブを実行する前に [Analyze] メニューを実行する

コピージョブを実行する前に、ファイルシステム統計アナライザーを実行して、移行するフォルダーとファイルの数を列挙することをお勧めします。 コピージョブを選択し、[Analyze] メニューをクリックします。 ファイルシステム統計アナライザーはコマンドラインで実行され、データを Secure Copy 7 インストールフォルダー内にある Logs サブフォルダー内の .csv ファイルに書き込みます。この統計分析の機能は、Secure Copy 7インストールフォルダーにある FileSystemStatistics.exe を使用してコマンドラインから実行することもできます。

Compression

圧縮は、[Other File Option] オプションの一部です。 このオプションを使用すると、圧縮は SecureCopy によって実行されず、OS によって実行されます。 圧縮機能はターゲットでのファイル書き込み操作時に実行されるため、このオプションはコピープロセスの全体的な期間に影響します。

グループとユーザーの移行

[Local Groups and Users] の設定には、独自のカテゴリがあります。ローカルグループまたはユーザーが移行されるように設定されていると、Secure Copy は RPC 通信を使用可能なドメインコントローラーに送信して、ユーザーまたはグループとそのメンバーを検証するため、このオプションはコピープロセスの全体的な期間に影響します。

各コンソールがローカルグループとユーザーを移行している非標準の複数コンソール移行で、多数の合計が移行されている場合、問題が発生する可能性があります。SecureCopy は、複数のコンソールから多数のユーザーとグループを検証しようとする RPC 要求でドメインコントローラーをあふれさせる可能性があり、ドメインコントローラーで RPC タイムアウトエラーを生成する可能性があります。この問題を回避するには、複数のコピージョブの開始をずらすか、ローカルグループとユーザーを移行するすべてのコンソールで使用するスレッドの数を制限します。別の推奨事項は、 「Copy only local groups and users, not files」 機能を有効にして、移行を実行する前にグループとユーザーを手動でターゲットに作成することです。