SharePlex 11.4 - リファレンス・ガイド

PostgreSQLのcompare/compare using

compareおよびcompare usingコマンド（まとめてcompareコマンドと呼びます）を使用して、ターゲットテーブルがソーステーブルと同期していることを確認します。

• compareコマンドは、ワイルドカードを使用して、個々のソーステーブルとターゲットテーブル、または指定されたスキーマ内の任意の数のテーブルをcompareします。個々のテーブルをcompareする場合は、列ベースのフィルタリングを使用して、compare用に選択される行を制御することができます。
• compare usingコマンドは、アクティブな設定にリストされているすべてのテーブル、またはアクティブな設定内のテーブルのサブセットが含まれる別のファイルにリストされているすべてのテーブルをcompareします。

compareを実行した後、repairコマンドまたはrepair usingコマンドを実行し、同期していない行をrepairすることができます。

注意: 実行中のcompareまたはrepairは、ソーステーブルには一切影響を与えません。SharePlexは、読み取りの一貫性についてのクエリを実行するためだけにデータベースにログインし、ソーステーブルのロックは短時間です。SharePlexは、処理中にターゲットテーブルを短時間ロックしますが、ユーザはロックをほとんど意識することなくアクセスを継続できます。

サポートされている操作

SharePlexは、DML操作（INSERT、UPDATE、DELETE）によって発生した、ターゲットテーブル内の非同期行を検出し、repairすることができます。

サポートなし

SharePlexは、以下のcompareとrepairをサポートせずにスキップします。

• シーケンス

• トランスフォーメーションが使用されたテーブル
• ソースサーバとターゲットサーバ間のデータ受け渡しにパススルーサーバを使用するネットワーク構成
• カスケードレプリケーション環境では、compareとrepairはサポートされません。

• compareまたはrepair中のテーブルに対してDDLを実行しないでください。compareは、SharePlexがサポートするものも含め、DDL操作によって引き起こされる非同期状態を検出しません。DDLがテーブル定義を変更すると、compareする必要がある行を取得するためにcompareプロセスにより作成されたSELECTステートメントが無効になります。

  DDLによって発生した非同期状態を修正したら、repairコマンドを使用して行のデータを再同期することができます。

• 255文字を超えるcompareおよびrepairコマンド文字列はサポートされていません。これはオペレーティングシステムの制限です。この制限を回避するには、ソースシステムでeditコマンドを使用します。テキストファイル内にコマンド文字列を入力すると、コマンドが自動的にファイルを実行します。

compareおよびcompare usingでサポートされるデータ型の詳細については、『SharePlexリリースノート』を参照してください。

その他の条件

• compareまたはrepairするテーブルは、アクティブな設定ファイルの一部でなければなりません。
• ソーステーブル上にコミットされていないトランザクションがあると、読み取りの一貫性を得るためにcompareおよびrepair処理に必要な短時間のロックを取得できなくなります。compareやrepairを実行する前に、すべてのトランザクションがコミットされていることを確認してください。

• レプリケーションのレイテンシは、compareやrepairの処理のパフォーマンスを低下させる可能性があります。ターゲット上でcompareおよびrepairプロセスを生成するためにソースから送信されたメッセージは、複製されたデータと共にキューを通じて送信されます。データバックログによる遅延が生じると、生成メッセージの送信が遅れることにより、プロセスが読み取りの一貫性を失うことがあります。可能であれば、compareやrepairはピーク以外の時間帯に行います。

• compareまたはrepair中のテーブルをトランケートしないでください。compareコマンドは、開始時に各ソーステーブルのスナップショットを取ります。テーブルがトランケートされると、スナップショットのテーブルビューもトランケートされ、コマンドが無効な非同期状態を返すことがあります。

• ビューをrepairするには、以下が真でなければなりません。

  • ビューテーブルが、基礎となるテーブルのすべての制約列を含んでいること。
  • ビューの制約列の名前が、基礎となるテーブルの制約列の名前と同一であること。

• Compareプロセスのパフォーマンスを向上させるために、SharePlexはSP_DEQ_PARALLELISMパラメーターによる並列ヒントをサポートしています。このため、並列度、つまり起動するワーカープロセスの数を指定できます。

  デフォルトでは、PostgreSQLデータベースオプティマイザはSQLステートメントに最適な問い合わせ実行計画を選択します。これは、並列ヒントで指定した並列度に直接関連していないこともあります。pg_hint_planにより、クエリを実行するたびに配列ヒントを使用して実行計画を調整することができます。SharePlexは、データベースにpg_hint_plan拡張機能がインストールまたは設定されている場合、内部でこれを利用します。

  並列クエリを使用するための構文の例は以下の通りです。

  pg_hint_plan拡張機能は並列ヒントをサポートしています。Parallel(table <# of workers> [soft|hard])

  SharePlexはハードパースをサポートする並列ヒントを使用します。Parallel(table <# of workers> [hard])

  注意: ワーカーの数は、データベースシステムのCPU VCoreより少なくなければなりません。

特別な使用例

以下のシナリオでは、compareを実行する際に特別な処理が必要となります。

compareの仕組み

compareは、DML操作によって引き起こされる次のようなターゲットテーブルの非同期状態を検出します。

• 余分な行または欠けている行
• 値が一致しない行

ソースシステムでcompareコマンドまたはcompare usingコマンドを実行すると、SharePlexは以下のイベントを開始します。

1. sp_copプロセスは、ソースシステム上にsp_xdesvr （サーバ）プロセスを生成します。
2. sp_desvrプロセスは、sp_ctrlインターフェイスの制御と使用をユーザに返します。compareが進行している間、レプリケーションは続行されます。
3. sp_xdesvrプロセスは、ターゲットシステム上でsp_xdeclt （クライアント）プロセスを開始するために、Postプロセスにメッセージを送信します。
4. サーバプロセスとクライアントプロセスによって相互の通信が確立されます。
5. プロセスは、ソーステーブルとターゲットテーブルの行数をcompareすることにより、サニティチェックを実行します。ソーステーブルとターゲットテーブルの行数の差が20%より大きい場合、コマンドは終了します。サニティチェックは、ターゲットデータを再読み込みすることでより迅速に修正できるテーブルのcompareやrepairに無駄な時間をかけることを防ぎます。copyコマンドまたはappendコマンドを使用してターゲットデータを再読み込みするか、別の方法を使用することができます。サニティチェックを上書きするには、overrideオプションを指定してcompareコマンドを再発行します。
6. サニティチェックをオーバーライドするには、Overrideオプションを指定してCompareコマンドを再発行します。

7. 行数がサニティチェックに合格すると、テーブルは以下のようにcompareされます。

   • compareコマンドを使用している場合、sp_xdesvrでソース行を選択し、sp_xdecltでターゲット行を選択し、行をソートしてcompareします。
   • compare usingコマンドを使用している場合、sp_xdesvrプロセスはターゲットシステム上に多数の処理スレッドを作成します。SP_DEQ_THREADSパラメーターによって設定される値は、作成されるスレッド数を制御します。各スレッドはsp_xdeclt（クライアント）プロセスを生成します。サーバプロセスとクライアントプロセスによって相互の通信が確立されます。処理負荷はクライアントプロセス間で分割されます。ソースとターゲットの各テーブルから行が選択され、ソートされ、compareされます。
8. 終了すると、プロセスによってログファイルが書き出され、show compareコマンドで結果を見ることができます。

SQLログファイルの管理

compareおよびrepairコマンドは、すべての非同期行をrepairするために必要なSQLを、ログファイルと同じ場所にあるSQLファイルに書き込みます。compareコマンドのみが発行された場合、SharePlexはこれらのSQLステートメントを実行しません。repairコマンドを実行した場合、このコマンドは、非同期行をrepairするSQLステートメントを実行すること以外はcompareコマンドと同じように動作します。

SQLログファイルの出力を抑制することができます。このファイルを抑制する理由には以下のようなものがあります。

• データには機密情報が含まれています。SQLログファイルはクリアテキストで書き込まれます。SQLログファイルを生成しないことで、機密データはディスクに保存されず、PCIコンプライアンス基準を満たすために要求されるような保存データのセキュリティ要件を満たすことができます。
• compareまたはrepairされたテーブルには、非常に多くの非同期行があります。このサイズのログファイルは、大量のディスクスペースを消費する可能性があります。

SQLログファイルを抑制するには、nosqllogオプションをcompareまたはrepairコマンドで使用します。

SharePlexの現在のインスタンスの実行中に、compareとrepairのすべての実行についてSQLログファイルの出力を抑制するには、SP_SYS_SECURE_MODE環境変数を1に設定します。この変数はSharePlexを起動する前に設定する必要があるため、sp_copプロセスが実行されている場合は、この変数を設定した後に再起動する必要があります。この環境変数を指定してsp_copを実行すると、compareコマンドとrepairコマンドによってSQLファイルにデータは保存されず、Post処理でもSharePlexのエラーログにデータは保存されません。

複数のプロセスの実行

すべてのcompareおよびrepairコマンドでは、複数のプロセスを同時に実行することができます。複数のcompareおよびrepairコマンドを同時に実行し、それぞれがソーステーブルとターゲットテーブルのペアを処理することも、PostgreSQLのワイルドカードを使用して1つのコマンドで複数のテーブルセットを指定することもできます。SharePlexによるワイルドカードのサポートの詳細については、『SharePlex管理ガイド』を参照してください。

レプリケーションプロセスとcompareおよびrepairプロセスなど、最大で20のSharePlexプロセスでpostキューを同時に使用することができます。一度に最大で5つのcompareおよびrepairプロセスを実行できるようにすることをお勧めします。

制限に達したためにcompareやrepairに失敗した場合、SharePlexはイベントログにメッセージを記録します。

注意: editコマンドを使用し、以前のコマンドを編集して新しいコマンドを作成すれば、複数のコマンドをより簡単に実行できます。

設定のサブセットのcompare

アクティブな設定のサブセットは、以下の方法でcompareできます。

• 1つのスキーマに属するレプリケーション内の全テーブルをcompareするには、以下のようにcompareコマンドにワイルドカードを指定します。

  sp_ctrl> compare scott.%

• 設定ファイル内の全テーブルをcompareするには、compare usingコマンドを使用します。

  sp_ctrl> compare using myconfig

• レプリケーション内の全テーブルを1つのターゲットルートとcompareするには、以下のようにatオプションを指定してcompare usingコマンドを使用します。

  sp_ctrl> compare using config.active at prodsys@r.database_name

• 設定内のテーブルのカスタムサブセットをcompareするには、compareファイルで指定します。これはプレーン・テキスト・ファイルであり、compareしたいソーステーブルのみをリストします。ターゲットテーブルは、compare時に設定ファイルから取得されます。compareファイルは、create configコマンドまたはcopy configコマンドを使用して作成できます。このファイルには、必ず設定ファイルでないことを明確に示す名前を付けてください。詳細については、コマンドの構文を参照してください。

compareする行の制御

compareおよびrepairコマンドには、処理の対象として選択する行をフィルタリングできるwhereオプションがあります。デフォルトでは、これらのコマンドはテーブルのすべての行に影響し、ソーステーブルに含まれていないターゲットテーブルの列は無視されます。

• whereオプションを使用すると、ソーステーブルとターゲットテーブルの同じ名前の列に基づいて行をフィルタリングすることができます。

• 垂直分割レプリケーションを使用するテーブルにはwhereオプションを使用します。ソース列とターゲット列には異なる名前を付けることができます。whereの選択をソース列に基づいて行います。SharePlexは、ターゲットテーブルの正しいWHERE句を構築するために、設定ファイルから列マッピングを読み取ります。

• ソーステーブルまたはターゲットテーブルに1つ以上の余分な列が存在し、それらの行に行の一意性を決定する値が含まれている場合は、sourcewhereおよびtargetwhereオプションを使用します。

  • ソーステーブルに余分な列が含まれている場合は、sourcewhereを使用します。
  • ターゲットテーブルに余分な列が含まれている場合は、targetwhereを使用します。

  このオプションを正しく使用するには:

  • 余分な列にはsourcewhereまたはtargetwhereオプションのみを使用します。

  • ソースとターゲットの両方で同じ名前を持つ他の列には、標準のwhereオプションを使用します。

  • SharePlexは、whereオプションとsourcewhereまたはtargetwhereオプションを組み合わせて、完全なWHERE句を作成します。

  重要! 余分な行を持つターゲットテーブルに対してcompareとrepairの両方を実行する予定がある場合は、UPDATEとDELETEのcompare用にtargetwhereのみを使用してください。repairコマンドはINSERTの正しい値を決定できません。この問題を回避するには、余分な列にデフォルト値を設定するか、挿入された行を手動で更新します。

プロセスの特定

compareまたはrepairコマンドが発行されるたびに、ジョブIDがsp_ctrlディスプレイに表示されます。sp_ctrlディスプレイを利用できない場合は、compare statusコマンドを実行することでジョブIDを表示できます。

sp_ctrlでステータスと結果を表示

compareのステータスや結果を表示するには、sp_ctrlのcompare statusコマンドを使用します。

• 基本コマンドは、最近開始されたcompareジョブの処理ステータスと、まだ実行中のその他のcompareジョブを表示します。
• 追加オプションを使用して、履歴のあるcompareジョブのステータス概要を表示したり、compareジョブの詳細情報を表示したりすることができます。

詳細については、compare status を参照してください。

警告とエラーの表示

sp_xdesvrおよびsp_xdecltプロセスは、実行するシステム上にログファイルを書き込みます。SharePlexの変数データディレクトリのlogサブディレクトリにあるファイルを開きます。

sp_xdesvrプロセスが書き込むログの名前はxdesvr_<jobid>_r.<dbid>_p<process id>.logです。ここで、

• JobIDは、SharePlexによって割り当てられたジョブIDです。
• DBIDはPostgreSQLインスタンスのデータベースIDです。
• ProcessIDはsp_xdesvrプロセスのプロセスIDです。

sp_xdecltプロセスが書き込むファイル名は、xdeclt_<jobid>-<tableid>_r.<dbid>_p<processid>.logに.logまたは.sqlを付加したものです。ここで、

• JobIDは、SharePlexによって割り当てられたジョブのジョブIDです。
• TableIDは、SharePlexによって割り当てられたジョブ内のテーブルのテーブルIDです。
• DBIDはPostgreSQLインスタンスのデータベースIDです。
• SourceHostは、ソースホストの名前またはIPアドレスです。
• ProcessIDは、sp_decltプロセスのプロセスIDです。

ログファイル名の例:

ディスク使用量を制御するために、ログは循環方式でエージングされます。現在のログがサイズの限界に達すると、SharePlexは新しいログファイルを生成します。新しいログは最大ログ数まで作成され、その後、SharePlexは最も古いログから上書きを開始します。

注意: compare usingコマンドの場合は、稀に複数のログファイルが存在します。

compareジョブのキャンセル

実行中のcompareまたはrepairジョブを停止するには、cancelコマンドを使用します。

sp_ctrl(sysA)>cancel JOBID

詳細については、「cancel」を参照してください。

compare履歴とログの管理

SharePlex は、終了した各ジョブの履歴をソースシステムのデータベースに保持します。SP_SYS_JOB_HISTORY_RETENTIONパラメーターは、履歴の保持期間を制御します。

この履歴を必要に応じて消去するには、clear historyコマンドを使用します。SharePlexがジョブの履歴を削除すると、履歴の元となったログファイルも削除されます。

データベースのジョブ履歴を消去せずにソースシステムからログファイルを削除するには、remove logコマンドを使用します。このコマンドは、ターゲットシステムから古いログファイルを削除するためにも使用できます。

ログファイルのサイズを制御するには、SP_DEQ_LOG_FILESIZEパラメーターを設定します。

INSERT、UPDATE、DELETEの各操作に対して別々のSQLファイルを作成するには、すべての操作タイプに対して1つのファイルを使用するのではなく、log splitオプションを使用します。

バッチサイズのコントロール

プロセスがSELECTクエリを実行するときにフェッチされる行のブロックのサイズを制御することができます。ブロックサイズは、SP_DEQ_MALLOCパラメーターで設定された値に基づいて計算されます。この値は、使用されるcompareスレッドの数で等分され、その後、すべての列のサイズを足した値に基づいて再計算されます。

非同期行のrepair

compareによって検出された非同期行をrepairするには、repairコマンドまたはrepair usingコマンドを使用します。repair / repair usingを参照してください。

用途

構文

構文の説明

必須のコマンドコンポーネント

オプションのコマンドコンポーネント

リモートオプション

これらのオプションにより、リモートマシンにコマンドを発行したり、ログイン名、パスワード、ポート番号、またはそれらの組み合わせを含むコマンドをスクリプト化したりすることができます。

PostgreSQLのcompare statusコマンド

compare statusコマンドを使用して、最後に実行されたcompareまたはrepairジョブのステータスを表示します。compare statusコマンドを使用すると、compareジョブやrepairジョブ、またはcompareジョブやrepairジョブの一部に関する詳細なステータスを表示したり、SharePlexに履歴があるすべてのcompareジョブおよびrepairジョブのステータスを表示したりできます。

注意: compare statusコマンドの詳細および使用例については、job statusコマンドを参照してください。

用途

構文

構文の説明

リモートオプション

これらのオプションにより、リモートマシンにコマンドを発行したり、ログイン名、パスワード、ポート番号、またはそれらの組み合わせを含むコマンドをスクリプト化したりすることができます。

PostgreSQLの設定のコピー

設定ファイルをコピーし、そのコピーを別のファイル名で保存するには、copy configコマンドを使用します。

設定をコピーすることで、以下のことが可能になります。

• バックアップ用に複製を保存する
• edit configコマンドを使用して、新しい設定を作成する際のベースとしてコピーを使用する
• アクティブな設定ファイルを変更します。現在の設定を使用したレプリケーションを継続しながら、edit configコマンドを使用してコピーに変更を加え、準備ができたら新しい設定をアクティベーションすることができます。

このコマンドは、元の設定と同じソースシステムに設定をコピーします。設定ファイルを異なるシステムにコピーするには、テープ、CD、または FTP 経由でファイルを転送します。システムの設定のリストを表示するには、list configコマンドを使用します。設定の内容を表示するには、view configコマンドを使用します。

用途

構文

構文の説明

PostgreSQLの設定の作成

新しい設定ファイルを作成するには、create configコマンドを使用します。このコマンドは、SharePlexのデフォルトのテキストエディタを実行して、新しいファイルを開きます。設定を作成するには、『SharePlex管理者ガイド』の第5章の手順に従ってください。

新しい設定に既存の設定と同じ名前を付けようとすると、SharePlexは次のエラーメッセージを返します。「The parameter for create config must be a new filename.」（create configのパラメーターは新しいファイル名にする必要があります。）

設定を作成する代わりに、copy configコマンドを使用して既存の設定を複製し、edit configコマンドを使用してそのコピーを編集することもできます。

用途

構文

構文の説明