SharePlexのPostプロセスは、Kafkaブローカーに接続して書き込むことができます。データは、ソース上で発生した一連の操作として、JSONまたはXML出力に書き出すことができ、その後、Kafkaコンシューマーで消費することができます。
これらの説明書には、このターゲットに固有のセットアップ手順が含まれています。これらのセットアップ手順を実行する前に、本マニュアルの適切な指示に従って、SharePlexをソースとターゲットにインストールします。
SharePlexを使用してこのターゲットにレプリケートする場合、サポート対象のバージョン、データ型、操作については、『SharePlexリリースノート』を参照してください。
Kafka
KafkaのSP_CTRLで以下のコマンドオプションを使用します。
target x.kafka set kafka broker= 10.250.40.42:9092(KafkaサーバのIPアドレス:ポート番号)
target x.kafka set kafka topic= kafkaTarget(トピック名)
target x.kafka set format record = xml/JSON
target x.kafka show
Kafkaにデータをレプリケートする場合、ソースデータベースとソースシステム上のSharePlexを以下のように設定します。
ソース上で、captureおよびルーティング情報を指定するSharePlexの設定ファイルを作成します。設定ファイルに必要な構造はレプリケーション戦略によって異なりますが、Kafkaにデータをルーティングするために必要な構文をここに示します。
Datasource:r.dbname | ||
src_schema.table | !kafka | host |
ここで:
hostはターゲットシステムの名前です。
注意: 『SharePlex管理ガイド』の「データをレプリケートするためのSharePlexの設定
Datasource:r.testdb
MY_SCHEMA.MY_TABLE !kafka targetHost
これらの手順では、Kafkaに接続するようにSharePlexのPostプロセスを設定します。Kafkaブローカーが動作している必要があります。
Kafkaへのポストを設定するには、以下の手順を実行します。
targetコマンドを実行し、Kafkaブローカーとトピックへのポストを設定します。以下はコマンドの例です。
sp_ctrl> target x.kafka set kafka broker=10.250.40.42:9092
sp_ctrl> target x.kafkaset kafka topic=shareplex
コマンドの説明とオプションについては、「PostgreSQLからKafkaへのレプリケーションの設定」を参照してください。
SharePlexは、Kafkaへの入力としてXMLまたはJSON形式で出力できます。XMLがデフォルトです。入力フォーマットを設定し、フォーマットオプションを指定するには、以下のいずれかのtargetコマンドを使用します。
target x.kafka set format record=json
または:
target x.kafka set format record=xml
これらのフォーマットのサンプルを表示するには、『SharePlexリファレンスガイド』に含まれるtargetコマンドのドキュメントのformatカテゴリを参照してください。
Kafkaへの出力に関する現在のプロパティ設定を表示するには、以下のtargetコマンドを使用します。
target x.kafka show
表13: Kafkaターゲットプロパティ
プロパティ | 入力値 | デフォルト | |
---|---|---|---|
broker=broker |
必須。Kafkaブローカーのホストおよびポート番号、または複数のブローカーのコンマ区切りリスト。このリストがKafkaクラスタへのブートストラップとなります。これらのブローカーのいずれかに接続できれば、Postはクラスタ内の他のブローカーを検出します。 |
localhost:9092 | |
client_id=ID |
オプション。呼び出しの追跡に役立つようにPostが各リクエストで送信するユーザ定義の文字列。 |
None | |
compression.code={none, gzip, snappy} | オプション。Kafkaでデータを圧縮するかどうかを制御します。オプションはnone、gzip、またはsnappyです。 | None | |
partition={number | rotate | rotate trans} |
必須。次のいずれか:
|
0 | |
request.required.acks=value |
オプション。これはKafkaクライアントのパラメーターです。デフォルトでは-1に設定されており、allを意味します。実際にはallはall in-sync replicasを意味するため、これについてはKafkaのドキュメントを参照してください。このパラメーターは、min.insync.replicas brokerパラメーターと併用することで、可用性とデータの一貫性の関係を調整することができます。 重要: これらの設定によっては、Kafkaプロデューサー(この場合はSharePlex )とKafkaクラスタの間でデータが失われる場合があります。 |
-1 | |
topic=topic_name |
必須。ターゲットのKafkaトピックの名前。 この文字列には特殊なシーケンス%oまたは%tを含めることができます。シーケンス%oは、レプリケートされるテーブルのオーナー名に置き換えられます。%tのシーケンスは、複製されるテーブルのテーブル名に置き換えられます。この機能は、Kafkaサーバのauto.create.topics.enabledの設定が「true」に設定されている場合に使用できます。また、トピックが自動的に生成されるときのデフォルトとして使用されるため、default.replication.factorとnum.partitionsのサーバ設定も確認してください。
|
shareplex |
*レイテンシを避けるために、Postはそれ以上着信メッセージがないことを検知すると、しきい値が満たされるのを待たずにKafkaに即座にパケットを送信します。
SharePlexは、ODBC(Open Database Connectivity)インターフェイスを介して、レプリケートされたソースデータをMicrosoft SQL Serverターゲットデータベースにポストすることができます。
これらの説明書には、このターゲットに固有のセットアップ手順が含まれています。これらのセットアップ手順を実行する前に、本マニュアルの適切な指示に従って、SharePlexをソースとターゲットにインストールします。
SharePlexを使用してこのターゲットにレプリケートする場合、サポート対象のバージョン、データ型、操作については、『SharePlexリリースノート』を参照してください。
SQL Serverにデータをレプリケートする場合、ソースデータベースとソースシステム上のSharePlexを以下のように設定します。
ソース上で、captureおよびルーティング情報を指定するSharePlexの設定ファイルを作成します。設定ファイルに必要な構造はレプリケーション戦略によって異なりますが、SQL Serverにデータをルーティングするために必要な構文をここに示します。
Datasource:r.dbname | ||
src_schema.table | tgt_owner.table | host |
ここで:
tgt_owner.tableは、ターゲットテーブルの所有者と名前です。
hostはターゲットシステムの名前です。
注意: 『SharePlex管理者ガイド』の「データをレプリケートするためのSharePlexの設定」を参照してください。
以下の例では、PostgreSQLインスタンスdbnameAからホストsysprod上のMS SQL ServerにテーブルSCOTT.EMPをレプリケートします。
Datasource: r.testdb SCOTT.EMP SCOTT.EMP sysprod@r.mydb
以下の手順を実行して、ターゲット上でSharePlexを構成します。
データベースのセットアップが、「Open Targetチェックリストページの要件をすべて満たしていることを確認します。
SharePlexは、Amazon Web Services(AWS)、Google Cloud SQL for PostgreSQL、Microsoft Azureのサービスとしてインストールされたデータベースをサポートしています。SharePlexがサポートするクラウドデータベースについては、各データベースの『SharePlexリリースノート』の「サポート対象のクラウドプラットフォーム」を参照してください。
IaaSクラウド環境、PaaSクラウド環境、SaaSクラウド環境では、SharePlexのインストール方法にいくつかの違いがあります。これらの違いは、SharePlexのインストールと設定についてのみです。一度インストールして設定すれば、SharePlexはクラウドでもオンプレミスと同じように動作します。さまざまな環境へのSharePlexのインストール方法の詳細については、「クラウド上でのSharePlexのセットアップの概要」を参照してください。
© ALL RIGHTS RESERVED. 利用規約 プライバシー Cookie Preference Center