Amazon RDS から EC2 にダンプファイルを転送する方法

POINT

<RDS から EC2 に転送する方法>
・RDSはOSログインできないので、ダンプファイルを操作するためには工夫が必要。
・RDS から EC2 にダンプファイルを転送するスクリプトがAWSから提供されている。
・転送用プログラムは、perlで作成されている。

<大容量サイズのファイルを転送する際の注意点>
・EC2で設定しているユーザの「limit filesize」を超過すると転送に失敗する
・「limit filesize」を超過した場合は、サイズを拡張すれば転送が成功する。

RDS から EC2 にダンプファイルを転送する方法は、下記のサイトが参考になる。
真ん中あたりに掲載されているperlの転送スクリプトを使用する。

https://xp-cloud.jp/blog/2018/02/06/2955/

perlの転送スクリプトで何をやっているかというと
 1.EC2からRDSのインスタンスに接続
 2.RDSのディレクトリに格納されているダンプファイル(.dmp)をECにコピー
ただ、コピーといってもperlスクリプトが実施していることは、
 バイナリでデータを読み込み、別のファイルにバイナリで書き出すという単純な処理です。

ただ、私の場合、転送ファイルのサイズ (200GB) があまりに大きかったため、ファイルの転送が途中で終了してしまい、うまくいきませんでした。原因は、Linuxのユーザプロファイルで定義されている「1ファイルあたりの最大ファイルサイズ :limit filesize」 の64GBの制限を超過していたためでした。

1ファイルあたりの最大ファイルサイズ「limit filesize 」 を拡張する方法は、コマンド1発で変更可能です。 下記のサイトが参考になる。

https://www.express.nec.co.jp/linux/distributions/knowledge/system/ulimit.html

以上

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です