本文へスキップ
LightFile Next

SFTP ​

SSH File Transfer Protocolを使用した安全なファイル転送です。

YAML設定ファイルの書き方

接続設定は batch.sftp の下に、処理対象ディレクトリやフィルタは batch の直下に書きます。 batch.fileSystem: sftp を書いておけば、サブコマンドなしの lightfile-batch -c job.yaml だけで実行できます（v6.0.10 から）。

--sftp-host（batch.sftp.host）と --sftp-user（batch.sftp.user）は、コマンドラインか設定ファイルのどちらかで必ず指定します。

パスワード認証 ​

ユーザー名とパスワードで認証します。シンプルな接続方法ですが、秘密鍵認証の方がより安全です。

コマンドライン:

bash
lightfile-batch sftp \
  --sftp-host sftp.example.com \
  --sftp-user myuser \
  --sftp-password mypassword \
  --sftp-dir /images

YAML設定ファイル:

yaml
batch:
  fileSystem: sftp
  dir: /images
  sftp:
    host: sftp.example.com
    port: 22
    user: myuser
    password: mypassword

秘密鍵認証（推奨） ​

SSH秘密鍵を使用した認証です。パスワード認証よりも安全で、サーバー管理で一般的に推奨される方式です。

コマンドライン:

bash
# パスフレーズなしの秘密鍵
lightfile-batch sftp \
  --sftp-host sftp.example.com \
  --sftp-user myuser \
  --sftp-private-key ~/.ssh/id_rsa \
  --sftp-dir /images

# パスフレーズ付き秘密鍵
lightfile-batch sftp \
  --sftp-host sftp.example.com \
  --sftp-user myuser \
  --sftp-private-key ~/.ssh/id_rsa \
  --sftp-passphrase mypassphrase \
  --sftp-dir /images

YAML設定ファイル:

yaml
batch:
  fileSystem: sftp
  dir: /images
  sftp:
    host: sftp.example.com
    port: 22
    user: myuser
    privateKeyPath: ~/.ssh/id_rsa
    privateKeyPassword: mypassphrase  # パスフレーズ付き秘密鍵の場合

--sftp-private-key には鍵ファイルのパスを指定します。YAMLでは、鍵ファイルのパスを privateKeyPath に、鍵の中身（PEM文字列）を直接書く場合は privateKey に指定します。

v6.0.8 までの不具合

v6.0.8 までは --sftp-private-key に渡した値を鍵の中身として読んでいたため、鍵ファイルのパスを指定しても認証できませんでした。v6.0.10 で修正しています。それ以前のバージョンでは、YAMLの privateKeyPath を使ってください。

ベースパスと処理対象ディレクトリ ​

SFTPでは場所を2段階で指定します。

指定コマンドラインYAML意味
ベースパス--sftp-base-path v6.0.10+batch.sftp.basePath処理の起点。未指定ならログイン直後のディレクトリ
処理対象ディレクトリ--sftp-dirbatch.dirベースパスの下のディレクトリ。この下だけをたどる
  • dir はベースパスからの相対パスです。先頭の / は無視されます（/images と images は同じ）
  • 指定したディレクトリが存在しない場合は、エラーで止まります
  • 処理済みの記録（相対パス）とプロジェクトはベースパスを基準にしています。プロジェクトを決めるURLは sftp://<user>@<host>:<port><basePath> です。dir を変えても、処理済みの記録はそのまま引き継がれます

コマンドライン:

bash
# /var/www/html/uploads の下だけを処理する
lightfile-batch sftp \
  --sftp-host sftp.example.com \
  --sftp-user myuser \
  --sftp-private-key ~/.ssh/id_rsa \
  --sftp-base-path /var/www/html \
  --sftp-dir uploads

YAML設定ファイル:

yaml
batch:
  fileSystem: sftp
  dir: uploads
  sftp:
    host: sftp.example.com
    user: myuser
    privateKeyPath: ~/.ssh/id_rsa
    basePath: /var/www/html

v6.0.8 までの挙動

v6.0.8 までは --sftp-dir と batch.dir が無視され、ベースパス（未指定ならログイン直後のディレクトリ）の下をすべて処理していました。v6.0.10 から、指定したディレクトリの下だけを処理します。

スキャンの並列数 v6.0.10+ ​

SFTP のスキャンはディレクトリを1つ読むたびにサーバーとの往復を待ちます。ディレクトリが数十万ある木では、直列に読むとスキャンだけで何時間もかかります。v6.0.10 から、既定で4つのディレクトリを並列に読みます。

コマンドラインYAMLデフォルト
--sftp-walk-concurrency <n>batch.sftp.walkConcurrency4
bash
lightfile-batch sftp \
  --sftp-host sftp.example.com \
  --sftp-user myuser \
  --sftp-walk-concurrency 16

YAML設定ファイル:

yaml
batch:
  fileSystem: sftp
  sftp:
    host: sftp.example.com
    user: myuser
    walkConcurrency: 16
  • サーバーの同時接続や負荷が気になる場合は 1（直列）にしてください
  • ファイルの処理の並列数（--concurrency）とは別の値です
  • 並列で読むので、ファイルを見つける順番は実行ごとに変わります。--limit で件数を絞ったときに選ばれるファイルも変わることがあります