PipelineDocs
GitHub
Docs / リファレンス / 設定

設定リファレンス

CLI・環境変数・DB バックエンド・workload フィールドの一覧です。

制御プレーン CLI

pipeline run [OPTIONS]

  --dev              SQLite + in-process worker + Web UI を1プロセスで起動
                     (DB未指定なら sqlite:///./pipeline.db、ワンタイム管理者PWを表示)
  --db-url TEXT      DB URL (例: sqlite:///./pipeline.db, mariadb://user:pw@host/db)
  --host TEXT        listen host (既定 0.0.0.0)
  --port INTEGER     listen port (既定 8000)
  --log-level TEXT   INFO / DEBUG / WARNING / ERROR (既定 INFO)

--dev--db-url も無い場合はエラー (exit 2) になります。pipeline --version でバージョンを表示します。

ワーカー CLI

pipeline worker [OPTIONS]

  --control-url TEXT 制御プレーンのURL (例: http://control-plane.example:8000) [必須]
  --hostname TEXT    ホスト名 (既定 socket.gethostname())
  --worker-id TEXT   worker識別子 (再起動をまたいで固定したいとき)
  --token TEXT       認証トークン (将来用)
  --idle-sleep FLOAT 仕事が無いときのsleep秒 (既定 1.0)
  --log-level TEXT   ログレベル (既定 INFO)

環境変数

アプリ本体 (PIPELINE_ 接頭辞)

変数意味既定
PIPELINE_DB_URLプライマリ DB の URL。sqlite:///./pipeline.db
PIPELINE_BIND_HOST / PIPELINE_BIND_PORTlisten host / port。0.0.0.0 / 8000
PIPELINE_MODE動作モード dev/control/worker/singlecontrol
PIPELINE_LOG_LEVELログレベル。INFO
PIPELINE_ADMIN_PASSWORD初回起動時の管理者 PW (認証を有効化する場合)。
PIPELINE_SECRET_KEYセッション署名鍵。
PIPELINE_PLUGIN_ROOTプラグインディレクトリのルート。/opt/pipeline/plugins
PIPELINE_SECONDARY_DB_URLsecondary MariaDB キューの URL (空で SQLite のみ)。
PIPELINE_INPROC_WORKERin-process worker を動かすか (dev 既定1)。状況依存
PIPELINE_ENV_FILEMinIO / MariaDB 認証情報を書いた .env の場所。/etc/pipeline/.env
PIPELINE_DEPLOY_KEYworker 箱へ SSH する deploy 秘密鍵。.pub は公開鍵 API が参照。~/.ssh/id_ed25519
PIPELINE_WATCHDOG_HOSTSwatchdog が worker を SSH 再起動する際の host=addr 表 (カンマ区切り)。未設定なら再起動機能は無効。
PAPRIKA_HUB投入率を引く外部 hub の URL。未設定ならその収集ループは起動しない。

サイト固有のアドレス (control plane / worker / MinIO / hub) はコードに既定値を持ちません。 未設定の機能はエラーにならず、その収集・操作だけが無効になります。

Storage SDK の .env

Storage SDK の認証情報は、PIPELINE_ 接頭辞のプロセス環境ではなく load_env_file が読む .env ファイルから解決されます。

キー意味
MINIO_ENDPOINT / MINIO_BUCKETminio("crawl") の接続先とバケット。
MINIO_RAW_ENDPOINT / MINIO_RAW_BUCKETminio("raw") の接続先とバケット。
MINIO_ACCESS_KEY / MINIO_SECRET_KEYMinIO 認証情報。
DB_HOST / DB_PORT / DB_USER / DB_PASS / DB_NAMEdb("main") の接続情報 (DB_PORT 既定 3306)。

データベースバックエンド

URL のスキームで自動選択されます。

  • SQLite (sqlite:...) — 実装済み。制御プレーンの既定。
  • MariaDB / MySQL (mariadb:... / mysql:...) — 実装済み。queue_backend: mariadb の workload の secondary キュー用。
  • PostgreSQL (postgres:...) — 未実装 (NotImplementedError)。

Workload のフィールド

Workloads 画面で設定できる項目です。

項目説明既定 / 範囲
slugURL / 識別子。小文字英数 + - / _、先頭は英数、最大63文字。変更不可。
name表示名。1–128文字
description(任意) メモ。
executor_typeshell / python_module
executor_configexecutor 固有設定 (§ Executor種別)。{}
priority高優先を先に処理。100 / 0–1000
weight同優先度内の配分比率 (weighted fair queue)。1.0 / 0–100
batch_size1回の claim で取る件数。10 / 1–10000
lease_secsclaim 後この秒数で他 worker が再 claim 可能に。300 / 10–86400
max_attemptsfail → retry の上限。超過で dead-letter。5 / 1–100
host_affinity対象ホスト名のリスト。空なら全ホスト対象。[] (全ホスト)
requires_gpuGPU が要るかの静的フラグ (配置設計の目安、ランタイム判定はしない)。false
max_concurrent_per_host同一ホストで同時実行できる worker 数の上限 (OOM 抑止)。無制限
max_concurrent_totalfleet 全体で同時実行できる worker 数の絶対上限 (単一 writer 保証)。無制限
queue_backendキュー格納先 sqlite / mariadbsqlite
supervisor_enabledsupervisor が patch/filter する事を許可するか。手で握るなら false。true
min_resident_workers(elastic) 常に維持する最低 worker 数。0 / 0–100
max_workers(elastic) scaler が起こす worker 数の絶対上限。無制限
「1 workload = 1 worker 固定」min_resident_workers = 1 かつ max_workers = 1 (または max_concurrent_total = 1)。self_loop 系の投入プラグインは多重起動すると増殖するため、この固定が定石です。
Pipeline — GUI-first batch fleet · ぱっぷすラボ GitHub · ホーム