設定リファレンス
CLI・環境変数・DB バックエンド・workload フィールドの一覧です。
制御プレーン CLI
pipeline run [OPTIONS]
--dev SQLite + in-process worker + Web UI を1プロセスで起動
(DB未指定なら sqlite:///./pipeline.db、ワンタイム管理者PWを表示)
--db-url TEXT DB URL (例: sqlite:///./pipeline.db, mariadb://user:pw@host/db)
--host TEXT listen host (既定 0.0.0.0)
--port INTEGER listen port (既定 8000)
--log-level TEXT INFO / DEBUG / WARNING / ERROR (既定 INFO)
--dev も --db-url も無い場合はエラー (exit 2) になります。pipeline --version でバージョンを表示します。
ワーカー CLI
pipeline worker [OPTIONS]
--control-url TEXT 制御プレーンのURL (例: http://control-plane.example:8000) [必須]
--hostname TEXT ホスト名 (既定 socket.gethostname())
--worker-id TEXT worker識別子 (再起動をまたいで固定したいとき)
--token TEXT 認証トークン (将来用)
--idle-sleep FLOAT 仕事が無いときのsleep秒 (既定 1.0)
--log-level TEXT ログレベル (既定 INFO)
環境変数
アプリ本体 (PIPELINE_ 接頭辞)
| 変数 | 意味 | 既定 |
|---|---|---|
PIPELINE_DB_URL | プライマリ DB の URL。 | sqlite:///./pipeline.db |
PIPELINE_BIND_HOST / PIPELINE_BIND_PORT | listen host / port。 | 0.0.0.0 / 8000 |
PIPELINE_MODE | 動作モード dev/control/worker/single。 | control |
PIPELINE_LOG_LEVEL | ログレベル。 | INFO |
PIPELINE_ADMIN_PASSWORD | 初回起動時の管理者 PW (認証を有効化する場合)。 | — |
PIPELINE_SECRET_KEY | セッション署名鍵。 | — |
PIPELINE_PLUGIN_ROOT | プラグインディレクトリのルート。 | /opt/pipeline/plugins |
PIPELINE_SECONDARY_DB_URL | secondary MariaDB キューの URL (空で SQLite のみ)。 | — |
PIPELINE_INPROC_WORKER | in-process worker を動かすか (dev 既定1)。 | 状況依存 |
PIPELINE_ENV_FILE | MinIO / MariaDB 認証情報を書いた .env の場所。 | /etc/pipeline/.env |
PIPELINE_DEPLOY_KEY | worker 箱へ SSH する deploy 秘密鍵。.pub は公開鍵 API が参照。 | ~/.ssh/id_ed25519 |
PIPELINE_WATCHDOG_HOSTS | watchdog が worker を SSH 再起動する際の host=addr 表 (カンマ区切り)。未設定なら再起動機能は無効。 | — |
PAPRIKA_HUB | 投入率を引く外部 hub の URL。未設定ならその収集ループは起動しない。 | — |
サイト固有のアドレス (control plane / worker / MinIO / hub) はコードに既定値を持ちません。 未設定の機能はエラーにならず、その収集・操作だけが無効になります。
Storage SDK の .env
Storage SDK の認証情報は、PIPELINE_ 接頭辞のプロセス環境ではなく load_env_file が読む .env ファイルから解決されます。
| キー | 意味 |
|---|---|
MINIO_ENDPOINT / MINIO_BUCKET | minio("crawl") の接続先とバケット。 |
MINIO_RAW_ENDPOINT / MINIO_RAW_BUCKET | minio("raw") の接続先とバケット。 |
MINIO_ACCESS_KEY / MINIO_SECRET_KEY | MinIO 認証情報。 |
DB_HOST / DB_PORT / DB_USER / DB_PASS / DB_NAME | db("main") の接続情報 (DB_PORT 既定 3306)。 |
データベースバックエンド
URL のスキームで自動選択されます。
- SQLite (
sqlite:...) — 実装済み。制御プレーンの既定。 - MariaDB / MySQL (
mariadb:.../mysql:...) — 実装済み。queue_backend: mariadbの workload の secondary キュー用。 - PostgreSQL (
postgres:...) — 未実装 (NotImplementedError)。
Workload のフィールド
Workloads 画面で設定できる項目です。
| 項目 | 説明 | 既定 / 範囲 |
|---|---|---|
slug | URL / 識別子。小文字英数 + - / _、先頭は英数、最大63文字。変更不可。 | — |
name | 表示名。 | 1–128文字 |
description | (任意) メモ。 | — |
executor_type | shell / python_module。 | — |
executor_config | executor 固有設定 (§ Executor種別)。 | {} |
priority | 高優先を先に処理。 | 100 / 0–1000 |
weight | 同優先度内の配分比率 (weighted fair queue)。 | 1.0 / 0–100 |
batch_size | 1回の claim で取る件数。 | 10 / 1–10000 |
lease_secs | claim 後この秒数で他 worker が再 claim 可能に。 | 300 / 10–86400 |
max_attempts | fail → retry の上限。超過で dead-letter。 | 5 / 1–100 |
host_affinity | 対象ホスト名のリスト。空なら全ホスト対象。 | [] (全ホスト) |
requires_gpu | GPU が要るかの静的フラグ (配置設計の目安、ランタイム判定はしない)。 | false |
max_concurrent_per_host | 同一ホストで同時実行できる worker 数の上限 (OOM 抑止)。 | 無制限 |
max_concurrent_total | fleet 全体で同時実行できる worker 数の絶対上限 (単一 writer 保証)。 | 無制限 |
queue_backend | キュー格納先 sqlite / mariadb。 | sqlite |
supervisor_enabled | supervisor が patch/filter する事を許可するか。手で握るなら false。 | true |
min_resident_workers | (elastic) 常に維持する最低 worker 数。 | 0 / 0–100 |
max_workers | (elastic) scaler が起こす worker 数の絶対上限。 | 無制限 |
「1 workload = 1 worker 固定」は
min_resident_workers = 1 かつ max_workers = 1 (または max_concurrent_total = 1)。self_loop 系の投入プラグインは多重起動すると増殖するため、この固定が定石です。