使用 Dask 扩展
DaskExecutor允许您在 Dask 分布式集群中运行 Airflow 任务。
Dask 集群可以在单个机器上运行，也可以在远程网络上运行。有关完整详细信息，请参阅分布式文档 。
要创建集群，首先启动一个 Scheduler：
# 一个本地集群的默认设置
DASK_HOST=127.0.0.1
DASK_PORT=8786
dask-scheduler --host $DASK_HOST --port $DASK_PORT
接下来，在任何可以连接到主机的计算机上启动至少一个 Worker：
dask-worker $DASK_HOST:$DASK_PORT
编辑airflow.cfg以将执行程序设置为DaskExecutor并在[dask]部分中提供 Dask Scheduler 地址。
请注意：
- 每个 Dask worker 必须能够导入 Airflow 和您需要的任何依赖项。
- Dask 不支持队列。如果使用队列创建了 Airflow 任务，则会引发警告，但该任务会被提交给集群。
