Plan · tick() 选出本轮要跑的节点
展开本步读写和源码逻辑
- 读什么
- 写什么
- 为什么
一轮 superstep,先选任务,再并行执行,最后合并状态。
把一轮想成一次有统一结算时间的并行作业。所有节点先拿到这一轮的输入,做完交出各自的结果,最后统一更新状态。
# pregel/main.py · 简化后的同步执行骨架
while loop.tick(): # Plan · 选出本轮任务
for _ in runner.tick(...): # Execution · 执行并收集写入
... # 也会向调用方发送流式事件
loop.after_tick() # Update · 合并 Channel,再安排保存 checkpoint
_loop.py → tick() 调 prepare_next_tasks()。例如某节点订阅的触发 Channel 现在是版本 2,它上次处理到版本 1,且该触发 Channel 可用,就能安排它执行。channel_versions 记录每个 Channel 的进度,versions_seen 记录节点已经看到的版本。_runner.py → tick() 执行节点,完成后记录该任务的写入。图中的 A/B 本轮都读到 facts=[],A 先完成也不会让 B 的本轮输入突然变化。_loop.py → after_tick() 调 apply_writes(),把各任务的写入按 Channel 分组,调用 channel.update(values)。已经更新的 Channel 可能触发下一轮节点。启用持久化时,这里也推进 checkpoint。把 Channel 当作运行时管理的一个状态槽位。它有当前值、接收更新的规则,运行时还维护版本。StateGraph 把 facts 这类状态字段映射为 Channel,也会为节点间的控制流构建触发 Channel。所以要分清节点读哪些字段和哪些 Channel 更新会触发该节点。
工程上,把 facts 声明为 Annotated[list[str], operator.add],并让节点返回各自产出的新条目。如果节点返回整份已有列表再追加,合并时可能重复累积。外部写库仍要单独设计幂等。
按 Channel 应用写入 · LastValue.update() · BinaryOperatorAggregate.update()
thread_id 是哪一次持续的任务历史,checkpoint_id 是这段历史中的某份快照。 一个线程可以有多个 checkpoint。子图用 checkpoint_ns 区分命名空间,根图通常是空字符串。
Checkpoint 保存轮边界的图状态和版本信息。put_writes() 可为同一 checkpoint 单独记录已完成任务的写入。如果 A 完成并且它的写入已经持久化,B 随后失败,正常故障恢复可以复用 A 的结果,让未完成任务继续执行。显式从旧 checkpoint 回放时,后续节点可能重新执行。
它是执行运行时。StateGraph.compile() 装配节点和 Channel,Pregel 每轮选择可运行节点、执行任务、批量更新 Channel,再根据新版本开始下一轮。
同一 superstep 内,B 读取这一轮的输入,A 的节点写入在轮末合并后才对下一轮可见。若 B 必须依赖 A 的结果,就用边让 B 在后续轮次执行。
Command(resume=...) 让运行时用同一个 thread_id 找回进度。被中断的节点从函数开头执行,到 interrupt() 时取到审批值。把写库、付款或发通知放在审批之后,重试路径再用业务幂等键保护。