KubeRay：在 K8S 上管理 Ray 集群的官方 Operator，是 K8S + Ray 的标准连接方式。

KubeRay 架构：

┌─── K8S Cluster ─────────────────────────┐
│                                          │
│  ┌──────────────┐                        │
│  │ KubeRay      │  ← K8S Operator       │
│  │ Operator     │    监听 RayCluster CRD │
│  └──────────────┘    自动创建/管理 Pod    │
│                                          │
│  ┌─── RayCluster CRD ────────────────┐  │
│  │                                    │  │
│  │  ┌────────┐  ┌────────┐           │  │
│  │  │Head Pod│  │Worker  │ × N       │  │
│  │  │(1 GPU) │  │Pod     │ (各 1 GPU)│  │
│  │  │Ray GCS │  │Ray     │           │  │
│  │  │Scheduler│ │Worker  │           │  │
│  │  └────────┘  └────────┘           │  │
│  │                                    │  │
│  └────────────────────────────────────┘  │
└──────────────────────────────────────────┘

RayCluster CRD 示例（简化版）：

apiVersion: ray.io/v1
kind: RayCluster
metadata:
  name: rl-training-cluster
spec:
  headGroupSpec:
    rayStartParams:
      dashboard-host: '0.0.0.0'
    template:
      spec:
        containers:
        - name: ray-head
          image: my-registry/rl-train:v1.2.3
          resources:
            requests: { cpu: "4", memory: "8Gi" }
  workerGroupSpecs:
  - replicas: 8                    # 8 个 Worker Pod
    minReplicas: 4                 # 最少 4 个（弹性伸缩下限）
    maxReplicas: 16                # 最多 16 个（弹性伸缩上限）
    rayStartParams: {}
    template:
      spec:
        containers:
        - name: ray-worker
          image: my-registry/rl-train:v1.2.3   # 同一镜像！
          resources:
            requests: { cpu: "4", memory: "16Gi", nvidia.com/gpu: "1" }
            limits: { nvidia.com/gpu: "1" }
        nodeSelector:
          gpu-type: a100

训推环境一致性（K8S 层面）：

手段	保证什么
所有 Pod 使用完全相同的 Docker 镜像 tag	Python、PyTorch、SDK、依赖库全部一致
`imagePullPolicy: IfNotPresent`	使用本地缓存加速，避免拉取不同版本
镜像仓库不可变 tag（如 v1.2.3 只对应一个镜像）	同一 tag 永远是同一内容
评测 Job 也用同一镜像	评测环境 = 训练环境 = 推理环境

容错机制：

Pod 挂了：K8S 自动重启（或 KubeRay 重建 Worker Pod）
训练恢复：配合 checkpoint（存在 PersistentVolume 上），新 Pod 从最近的 checkpoint 恢复
弹性伸缩：KubeRay Autoscaler 根据 Ray 任务队列自动扩缩 Worker 数量

KubeRay 详细架构：

# KubeRay 引入 RayCluster CRD：
apiVersion: ray.io/v1
kind: RayCluster
spec:
  headGroupSpec:
    replicas: 1
    template:
      containers:
      - name: ray-head
        resources:
          limits: { cpu: "4", memory: "8Gi" }
  workerGroupSpecs:
  - groupName: gpu-workers
    replicas: 8
    template:
      containers:
      - name: ray-worker
        resources:
          limits: { nvidia.com/gpu: "1", memory: "32Gi" }

KubeRay Operator 监听 RayCluster 资源，自动创建 Head Pod + Worker Pods，管理 Ray 集群的扩缩容和故障恢复。

💡 面试时可以这样说：KubeRay 让 K8S 管 Ray 集群的生命周期——K8S 负责拉起 Pod、分配 GPU、保证镜像一致，Ray 负责内部的 Task/Actor 调度。训推一致性通过锁定 Docker 镜像版本保证，这和我在 CodeAct 中用统一沙箱镜像保证一致性的思路是一样的。