跳转到内容
Rayrun
登录注册

Harbor（Agent 评测框架）

Harbor 是一个 Agent 评测框架。它通过 --env 的自定义环境入口加载 Rayrun 的 provider（harbor_rayrun:RayrunEnvironment）—— 一句话概括：评测任务跑在 Rayrun 沙箱里，而不是跑在本地 Docker 里。不需要改 Harbor 上游。

准备

Section titled “准备”
# 前提
1 一个 API Token（控制台「设置 → 我的 API Token」签发）
2 Harbor >=0.23,<0.24，与 harbor_rayrun provider 装在同一个 Python 环境
3 评测任务的镜像已备在 Rayrun 侧（见下）

跑

Section titled “跑”
终端窗口
export RAYRUN_API_URL=https://api.rayrunos.com/v1   # 注意带 /v1
export RAYRUN_TOKEN=rayrun_<token_id>_<secret>    # 第 1 步签发的 Token


harbor run -p <任务目录> -a oracle -e harbor_rayrun:RayrunEnvironment -o <结果目录> -y

镜像名默认取「任务目录名 @1」（如 regex-log → regex-log@1）；可用 RAYRUN_IMAGE_PREFIX / RAYRUN_IMAGE_VERSION 改前缀与版本。对不上时 provider 会直接报错并列出平台上现有的镜像，不会静默拿错镜像。

怎么算跑通了

Section titled “怎么算跑通了”

-a oracle（参考解）的 reward = 1.0。参考解拿满分是任务作者验证任务时用的 同一信号，且它把整条链跑满：建沙箱 → 上传 solution/ tests/ → 执行 → 出网装依赖 → 校验 → 回传 /logs。