减少高价值视频样本的发现成本
将长时视频转为可检索事件候选,并用 PIX 专家定义的标准进行最终确认;是否优于现有方法,以联合评测为准。
探索在保留 PIX Moving 现有自动驾驶、数据平台和运营体系的前提下,通过多模态检索、视觉语言模型(VLM)及专家复核,构建可检索、可追溯、可复用的视频事件数据工作流。目标是验证 准确性、实际工程价值与端到端成本,而非替代既有感知或安全控制系统。
CEO 可先阅读本节和第 6 节,然后转交技术负责人详细审阅其余内容。
将长时视频转为可检索事件候选,并用 PIX 专家定义的标准进行最终确认;是否优于现有方法,以联合评测为准。
优先复用 PIX 已有的存储、检索、传统 CV、标注和训练管线;只在能产生增量价值的位置接入新组件。
围绕长尾场景挖掘、Timeline 标注和数据质量,比较人工、规则/CV、检索以及检索+VLM 四类方法。
如长尾事件检索、数据标注、重复数据清洗或运营事件回溯;以 PIX 实际流程和指标为起点。
包括已获授权的视频、时间戳、CAN/IMU/定位元数据,以及现有数据集、标签标准和可用评测集。
优先度量精度、召回、专家审核负荷、每个有效事件的全链路成本,并与当前基线公平比较。
由数据控制者、部署地域和处理目的决定技术方案;跨境处理与产品能力需逐项目核实。
保留原 Portal 中的 8 个场景(A–H)与 PIXKIT 生态方向(I),重新按“可验证的工程增量”整理。以下是供讨论的应用假设,不是对 PIX 既有能力或业务需求的判断。
共用“检索—理解—标注—专家确认”数据底座,可在一个样本集上逐步验证多种能力。
需要额外确认运营方数据权利、事件日志及证据管理流程,不宜预先假设可取得所有视频。
适合在产品路线和场景明确之后独立评估,不强行纳入首个 PoC。
| 编号 | 候选应用 | 可能交付的增量能力 | 关键验证条件 | 建议节奏 |
|---|---|---|---|---|
| B | 长尾 / Corner-case 场景挖掘 | 识别稀缺或复杂交通参与者交互,建立带时间戳的候选事件池,供训练与测试使用。 | 经授权视频、事件定义;可选 CAN/IMU;完整正负例评测集。 | 优先验证 |
| A | Timeline 自动初步标注 | 生成道路结构、交通参与者、环境与行为等结构化初稿,专家确认后回写标签系统。 | 现有标注 Schema、视频片段与独立专家 GT。 | 优先验证 |
| F | 数据集去重与质量管理 | 筛掉重复、低信息量或明显低质量片段;检查标签一致性,减少训练数据治理成本。 | 授权训练子集、已有标签与质量规则。 | 优先验证 |
| C | 自然语言语义检索 | 通过语言查询定位事件视频及时间片段,与长尾挖掘共享检索索引。 | 经授权视频及有代表性的搜索查询 / 相关性 GT。 | 优先验证 |
| D | RoboBus 运营异常辅助分析 | 对既有事件日志与视频开展非实时的候选摘要和人工复核支持。 | 运营方允许处理的视频、已有日志及运营决策流程(如存在)。 | 条件成熟后 |
| G | 测试 / 事件证据检索 | 辅助查找事件片段、整理时间线及证据索引,不作责任归因。 | 有权处理的测试或事件视频、审计和留存要求。 | 条件成熟后 |
| E | RoboShop / RoboVan 场景辅助 | 探索零售 / 物流场景行为或异常片段的结构化理解。 | 具体业务用例、合法的数据范围与产品实际部署条件。 | 后续探索 |
| I | PIXKIT / PIXLOOP 开发者生态 | 探索面向 ROS bag、研发视频及教学数据的场景检索与标注 SDK。 | PIXKIT 技术接口、开发者使用需求及合作意愿。 | 后续探索 |
| H | 机器人动作与任务数据 | 面向未来具身智能数据集的动作切分和任务描述,需专门验证。 | 相关任务视频、动作定义与真实项目需求。 | 后续探索 |
长尾样本发现能同时验证视频检索、事件定义、模型理解、人工裁定和数据回写,形成能够用于后续 Timeline 标注及质量管理的公共能力。这里的 Corner-case 是可供专家复核的候选场景,而非由 VLM 独立判定的车辆安全事件;“near-miss”之类涉及几何或运动学阈值的结论,需要可用传感器和独立算法支持。
沿用原 Portal 的七层设计,明确 PIX 现有系统、候选 ByteDance/BytePlus 能力及人工验证的责任边界。具体产品组合可在不更换现有存储与向量库的条件下调整。
从 PIX 授权数据源取得视频及元数据。CAN、IMU、LiDAR 和定位只在可用、可同步且获授权时接入;所有来源保留原始 ID 与时间戳。
按现有规则/CV/日志触发候选,完成切片、去标识化、抽帧及权限验证;不默认上传全量视频。
对视频或图像片段建向量索引并召回 Top-K;允许复用 PIX 向量数据库或既有检索引擎。
对候选片段进行事件分类、开放场景描述和误报筛除。必须能回溯具体帧与模型版本。
以双方确认的 JSON Schema 输出事件类别、起止区间、对象、动作及证据引用;未确认字段标记未知。
用独立专家双人评审与争议仲裁构建 GT,重点审核安全相关、罕见和困难样本。
只有满足数据许可和审核规则的事件或标签才增量回写既有训练、仿真或运营系统;不进入车端实时控制。
用现有触发器、标签、传感器与轻量检索先筛选候选;只有对复杂语义场景才调用 VLM,避免不必要的全量推理。
若真正的罕见事件在第一层筛选即被漏掉,后续 VLM 无法补救。必须独立测量候选池覆盖率与检索召回。
事件必须保留原视频定位、时间区间、传感器关联与人工确认状态。模型生成的置信表述不代表已校准概率。
允许沿用 PIX 数据湖、既有向量检索、对象存储及标签系统;VLM 仅在实际效果领先基线时加入。
以下组件目录根据原 Portal 的 20 个技术条目整理,分为现有系统、候选平台能力、开放替代和评测机制。目录不是已确认供货清单,尤其模型版本、批量推理、向量库及区域支持需逐项核验。
| 组件类别 | 可选技术 | 在本方案中的作用 | 验收与替换要求 |
|---|---|---|---|
| 输入与前处理 | PIX 现有数据接口 + 视频切分/去标识化 | 按时间、车辆/ODD、合规状态形成最小授权输入数据。 | 先确认 PIX 的存储、权限及可用性;抽帧与脱敏需要单独验收。 |
| 粗筛和召回 | 现有规则/CV / Seed Embedding / OpenCLIP | 以低成本方式提升候选池覆盖率,减少 VLM 检查量。 | 与现有规则及纯 Embedding 做独立 Recall / Top-K 对比。 |
| 检索底座 | PIX 现有向量库 / VikingDB / Milvus / Qdrant | 管理跨模态向量和事件元数据索引。 | 避免强制迁移;比较索引成本、访问控制、吞吐与数据位置。 |
| VLM 与结构化输出 | Doubao Seed VLM / JSON Schema / 可替换候选模型 | 在候选视频上生成可复核的结构化事件初稿。 | 模型、地区、输入限制、价格和批处理均需正式核实。 |
| 数据治理与评测 | FiftyOne / 客户标注系统 / 独立冻结 GT | 数据治理、人工仲裁、版本和质量回归。 | 与业务专家定义事件范围、正确性、保留策略。 |
| 可选增强 | ASR / Batch / Prompt 优化 / SFT | 仅在特定场景有必要时加入后处理或模型改进。 | 避免把非通用区域能力当作默认交付;先做基线。 |
建议将 VLM 的初稿输出与专家裁定结果分开存储。以下 JSON 仅为接口格式示例,不代表 PIX 已采用此 Schema;也不把模型的语义判断当成安全事实。
{
"record_id": "demo-event-001",
"video_ref": "anonymized-clip-001",
"time_range_ms": {"start": 15420, "end": 18240},
"event_type": "pedestrian_crossing_candidate",
"description": "前方行人进入车辆行驶区域(模型候选描述)",
"evidence": {"frame_refs": ["frame-032", "frame-037"]},
"sensor_context": {"can_ref": null, "imu_ref": null},
"provenance": {"model_id": "to_be_confirmed", "prompt_version": "v0"},
"human_validation": {
"status": "pending",
"approved_label": null,
"reviewer": null
}
}| 接口 | 建议输入 | 建议输出 | 职责划分 |
|---|---|---|---|
| Dataset Intake | 授权视频 ID、对象存储地址、时间戳、隐私处理状态、可选传感器关联 | 可处理片段清单 + 失败原因 | PIX 控制数据范围;双方协定安全传输 |
| Candidate Retrieval | 场景查询 / 事件规则、索引与筛选条件 | 候选片段 Top-K、召回来源、证据定位 | 既有检索优先,新增服务可替换 |
| VLM Annotation | 候选片段 / 代表帧、标签定义、JSON Schema | 结构化事件初稿与可检查证据 | 模型执行不负责安全结论 |
| Human Adjudication | 模型候选、原始授权片段、关联传感器、标注指南 | 确认 / 驳回 / 修改记录、可复核 GT | 由 PIX 业务专家或其指定人员裁定 |
| Dataset Export | 已批准的事件与标签、原始引用、版本信息 | 兼容 PIX 既有格式的数据集增量 | 数据导出范围与用途由 PIX 决定 |
方案面向 PIX 全球研发及部署环境,但不假设全球视频可以集中回传或由同一主体取得再利用权限。先确定数据控制和处理位置,再确定模型服务。
| 备选模式 | 适用前提 | 可能的技术组合 | 必须确认 |
|---|---|---|---|
| 中国境内处理 | 已授权的中国研发/测试数据 | 中国区域的视频处理、Embedding、检索和 VLM 组合 | 数据权属、适用汽车数据及个人信息规则、各组件可用性 |
| 海外托管 | 适用区域允许使用受托云服务 | BytePlus 区域能力 + 合规的数据传输、存储及模型推理 | 实例/子处理者位置、是否跨区域路由、具体产品清单与合同安排 |
| PIX 现有栈混合部署 | 已有数据湖、向量检索、标注系统 | 保持 PIX 存储与索引,增加可替换的 VLM 精排和数据输出层 | 现有接口、认证权限、出入域方式、模型任务的日志与删除策略 |
| 严格本地化 / 隔离环境 | 数据不可离开指定区域或网络 | 本地数据管线与经评估的自托管模型/开源组件 | 部署许可、GPU 资源、软件维护、安全审查和实际效果 |
首先满足适用的汽车数据与个人信息保护要求;不得默认将海外车队视频汇总到中国训练。
需考虑 APPI、运营合作方权限、跨境委托及数据使用目的。是否能将运营视频用于训练须单独确认。
需确认 GDPR / UK GDPR 适用范围、数据主体告知、合法基础、处理合同、存储与子处理者地点。
按具体国家、州及运营合同审查。没有单一“中东合规”或“美国合规”的通用部署声明。
沿用原 Portal 的集成式 Pilot:优先一个共享数据底座,验证三类互补能力。样本数和排期只作为提案起点,项目启动前应由双方技术团队确认并形成实验协议。
技术目标:从视频中发现与 PIX 自定义事件类型相符的候选片段,并评估检索与 VLM 重排带来的有效增量。
建议先以 200–500 段去标识化、已授权视频构建原型;任选三类事件。若具备可同步 CAN/IMU,则保留用于独立运动学核验。
PIX 专家共同编写事件定义;包含正例、随机负例、难负例及边界例,冻结集在最终测试之前不得用于调参。
PIX 当前方法(若有)+ 人工检索 + 规则/CV 触发 + 纯 Embedding 检索;明确统一人工审核投入。
稀缺事件实际占比低、帧采样漏召、视觉近失误判;不足量的正例无法给出稳定总体 Recall。
| 主要指标 | 评估方式 | 讨论中的验收逻辑 |
|---|---|---|
| Precision@K / Recall / 每个有效事件成本 | 独立标注池核算 TP/FP/FN,分层报告候选召回、重排后精准率、人工工时和 TCO。 | 由双方根据真实基线商定数值门槛;原 Portal 中的百分比仅是研究阶段示例,不直接作为客户验收承诺。 |
技术目标:将自车状态(需传感器核验)、交通参与者、道路环境和场景变化整理为初步 Timeline 标签,减少专家重复编写。
建议小样本视频集(原 Portal 参考 50–100 段)及 PIX 当前标签 Schema、标注指南;可选多语言。
逐字段确认标签含义、起止时刻及不可判定条件;针对短时动作、遮挡与复合动作建立单独标签规则。
PIX 现有标注流程的字段正确率、人均耗时与重工率。
时序与空间运动描述不稳定、复杂动作难例、Schema 差异和人工修正负担。
| 主要指标 | 评估方式 | 讨论中的验收逻辑 |
|---|---|---|
| 字段准确率 / 时间误差 / 审核修正率 | 对字段级、人审级指标独立计量;明确“未知/不判断”字段的处理。 | 以可用字段质量和综合人工工时为门槛,而非只统计自动生成标签数量。 |
技术目标:验证数据质量筛查、语义相似去重、事件证据快速定位是否能复用已有索引。
小规模经授权的训练子集、既有标签和部分历史事件索引(如有);内容敏感时可仅用演示数据。
记录人工确认的重复对、质量等级、已知事件与正确时间位置;确认误报可容忍度。
既有按时间/车辆的检索、数据质量规则以及当前人工处理耗时。
不同 ODD 的误合并、重要稀有片段被自动去重、事故信息被误用作责任判断。
| 主要指标 | 评估方式 | 讨论中的验收逻辑 |
|---|---|---|
| Top-K 命中率 / 重复识别 / 单次事件定位时间 | 在同等检索任务集上比较质量与耗时;对被自动排除的数据设置人工复核例外。 | 以可审计的检索和数据整理收益为门槛,不把生成摘要作为法律证据结论。 |
事件分类、权利和权限、目标指标、接口、部署区域及双边职责。
建立数据子集、独立人工标注指南、规则/CV/Embedding 基线。
候选召回、VLM 重排、失败样例归类、人工裁定与成本追踪。
独立终评、性能与 TCO、接口可维护性;决定继续、调整或停止。
评测目标不是验证“模型能否生成好看的描述”,而是判断完整系统能否在同等人工审核预算和可比质量下,发现更多有用事件或减少处理成本。
| 评价量 | 定义 | 解释限制 |
|---|---|---|
| Precision@K | 前 K 个检索/重排候选中,经独立人工判定为有用事件的比例 | 可用于工程排序评估;只反映查看前 K 个结果的质量 |
| Recall | TP / (TP + FN),分母必须来自有完整标注覆盖的独立评测集 | 若只人工审阅模型返回的 Top-K,无法直接计算总体召回 |
| 事件定位误差 | 候选与人工 GT 的开始/结束时间差、IoU 或时序匹配指标 | 视频抽帧可能丢失短暂事件;定义时间容忍区间 |
| 字段质量 | 逐字段准确率、一致性、缺失率及人工修正率 | 标签类型应区分事实、推断和无法判断 |
| 人工工作量 | 专家标注 / 审核总分钟数,及同等质量下节约的时间 | 必须包含误报复核、争议仲裁与数据修复 |
| Cost / Validated Event | 七项总成本 / 独立确认的有效事件数 | 事件定义、质量门槛和有效事件计数方法须固定 |
| 工程稳定性 | 任务失败率、重试、吞吐、可追溯性、版本回归 | 原型成功不代表可直接上线为安全关键生产系统 |
① 当前人工方法;② 规则/CV/传感器触发;③ 仅 Embedding 检索;④ 检索 + VLM 重排 + 专家复核。
包括平行骑行但未切入、道路边缘静止车辆、因自车转弯产生的视觉横移等,避免模型只靠视觉相似性误判。
按车辆 / 日期 / 地点 / 道路环境(ODD)划分训练、调参和冻结测试集,减少同一事件跨切片泄漏。
需要足够经确认的正例和有代表性的负例;若样本不足,只报告可观察结果及不确定性,不给出泛化 Recall 结论。
原 Portal 的成本主题保留,但将人工审核与有效事件计数拆开建模,以防审核比例、人工时薪和有效事件率混算。所有成本输入默认为空,避免把研究估值误当 ByteDance 报价。
单位为人民币,仅作统一计算单位,可在实际项目中整体换算币种;空白不代表零成本。
等待填入七项成本及有效事件参数。
| 变量 | 为什么会显著改变成本 | 记录建议 |
|---|---|---|
| 视频时长、分辨率、抽帧率 | 决定传输、预处理、推理数据量;低抽帧率可能降低短时事件召回 | 分别记录采集与实际送模型的帧数 |
| 事件候选规模与误报率 | 影响 VLM 推理次数和人工复核数量 | 保存每一级候选数、保留率与误报率 |
| 模型 / 地区 / 批处理选项 | API 价格和功能可随区域与版本变化 | 以签约区域的正式 SKU 和计费规则核算 |
| Ground Truth 与人工质量控制 | 稀缺事件的双人标注、仲裁可能成为主要成本 | 统计总人工分钟,而非仅统计审核比例 |
| 存储留存、索引更新和运维 | PoC 一次性数据集成本未必代表生产长期成本 | 分清一次性建设成本与周期性处理成本 |
建议由 PIX 指派 ADAS / 数据平台技术负责人牵头,按实际情况邀请运营、安全、合规及相关集成伙伴。会议目标是决定是否值得定义 PoC,而不是提前确定采购。
| 时间 | 议题 | 需要的输出 |
|---|---|---|
| 10 分钟 | PIX 当前系统架构与优先改进的一个任务 | 选出一个真实的第一优先问题 |
| 20 分钟 | 视频来源、现有 DataOps、CV 检索、标注和训练接口 | 确定非替换式切入位置与已有 Baseline |
| 15 分钟 | 事件 Schema、负例、人工 GT、典型数据包 | 统一样本与验收口径 |
| 15 分钟 | 区域、授权、脱敏、数据流及安全边界 | 确定可行部署模式和禁止事项 |
| 10 分钟 | PoC 范围、Owner、交付和下一次工作会 | 技术需求文档与双方行动事项 |
由 PIX 技术负责人从上述九类机会中确认一个业务驱动的问题,并安排一次联合架构与数据评审。随后双方共同形成约 2–3 页的 PoC 实验协议(数据、基线、GT、评价指标、部署与资源责任),再决定是否进入实施。
本稿的三项核心内容来源于用户提供的 2026-10-27 版本 `portal-public.html`:机会评估、技术架构、PoC 与成本。为了使文件适合 CEO 对外转交,移除了内部主观销售评分、未经授权的客户案例和可能被误读的确定性指标,并加入明确的工程评测与数据治理说明。
| 参考资料 | 与本文关联 | 备注 |
|---|---|---|
| 用户提供的 portal-public.html | 本文三个核心章节的原始内容;A–I 机会、七层架构、20 组件和 P1–P3 概念。 | 原始公开 Portal(本文重编依据) |
| Volcano Engine / LAS | 参考视频抽取、处理与多模态音视频组件;海外可用性需核实。 | 官方文档 ↗ |
| Volcano Engine / ModelArk | 参考视觉模型推理与结构化输出;模型 API 与版本以实际区域为准。 | 官方文档 ↗ |
| Volcano Engine / Embedding | 参考跨模态向量生成能力;实际输入限制需核实。 | 官方文档 ↗ |
| Volcano Engine / VikingDB | 向量检索服务备选;非必选组件。 | 官方文档 ↗ |
| Milvus / Qdrant / FiftyOne | 开源及已有数据栈的备选与对比评测。 | 官方文档 ↗ |
| NVIDIA NeMo Curator | 用于技术基线与数据治理架构参照。 | 官方文档 ↗ |
| TwelveLabs Video Understanding | 视频语义检索产品能力的对照参考。 | 官方文档 ↗ |
证据说明:公开产品文档与 Portal 的产品描述不等于对特定区域、模型或项目的交付保证;所有技术限制、合规适用性、服务地点及定价应以实施时的正式文件为准。文中示例 JSON、验证方法与接口字段属于候选工程设计,并非 PIX 系统已确认的内部规范。
文件定位:Technical Discussion Draft · Prepared for bilateral engineering review. 本文件不载入原公开 Portal 的底层数据对象、研究报告全文、内部证据库或任何未授权客户资料。