ByteDance PIX Moving|技术讨论文件
2026.11.02 · Technical Discussion Draft
Technical Collaboration Proposal · For Review

从视频到可验证的训练事件数据PIX Moving × ByteDance|VLM Video Data Intelligence 技术合作讨论稿

探索在保留 PIX Moving 现有自动驾驶、数据平台和运营体系的前提下,通过多模态检索、视觉语言模型(VLM)及专家复核,构建可检索、可追溯、可复用的视频事件数据工作流。目标是验证 准确性、实际工程价值与端到端成本,而非替代既有感知或安全控制系统。

对外技术讨论稿非约束性方案建议全球部署场景可讨论V1.0 · 2026-11-02
候选机会9 类应用方向
参考架构7 层数据闭环
建议验证3 个可组合工作包
阅读提示:本文件由 ByteDance 一侧提出,供 PIX CEO 转发算法、数据平台、测试、安全运营等相关负责人评审。所述用例、架构、数据规模与验收门槛均为讨论建议,不代表 PIX 已确认存在相应痛点,也不构成具体产品区域可用性、性能或商业报价承诺。
01 / Overview

合作建议摘要

CEO 可先阅读本节和第 6 节,然后转交技术负责人详细审阅其余内容。

WHY

减少高价值视频样本的发现成本

将长时视频转为可检索事件候选,并用 PIX 专家定义的标准进行最终确认;是否优于现有方法,以联合评测为准。

HOW

补充,而不是替换

优先复用 PIX 已有的存储、检索、传统 CV、标注和训练管线;只在能产生增量价值的位置接入新组件。

PROOF

一次有明确基线的 PoC

围绕长尾场景挖掘、Timeline 标注和数据质量,比较人工、规则/CV、检索以及检索+VLM 四类方法。

建议双方技术团队优先回答的三个问题

01 · 哪些视频任务目前最耗时?

如长尾事件检索、数据标注、重复数据清洗或运营事件回溯;以 PIX 实际流程和指标为起点。

02 · 哪些数据和既有接口可以使用?

包括已获授权的视频、时间戳、CAN/IMU/定位元数据,以及现有数据集、标签标准和可用评测集。

03 · 如何定义可验收的增量价值?

优先度量精度、召回、专家审核负荷、每个有效事件的全链路成本,并与当前基线公平比较。

04 · 哪个数据与区域边界适用?

由数据控制者、部署地域和处理目的决定技术方案;跨境处理与产品能力需逐项目核实。

范围限定:本提议服务于离线或非安全关键的异步数据智能工作流。VLM 输出不能替代车端感知、规划、控制、事故责任认定或安全认证。
02 / Opportunity Map

应用机会与技术优先级

保留原 Portal 中的 8 个场景(A–H)与 PIXKIT 生态方向(I),重新按“可验证的工程增量”整理。以下是供讨论的应用假设,不是对 PIX 既有能力或业务需求的判断。

CORE · 第一批讨论

长尾事件 · Timeline · 数据质量 · 语义检索

共用“检索—理解—标注—专家确认”数据底座,可在一个样本集上逐步验证多种能力。

ADJACENT · 依赖运营数据

异常回溯 · 事件证据检索

需要额外确认运营方数据权利、事件日志及证据管理流程,不宜预先假设可取得所有视频。

EXPLORATORY · 后续议题

RoboShop / RoboVan · PIXKIT · 动作数据

适合在产品路线和场景明确之后独立评估,不强行纳入首个 PoC。

编号候选应用可能交付的增量能力关键验证条件建议节奏
B长尾 / Corner-case 场景挖掘识别稀缺或复杂交通参与者交互,建立带时间戳的候选事件池,供训练与测试使用。经授权视频、事件定义;可选 CAN/IMU;完整正负例评测集。优先验证
ATimeline 自动初步标注生成道路结构、交通参与者、环境与行为等结构化初稿,专家确认后回写标签系统。现有标注 Schema、视频片段与独立专家 GT。优先验证
F数据集去重与质量管理筛掉重复、低信息量或明显低质量片段;检查标签一致性,减少训练数据治理成本。授权训练子集、已有标签与质量规则。优先验证
C自然语言语义检索通过语言查询定位事件视频及时间片段,与长尾挖掘共享检索索引。经授权视频及有代表性的搜索查询 / 相关性 GT。优先验证
DRoboBus 运营异常辅助分析对既有事件日志与视频开展非实时的候选摘要和人工复核支持。运营方允许处理的视频、已有日志及运营决策流程(如存在)。条件成熟后
G测试 / 事件证据检索辅助查找事件片段、整理时间线及证据索引,不作责任归因。有权处理的测试或事件视频、审计和留存要求。条件成熟后
ERoboShop / RoboVan 场景辅助探索零售 / 物流场景行为或异常片段的结构化理解。具体业务用例、合法的数据范围与产品实际部署条件。后续探索
IPIXKIT / PIXLOOP 开发者生态探索面向 ROS bag、研发视频及教学数据的场景检索与标注 SDK。PIXKIT 技术接口、开发者使用需求及合作意愿。后续探索
H机器人动作与任务数据面向未来具身智能数据集的动作切分和任务描述,需专门验证。相关任务视频、动作定义与真实项目需求。后续探索

为何建议从 Long-tail / Corner-case Mining 开始

长尾样本发现能同时验证视频检索、事件定义、模型理解、人工裁定和数据回写,形成能够用于后续 Timeline 标注及质量管理的公共能力。这里的 Corner-case 是可供专家复核的候选场景,而非由 VLM 独立判定的车辆安全事件;“near-miss”之类涉及几何或运动学阈值的结论,需要可用传感器和独立算法支持。

不在客户文件中展示原 Portal 的采购可能性或商业评分。这些分数来自研究假设,不属于 PIX 确认的业务事实。真实优先级应在技术工作坊中由 PIX 负责人按现有痛点重新确定。
03 / Reference Architecture

七层视频数据智能参考架构

沿用原 Portal 的七层设计,明确 PIX 现有系统、候选 ByteDance/BytePlus 能力及人工验证的责任边界。具体产品组合可在不更换现有存储与向量库的条件下调整。

PIX 既有/客户侧候选模型/平台能力专家确认

逐层输入、输出与技术边界

01

PIX Video / Sensor · 数据输入

从 PIX 授权数据源取得视频及元数据。CAN、IMU、LiDAR 和定位只在可用、可同步且获授权时接入;所有来源保留原始 ID 与时间戳。

02

Preprocessing / Trigger · 预处理

按现有规则/CV/日志触发候选,完成切片、去标识化、抽帧及权限验证;不默认上传全量视频。

03

Embedding / Retrieval · 候选召回

对视频或图像片段建向量索引并召回 Top-K;允许复用 PIX 向量数据库或既有检索引擎。

04

VLM Reranking · 语义理解

对候选片段进行事件分类、开放场景描述和误报筛除。必须能回溯具体帧与模型版本。

05

Structured Timeline · 结构化标注

以双方确认的 JSON Schema 输出事件类别、起止区间、对象、动作及证据引用;未确认字段标记未知。

06

Human Validation · 专家裁定

用独立专家双人评审与争议仲裁构建 GT,重点审核安全相关、罕见和困难样本。

07

Training / Simulation / Fleet Ops · 回写 PIX 系统

只有满足数据许可和审核规则的事件或标签才增量回写既有训练、仿真或运营系统;不进入车端实时控制。

核心工程原则

先规则 / 传统 CV,再大模型

用现有触发器、标签、传感器与轻量检索先筛选候选;只有对复杂语义场景才调用 VLM,避免不必要的全量推理。

Recall 优先于漂亮的解释

若真正的罕见事件在第一层筛选即被漏掉,后续 VLM 无法补救。必须独立测量候选池覆盖率与检索召回。

时间证据而非模型自信

事件必须保留原视频定位、时间区间、传感器关联与人工确认状态。模型生成的置信表述不代表已校准概率。

不预设必须使用新数据库

允许沿用 PIX 数据湖、既有向量检索、对象存储及标签系统;VLM 仅在实际效果领先基线时加入。

04 / Components & Interfaces

组件选项、接口和事件数据结构

以下组件目录根据原 Portal 的 20 个技术条目整理,分为现有系统、候选平台能力、开放替代和评测机制。目录不是已确认供货清单,尤其模型版本、批量推理、向量库及区域支持需逐项核验。

组件类别可选技术在本方案中的作用验收与替换要求
输入与前处理PIX 现有数据接口 + 视频切分/去标识化按时间、车辆/ODD、合规状态形成最小授权输入数据。先确认 PIX 的存储、权限及可用性;抽帧与脱敏需要单独验收。
粗筛和召回现有规则/CV / Seed Embedding / OpenCLIP以低成本方式提升候选池覆盖率,减少 VLM 检查量。与现有规则及纯 Embedding 做独立 Recall / Top-K 对比。
检索底座PIX 现有向量库 / VikingDB / Milvus / Qdrant管理跨模态向量和事件元数据索引。避免强制迁移;比较索引成本、访问控制、吞吐与数据位置。
VLM 与结构化输出Doubao Seed VLM / JSON Schema / 可替换候选模型在候选视频上生成可复核的结构化事件初稿。模型、地区、输入限制、价格和批处理均需正式核实。
数据治理与评测FiftyOne / 客户标注系统 / 独立冻结 GT数据治理、人工仲裁、版本和质量回归。与业务专家定义事件范围、正确性、保留策略。
可选增强ASR / Batch / Prompt 优化 / SFT仅在特定场景有必要时加入后处理或模型改进。避免把非通用区域能力当作默认交付;先做基线。
展开查看源 Portal 的 20 个组件能力目录(仅作候选清单)
组件输入 / 输出功能定位
PIX 车载多路摄像头 + CAN/IMU/LiDAR/定位 Metadata车端传感 → 多路视频 + 车辆动力学信号原始多模态数据采集
事件触发/定时回传(4G/5G 两级策略)车端数据 → 回传包车端到云端数据上行
PIX 现有传统 CV / 数据检索 / 标注系统视频/标注 → 现有标注与检索结果优先复用的现有数据栈
LAS 视频切分 / 关键帧算子视频(≤3h/10GB) → 帧序列/片段抽帧、切分、自适应压缩
LAS 敏感内容打码算子帧 → 打码帧(人脸/车牌)GDPR 前置脱敏
Seed-1.6-Embedding(doubao-embedding-vision)文本/图片/视频(≤50MB) → 2048 维向量(可降 1024)跨模态向量化
VikingDB 向量数据库向量+标量 → Top-K 候选片段ANN 存储与检索
VikingDB Rerank 重排模型(query, doc) → 相关性分数对召回 Top-N 精排
ModelArk Doubao VLM(Seed 2.x)文本+图片+视频(+音频) → JSON/自然语言事件精排/语义理解/结构化抽取
Structured Outputs / JSON Schema 输出VLM 文本 → 事件记录(JSON)事件字段化输出
LAS ASR / 音频理解音频/视频 → 带时间戳文字语音转写、说话人分离、环境音
PromptPilot(PE 优解 / 评测 / Badcase 回流)任务描述+评测集 → 优化后 Prompt + 报告Prompt 自动优化与评测集构建
SFT / DPO / ArkRL 精调≥1k 条高质量 JSONL → 自定义模型 Endpoint领域定制微调
Batch Job 离线批量推理文件/任务集 → 异步结果大批量异步处理
Milvus / Qdrant 开源向量库(替代)向量 → Top-K自托管检索底座备选
Qwen3-VL / Qwen2.5-VL 开源 VLM(自托管)视频 → 结构化标注/事件定位可私有化 VLM 备选(GDPR 不出域)
FiftyOne 数据集治理 / 评测工具视频/抽帧/标签 → 治理后数据集/评测报告数据集治理、漏检/难例挖掘、模型评测操作台
OpenCLIP / CLIP 开源图文 Embedding(基线)文本/帧 → 相似度向量低成本语义检索基线
人工抽检 / GT 裁定(共享人审)模型输出 → 确认/修正后的标注业务专家确认/修正模型候选,质量兜底
冻结测试集评测(P/R/F1 回归)输出 vs GT → Precision/Recall/Top-K/F1版本回归与指标度量

注:上述名称和能力类型源自 `portal-public.html`;实际可用性、版本、配额与 SLA 以对应地区的正式产品文档及双方技术确认结果为准。

建议采用的结构化事件数据契约

建议将 VLM 的初稿输出与专家裁定结果分开存储。以下 JSON 仅为接口格式示例,不代表 PIX 已采用此 Schema;也不把模型的语义判断当成安全事实。

示例 · event_candidate.schema.json
{
  "record_id": "demo-event-001",
  "video_ref": "anonymized-clip-001",
  "time_range_ms": {"start": 15420, "end": 18240},
  "event_type": "pedestrian_crossing_candidate",
  "description": "前方行人进入车辆行驶区域(模型候选描述)",
  "evidence": {"frame_refs": ["frame-032", "frame-037"]},
  "sensor_context": {"can_ref": null, "imu_ref": null},
  "provenance": {"model_id": "to_be_confirmed", "prompt_version": "v0"},
  "human_validation": {
    "status": "pending",
    "approved_label": null,
    "reviewer": null
  }
}

建议的集成接口边界

接口建议输入建议输出职责划分
Dataset Intake授权视频 ID、对象存储地址、时间戳、隐私处理状态、可选传感器关联可处理片段清单 + 失败原因PIX 控制数据范围;双方协定安全传输
Candidate Retrieval场景查询 / 事件规则、索引与筛选条件候选片段 Top-K、召回来源、证据定位既有检索优先,新增服务可替换
VLM Annotation候选片段 / 代表帧、标签定义、JSON Schema结构化事件初稿与可检查证据模型执行不负责安全结论
Human Adjudication模型候选、原始授权片段、关联传感器、标注指南确认 / 驳回 / 修改记录、可复核 GT由 PIX 业务专家或其指定人员裁定
Dataset Export已批准的事件与标签、原始引用、版本信息兼容 PIX 既有格式的数据集增量数据导出范围与用途由 PIX 决定
05 / Deployment & Governance

部署模式、区域与数据边界

方案面向 PIX 全球研发及部署环境,但不假设全球视频可以集中回传或由同一主体取得再利用权限。先确定数据控制和处理位置,再确定模型服务。

备选模式适用前提可能的技术组合必须确认
中国境内处理已授权的中国研发/测试数据中国区域的视频处理、Embedding、检索和 VLM 组合数据权属、适用汽车数据及个人信息规则、各组件可用性
海外托管适用区域允许使用受托云服务BytePlus 区域能力 + 合规的数据传输、存储及模型推理实例/子处理者位置、是否跨区域路由、具体产品清单与合同安排
PIX 现有栈混合部署已有数据湖、向量检索、标注系统保持 PIX 存储与索引,增加可替换的 VLM 精排和数据输出层现有接口、认证权限、出入域方式、模型任务的日志与删除策略
严格本地化 / 隔离环境数据不可离开指定区域或网络本地数据管线与经评估的自托管模型/开源组件部署许可、GPU 资源、软件维护、安全审查和实际效果

跨地区的共同原则

中国

首先满足适用的汽车数据与个人信息保护要求;不得默认将海外车队视频汇总到中国训练。

日本

需考虑 APPI、运营合作方权限、跨境委托及数据使用目的。是否能将运营视频用于训练须单独确认。

欧洲 / 英国

需确认 GDPR / UK GDPR 适用范围、数据主体告知、合法基础、处理合同、存储与子处理者地点。

中东 / 美国及其他市场

按具体国家、州及运营合同审查。没有单一“中东合规”或“美国合规”的通用部署声明。

人脸与车牌打码是风险降低措施,不应被描述为自动完成匿名化或自动满足所有法规。向量、标签、运行日志及片段 ID 仍可能需要个人信息与访问权限评估。
06 / Proof of Concept

PoC 设计:三个可组合的验证工作包

沿用原 Portal 的集成式 Pilot:优先一个共享数据底座,验证三类互补能力。样本数和排期只作为提案起点,项目启动前应由双方技术团队确认并形成实验协议。

工作包 P1 · Long-tail / Corner-case Mining

首选技术验证

技术目标:从视频中发现与 PIX 自定义事件类型相符的候选片段,并评估检索与 VLM 重排带来的有效增量。

建议输入

建议先以 200–500 段去标识化、已授权视频构建原型;任选三类事件。若具备可同步 CAN/IMU,则保留用于独立运动学核验。

Ground Truth

PIX 专家共同编写事件定义;包含正例、随机负例、难负例及边界例,冻结集在最终测试之前不得用于调参。

对照基线

PIX 当前方法(若有)+ 人工检索 + 规则/CV 触发 + 纯 Embedding 检索;明确统一人工审核投入。

重要风险

稀缺事件实际占比低、帧采样漏召、视觉近失误判;不足量的正例无法给出稳定总体 Recall。

主要指标评估方式讨论中的验收逻辑
Precision@K / Recall / 每个有效事件成本独立标注池核算 TP/FP/FN,分层报告候选召回、重排后精准率、人工工时和 TCO。由双方根据真实基线商定数值门槛;原 Portal 中的百分比仅是研究阶段示例,不直接作为客户验收承诺。

工作包 P2 · Timeline Auto-labeling

可在 P1 上复用

技术目标:将自车状态(需传感器核验)、交通参与者、道路环境和场景变化整理为初步 Timeline 标签,减少专家重复编写。

建议输入

建议小样本视频集(原 Portal 参考 50–100 段)及 PIX 当前标签 Schema、标注指南;可选多语言。

Ground Truth

逐字段确认标签含义、起止时刻及不可判定条件;针对短时动作、遮挡与复合动作建立单独标签规则。

对照基线

PIX 现有标注流程的字段正确率、人均耗时与重工率。

重要风险

时序与空间运动描述不稳定、复杂动作难例、Schema 差异和人工修正负担。

主要指标评估方式讨论中的验收逻辑
字段准确率 / 时间误差 / 审核修正率对字段级、人审级指标独立计量;明确“未知/不判断”字段的处理。以可用字段质量和综合人工工时为门槛,而非只统计自动生成标签数量。

工作包 P3 · Dataset Quality & Semantic Retrieval

共享索引的延展验证

技术目标:验证数据质量筛查、语义相似去重、事件证据快速定位是否能复用已有索引。

建议输入

小规模经授权的训练子集、既有标签和部分历史事件索引(如有);内容敏感时可仅用演示数据。

Ground Truth

记录人工确认的重复对、质量等级、已知事件与正确时间位置;确认误报可容忍度。

对照基线

既有按时间/车辆的检索、数据质量规则以及当前人工处理耗时。

重要风险

不同 ODD 的误合并、重要稀有片段被自动去重、事故信息被误用作责任判断。

主要指标评估方式讨论中的验收逻辑
Top-K 命中率 / 重复识别 / 单次事件定位时间在同等检索任务集上比较质量与耗时;对被自动排除的数据设置人工复核例外。以可审计的检索和数据整理收益为门槛,不把生成摘要作为法律证据结论。
起步数据建议(源自原 Portal):200–500 段经授权、适当去标识化的视频,优先定义 3 类典型事件;如可提供可同步的 CAN/IMU/定位信息,则用于独立验证。该样本量适合接口与方法验证,不自动等于足以统计估计稀有事件 Recall 的完整评测规模。

建议分阶段实施(例如 6–8 周,具体待协商)

GATE 0 / PREP

需求与数据授权

事件分类、权利和权限、目标指标、接口、部署区域及双边职责。

PHASE 1

样本 / 基线 / GT

建立数据子集、独立人工标注指南、规则/CV/Embedding 基线。

PHASE 2

模型实验与复核

候选召回、VLM 重排、失败样例归类、人工裁定与成本追踪。

GATE 3 / REVIEW

冻结集与生产决策

独立终评、性能与 TCO、接口可维护性;决定继续、调整或停止。

PoC 完成后可交付的技术工件

07 / Evaluation Protocol

效果评测、基线对比与安全边界

评测目标不是验证“模型能否生成好看的描述”,而是判断完整系统能否在同等人工审核预算和可比质量下,发现更多有用事件或减少处理成本。

评价量定义解释限制
Precision@K前 K 个检索/重排候选中,经独立人工判定为有用事件的比例可用于工程排序评估;只反映查看前 K 个结果的质量
RecallTP / (TP + FN),分母必须来自有完整标注覆盖的独立评测集若只人工审阅模型返回的 Top-K,无法直接计算总体召回
事件定位误差候选与人工 GT 的开始/结束时间差、IoU 或时序匹配指标视频抽帧可能丢失短暂事件;定义时间容忍区间
字段质量逐字段准确率、一致性、缺失率及人工修正率标签类型应区分事实、推断和无法判断
人工工作量专家标注 / 审核总分钟数,及同等质量下节约的时间必须包含误报复核、争议仲裁与数据修复
Cost / Validated Event七项总成本 / 独立确认的有效事件数事件定义、质量门槛和有效事件计数方法须固定
工程稳定性任务失败率、重试、吞吐、可追溯性、版本回归原型成功不代表可直接上线为安全关键生产系统

对照组与样本设计

对照组至少四类

① 当前人工方法;② 规则/CV/传感器触发;③ 仅 Embedding 检索;④ 检索 + VLM 重排 + 专家复核。

样本必须有难负例

包括平行骑行但未切入、道路边缘静止车辆、因自车转弯产生的视觉横移等,避免模型只靠视觉相似性误判。

按采集条件切分

按车辆 / 日期 / 地点 / 道路环境(ODD)划分训练、调参和冻结测试集,减少同一事件跨切片泄漏。

低发生率事件单独处理

需要足够经确认的正例和有代表性的负例;若样本不足,只报告可观察结果及不确定性,不给出泛化 Recall 结论。

技术红线:VLM 无法仅凭视频描述可靠地输出精确速度、TTC、几何距离或事故责任。有关安全、合规或运营动作的最终判断须由 PIX 指定的独立机制和人员确认;模型不能进入实时车辆控制闭环。
08 / End-to-end TCO

PoC 成本:七项全链路模型与交互式估算

原 Portal 的成本主题保留,但将人工审核与有效事件计数拆开建模,以防审核比例、人工时薪和有效事件率混算。所有成本输入默认为空,避免把研究估值误当 ByteDance 报价。

TotalCost = Ingestion + Preprocessing + Embedding + Storage/Index + VLM Inference + Human Review + Operations
CostPerValidatedEvent = TotalCost ÷ 独立人工确认的有效事件数量

输入参数 按实际 PoC 数据填写

单位为人民币,仅作统一计算单位,可在实际项目中整体换算币种;空白不代表零成本。

小时
条(通过 GT/专家确认)
元 / 视频小时
元 / 视频小时
元 / 视频小时
元 / 视频小时
元 / 视频小时(按实际抽样密度和用量)
元 / 视频小时(PoC 固定集成费可另计)
条(包括误报和待裁决事件)
分钟 / 条
元 / 人工小时
小时,必须使用相同评测质量要求

计算结果 仅供技术测算

等待填入七项成本及有效事件参数。

七项全链路总成本—
单个有效事件成本—
人工复核总成本—
人工基线成本(选填)—

成本构成

数据接入
—
预处理
—
向量检索
—
存储索引
—
VLM 推理
—
人工复核
—
运维摊销
—
即使成本结果较低,也必须先确认检索结果的覆盖率、字段质量及人工复核范围与人工基线可比,才能谈 ROI。一次性集成、迁移和法律合规成本应另列或纳入运维摊销。

成本评审时必须同步记录的变量

变量为什么会显著改变成本记录建议
视频时长、分辨率、抽帧率决定传输、预处理、推理数据量;低抽帧率可能降低短时事件召回分别记录采集与实际送模型的帧数
事件候选规模与误报率影响 VLM 推理次数和人工复核数量保存每一级候选数、保留率与误报率
模型 / 地区 / 批处理选项API 价格和功能可随区域与版本变化以签约区域的正式 SKU 和计费规则核算
Ground Truth 与人工质量控制稀缺事件的双人标注、仲裁可能成为主要成本统计总人工分钟,而非仅统计审核比例
存储留存、索引更新和运维PoC 一次性数据集成本未必代表生产长期成本分清一次性建设成本与周期性处理成本
09 / Technical Workshop

建议组织一次联合技术评审

建议由 PIX 指派 ADAS / 数据平台技术负责人牵头,按实际情况邀请运营、安全、合规及相关集成伙伴。会议目标是决定是否值得定义 PoC,而不是提前确定采购。

时间议题需要的输出
10 分钟PIX 当前系统架构与优先改进的一个任务选出一个真实的第一优先问题
20 分钟视频来源、现有 DataOps、CV 检索、标注和训练接口确定非替换式切入位置与已有 Baseline
15 分钟事件 Schema、负例、人工 GT、典型数据包统一样本与验收口径
15 分钟区域、授权、脱敏、数据流及安全边界确定可行部署模式和禁止事项
10 分钟PoC 范围、Owner、交付和下一次工作会技术需求文档与双方行动事项

供技术负责人提前审阅的资料清单

建议的下一步

由 PIX 技术负责人从上述九类机会中确认一个业务驱动的问题,并安排一次联合架构与数据评审。随后双方共同形成约 2–3 页的 PoC 实验协议(数据、基线、GT、评价指标、部署与资源责任),再决定是否进入实施。

10 / Sources & Notes

参考来源与内容边界

本稿的三项核心内容来源于用户提供的 2026-10-27 版本 `portal-public.html`:机会评估、技术架构、PoC 与成本。为了使文件适合 CEO 对外转交,移除了内部主观销售评分、未经授权的客户案例和可能被误读的确定性指标,并加入明确的工程评测与数据治理说明。

参考资料与本文关联备注
用户提供的 portal-public.html本文三个核心章节的原始内容;A–I 机会、七层架构、20 组件和 P1–P3 概念。原始公开 Portal(本文重编依据)
Volcano Engine / LAS参考视频抽取、处理与多模态音视频组件;海外可用性需核实。官方文档 ↗
Volcano Engine / ModelArk参考视觉模型推理与结构化输出;模型 API 与版本以实际区域为准。官方文档 ↗
Volcano Engine / Embedding参考跨模态向量生成能力;实际输入限制需核实。官方文档 ↗
Volcano Engine / VikingDB向量检索服务备选;非必选组件。官方文档 ↗
Milvus / Qdrant / FiftyOne开源及已有数据栈的备选与对比评测。官方文档 ↗
NVIDIA NeMo Curator用于技术基线与数据治理架构参照。官方文档 ↗
TwelveLabs Video Understanding视频语义检索产品能力的对照参考。官方文档 ↗

证据说明:公开产品文档与 Portal 的产品描述不等于对特定区域、模型或项目的交付保证;所有技术限制、合规适用性、服务地点及定价应以实施时的正式文件为准。文中示例 JSON、验证方法与接口字段属于候选工程设计,并非 PIX 系统已确认的内部规范。

文件定位:Technical Discussion Draft · Prepared for bilateral engineering review. 本文件不载入原公开 Portal 的底层数据对象、研究报告全文、内部证据库或任何未授权客户资料。