AI 数字资产中枢 · 技术实现方案

明确系统目标、能力边界与不可妥协的工程原则。

1.1 系统目标

构建一套面向金融行业、可在内网完成全部能力闭环的 AI 数字资产中枢，提供以下核心能力：

• 资产收纳：以三级分类体系（类型 → 场景 → 内容）统一收纳存量与增量素材；
• AI 图像优化：在入库环节对图片素材进行画质增强、抠图、自动调色等处理；
• 智能挑选：通过多模态向量检索，按业务语义快速召回适配素材；
• 多端复用：一份资产支持平面与视频两类创作场景调用，视频以原始文件形态被调用；
• 安全合规：满足金融行业的私有化部署、权限分级、操作审计、数据加密要求。

1.2 核心能力清单

1.3 设计原则

五层职责分明，组件独立扩缩；图片与视频走差异化处理路径。

2.1 分层架构

2.2 图片处理路径（含 AI 优化）

2.3 视频处理路径（语义识别 + 原文件留存）

2.4 数据一致性策略

资产记录、向量索引、审计日志的一致性是系统正确性的基础。

• 首期方案：pgvector 与业务表同库，所有写入走数据库事务，资产删除 / 状态变更与向量更新原子提交，无幽灵索引；
• 升级方案：当切换至独立 Milvus / Qdrant 集群时，引入 CDC（Change Data Capture）+ 补偿任务双保险，并以"关系库为权威源"，向量库定期对账；
• 软删除优先：所有删除操作先转 `archived` 状态，T+N 后再物理清理，并同步移除向量索引。

三级分类体系如何在工程上落地，并支持长期演进。

3.1 三级分类体系

3.2 工程落地策略

• 建立 taxonomy_node 表存放无限层级分类树（推荐 closure-table，便于子树查询）；
• 资产主表挂 taxonomy_path[] 数组字段，记录命中节点；
• 非分类的辅助标签（季节、节日、活动等）走 tags[]，使用 PostgreSQL GIN 索引加速；
• 结构化扩展属性进入 attrs JSONB，模型迭代不动主表。

3.3 自动打标流程

3.4 AI 适配度评分（含冷启动策略）

系统对每条素材打出 0–100 的适配度评分，作为后续检索排序与清理决策的依据。考虑到项目初期没有"采用 / 驳回"历史数据，采用双阶段策略：

分级策略：≥ 80 高适配（优先复用）· 50–80 中适配（按需）· < 50 低适配（重点标注，谨慎使用）。

面向图片素材的全流程 AI 优化能力。

4.1 图像优化任务清单与国产开源模型推荐

4.2 图像优化任务调度

4.3 GPU 节点池分级调度

不同任务的显存与算力需求差异大，统一抢占会造成 OOM 与队头阻塞。按显存分级路由：

任务在入队时声明显存需求标签，调度器据此路由到对应池子；池子之间相互隔离、独立扩缩。

4.4 视频素材的智能识别能力

视频素材在系统中通过抽帧与 ASR 实现语义可检索，原文件保持完整以保留拍摄证据性，按需精准调用。

系统的检索核心。统一向量空间 + 三段式流水线 + 视频片段级定位 + 金融场景适配。

5.1 多模态嵌入模型选型

5.2 金融场景领域适配

通用 Chinese-CLIP 在"晨会、柜面服务、对公开户、理财签约"等金融业务术语上对齐效果有限。系统提供两层适配方案：

• 第一层 · Prompt 模板库（M1 即可启用）：内置金融业务词典，检索时自动扩展同义词与场景化表述，例如 "理财签约" → "客户经理 · 签约 · 文件 · 柜面"；
• 第二层 · 轻量 fine-tune（M3+ 启用）：基于银行真实数据采样 500–1000 对图文样本，对 Chinese-CLIP 做 LoRA 轻量微调，单卡数小时完成；
• 评估机制：建立金融场景 Benchmark（≥ 200 条标注 query），每次模型升级前后对比 Recall@10 与 nDCG，达标方可上线。

5.3 向量库选型

5.4 三段式检索流水线

5.5 视频片段级定位

视频不会被作为整体召回，而是按片段（time range）召回，业务调用时直接定位到秒级时间码：

• 视频抽帧时记录 frame_timestamp（毫秒精度），向量入库时关联 (asset_id, frame_id, timestamp)；
• 检索结果按"同一视频内的连续命中帧"自动合并为片段，输出形如 "video_id : 00:12:03 → 00:12:30"；
• 视频原文件下载时附带命中片段列表，调用方可直接定位到对应时间码取用。

5.6 跨模态查询能力矩阵

长文档检索由纯文本嵌入索引（BGE-M3）承载，与多模态向量库并行，统一在召回 → 重排链路中合并结果。

图片支持智能裁剪与多比例输出；视频按原文件 + 片段定位精准下载。

6.1 图片复用 · 智能裁剪与多比例输出

基于显著性图（Saliency）与人脸 / 主体检测，结合目标比例自动构图，避免主体被切。

• Saliency 模型：BASNet（推荐）或 U²-Net；
• 主体保护：结合 PP-YOLOE+ 检测人脸 / 主体框，构图时强制保留；
• 多比例并行输出：单次提交，输出 9:16 / 16:9 / 1:1 / 3:4 等全部目标尺寸。

6.2 视频复用 · 原文件 + 片段定位下载

6.3 复用形态总览

RBAC + ABAC 双引擎，覆盖角色、属性、密级、时效四维度。

7.1 权限模型

• RBAC（角色）：系统管理员 / 资产管理员 / 优化运营 / 审核员 / 普通调用员；
• ABAC（属性）：按素材密级（公开 / 内部 / 机密）、归属机构（总部 / 分行 / 网点）、有效期、地域等动态约束；
• 策略组合：所有访问请求经策略决策点（PDP）综合判定，结果写入审计库；
• "普通调用员"的"受限"含义：仅可访问密级 ≤ "内部"且归属机构匹配的素材，且单次下载需走二级审批。

7.2 角色操作矩阵

7.3 协同工作流

金融行业核心约束。本章给出技术层的具体落实点。

8.1 安全控制清单

8.2 审计防篡改方案

普通数据库默认不防篡改，本系统采用三档可选方案，按行内安全等级要求选用：

8.3 模型权重导入合规通道

系统强调"数据不出内网"，但模型权重首次需要从 HuggingFace / GitHub 下载。为此建立受控导入通道：

K8s 容器镜像、依赖包、操作系统更新走相同隔离通道，由内网镜像源统一分发。

素材状态机 + AI 自动清理 + 模型版本管理与灰度发布。

9.1 素材状态机

9.2 价值评估与清理策略

• 价值分长期低于阈值 → 系统推送清理建议；
• 清理需经资产管理员二次确认（敏感素材双人复核），全流程留痕；
• 归档素材进入冷存储，仅保留元数据可查；销毁需走专项审批。

9.3 模型版本管理与灰度发布

所有 AI 模型（嵌入、打标、适配度、Rerank 等）作为系统的"可替换引擎"，必须有规范的版本管理与灰度上线机制：

9.4 增量学习闭环

• 采用记录回流为正样本，驳回 / 删除回流为负样本；
• 每月或每季度重训打标模型与适配度模型，进入 9.3 的灰度流程；
• 所有训练数据、模型权重、评估报告归档保存，支持事后审计。

全栈开源、可私有化；AI 模型优先选用国产团队开源方案。

10.1 国产化原则

• 所有 AI 模型首选国产团队开源（阿里达摩院、智源、百度、腾讯 ARC 等）；
• 无国产对标的模型，选用许可证宽松（Apache 2.0 / MIT）的国际开源，且必须能完全离线推理；
• 所有模型权重经第 08 章合规通道一次性导入内网模型仓库，训练 / 推理过程不出内网；
• 基础设施层（容器、数据库、对象存储等）均为成熟开源项目，可被行内现有运维体系接管。

10.2 全栈选型一览

私有化部署的网络分区、节点角色与起步规模。

11.1 网络分区

11.2 节点资源建议（千万级素材起步）

承诺 SLA、可扩展性边界与容量估算依据。

12.1 性能 SLA（含前提条件）

12.2 容量估算（参考公式）

上表为典型场景估算，实际需根据银行素材结构、视频时长分布、抽帧策略调整；视频是绝对存储大头，建议分层存储（热 SSD / 温 HDD / 冷归档）。

从用户视角出发，看 AI 在每一步具体替业务做了什么。三个典型场景覆盖检索调用、入库、清理。

13.1 AI 在系统中扮演的四个角色

在用户视角下，AI 不是一个抽象概念，而是分布在每一步操作里的"自动同事"，承担四类工作：

13.2 场景一 · 业务方做"国庆理财海报"

13.3 场景二 · 摄影部门批量上传新拍照片

13.4 场景三 · 资产管理员每月做素材清理

13.5 价值总结 · AI 辅助带来的三层质变

对外 API 能力、监控指标体系与应急预案要点。

13.1 对外 API 能力清单

13.2 监控指标体系（三类必看）

13.3 应急预案要点

13.4 持续运营节奏

• 日常：监控告警值班 · 任务队列健康检查 · 备份完成校验；
• 每月：模型指标复盘 · 适配度模型增量训练 · 容量预警评估；
• 每季度：灾备恢复演练 · 安全合规自查 · 模型大版本评估；
• 每年：等保测评 · 系统架构复盘 · 容量规划重审。