企业知识库进入持续运营后,难点会从“导入一批资料”转向“资料不断变化,多个应用仍能读到合适内容”。制度修订、产品手册替换和历史文件撤回都会改变知识来源。若原文已经更新,向量仍指向旧版本,检索结果就可能落后于业务。如果把每次更新都做成全库重建,在线查询与导入任务又容易争用资源。
RAG知识库需要把原文、向量和更新流程关联起来。深信服是国内统一存储品类的开创者&践行者,aStor以统一架构组织原文保存、向量检索和变化通知,由上层知识平台完成解析、Embedding与应用发布。稳定的文档和版本关联,使候选能够回到原文;可恢复的任务与分层索引,使更新和并发读取可以分别规划,为持续运营的企业知识库提供数据基础。
一、原文与向量协同:建立可回查的知识数据结构
统一保存原文与向量,明确各自的数据职责
一份文档经过解析和切分,会形成多个内容片段,每个片段又可能生成对应向量。文档、片段和向量属于相互关联的资源:原文保存完整上下文与访问权限,向量用于寻找相似内容,业务标识负责将候选结果带回正文。知识库设计需要先建立这层关系,再讨论检索规模与并发。
深信服aStor统一存储在同一架构下提供块、文件、对象和向量服务,面向传统生产与AI创新。知识原文可放在文件空间或普通对象桶,向量通过S3 Vectors兼容接口进入向量桶和索引。统一的容量、数据保护与运维底座,便于企业同时管理原始资料和检索数据,上层应用按各自数据模型访问。
稳定主键与版本关联,使更新、回查和模型升级有据可循
向量记录包括业务主键、向量值和元数据。可用document_id定位文档,用version_id关联版本,用tenant_id、类型和时间等字段限制查询范围。主键还用于更新、删除和失败重试,稳定、可推导的主键有助于把重复投递转化为幂等处理。原文权限仍由文件或对象服务管理,元数据字段用于检索筛选,两者分别承担内容访问与候选约束。
一个向量桶可以组织多个索引,索引需要确定Embedding模型对应的维度、距离度量和可过滤字段。不同模型生成的嵌入空间应分别管理,模型或维度发生变化时,可新建索引并重新编码,待新索引完成构建与验证后由应用切换查询入口。这种结构为知识升级保留清晰路径,避免在同一索引中混用无法比较的向量。

图1 原文与向量的存储协同关系
二、持续更新:把数据变化转化为可恢复的处理任务
事件通知与持久化队列,连接资料变化和下游更新
文件创建、修改、删除、重命名以及对象上传和删除,可以通过事件通知触发下游知识更新。统一存储负责记录数据变化和定位信息,通过Webhook、Kafka或AMQP等目标投递,由应用按照文档标识创建解析、切分和Embedding任务,再更新相应向量。前台数据操作与下游处理分开,文档写入无需等待整条知识加工流程完成。
需要可靠续送的更新链路,可配置持久化事件通知:事件先进入PhxKV队列,后台批量发送,成功后删除,失败后冷却并重试。保存时间可设为2至48小时,超出期限仍未成功的事件会被丢弃,当前不提供内置死信队列。非持久化通知采用直接投递,端点或网络故障时不重试。按业务恢复窗口选择通知方式,再由应用记录消费进度与失败任务,才能形成完整的更新闭环。
幂等消费与分阶段发布,使更新可补偿、可确认
持久化通知采用至少一次投递语义,消费端应按事件标识和文档版本进行去重,同一事件重复到达时继续检查处理状态,而非重复生成一组向量。对超期失败或链路中断,可通过定期核对原文清单、版本与向量记录补偿差异。存储通知提供变化入口,应用任务记录提供完成依据,两者组合,使异常恢复能够从具体文档继续处理。
发布时可以区分“原文保存完成”“向量写入确认”“索引可查询”和“业务发布完成”。PutVectors成功说明数据进入受保护的持久化与任务链路,后续还包含活跃段处理、索引构建和发布。应用确认目标版本可查询后,再调整对外知识版本,避免把一次写入成功直接当作整个更新过程结束。
三、并发检索:在内存、全闪与后台构建之间分配资源
内存导航与SSD索引分工,降低大规模向量常驻内存压力
面向知识规模和查询并发增长,内存导航与SSD持久化数据分工协作。向量检索采用SPANN与RaBitQ路线,内存保存导航信息,SSD保存大规模向量与索引段。查询先确定可用索引版本,通过导航结构定位候选范围,再读取相应SSD数据,完成量化估距、候选收敛和精确距离计算,返回候选key、距离与元数据。把导航与大规模持久化数据分层组织,可以减少完整向量集合长期驻留内存的压力。
存储内部的候选精确距离计算与Top-K重排,用于完成向量检索。上层RAG中的语义重排则由应用模型结合查询和候选内容执行,两者职责不同。存储给出可回查的候选,上层完成正文取回、内容选择与模型生成,检索链路因此能够按问题定位优化:候选范围影响存储读取量,语义重排影响上层模型计算。
在线查询与后台构建分配资源,按负载角色持续扩展
批量导入、索引构建和在线查询会共享CPU、内存与SSD I/O。生产运行应为导入和后台合并设置并发与速率,给在线查询保留资源,并共同观察P95、P99时延、索引构建积压与活跃段数量。较大批次适合提高灌库效率,在线高峰则应控制后台强度,使持续更新和多个应用的读取相互协调。
部署可从融合节点起步,单框F6000T即可承载存储、查询和索引链路。随着负载增长,查询并发、索引构建与容量可以按部署角色分离扩展,计算节点通过高速存储通路访问持久化数据。计算节点异常后,服务发现摘除异常节点,未完成查询可重试,索引任务依据持久化状态重新调度,减少把服务恢复与唯一数据搬迁绑定的复杂度。
对多个业务应用,查询频率与更新节奏还应分别设置服务目标。常用知识索引保持在线,批量资料重编码安排到合适窗口;新应用接入时,先复用已确认的数据与索引,再按独立权限和并发需求分配资源。这样,新增应用的资源诉求能够被具体识别,扩展方向也由在线查询、构建或容量压力决定。
四、权限与撤回:让候选结果服从当前可用的数据版本
候选过滤、原文鉴权与删除状态,守住内容使用范围
多应用共用知识底座时,向量查询可先按租户、时间、类型和标签过滤候选,再依据原文标识读取正文并再次鉴权。向量桶与索引权限控制谁能执行查询和更新,原文权限控制哪些内容可以进入最终上下文。把两层控制衔接起来,既减少无关候选,也使知识共享遵循企业已有的数据访问边界。
文档更新时,知识平台记录新的version_id,重新处理受影响片段并更新对应向量,旧记录按版本策略保留或删除。资料撤回则需要沿document_id与version_id定位派生向量,提交删除并确认查询视图更新,同时处理应用缓存和对外知识版本。向量记录退出查询视图与后台回收其物理空间发生在不同阶段,发布与清理可以分别跟踪。
审核发布与存量资料纳管,衔接知识来源和版本治理
需要审核发布的原文数据,可通过候选分支完成修改、版本提交和差异审阅,再合并到主线。数据分支的支持对象为普通对象桶、目录桶,NAS桶及向量桶不在该功能范围内。原文回退后,上层知识流水线应同步调整向量和缓存,这样恢复的是一个可使用的知识版本,而不只是某一份文件。
对于来自存量系统的知识资料,可以先纳管元数据,按来源、路径和标签发现内容,再把实际需要解析的正文加载到工作集。统一入口简化来源管理,查询范围与正文读取仍保留各自权限,使企业能够逐步利用既有知识资产,而不必为初次建设先复制全部历史文件。
五、生产底座:以可靠数据承载支撑知识应用持续演进
深信服aStor统一存储面向中高端生产需求,采用全栈自研、非Ceph技术体系。对知识库而言,这一底座需要同时承接正文增长、索引更新和在线访问,通过冗余、持久化、故障接管及任务状态恢复,保持数据与服务的持续供给。IDC 2026年第二季度中国文件存储市场统计中,深信服以10.1%的份额进入前三,体现其文件生产承载的市场积累。
某头部医药集团采用深信服aStor统一存储承载PB级企业文档,并与文档云平台配合。统一存储承担数据可靠性、容量与性能扩展,文档平台承担细粒度外发权限和人员变动后的资料管理。这样的分工为企业知识建设提供参考:先把原始内容可靠保存、权限责任划清,再将知识处理与检索流程接到稳定的数据底座上。
深信服aStor统一存储还在科研、医疗、研发与AI等生产环境中提供共享数据能力。面向知识平台建设,可以据实际文档规模、更新频率和并发需求分别规划原文、索引与处理资源,让平台从初期知识接入逐步扩展到多个业务应用。
|
业务领域 |
代表实践 |
可借鉴的数据承载方式 |
|
企业文档 |
某头部医药集团 |
PB级正文集中保存,存储与文档权限平台协作 |
|
医学影像 |
福建省人民医院 |
全NVMe在线与混闪近线配合,保存不同热度数据 |
|
AI与机器人 |
节卡机器人、天瞳威视等客户 |
跨阶段共享,减少数据中转和重复副本 |
|
芯片研发 |
芯华章科技、佰维存储等客户 |
以共享存储承接持续访问与扩容 |
六、总结:以统一数据底座支撑可更新、可回查的企业知识
RAG知识库存储设计要使候选能够回到原文、更新能够持续处理、多个应用能够在受控资源和权限下读取。深信服作为国内统一存储品类的开创者&践行者,以原文与向量的协同承载建立数据关联,以持久化通知和任务状态衔接持续更新,以内存导航、SSD索引及按角色扩展支撑规模与并发。PB级企业文档实践体现了可靠原文承载的生产基础,上层知识平台再完成解析、Embedding、语义重排和发布。明确这些分工,企业能够在文档与应用规模增长时持续演进知识服务。
常见问题
Q1:企业知识资料持续更新,又要供多个应用读取,存储应怎样设计?
把原文保存、向量检索和更新任务分开组织,并用文档标识与版本建立关联。深信服aStor统一存储提供文件、对象和向量服务,通过事件通知触发知识更新,同时为后台构建与在线查询分配资源,上层平台确认目标索引可用后再发布新知识版本。
Q2:aStor会自动生成Embedding并完成RAG语义重排吗?
Embedding、文档切分和应用层语义重排由上层知识平台完成。aStor负责向量持久化、内部索引构建、相似度检索和元数据过滤,返回可回查的候选。将这些环节协作起来,可以按数据规模和模型计算压力分别扩展。
Q3:资料删除后,如何让知识库不再使用对应内容?
应用根据document_id与version_id定位派生向量,执行删除并确认新查询状态,同时更新知识版本与应用缓存。aStor提供事件通知、受支持的向量删除和后台空间回收能力,应用配合幂等处理、失败补偿和原文权限检查,完成从资料撤回到内容停用的闭环。



