仓储数据资源体系建设与历史数据治理实践

数据是信息化仓库的核心资产。本文结合某仓储项目中的“仓库数据建设”任务，阐述了如何分析梳理仓库已有数据资源的分布、产生来源及应用场景，按照基础数据、业务数据和主题数据三类进行体系规划，并通过数据资源目录分类存放统一管理。文章详细描述了物资编目和打码标签规范、近五年约4万条历史数据的清洗整合过程，以及数据质量校验方法。最终形成了可用的仓储数据资源体系，为上层应用提供了标准、统一、准确的数据支撑。

1. 数据现状与问题

在项目实施前，建设单位仓库的数据资源存在以下突出问题：

数据来源分散：数据分布在库房库存账目（手工账本或Excel文件）、物资收发帐目、工作日志（纸质记录）、制式公文、文件档案、人员名单、设备清单等多种来源中。部分数据存在于老旧的信息系统表单中，这些系统已不再维护。

格式多样：纸质资料需要扫描和OCR识别；Excel文件格式不统一，有的用分表，有的用合并单元格；旧系统数据库表结构各不相同，字段命名和类型存在差异。

编码不统一：物资编码在不同时期、不同系统中使用各自的编码规则，有的按物资类别，有的按采购批次，导致同一物资对应多个编码。货位编码更是没有统一标准，有的库房使用“排-层-位”，有的使用“区域-货架号-层”。

数据质量差：存在大量重复记录（同一物资在不同账目中重复登记）、缺失字段（如缺少生产日期或批次号）、错误数据（数量单位不一致，如有的用“箱”有的用“个”）。部分历史数据已经失去业务价值（如10年前的过期物资记录）但仍存放在账目中，干扰正常统计。

以上问题导致无法准确查询库存、难以进行数据分析，信息化系统无法直接使用这些数据，必须进行系统性的数据治理。

2. 数据资源体系规划

2.1 数据分类

根据项目需求，按照基础数据、业务数据和主题数据三类进行体系规划。

基础数据是指相对静态、用于支撑其他数据的基础信息，包括：

仓库信息：仓库编号、名称、面积、类型、地址、管理员。

货位信息：货位编码、所属仓库、位置坐标、尺寸（长宽高）、承载能力、当前状态（正常/维修/封存）。

物资编目：物资统一编码、物资名称、规格型号、质量等级、计量单位、参考单价、生产厂家代码等。

人员组织：人员编号、姓名、职务、所属部门、权限角色。

设备台账：设备编号、设备名称、型号、生产厂家、启用日期、维保周期。

业务数据是指日常作业过程中动态产生的数据，包括：

入库单：入库单号、入库日期、供应商/来源、物资明细（编码、数量、批次）、经手人。

出库单：出库单号、出库日期、需求单位、物资明细、经手人。

盘点记录：盘点任务编号、盘点日期、盘点范围、盘点差异明细、复盘结果。

移库记录：移库单号、移库日期、源货位、目标货位、物资明细。

作业日志：操作时间、操作人、操作类型（入库/出库/修改）、涉及物资、操作结果。

主题数据是按照业务主题对基础数据和业务数据进行汇聚、提炼后形成的数据集，便于特定分析场景使用。包括：

物资管理主题：物资流动汇总（月度入库量、出库量、库存周转率），呆滞物资清单，超期未动清单，保质期预警清单。

安全防护主题：设备故障记录汇总，安防报警事件统计，消防检查记录。

行政管理主题：人员考勤与值班记录，公文流转统计，培训记录汇总。

2.2 统一编码规范

在建设单位指导下，制定统一的编码规范：

物资编码：遵循GJB 7372相关要求（军用物资编目系统）。编码采用13位或17位数字，分段表示物资大类、小类、序号、质量等级等。对于没有现行军标编码的物资，按照自定义规则补充，并报建设单位备案。

货位编码：采用“库区代码-排号-列号-层号”的格式。库区代码为两位字母（如CK表示仓库，YH表示月台区），排号、列号、层号均为两位数字，不足两位补零。例如“CK-03-12-05”表示仓库第3排第12列第5层。

打码标签：所有物资的包装箱和托盘上需粘贴标签。标签采用二维码或RFID（根据物资类型选择）。二维码的内容为物资编码+批次号+生产日期，扫码后可快速查询完整信息。RFID标签符合GJB 7372和GJB 7382要求。

2.3 数据资源目录

建立数据资源目录，将所有数据分类存放并在目录中注册。目录内容包括：数据名称、数据来源、数据格式、更新频率、数据负责人、访问权限（哪些系统或角色可以读/写）。通过目录，用户可以检索到需要的数据，并了解如何获取。目录还提供数据血缘关系图，展示数据从原始来源到最终使用的流转路径，方便问题追溯。

3. 历史数据治理流程

项目需将近五年约4万条历史数据按照物资管理、安全防护、行政管理等不同的业务主题进行合并与分类，形成仓储数据资源体系。具体治理流程如下：

3.1 数据梳理与收集

首先，盘点所有潜在的数据来源。包括：

纸质资料：库存账本、收发日报、工作日志、公文档案。安排人员将纸质资料进行扫描，转化为PDF或图片，然后使用OCR软件识别文字，形成可编辑的文本或表格。对于字迹模糊或表格复杂的页面，人工录入。

电子文档：Excel、Word格式的台账、报表。统一收集到一个文件夹，按年份和业务类型命名。

旧系统数据：联系旧系统供应商，导出数据库表为CSV文件。如果系统已不可用，则从备份中恢复。

收集完成后，将所有原始数据集中存储，并记录来源和收集时间。

3.2 数据清洗

清洗规则由建设单位业务骨干和信息化人员共同制定。清洗工作包括：

去重：识别重复记录。例如同一物资在同一天的入库记录出现在库存账目和Excel台账中，保留库存账目为准，删除重复项。判断重复的方法：使用物资名称+批次号+日期作为关键字段。

补全缺失字段：对于缺少批次号、生产日期等关键字段的记录，尝试从其他记录中关联补充。例如，某出库记录有物资名称和数量，但无批次号，可以根据出库日期和物资名称，回查入库记录中未出库的批次进行匹配。无法补全的记录标记为“数据不完整”。

纠正错误：检查单位一致性，将“公斤”与“kg”统一为“千克”；将日期格式统一为YYYY-MM-DD；将物资名称中的错别字（如“避雷器”写成“必雷器”）根据标准名称纠正。

删除无价值数据：对于明显没有价值的数据，如10年前的过期物资记录（且已不属于固定资产），以及重复的测试数据、空白行等，予以标记并移入“历史存档”表，不在业务系统中使用，只做历史记录保留。这一过程需与建设单位确认，确保不会误删有用信息。

3.3 数据转换与入库

清洗后的数据需要按照新的编码规范和表结构进行转换。

物资编码转换：建立新旧物资编码对照表。每个物资在旧系统中的名称或编码，映射到新制定的统一物资编码。对于无法直接映射的，由建设单位物资管理人员判定归属。

货位编码转换：旧货位描述转换为新编码规则。例如旧记录中“3号库第二排左边第4格”，转换为“CK-02-01-04”（假设3号库对应CK，第二排为02，左边为01列，第4格为04层）。

表结构映射：旧系统的字段名称和类型可能不同。例如旧系统的“数量”字段可能是文本型（含“约”字），需要提取数字并去掉非数字字符；旧系统的“日期”字段可能是分开的年、月、三列，需要合并。

转换完成后，数据通过ETL工具批量插入到新的数据库表中。基础数据进入基础数据表（如物资编目表、货位表），业务数据进入业务数据表（如入库单表、出库单表）。插入前会进行约束检查（如外键完整性），避免出现“孤儿”数据。

3.4 数据质量校验

数据入库后，需要进行质量校验，确保数据的准确性和可用性。

完整性校验：统计各表的记录数，与原始资料的总数对比，误差应小于5%。对于缺失率超过10%的字段，分析原因并补充或标记。

准确性校验：随机抽取5%的记录，人工与原始资料比对。例如，抽取50条出库记录，核对物资编码、数量、日期是否正确。准确率需达到98%以上。

一致性校验：检查关联数据之间是否矛盾。例如，库存账中的某物资总数量，应与所有入库单累计减去出库单累计的结果一致。校验发现不一致时，追溯调整。

4. 数据应用效果

经过治理，形成了标准化的仓储数据资源体系。具体效果如下：

统一的物资编目库建立，包含约2000种物资的编码、名称、规格等信息，支持跨系统查询。

历史数据（4万条）经过清洗和转换后，有效数据约3.6万条，可用于ABC分析、库龄分析、呆滞预警等。例如，系统通过对过去三年的出库记录分析，识别出A类物资（出库频次最高的20%）和C类物资（出库频次最低的50%），为库位优化提供依据。

实时库存查询准确率从治理前的约85%提升到99.5%，管理人员可以信任系统数据，减少了对账工作量。

数据资源目录上线后，各系统统一从目录中获取物资编码、货位编码等基础数据，避免了各自维护导致的编码不一致问题。

5. 结论

仓储数据资源体系建设与历史数据治理是信息化建设项目成功的基础。通过系统性的规划、清洗、转换和质量校验，将分散、混乱的历史数据转化为标准、统一、可信的数据资源，为上层业务应用和智能分析提供了坚实的数据底座。该实践对于同类军事仓储项目的数据建设具有参考意义。