中航上电所是面向航空电子机载设备的集研发和制造于一体的航空制造企业, 产品具有小批量多品种的特点, 伴随着业务量的增大, 中航上电所于2007年实施ERP供应链管理系统。ERP供应链管理系统采用的是C/S与B/S模式共存的软件架构, 基于.NET2.0平台开发, 中间件采用的是Smarteam平台, 后台数据库选用的是Oracle 9i数据库。按照顶层规划、分布实施的原则在六年来, ERP供应链系统搭建的主要功能模块覆盖了物资网上申请审核、物资网上领料审核、物资采购计划管理、物资询价管理、物资比价管理、物资订货管理、物资到货管理、物资检验管理、物资库房管理、物资配套管理、MBOM管理、基础数据管理等模块。通过ERP供应链管理系统的建设和应用, 规范了供应链业务流程、统一了物料基础信息数据、库房条码的应用解决了物流和信息流的衔接, 大幅度提高了工作效率。伴随信息化的深入应用, 用户对供应链管理系统的操作层面渐渐形成了决策层面的管理意识, 对现有的供应链管理系统提出了更多的决策要求, 主要体现在以下几个方面:

1) Oracle数据库中存储了大量的业务单据, 各单据之间通过了总类繁多的数据表格存储和关联, 迅速便捷的拉出多维度的历史数据成了企业管理决策者所关心的问题, 因为伴随着时间的积累, 系统中的数据也与日俱增, 需要一套ETL方案按照各种应用主题将系统中的数据经过抽取、转换、加载进数据仓库, 为决策者提供数据依据。

2) 在物资采购计划业务中, 企业管理者需要详细了解某一档器件所有相关信息, 比如采购员是谁、在哪些产品上使用过、每一年的需求情况、消耗情况等信息, 通过数据分析和挖掘较为客观分析需求的合理性, 比如某一物资历年来只进不出, 那么在新的申购需求时可首先考虑现有库存来满足申购需求。

3) 在物资比价模块, 需要系统为管理人员提供物资的历史价格 (最低采购价、平均采购价、最高采购价) 来作为供应商的选择依据和采购员考核的参考依据。

4) 在物资检验管理模块中需要按照年度、季度、月度统计出各物资的及时送检率、检验合格率、筛选合格率等数据, 该数据将作为供应商供货质量反馈的依据。

5) 物资材料成本分年度、月度统计、课题年度成本、课题月度成本等数据, 该数据可以较为直观反映企业现有的存货成本以及消耗情况, 是企业物资决策分析的重要指标之一。

针对于以上需求, 通过搭建一个基于供应链管理系统的数据仓库, 通过将原始数据库中的数据经过ETL (抽取、清洗、转换和加载) , 然后按照各决策分析主题进行多维度分析和数据挖掘, 最终提供了一套基于供应链管理的数据仓库决策支持的解决方案。该系统包含了数据采集、在线分析、数据挖掘、数字报表、图形化报表等功能, 能够满足于不同管理层的业务需求。针对于大部分领导以浏览器B/S的方式进行数据查询统计、针对于决策分析员提供强大的后台决策分析工具进行数据管理。通过对上述需求的整理和分析, 同时结合IT调研等措施, 我们决定采用搭建一套基于数据仓库技术的供应链决策分析系统的建设目标, 即通过ETL技术将现有的Oracle 9i数据库中的数据经过抽取并转换后装载在数据仓库中, 然后通过在数据仓库中针对于不同的应用主题建模来对数据进行多维度的分析和挖掘[1], 最后通过用户界面层将多维分析数据和挖掘分析数据反馈给决策管理人员提供辅助的决策支持。

决策支持系统是在企业供应链现有数据库平台上, 通过ETL技术将原始的数据经过抽取、清洗、转换、汇总最后在数据仓库中进行综合的过程, 其中利用了OLAP联机分析处理技术、数据挖掘技术, 通过搭建该平台可辅助企业决策, 提高企业绩效管理[2]。图1.1展示了基于供应链管理的数据仓库技术决策支持系统体系结构。

图1.1决策支持系统体系结构图   下载原图

该体系结构将利用微软公司的Microsoft SQL Server2008商业智能解决方案提供数据决策支持。决策支持系统是以ERP数据库作为数据源, 通过以SSIS作为ETL数据抽取加载系统, 最后在此基础上搭建了一套数据仓库平台, 该平台上主要提供了OLAP决策分析功能、Reporting Servicing图形报表功能以及数据挖掘功能。图1.2是决策支持系统的逻辑结构图:

图1.2决策支持系统逻辑结构图   下载原图

本决策支持系统ETL使用的是SSIS工具。SSIS是微软SQL Sever 2008 BI的一个组件, SSIS其实是SQL Server 2000中DTS (数据传输服务) 的升级版。该平台提供了创建并调试报表的图形界面、可执行FTP任务、Web服务任务、消息队列等任务、执行SQL任务;提供了基于多种数据源中数据库的提取工作、同时还提供基于数据清洗、转换、整理、加载的图形管理界面。图1.3反映了SSIS的体系结构:

图1.3 SSIS体系结构图   下载原图

SSIS在ETL过程中提供了工作流、脚本语言、调度引擎等支持工具。由于现实工作中, 很多业务领域已经搭建了应用系统, 不同的应用系统跑在不同的数据库平台, 针对于数据库源的抽取方式一般有以下几种模式:

全量抽取:主要用于数据迁移或数据备份, 即将原数据库中的表或视图按照原有的数据结构完整的抽取出来, 这种方法实现起来最简单, 但是可用性不强, 因为在搭建数据仓库的过程中, 有很多数据是不需要抽取并且加载进来的。

增量抽取:只抽取发生变化部分的数据 (新增、修改) , 该模式主要是通过触发器捕获变化的数据, 同时还需要保证数据的及时性, 通过在原数据库中的相关表上创建触发器、每当有数据新增或插入时, 通过触发器将变化的数据写入数据仓库。该模式抽取性能高、实时性快、, 缺点是需要在原有的数据库中建立触发器、需要修改生产机中的数据库, 同时对于大量有插入和更新的操作的表上创建触发器本身也存在一定的性能消耗。

整表删除插入:在做抽取数据之前, 首先将目的表中的数据清空, 然后将最新的数据通过ETL装载进目的表, 该模式ETL加载简单、效率非常高, 同时对业务系统的数据仓库没有任何修改, 本文ETL模式将采用整表删除插入方式。

本文所设计的ETL方案是以ERP数据库Oracle 9i为数据源, SQL Server 2008数据仓库为目的源, 采用的整表删除插入模式进行ETL抽取。ETL工具使用的是微软SSIS。SSIS提供了Control Flow控制流和Data Flow数据流两种组件。Control Flow是完成ETL业务逻辑建模, 主要完成了对各个数据流任务单元的关联;而Data Flow提供了自定义的SQL语句的执行, 节点之间的数据传递、数据聚合、数据转换、数据合并、数据排序等操作, 提供了多个数据源和目的端的复杂数据流的数据整合。在ETL过程中, 我们创建了一个存储过程[Usp_Log Record], 该存储过程中包含了三个参数:@table_name (表的名称) 、@loda_date (装载时间) 、@rows_load (装载数据的行数) 。在每次进行ETL的装载过程中, 将调用该函数, 将相应的数据以日志的形式写入tn_loadlog表。

基于供应链管理系统的ETL主要分为维度表和事实表的抽取。ETL的过程采用的是完整插入数据模式, 即每次抽取收据时首先将现有数据表中数据清空, 然后将数据源中最新的数据表数据按照相应的逻辑进行抽取, 最后再加载到数据仓库中。在维度的加载过程中主要包含了维度初始阶段和维度加载阶段。维度初始阶段是对所有的维度表进行清空。维度表加载过程中是按照执行顺序分别加载物料信息表、分类编码表、部门信息表、人员信息表、供应商信息表、计量单位表、货位信息表、执行状态导入表、时间单位信息表、网上领料信息表、课题信息表、计划类型表进行加载。图1.4展示了维度表的控制流图:

图1.4维度表ETL过程   下载原图

SSIS是通过数据流任务进行数据的抽取、清洗、加载工作, 图1.4显示了数据流的工作流程图。

OLAP主要是为了决策人员提供一种灵活的数据分析手段, 这是通过多维数据分析实现的。OLAP的一个重要功能就是做多维数据分析, 是指对以多维形式组织起来的数据进行数据切片、切块、旋转、上卷、下钻等各种分析动作[3], 以求剖析数据, 使用户能从多角度、多侧面地观察数据库中的数据。

切片是多维数组中选定的一个二维子集, 比如在多维数组中 (维1, 维2, 维n, 变量) 中选定维i和维j, 并且在这两个维上取某一区间或全部成员, 而将其它维都选定一个维成员, 最后得到了在多维数组上维i和维j的一个切片, 表示为: (维i, 维j, 变量) 。

切片可以帮助用户舍弃一些观察角度, 集中观察两个维度上的数据表现, 对于分析维数较多的多维数据库, 数据切片的作用非常重要。在图1.5中展示了一个客户维、产品维、时间维多维数据组合而成的产品销售数据, 多维数据组表示为: (客户, 产品, 时间, 销售额) 。加入分析人员需要在客户维中查看维成员“政府”的报表数据, 那么就得到了在客户维上的一个关于“产品”和“时间”的切片, 如果选择的是产品维上选择了一个维成员, 比如“服务器”, 那么就得到了在产品维上关于“客户”和“时间”的切片, 切片的个数取决于某个维度中维成员的数量。

图1.5三维数据切片   下载原图

切块是在切片的基础上确定各维成员的区间所得的切片段, 即由多个切片叠合组成, 比如对于时间维的切片, 将时间维的取值设定为“2001-2012年”, 就得到了一个数据切块, 它是由2001-2012年12个切片叠合组成。

钻取的主要功能是改变维的层次, 改变维的分析粒度。共分为向上钻取 (Roll Up) 和向下钻取 (Drill Down) 。向上钻取是在某一维上将低层次的细节数据概括到高层次的汇总数据;而向下钻取则相反, 它从汇总数据深入到细节数据进行观察。例如表1.1反映了2011年各产品的销售额度。在时间维上进行下钻操作, 即获得了2011年四个季度的产品销售情况, 见表1.2, 钻取的深度与维度上划分的层次一致。

表1.1产品销售汇总数据     下载原表

表1.2产品销售下钻数据     下载原表

旋转即变换维的方向, 在表格中重新安排维的放置 (例如行列互换) , 类似于平面数据将坐标轴旋转。图1.6显示

图1.6旋转操作   下载原图

OLAP通过切片、切块、钻取和旋转操作里展示数据、获取数据, 除此之外当系统处于某些特殊情况下应具备提醒分析员的功能;比如根据预先设定的条件, 由系统自动生成物资的缺件分析日报;当系统超出边界条件时生成异常报告提醒分析人员。

SSAS中同样也支持基于MDX表达式的计算公式, 比如计算计划完成率、同比增加率、环比增加率、初检合格率、检验合格率、筛选合格率等指标来为管理决策者提供数据依据, 以下是供应链KPI的计算公式:

采购计划完成率=本期采购计划完成数/本期采购需求数

供应商交期及时率=本期供应商按时交货数/本期供应商应交货数

供应商交检合格率=本期供应商交货合格数量/本期供应商所有交货数量

入库数量百分比=某类物料入库数量/所有物料入库数量

入库金额百分比=某类物料入库金额/所有物料入库金额

入库数量同比增长率= (本期入库数量/上期入库数量) -1

库存周转率=本期领料数量/库存数量

在Analysis Service中, 通过设置关键绩效指标KPI度量值, 可以分析一个公司实现目标的进展程度, 除了提供数字度量值外, 还可以根据业务逻辑规则通过红灯、绿灯、黄灯交通指示灯来显示目标的进度是消极、积极还是中性的。KPI通过设置四个状态参数来计算KPI值:值表达式、目标表达式、状态表达式、走向表达式来反映KPI的走势状态, 如图1.7所示。在本例中我们对器件周转率设置KPI, 目标值我们预设为0.8 (即当周转率达到0.8认为合格) 。在多维数据集KPI中状态表达式和走向表达式通过高、中、低三种状态反映KPI趋势, 分别以数值1、0、-1来反映KPI值可接受、勉强可接受、不可接受三种状态。

图1.7库存周转率KPI图   下载原图

聚类分析算算法首先标示示数据集中的关系, 并根据据这些关系生生成一系列的的分类, 散点图是一种种非常有用的的方法, 可以直直观的标示算算法如何对数数据进行分组组。散点图可可以标示数据集中的所所有事例, 在在该图中每个事例就是一个个点, 如图11.8聚类散点点图所示, 在在定义分类后后, 聚类算算法将通过计计算确定分类类标示点分组的适合程度, , 然后尝试重重新定义分组组创建数据的分类, 该算算法将循环执执行该过程, 直到它不能再通过重新定定义分类改进进结果为止。

图1.8聚类散点点图   下载原图

我们可以根根据聚类分析析挖掘算法来分析各类器件件针对订货、、出入库数量量的分布情况况, 如图1.9所示:

图1.9聚类分析图   下载原图

聚类分析算法在数据挖掘中是比较常用的一种算法, 它的作用是对数据进行分组, 将特征相近的实体组织在一起, 以便帮助我们对于目标实体分类决策, 图1.10展现了通过聚类分析后各分类的关系图, 通过线条的粗细程度来判断各分类之间的关联程度。

图1.10聚类分类关系图   下载原图

该模型搭建后为管理决策者提供了多种决策信息:针对于计划、比价、订货、检验、库房等环节进行了不同领域的建模, 利用OLAP分析工具对历史数据进行分析, 根据不同的供应链主题创建了多维度数据立方体, 可以按照时间维度、物料维度、用户维度、供应商维度、计划状态等维度对数据集中的数据分析包括切片、切块、钻取、旋转等操作从而强化管理, 实现企业管理者的决策分析目的。通过信息化促进供应链管理业务流程改进, 主要体现在以下几个方面提高:

1) 通过OLAP分析, 可考虑将现有按单采购模式按照战略采购和事务操作进行分门别类的管理, 战略采购主要包含在供应商的优选 (ABC供应商) 、制定差异采购模式。

2) 通过数据分析各供应商历史采购周期, 提出相应缩短采购周期决策方案, 优化采购比价流程, 实现采购效率提高并且降低流程成本。

3) 对于物料数据分析, 物料总共可分为ABC三大类, 其中A类主要是我们非常关心的器件, 主要具有单价高、进货渠道紧张、并且对采购人员的技术知识和谈判经验要求很高。B类物料主要特点是采购单价比较小, 采购复杂程度相对较低, 对采购人员专业知识要求一般。C类物料主要特点是采购金额非常小、产品标准化程度高、采购流程较简单。

4) 通过数据仓库OLAP定期进行采购行为分析统计:提供采购计划、比价、订货、到货、检验、库房的月度、季度、年度报表, 其内容涵盖了计划的需求数量、比价节省的金额、交期、订货数量、到货数量、检验合格数量、库存数量、库房周转率、供应商份额等数据, 并且根据这些历史数据进行分析和比较。

5) 针对于询比价分析, 目前企业主要存在较为频繁的询比价、选择供应商上, 每一物料对应供应商太多, 各供应商参差不齐, 供货不稳定。企业未来模式:首先要缩减供应商数量、与核心供应商建立战略联盟、集中于几家综合实力较强的供应商, 建立长期合作伙伴关系。未来理想状态可将企业中的库存数量对合作伙伴开放, 一旦发生缺件发生, 供应商将自动进行补货, 真正实现Just in time及时供货和零库存的目标。