构建通钢股份公司数据管理架构支撑统计管理数据资源开发利用 论文

综观企业信息化,主要包括硬件、软件和数据三大部分的建设和管理工作。其中硬件是基础,软件是平台,数据管理是根本核心,也是最高层次。“三分技术、七分管理、十二分数据”,就说明仅有硬件和软件系统并不等于成功和完善的企业信息化,更重要的是要构建一套科学、合理的企业数据管理体系架构,以实现有效支撑数据资源的深入开发和利用工作。
  一、构建通钢股份数据管理体系架构
  通钢股份公司数据管理体系的架构应分为四层,即:操作数据层、数据清洗转储层、数据仓库层和数据在线分析层(见图1)。
  图1
  (一)操作数据层(ODS)
  ODS


(Operate
Data

Save)——操作数据存储。在这一层次中主要包括企业内部的采购数据、生产数据、质量检斤数据、销售数据、财务成本数据、人事数据等。目前,比较常见和流行的大型数据库管理系统有:Microsoft

SQL

Server、Oracle、DB2、Sybase、Informix等。通钢采用的是Microsoft

SQL

Server大型数据库管理系统。在操作数据层的管理上必须注意两点。
  1.重视数据资源规划工作
  数据资源管理的核心和基础,是进行数据资源规划工作,主要包括数据元素规划和信息分类编码。数据元素是最小的不可再分的数据单位,是一类数据的总称,它的质量是建立坚实的数据结构基础的关键。因此,应根据国家或行业标准结合企业实际,建立数据元素标准——数据元素命名标准、标识标准和一致性标准。通过对基础数据的分析和规划,建立统一的数据标准,以打好通钢股份公司信息化应用的基础。
  2.重视基础数据的录入、采集和管理工作
  在开展信息化的过程中,务必要避免“重硬轻软”“重软轻数”的观念。避免出现

“大马拉小车”“跑空车”或“拉错人”等现象。
  (二)数据清洗转储层(ETL)
  ETL:数据抽取(Extract)、转换(Transform)、清洗(Clean)、装载(Load)。从操作层的基础数据到数据仓库,必须经过ETL过程的处理,即,根据数据分析和利用工作对数据仓库的要求,首先,要从基础数据源抽取出所需的数据,再经过数据转换和清洗,最后,按照预先定义好的数据仓库模型,加载、转储到数据仓库中去,这是构建通钢数据仓库的重要一环。
  1.通过ETL过程处理数据的必要性
  一是数据集中管理的需要。
  二是数据规范化的需要。
  2.在ETL过程中,必须注意解决好两个问题
  (1)解决好ETL数据处理的速度和运作软件信息系统工作效率的关系
  利用大数据管理技术;采用先进的数据库管理系统;优化数据抽取机制,如分为实时抽取和定时抽取;利用数据映像技术将ETL数据处理过程合理分解成数据抽取和数据转换、清洗、装载两个阶段,这样做可以有效降低数据抽取工作对数据源的影响。总之,必须要实现ODS和ETL两项工作对数据库系统的操作达到负载均衡,实现ETL过程中的数据抽取和转换、清洗、转储工作安全高效。
  (2)在基础数据库与数据仓库之间建立良好的接口标准
  将基础数据转储到数据仓库以后,在将来的数据分析和利用工作中虽然主要是针对数据仓库进行,但在进行钻取、切片和其它分析工作时也可能需要连接到基础数据库中提取数据。因此,必须在基础数据库与数据仓库之间建立一套良好的接口标准。
  (三)数据仓库层(DW)
  数据仓库(Data

Warehouse)是指在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合,它是通过对原有的基础数据时序性地进行抽取、转换、清洗、装载而形成的真实、全面、统一的数据结构形式,是以传统的数据库技术作为存储数据和管理资源的基本手段,以统计分析技术作为分析数据和获取信息的有效方法,以人工智能技术作为挖掘知识和发现规律的科学途径,并通过运用在线分析处理技术(On-Line

Analytical
Processing)、数据挖掘技术(Data

Mining)来实现企业生产经营管理等决策支持(DSS)的数据应用。
  1.建立数据仓库的必要性
  目前,通钢对现代信息技术的应用主要集中于运作软件信息系统,虽然它能保证业务处理过程的自动化,但对这些操作型基础数据的应用,一般被限制在运作软件信息系统所规定的固定功能上,缺乏更灵活的数据查询和分析能力,无法满足更高层次数据分析和决策支持的需要。
  2.做好数据仓库的设计和建模工作是构建数据仓库的基础
  数据仓库要求能够良好的支持海量数据和快速查询的功能,要求能以面向主题、以多种维度进行挖掘和探索数据,这就要求必须对数据仓库从网络物理构建、数据库存储管理技术、内部数据结构


发表回复