商业智能在ERP系统中的应用研究

作者：

欢迎访问e展厅 展厅 3 CIO信息化管理展厅 电子商务/企业门户, IT运维管理, 制造执行系统MES, 流程管理BPR/BPM, SOA/SaaS/云计算, ... 1 绪论 商业智能的发展 商业智能是一种综合运用了数据仓库、联机分析和数据挖掘技术来处理和分析数据的崭新技术。商业智能这一术语1989年由Gartner Group的Howard Dresner首次提出，它描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。商业智能系统从企业运作的日常数据中开发出结论性的、基于事实的和具有可实旌性的信息，使企业能够更快更容易的做出更好的商业决策。使企业管理者和决簧者以一种更清晰的角度看待业务数据，提高企业运转效率、增加利润并建立良好的客户关系，使企业以最短的时间发现商业机会捕捉商业机遇。如何时何地进入何市场，如何选择和管理大客户联系，以及如何选择和有效她推出商品优惠策略等。同时通过提供决策分析能力。使企业更有效地实现了财务分析、风险管理、诈骗检测、分销和后勤管理，以及销售状况分析等。 商业智能系统可以说是一个智能决策支持系统，它不是一种产品或服务，从某种意义上商业智能是一种概念或者说是一种商业理念，它是在企业数据仓库的基础上，利用数据挖掘和信息挖掘工具获取商业信息，以辅助和支持商业决策的全过程。通过商业智能技术，用户更充分地了解他们的产品、服务、客户以及销售趋势。商业智能在我国尚处于起步阶段，商业智能系统适合应用的行业依次是：零售、保险、银行、通信、离散制造、政府、医疗、分销、流程制造、教育。 国内外研究现状 随着2003年12月12日Business Objects公司(简称Bo)收购Crystal Decisions所有交易的全部结束，一个年营业额达7．36亿美元的全球最大的m厂商诞生了。从听到关于沃尔玛超市的“啤酒”与“尿布”的故事，我们知道了BI应用可以如此神奇地分析出两种看似毫不相干的东西之间原来还有着千丝万缕的联系，如今以数据仓库为核心的BI应用正在成为国内很多用户们实施的热点。据IDC(Intemational Data Corp．1最新的研究报告称，2007年商业智能系统的市场规模将翻倍，且在世界范围超过140亿美元，而亚太地区：BI解决方案市场将达33亿美元，这是目前市场价值12亿美元的近3信。世界许多以提供软件平台和工具平台的大公司通过多年与企业的交流，己经认识到企业对商业智能的迫切需求，纷纷加入到从事商业智能的研究与开发上来。IBM建立了专门从事m方案设计的研究中心，ORACI丑、微软等公司纷纷推出了支持Ⅸ开发和应用的软件系统，有的自接进入了BI的开发领域。据市场分析员介绍，BI己经成了企业信息技术最为重要并且极具潜力的领域。 在国外己有很多实施商业智能的成功案例：AT&T Universal公司通过部署商业智能解决方案，每年减少信用卡欺诈额高达8001万美元：Cadbury巧克力公司借助商业智能使市场份额很快从28％提升到了30％：美国第二大银行一花旗银行(Citibank)在BI系统的帮助下，能够有效分析其分布于57个国家的客户和信息在国内，商业智能的应用方面还处于刚刚起步阶段，但它的需求潜力巨大。在过去两年里，已经有不少国际商业智能公司进入中国，其中有MicroStrategy,BusinessObjects， Cognos等国际知名的传统的商业智能软件厂商，也有一些著名的企业管理应用软件厂商，比如SAP,qj骨文和冠群等公司投资于分析软件。国内用友、金蝶、创智等厂商近期也推出了这类产品。这些国内厂商一方面同国际商业智能软件厂商建立良好的合作关系以维持发展，另一方面也在积极提升产品和解决方案的内在品质，向客户提供更完美的决策支持服务，争取与国外厂商一比高低。BI的发展得益于相关技术的发展，并行处理系统、廉价数据存储、新数据挖掘算法、神经网络技术、人工智能技术、决策支持技术、从大量数据中发现其背后潜藏的商业机会等等技术的发展。随着这些技术的不断进步，必将推动商业智能的发展和完善。 目前国内的m应用仍然存在许多问题，主要表现在数据分析、知识发现能力、效率低，或者缺乏知识发现，而更像一个操作型应用系统。很难在决策支持方面发挥BI应有的作用。首先应该认识到劭发展、应用的总体趋势，其次多借鉴国外BI成熟的技术和方法，开发或不断完善真正意义上的BI系统。相信本文对国内企业BI系统的研究开发会有启发。 商韭智能解决方案的核心功能 (1)客户智能(客户关系管理)： 提供全方位的客户信息查询、分析和监控功能。利用客户智能可帮助企业制定获取客户、保留情况和提升客户和润贡献度的客户管理策略。客户智能还可以对客户满意度、忠诚度以及客户生命周期进行分析，并通过先进的绩效管理框架对客户利润贡献度进行评估进而制定客户细分策略。 (2)营销智能： 通过分析、报告、管理和监控营销信息来帮助企业的决策者、营销专家和分析人员制定战略性的营销策略，帮助企业提高营销能力。并可以根据企业制定的营销策略进行计算机仿真，观察销售策略是否能达到预期的效果。 (3)销售智能： 提供全面的销售团队分析、销售业绩分析、根源分析和业绩管理来帮助决策者制定销售策略及对销售业务快速做出市场反应。销售智能还提供很多随时可以运行的智能报告和分析手册，评估销售趋势、市场开拓活动、产品利润、产品生存周期以及促销效果。 (4)服务智能： 分析与服务相关活动的全面信息，监控服务质量，帮助企业制定更合理高效的服务策略。该智能进行闭环式的跟踪反馈，并与业务人员的工作绩效直接挂钩，起到指导和监督的作用。 (5)财务智能： 提供易于使用的财务盈利状况分析报表、现金流分析报表、现金状况分析报表、资产管理分析报表、项目分析报表等，方便决策者迅速地分析财务信息。 商业智能能为企业带来效益 商业智能帮助企业的管理层进行快速，准确的决策，迅速的发现企业中的问题，提示管理人员加以解决．但商业智能软件系统能代替管理人员进行决策，不能自动处理企业运行过程中遇到的问题．因此商业智能系统并不能为企业带来直接的经济效益，但必须看到，商业智能为企业带来的是一种经过科学武装的管理思维，给整个企业带来的是决策的快速性和准确性，发现问题的及时性，以及发现那些对手未发现的潜在的知识和规律，而这些信息是企业产生经济效益的基础，不能快速，准确的指定决策方针等于将市场送给对手，不能及时发现业务种的潜在信息等于浪费自己的资源．比如：通过对销售数据的分析可发现各类客户的特征和喜欢购买商品之间的联系，这样就可进行更有针对性的精确的促销活动或向客户提供更具有个性的服务等，这都会为企业带来直接的经济效益．如果把“商业智能“技术应用刭ERP系统中，并对ERP系统积累的数据进行分析处理，使数据仓库建立在这些数据之上，结合0LAP技术及数据挖掘技术，将非直观的、隐含的信息和知识以直观的形式描述，辅助领导层进行决策分析，帮助用户发现ERP系统积累的数据的潜在价值。可以这么说，普通的ERP系统能够帮助用户规范企业的管理，而拥有强大数据分析功能的ERP系统则能够使用户从这种规范的管理中获得更大的效益。它也是当前ERP系统研究的热点。 中小企业对商业智能需求的迫切性 随着信息技术的高速发展，企业信息处理量不断加大，企业资源管理的复杂化也不断加大，这要求信息的处理有更高的效率，信息的集成度要求扩大到企业的整个资源的利用和管理，ERP(Enterprise Resource Planning-企业资源计划正是为了适应企业的需求而产生。激烈的市场竞争使越来越多的国内企业开始关注ERP系统，而且在企业中建立起自己的ERP系统，并在多年的系统运行中积累了丰富的数据。随着计算机网络的飞速发展和企业走向电子商务的趋势赋于了ERP许多新的发展趋势，要求把数据挖掘和联机分析技术应用到ERP系统中，使其具有商业智能。然而，目前多数国内企业的礤瞪系统仍停留在功能全面的MIS系统层面，尤其没能够达到真正的ERP所期望的辅助决策分析的功能。企业面对日益积累的庞大数据，渴望寻求新的途径来迎接信息时代的挑战。 商业智能的出现，则可以很好的解决这个阋题，并且顺应时代的的需求，利用现有的业务信息提取和组织有用的信息，能够帮助用户在加强管理、促进营销和企业发展方面做出及时、正确的决策。然而，根据调查数据显示，中国的BI市场主要集中在电信、金融、税务、保险等商端市场，对于企业来说，也仅仅少数规模较大的企业用到了BI，究其原因是： 首先是ERP开发商没有在BI这个产品上投入研发。我们看国内最大的两家ERP厂商：用友和金蝶，，虽然他们的产品中都加入了自己研发的管理数据仓库，但都属于一个概念性的模块，没有实际的销售。那为什么他们不在这个上面投入研发力量呢?原因又有二，其一，BI研发要求相对ERP更为精深的技术，而且，需要更为专业的需求人员。其二，在用友或金蝶看来，中国的ERP也才刚刚进入到普及化的初级阶段，国内9096的企业属于中小型的，BI的需求还不明显，且它们多数不具备建立数据仓库的能力。 其次是中小企业在BI上一次性资金投入少，但对短期回报要求高。中小企业由于规模有限，不可能对企业的信息化做大的资金投入，尤其是软件方面，一次性投入几十万元人民币，对多数中小企业来说就是一个非常庞大的数字了，它们也不可能向大型企业那样几个月，甚至几年后再计算收益，因此更希望在投入的短时间内取得效果，而且效果越明显越好。然而，商业智能的发展是建立在数据仓库基础上的，从目前国内外数据仓库的建设表明，数据仓库建设不是一朝一夕的工作，它需要企业拥有强大的数据源，强大的资金作后盾，同时要配备一批数据仓库管理，维护人员进行日常工作。对于广大中小企业而言，面对刚刚兴起的商业智能，企业决策者只能在理论上认可。那么，是不是中小企业就根本不需要BI呢?答案是否定的。国内中小企业需要商业智能，随着我国经济的不断发展，企业也在不断壮大，商业智能的兴起，使企业看到信息时代的优越性，现有的ERP系统不能满足决策者的要求，中小企业迫切希望能应用商业智能给企业提供帮助。 其原因在于： 1．有关决策支持的功能分布于ERP的各个部分中，不利于系统的更新及维护。企业的决策需求随着业务需求及市场的变化而不断发生变化，在分散的系统中更新、维护系统远远不如在集中的系统中方便。 2．较难应用OLAF的分析技术。OLAF技术为数据的快速查询，分析提供了一种非常好的方法，但分散的系统不利于OLAP技术的实现。 3．不利于数据挖掘技术的应用。数据挖掘技术是现代人工智能和专家系统必用的技术，是数据仓库和数据集市常用的技术，目前多数企业的ERP系统在数据分析方面是以数据库为基础，数据来源不同，不能形成统一的格式，很少建立起自己的数据仓库或数据集市，使数据挖掘技术不能很好利用。 4．有关决策支持的功能分布于ERP的各个系统中，不能充分发挥第三方数据展示工具的应用。在数据仓库的解决方案中，有很多的专用工具可以选择，而分散的系统造成了工具使用上的难度。 研究意义 基于目前情况，本课题研究意义是把数据集市引入商业智能系统中代替数据仓库，使国内的中小企业也能拥有自己的商业智能，利用ERP系统提供的大量及时的数据果断决策，使用少量的投资，获取更大的回报，抓住机遇，赢得优势，使企业生存发展处于不败之地。通过引入数据集市建立的ERP软件的商业智能，它的优势在于： 1．数据集市是一种更小、更集中的数据仓库，是为企业提供分析商业数据的一条廉价途径。它是具有特定应用的数据仓库，主要针对某个具有战略意义的应用或具体部门级的应用，把企业长期积累的数据充分利用。 2．数据集市一般包含有关某一特定业务领域的数据，可以分布在不同的物理平台上，随着企业的壮大，当更多的数据集市加人时，应将这些数据集市加以集成，最终建立起一种结构，即构成企业级数据仓库的数据。 相关理论与技术 数据仓库 业界公认的数据仓库概念创始人w．H．Iumon在‘建立数据仓库》一书中对数据仓库的定义是：数据仓库就是面向主题的、集成的、稳定的、不同时问的数据集合，用以支持经营管理中的决策制定过程。 数据仓库中的数据面向主题与传统数据库面向应用相对应。主题是一个在较高层次将数据归类的标准，每一个主题对应一个宏观的分析领域：数据仓库的集成特性是指在数据进人数据仓库之前，必须经过数据加工和集成，这是建立数据仓库的关键步骤，首先要统一原始数据中的矛盾之处，还要将原始数据结构做一个从面向应用向面向主题的转变：数据仓库的稳定性是指数据仓库反映的是历史数据的内容，而不是日常事务处理产生的数据，数据经加工和集成进入数据仓库后是极少或根本不修改的；数据仓库是不同时间的数据集合，它要求数据仓库中的数据保存时限能满足进行决策分析的需要，而且数据仓库中的数据都要标明该数据的历史时期。 数据仓库最根本的特点是物理地存放数据，而且这些数据并不是最新的、专有的，而是来源于其它数据库的。数据仓库的建立并不是要取代数据库，它要建立在一个较全面和完善的信息应用的基础上，用于支持高层决策分析，而事务处理数据库在企业的信息环境中承担的是日常操作性的任务。数据仓库是数据库技术的一种新的应用，而且到目前为止，数据仓库还是用数据库管理系统来管理其中的数据， 数据仓库的结构 数据仓库是存储数据的一种组织形式，它从传统数据库中获得原始数据，先按辅助决策的主题要求形成当前基本数据层，再按综合决策的要求形成综合数据层(又可分为轻度综合层和高度综合层)。随着时间的推移，由时间控制机制将当前基本数据层转为历史数据层。可见数据仓库中逻辑结构数据由3层到4层数据组成，它们均由元数据 联机分析处理 联机分析处理(On-Line Analytical Process，OLAP)瑚，是使分析人员，管理人员或执行人员能够从各种角度，对原始数据转化出来的，能够真正为用户所证明的，并真实反映企业维持性的信息进行快速，一致，交互的存取，从而获得对数据的更深入得了解的一般软件技术。OLAP的目标是满足决策支持或多维环境特定的查询和数据分析工具的集合。 联机分析处理是数据仓库进行决策分析的一个重要概念，是一种共享多维信息的快速分析工具，也称多维分析。它是一种数据分析技术，能够完成基于某种数据存储的数据分析功能。OLAP技术是对由语意动态对象建立的，以动态微立方结构形式存储的表进行向下钻取(Drill Down)。向上钻取(Drill Up)，跨越钻取，切片和切换等操作实现数据的多维分析。完成这些功能和任务涉及的技术包括数据库，数据仓库，可视化网络，数据挖掘和领域知识处理等，系统集成还要处理多种环境。 在适应性方面，有以下几方面不同： 在维数交化方面 MOLAP具有较高的预综合度，随维数的增加，数据超立方体的体积增长十分迅速，管理较难，相比之下，ROLAP的预综合度较低，管理灵活，维的增加对数据集市的影响较小，适应性较强。 在数据变化方面 由于MOLAP的高效率是建立在预综合基础上的，当数据变化频繁时，如阴进行预综合所需的开销将十分客观，它对数据变化的适应性不如ROi．^P。 在数据量方面 作为ROLAP基础的RDBMS，其发展历程要远远超过MDDB，目前以拥有较强的并行处理能力，能较好的适应大数据量的运算，同时在对软硬件环境的适应能力上，也具有明显的优势。 联机分析处理与数据仓库的关系 在数据仓库中，OLAP和数据仓库是密不可分的，但是两者具有不同的概念。数据仓库是一个包含企业历史数据的大规模数据库，这些历史数据主要用于对企业的经营决策提供分析和支持。数据仓库中的数据是不能用于连机事务处理系统(OLTP)的，而OLAP技术则利用数据仓库中的数据进行联机分析，将复杂的分析查询结果快速地返回用户。OLAP利用多维数据集和数据聚集技术对数据仓库中的数据进行组织和汇总，用联机分析和可视化工具对这些数据迅速进行评价。从图2-1中可以发现OLAP用多维结构表示数据仓库中的数据，创建组织和汇总数据的立方体，这样才能有效地提高用户复杂查询的要求。因此数据仓库的结构将直接影响立方体的设计和构造，也就影响OLAP的：工作效率。从OLAP使用的效率角度考虑，在设计数据仓库时应该考虑这样一些因素。 数据挖掘技术 数据挖掘技术建立在数据仓库之上，一方面能够提高数据仓库系统的决策支持能力，另一方面，由于数据仓库完成了数据的清洗、ETL(抽取，转换，装载)，数据挖掘面对的是经过初步处理的数据，更加有利于数据挖掘功能的发挥。与展示企业历史和现有信息的静态、动态报表及查询等分析方法不同，数据挖掘是从数据库中智能地寻找模型，从海量数据中归纳出有用信息。可以说通过商业智能系统，企业获得洞察力的主要手段就是数据挖掘。 数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 数据挖掘技术的分类 数据挖掘技术充分利用机器学习、人上智能、模糊逻辑、人上神经网络等方法。按照研究方法的不同，可分为： ①归纳学习方法：如信息论方法(决策树方法)，集合论方法(粗集方法，概念树方法等)； ②仿生物技术方法：如神经网络方法，遗传算法； ③公式发现法：如物理定律发现系统BACON、经验公式发现系统FI)D； ④统计分析方法：如相关分析，回归分析，因子分析等； ⑤模糊数学方法：如模糊评判，模糊聚类等。数据挖掘按照功能又可分为描述型数据挖掘和预测型数据挖掘两种。描述型数据挖掘包括数据总结、聚类及关联分析等。预测型数据挖掘包括分类、回归及时问序列分析等。 下面介绍集中比较典型的数据挖掘方法： (1)数据总结：继承于数据分析中的统计分析。数据总结目的是对数据进行浓缩，给出它的紧凑描述。传统统计方法如求和值、平均值、方差值等都是有效方法。另外还可以用直方图、饼状图等图形方式表示这些值。广义上讲，多维分析也可以归入这一类。 (2)聚类：聚类分析是根据物以类聚的原理，将本身没有类别的样本聚集成不同的群组，并且对每一个这样的组进行描述的过程。它的目的是使群与群之间差别很明显，而同一个群之间的数据尽量相似。 聚类分析常用于客户关系管理。利用聚类技术，根据客户的个人特征以及消费数据，可以将客户群体进行细分。例如，可以得到这样的一个消费群体：女性占91％，全部无子女、年龄在3l到40岁占70％，高消费级别的占64％，买过针织品的占91％，买过厨房用品的占89％，买过园艺用品的占79％。针对不同的客户群，可以实施不同的营销和服务方式，从而提高客户的满意度。 对于空间数据，根据地理位置以及障碍物的存在情况．可以自动进行区域划分。例如，根据分布在不同地理位置的ATM机的情况将居民进行区域划分，根据这一信息，可以有效地进行ATM机的设置规划，避免浪费，同时也避免失掉每一个商机。对于文本数据，利用聚类技术可以根据文档的内容自动划分类别，从而便于文本的检索。 (3)关联分析：关联分析主要用于发现不同事件之间的关联性，即一个事件发生的同时，另一个事件也经常发生。两种常用的技术是关联规则和序列模式。关联规则是寻找在同一个事件中出现的不同项的相关性：序列模式与此类似，寻找的是事件之间时间上的相关性，如对股票涨跌的分析等。关联分析的重点在于快速发现那些有实用价值的关联发生的事件。其主要依据是事件发生的概率和条件概率应该符合一定的统计意义。 对于结构化的数据，以客户的购买习惯数据为例，利用关联分析，可以发现客户的关联购买需要。例如，一个开设储蓄账户的客户很可能同时进行债券交易和股票交易，购买纸尿裤的男顾客经常同时购买啤酒等。利用这种知识可以采取积极的营销策略，扩展客户购买的产品范围，吸引更多的客户。通过调整商品的布局便于顾客买到经常同时购买的商品，或者通过降低一种商品的价格来促进另一种商品的销售等。 对于非结构化的数据，以空间数据为例，利用关联分析，可以发现地理位置的关联性。例如，85％的靠近高速公路的大城镇与水相邻，或者发现通常与高尔夫球场相邻的对象等。 (4)分类：目的是构造一个分类函数或分类模型(也常常称作分类器)，该模型能把数据库中的数据项映射到给定类别中的某一个。要构造分类器，需要有一个训练样本数据集作为输入。训练集由一组数据库记录或元组构成，每个元组是一个由有关字段(又称属性或特征)值组成的特征向量，此外，训练样本还有一个类别标记。 元数据分类 对元数据的合理分类，是对其有效管理的前提，目前对于元数据分类有很多种，从不同的角度可以将元数据分成不同的类蹦。按数据类型分为：基础数据元数据，数据处理元数据：按抽象层次分为：概念元数据，逻辑元数据和物理元数据：按用户使用角度来分：技术元数据和业务元数据：按元数据来源分为：工具元数据，资源元数据，外来元数据：按应用日的分为：管理维护元数据，更新元数据和分析元数据，等等。 本文将元数据集市中的元数据划分为：技术元数据和业务元数据。技术元数据(technical metadata)是为企业技术用户和IT员工提供支持的元数据，而业务元数据(business metadata)是为企业业务用户提供支持的元数据。当开发人员和技术用户对企业应用系统进行维护和扩展时，技术元数据为他们提供所需的信息。例如，如果企业需要重新划分其他地理销售区域，信息主管就可以用技术元数据列出所有含有地理销售数据的程序、表和系统。这些信息使主管能够方便而迅速地估计出开发团队进行修改所需要的开发资源和时问，还可以帮助确定可能受到影响的所有其它系统。然后开发人员在实现新的地理销售区域时，可以使用其他技术元数据来帮助定位到具体的代码。因此，技术元数据对于维护和改进信息系统来说时至关重要的。技术元数据还可以帮助IT员工为信息系统的后续版本制定计划，还可以协助开发人员实际地实现这些变化。如果没有技术元数据，分析和实现这些变换就会变成一项困难而费时的任务。 尽管创建元数据源的副本《抽取文件)会有一些额外的存储r丌销，但这些开销会相当小，因为元数据源文件中的数据量通常不会很大。另一方面，单独建立抽取层有三个优点： 1)时效性 抽取层对于保持系统中的元数据同步非常重要。为了说明这一点，可以假定有三张元数据仓库表需要从相同的元数据源得至0数据。如何构造一个进程直接从同一数据源构建这三张元数据表，当执行该迸程来构建其中一元数据表时，此时的元数据源可能已经变化了。当元数据源高度动态变化时，这种情况的可能性会更大。在不同时刻读取元数据时，元数据仓库中的数据就会不同步。通过在集成处理过程中一次性创建抽取文件，所有的元数据表可由该抽取文件构建，这就消除了可能的时效性问题。 2)扩展性 因为要创建类似于元数据源文件或表的抽取文件，所以只需要从元数据源一次性地读取数据。如果没有抽取文件或表，元数据仓库中的每张表都必须分别从元数据源中读取，这并不是开发人员所期望的。 3)备份 创建抽取文件提供了该元数据源的自然备份。因此，如果出现了不得不停止元数据集成处理的状况，那么可以在不影响元数据源的情况下轻易地撤消改动。(end)

文章内容仅供参考 (投稿) (如果您是本文作者，请点击此处) (10/3/2010)