商务智能：给企业一双慧眼

作者：中国科学院软件研究所 乔晓强 魏峻

欢迎访问e展厅 展厅 3 CIO信息化管理展厅 电子商务/企业门户, IT运维管理, 制造执行系统MES, 流程管理BPR/BPM, SOA/SaaS/云计算, ... 我们都知道“瞎子摸象”的故事。不同的瞎子对大象的认识不同，因为他们只认识了自己摸到的地方。而企业如果要避免重犯这样的错误，那就离不开商务智能(BI)。专家认为，BI对于企业的重要性就像聪明才智对于个人的重要性。欧美企业的经验也证明，企业避免无知和一知半解危险的有效手段就是商务智能。商务智能旨在充分利用企业在日常经营过程中收集的大量数据和资料，并将它们转化为信息和知识来免除各种无知状态和瞎猜行为。 最近的一项调查显示，绝大多数的企业高级管理人员都饱受“报告之苦”。每个月，高级管理人员都要花费大量的时间来准备业务报告，而且当获取数据的能力得到改善之后，高管人员还需要一种解决方案，能把信息以更加直观和有吸引力的方式，快捷、简便地呈现出来。BI就是高管人员完成这些工作的有力工具。在被称为“BI年”的2006年，应用BI的趋势将比想像得要猛。 商务智能最早是由Gartner Group提出的，是指对商业信息的搜集、管理和分析过程，目的是使企业决策者获得知识，促使他们做出对企业更加有利的决策。商务智能被认为是将存储于各种商业信息系统中的数据通过智能手段转换成有用的信息以帮助企业提高决策能力来解决商业问题的概念、方法和技术的集合。 商务智能是一套完整的解决方案，它是将数据仓库、联机分析处理(OLAP)和数据挖掘等结合起来应用到商业活动中，从不同的数据源收集数据，经过抽取(Extract)、转换(Transform)和加载(Load)，送入到数据仓库或数据集市，然后使用合适的查询与分析工具、数据挖掘工具和联机分析处理工具对信息进行处理，将信息转变成为辅助决策的知识，最后将知识呈现于用户面前，以实现技术服务与决策的目的。 商务智能的四大关键技术 商务智能的支撑技术主要包括ETL(数据的提取、转换与加载)技术和数据仓库与数据集市技术、OLAP技术、数据挖掘技术与数据的发布与表示技术。 1.数据仓库技术 实施BI首先要从企业内部和企业外部不同的数据源，如客户关系管理(CRM)、供应链管理(SCM)、企业资源规划(ERP)系统以及其他应用系统等搜集有用的数据，进行转换和合并，因此需要数据仓库和数据集市技术的支持。 数据仓库(Data Warehouse)是指从多个数据源收集的信息，以一种一致的存储方式保存所得到的数据集合。数据仓库创始人之一W.H.Inmon的定义为：“数据仓库是一个面向主题的、集成的、稳定的、包含历史数据的数据集合，它用于支持管理中的决策制定过程”。在构造数据仓库时，要经过数据的清洗、数据的抽取转换、数据集成和数据加载等过程。面向不同的需求，对数据进行清洗以保证数据的正确性，然后对数据进行抽取，转换成数据仓库所需形式，并实现加载到数据仓库。 数据仓库是一种语义上一致的数据存储，充当决策支持数据模型的物理实现，并存放企业战略决策所需信息。数据仓库的数据模型有星型模式、雪花模式。星型模式最为常见，有一个包含大批数据并且不含冗余的中心表，每维一组小的附属表。雪花模式中某些维表是规范化的，因而把数据进一步分解到附加的表中，模式图形成了类似雪花的形状。对数据仓库的研究集中在数据集成中数据模式的设计、数据清洗和数据转换、导入和更新方法等。 数据仓库通常是企业级应用，因此涉及的范围和投入的成本非常巨大，使一些企业无力承担。因而，他们希望在最需要的关键部门建立一种适合自身应用的、自行定制的部门数据仓库子集。正是这种需求使数据集市应运而生。数据集市( Data Mart) 是聚焦在选定的主题上的，是部门范围的。根据数据的来源不同，数据集市分为独立的和依赖的两类。在独立的数据集市中，数据来自一个或多个操作的系统或外部信息提供者，或者来自在一个特定的部门或地域局部产生的数据。依赖的数据集市中的数据直接来自企业数据仓库。 2.联机分析处理技术(OLAP) 联机分析处理(Online Analytical Processing ，简称OLAP) 又称多维分析，由EF Codd 在1994 年提出，它对数据仓库中的数据进行多维分析和展现，是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据更深入了解的一类软件技术。它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。 进行OLAP分析的前提是已有建好的数据仓库，之后即可利用OLAP 复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析了。称其为探测式数据分析，是因为用户在选择相关数据后，通过切片(按二维选择数据)、切块(按三维选择数据)、上钻(选择更高一级的数据详细信息以及数据视图)、下钻(展开同一级数据的详细信息)、旋转(获得不同视图的数据) 等操作，可以在不同的粒度上对数据进行分析尝试，得到不同形式的知识和结果。联机分析处理研究主要集中在ROLAP(基于关系数据库的OLAP) 的查询优化技术和MOLAP(基于多维数据组织的OLAP) 中减少存储空间和提高系统性能的方法等。 3.数据挖掘技术 与OLAP 的探测式数据分析不同，数据挖掘是按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析，从中识别和抽取隐含的模式和有趣知识，为决策者提供决策依据。数据挖掘的任务是从数据中发现模式。模式有很多种，按功能可分为两大类：预测型( Predictive)模式和描述型(Descriptive)模式。 预测型模式是可以根据数据项的值精确确定某种结果的模式。挖掘预测型模式所使用的数据也都是可以明确知道结果的。描述型模式是对数据中存在的规则做一种描述，或者根据数据的相似性把数据分组。描述型模式不能直接用于预测。在实际应用中，根据模式的实际作用，可细分为分类模式、回归模式、时间序列模式、聚类模式、关联模式和序列模式6 种。其中包含的具体算法有货篮分析(Market Analysis)、聚类检测(Clustering Detection)、神经网络(Neural Networks)、决策树方法(Decision Trees)、遗传算法(Genetic Analysis)、连接分析(Link Analysis)、基于范例的推理(Case Based Reasoning)和粗集(RoughSet)以及各种统计模型。 OLAP 与数据挖掘的区别和联系是：OLAP 侧重于与用户的交互、快速的响应速度及提供数据的多维视图，而数据挖掘则注重自动发现隐藏在数据中的模式和有用信息，尽管允许用户指导这一过程。OLAP 的分析结果可以给数据挖掘提供分析信息作为挖掘的依据，数据挖掘可以拓展OLAP 分析的深度，可以发现OLAP 所不能发现的更为复杂、细致的信息。数据挖掘的研究重点则偏向数据挖掘算法以及数据挖掘技术在新的数据类型、应用环境中使用时所出现新问题的解决上， 如对各种非结构化数据的挖掘、数据挖掘语言的标准化以及可视化数据挖掘等。 4.BI 的表示和发布技术 为了使分析后的数据直观、简练地呈现在用户面前，需要采用一定的形式表示和发布出来，通常采用的是一些查询和报表工具。不过，目前越来越多的分析结果是以可视化的形式表现出来，这就需要采用信息可视化技术。 所谓信息可视化是指以图形、图像、虚拟现实等易为人们所辨识的方式展现原始数据间的复杂关系、潜在信息以及发展趋势，以便我们能够更好地利用所掌握的信息资源。随着Web 应用的普及，商务智能的解决方案能够提供基于Web 的应用服务，这样就扩展了商务智能的信息发布范围。作为基于Web 的商务智能解决方案，需要一些基本的组成要素，包括基于Web 的商务智能服务器、会话管理服务、文件管理服务、调度、分配和通知服务、负载平衡服务和应用服务等。 商务智能市场强劲增长 商务智能软件已开始向全球市场稳步迈进。据Gartner预测，BI从2004年至2009年平均增长率将达到7.3%。 BI的增长率也随所处地区不同而有所不同，欧美市场已日臻成熟，增长速度趋缓，增幅仅在6.4%和6.9%之间。2003年，BI供应商由销售BI新软件许可证而得到的收入是18亿美元，到2005年已达23亿美元，到2009年则有望突破30亿美元。 随着越来越多的机构认识到BI的重要作用，越来越多的供应商开始提供易用的BI软件，在现有的客户群体中也出现了更多的销售机会。以前，BI应用软件的最早版本的编程和使用都必须是经过高级培训的技术人员，而现在已逐渐走向大众化。 Gartner的分析表明，使用BI系统，企业能够在实现与客户、供应商和股东的一体化方面以获得高的投资回报，这就使BI软件能够得到广泛应用。另一个潜在机会则是，已经实施BI的机构仍有大量潜在的用户未能获准访问现有的BI应用软件，他们随时都可能转变为BI用户。 虽然BI应用软件潜力巨大。但是，如果BI供应商们仍不能解决其系统和BI软件实施中的一些局限性，那么短期内BI市场需求不会有很大变化。 Gartner认为，BI与企业应用软件的整合仍是一个棘手问题，企业内部政策就是一大挑战，因为，企业内部人士认为企业范围的“事实的惟一版本”，对他们个人权力和“仿造”数据汇总给行政管理人员等行为构成了威胁。 D&B(原名为Dun & Bradstreet)市场和销售咨询企业解决方案的领头人Todd Withers也认为,整合工作是一项令人头疼的问题，往往会影响到BI的主动性。这些项目总的来说就是内容的管理，从定义开始——如什么是一个客户，举个例子来说，一个公司在一个季度内客户新增了1000个，但有可能这些新客户中有200个是重复记录的，但是却没有被识别出来。” 因此，BI成功实施应具备两大要素：来自资源系统的高质量信息和对系统数据的适当整合，首先掌握可靠数据是关键。尽管困难重重，企业仍会一门心思推进BI实施。越来越多的企业正依靠分析来制定部分基于产品突破点的定价决策，这些计算就必须使用到BI工具。 在中国，商务智能的重要性也被越来越多的企业管理者所认识，而在电信、金融、零售、流通等行业，商务智能已经成为信息化建设的重点。近几年，国内BI系统一直保持较快的发展速度，根据计世资讯(CCW Research)相关数据显示，2004年国内BI的销售额为4.2亿元，2005年则达到6.1亿元，增长率为45%，预计2006年国内BI市场将继续保持较快发展速度，销售额将达到8.6亿元。 随着BI系统在国内市场的不断普及，制约BI系统在中国市场快速发展的三大瓶颈逐渐显露出来。 第一，国内用户对BI的理解存在较大差别，基础数据没有引起重视。部分企业用户认为BI系统只是提供一些更加详细的财务报表，缺乏对BI系统在公司业务发展中所起到的辅助决策作用的认识。而另一部分客户则认为，BI系统高深莫测，其应用也将非常复杂，不但不能给企业的决策提供辅助支持，相反会给企业高层的决策增加障碍。还有少数企业高层管理者认为，使用BI系统将会影响高层管理者的地位。 第二，国内企业信息化基础薄弱，水平普遍偏低。计世资讯的调研结果表明，我国企业的信息化水平普遍偏低，目前仍处于初级阶段，其中，在大型企业中信息化水平处于业务整合阶段的比例为17%，达到成熟阶段水平的比例仅为1%，而在中小企业中，业务整合、系统整合和成熟阶段三个阶段之和占总体信息化水平的比例不足1%。BI系统是企业信息化进入成熟阶段后的企业的应用需求，因此如果不能快速提高国内信息化水平，未来几年BI系统在国内市场将很难得到快速发展。 第三，行业应用范围狭窄。目前国内应用BI产品的行业主要集中在电信、金融领域，而零售、能源、流通、制造行业中部分企业也在应用或者是将要使用BI系统，但总体来看，行业应用范围还比较狭窄，狭窄的行业市场空间也极大地制约了BI系统的快速发展。 商务智能发展存在五大问题 商务智能存在的问题主要包括： 1. 数据仓库的数据存储类型受到一定的限制，数据仓库的扩展性能还需要进一步加强。 2. 数据挖掘在标准化和通用性方面存在一系列问题，数据挖掘引擎与数据库系统还是松散耦合的。 3. 数据挖掘语言有待于向标准化方向发展。 4. 目前，OLAP 还是一种传统决策支持方法， 是一种用户驱动的验证性分析， 受到用户水平制约，使其作用没有得到充分发挥。 5. 目前大多数BI 系统功能集中在分析方面，对系统的智能性不够重视，决策支持功能主要还是依赖数据挖掘、OLAP 等工具的数据分析、趋势预测功能来实现，不具备专门的决策支持系统所提供的方案生成、方案协调、方案评估的功能，更不具备群体决策和智能决策的能力，也就是说BI的智能化水平还很低。 商务智能的五大发展趋势 随着应用的不断深入，市场需求对BI提出了新的挑战。具体来说，BI未来发展将集中于以下几点： 1)数据挖掘方法和算法研究将更加深入， 专门用于知识发现的数据挖掘语言有望进一步向标准化发展。基于数据仓库的数据挖掘与OLAP 将实现融合和互补，从而使分析操作智能化，使挖掘操作目标化。信息可视化进程进一步发展，以提供更优的洞察力。对非结构化数据的处理和分析，比如文本挖掘和WEB挖掘的能力将大大增强。 2)BI方案更开放、可扩展、可按用户定制，在保证核心技术的同时，提供客户化的界面。针对不同企业的独特的需求，BI系统在提供核心技术的同时，使系统又具个性化，即在原有方案基础上加入自己的代码和解决方案，增强客户化的接口和扩展特性；可为企业提供基于商务智能平台的定制的工具，使系统具有更大的灵活性和使用范围。 3)BI 方案的协同性将进一步提高。企业能够利用合作伙伴的数据仓库或Intranet 系统中的多维数据集进行决策分析活动， 并且OLAP 及其他BI的应用以Web 服务形式提供， 以XML 形式发放BI 应用的分析结果是新的发展趋势。 4)BI系统将更具专业化和行业化的特点，BI 根据每个领域关注的重点和分析模型， 提供针对具体企业进行扩展的解决方案。各种商业分析模型、数据挖掘算法将集成到BI 软件和分析应用之中，从而能够集中解决不同部门的需要。同时，BI应用与企业门户、企业应用集成紧密相连，新的BI 系统将不再是一个孤立的应用。 5)SOA与BI结合。面向服务的架构用来解决松散耦合、基于标准的和协议独立的分布式计算的需求。SOA提供了统一的环境以设计业务流程,管理业务操作，持续地改进和优化业务过程。由于SOA并不是以数据为中心，因此必须对服务和数据模型之间的关系进行建模以结合SOA与BI,即需要从数据的视角出发看待服务，从而更好地利用SOA架构为BI提供潜在的巨大优势。 链接：商务智能的作用 商务智能可以说是企业“从数字上进行管理”的能力，这种能力是有效果和有效率的企业和经济制度的显著特点。商务智能的作用至少可以总结为以下四个方面： ● 理解业务。商务智能可以用来帮助理解业务的推动力量，认识是哪些趋势、哪些非正常情况和哪些行为正对业务产生影响。 ● 衡量绩效。商务智能可以用来确立对员工的期望,帮助他们跟踪并管理其绩效。 ● 改善关系。商务智能能为顾客、员工、供应商、股东和大众提供关于企业及其业务状况的有用信息，从而提高企业的知名度，增强整个信息链的一致性。利用商务智能，企业可以在问题变成危机之前，很快地对它们加以识别并解决。商务智能也有助于加强顾客忠诚度，一个参与其中并掌握充分信息的顾客更加有可能购买你的产品和服务。 ● 创造获利机会。掌握各种商务信息的企业可以出售这些信息，从而获取利润。但是，企业需要发现信息的买主并找到合适的传递方式。 (end)

文章内容仅供参考 (投稿) (如果您是本文作者，请点击此处) (7/19/2006)