亚信吴宏伟：如何让产业数据融合更高效、分析更便捷

2014中关村大数据日于2014年12月11日在中关村举办，大会以大会以“聚合数据资产，推动产业创新”为主题，探讨数据资产管理和变现、大数据深度技术以及行业大数据应用创新和生态系统建设等等关键问题。大会还承载从政亚信府主管部门到各行各业的需求和实践中的疑问，探讨包括政府、金融、运营商等部门是如何通过数据资产管理和运营，实现转型发展和产业创新的路径

2014中关村大数据日于2014年12月11日在中关村举办，大会以大会以“聚合数据资产，推动产业创新”为主题，探讨数据资产管理和变现、大数据深度技术以及行业大数据应用创新和生态系统建设等等关键问题。大会还承载从政亚信府主管部门到各行各业的需求和实践中的疑问，探讨包括政府、金融、运营商等部门是如何通过数据资产管理和运营，实现转型发展和产业创新的路径。

在下午的运营商@Big Data论坛上，亚信大数据分析平台产品经理吴宏伟带来《让产业数据融合更高效、分析更便捷》主题演讲，演讲分四部分，第一个是互联网带动数据分析的一个发展，第二块是大数据带来的智慧和我们遇到问题的一些思考，第三个部分是亚信如何加速产业大区域融合分析，第四个分享亚信大数据背后的故事。

吴宏伟：大家好，我是亚信大数据吴宏伟，本次分享主要是四个部分，第一个是互联网带动数据分析的一个发展，第二块是大数据带来的智慧和我们遇到问题的一些思考，第三个部分是亚信如何加速产业大区域融合分析，第四个分享亚信大数据背后的故事。首先我们看中国互联网的发展历史，在1986年到1990年完成了互联网建设，从1997年到2008年阶段是互联网快速发展时期，用户数和带宽都迅猛增长，从2009年到2014您进入移动互联网时期，随着3G4G牌照发放，用户通过互联网就可以完成互联网的接入，这时候互联网模式已经非常成熟，用户通过网上购物有直接能够使用。实际上互联网也带动了大数据的发展，根据2013年不完全统计，全球互联网每天产生的数据量是达到1亿B级，我相当于是1000个PB级，它需要有多少块磁盘来刻录呢，需要1.8亿万张。我们在大数据分析过程中也是从大数据转型。第一个是规模大，分析的数据内容从GB增长到PB甚至更多。第二个是范围大，它从企业内部结构化的数据向非结构化数据转型，另外也接入了企业外的数据。第三部分是数据作用大，之前数据还是用于日常运营，随着大数据推动企业运营和营销成本，所以企业大数据有非常大的帮助。

下面我们满看大数据对于行业的重要性，主要体现在从互联网方式来讲，大数据属于金字塔最顶尖的部位，大数据分析可以快速的了解政策法规，了解企业具体的舆情情况，也能够进行一些风险规避，了解消费者的需求，所以大数据分析对于行业来讲非常重要。如何做好大数据分析？实际上我们面临五个方面的挑战。第一个是海量数据，海量数据是互联网的接入，互联网大数据已经从GB型向PB型转换，另外形成结构化数据，形成数据的多样性。第三个挑战是数据的便捷，以前大数据分析主要是用于小众人群，专业IT人员才能使用的分析平台和分析工具，我们希望能够把大数据分析能够支撑到业务人员一线人员直接使用。第四个就是准确性，就是在大数据分析过程中，能够准确地让大数据运行。第五个是大数据的挑战。互联网过程中来，我们往往会做一些实时的预测决算，比如说实时数据分析，我们看传统的数据分析局限性，第一是延迟性，毕竟建设周期比较长，在原有的基础上面没有考虑实时性。第二个特点它有限洞察，传统的数据分析数据接入还是来源于企业内部，另外更多的只能支撑结构化的数据，因此它的分析面并不是特别广，分析准确性也不是特别高。第三个是高门槛，因为传统的数据分析我们更多借助于商业的数据分析，例如BU，这样的使用人群有一些局限性。第四就是高成本我们建设系统时经常会用到商业的高端服务器和商业的数据化分析，但是随着技术门槛越来越低，数据不断增长的情况下会带来更大的成本投入。因此我们大数据分析实际上有相对的机遇，我们思考要在四个方面要做重大的改变，第一个提供实时性，能够提供实时的分析，第二个加强准确性，接入第三方的数据，补全企业的数据信息。第三块我们进行低成本投入高回报构建一个大数据平台。第四块要降低使用门槛，使大数据分析不仅能够为专业人士使用，也能够为具体的一线业务人员使用。

由此我们来看一下亚信大数据的变革。我们归纳八个方面，第一个连接，第二个融合，第三个实时，第四个是简单，第五个是快速，第六个是专业，第七个是专业，第八个是开放。第一个连接我们希望汇集各个行业的数据，避免数据孤岛。比如说有企业需要了解竞争对手的数据情况，或者他需要根据数据制定下一个策略，他需要了解第三方的数据报告，另外根据互联网商品使用反馈情况，这样我们把数据搜集进来形成大数据。因此我们形成互联网数据，非结构化数据和结构化数据。另外我们提供数据协议提供接口提供实时和非实时的方式。第二个我们针对大数据进行融合，因为随着我们接入的数据量变大，另外是结构化的数据和非结构化的数据，所以融合非常困难。我们解决的是两方面，一个是库外模式，一个是库存外模式，我们完成融合的过程。在库外计算我们更多的是用流处理技术和内存管道的技术实现的过程，根据特殊业务实现计算，并且完成传统数据的计算。还有一个实时数据处理，实时处理在业务过程中被广泛使用，比如说高速公路情况，还有旅游情况，能够对客户进行参与上的推荐。前面介绍了三个观点主要是我们数据如何接入，数据如何处理。从第四个观点来讲就是数据如何分析，第四个观点是简单，实现全民自助分析，降低门槛。我们和企业也做过沟通，一般来讲能用到数据的人员一般都是一线人员，他也想知道这个数据也会知道怎么使用数据。但是他不知道怎么对数据进行加工和分析，因为在传统的数据有第三方的工具，他需要有IT人员做相应的辅助支撑。第一个周期比较长，第二个数据比较难覆盖。因此我们基于业务能力实现把数据分析平台结合起来，让业务人员直接在全民数据系平台做，第一个是IT数据平台，以IT数据转化为业务处理。第二个做转化处理流程。第三个是能够满足特定场景的复杂处理。比如说我来了十万个用户，我可能根据用户的一些行为特征我给他做二次分档，这种分档的方式能够完成客户分档，为客户后续做一个有效的提供。

对于用户体验来讲主要是速度，速度是大数据时代非常难解决的问题。当时我们测试了这样一个场景，数据超过1T数据集，2000业务字段的方式，我们实现的思路是10秒之内响应。我们在数据计算过程中进行数据优化，在数据过程中尽量把数据打算，在数据计算过程中进行有效地数据查找，能够针对相应的数据存储的节点进行相应的一个计算，这样节约资源利用，也提升数据的效率。

第六个观点主要是专业，这个是深度分析，我们实际上让业务人员更快速的了解现状，着眼于未来。深度分析挖掘企业相关的数据，根据企业做原始数据，归纳数据，为企业的发展指明方向。对数据挖掘做算法，例如PAGERANK，对商品购买预测，消费预测，通过这些数据快速的利用于企业营销中，在企业营销中可以利用数据分析结果可以推荐营销，可以进行企业的数据决策，可以进行共享，这样就有一个开放平台，能够便于数据提供和下载的方式实现价值。

最后一个观点希望云化，通过SAAS帮助企业增收，高运行和节效，因为都是在云端，另外在SAAS对数据进行安全加密，这样对于用户隐私有所保障。然后根据用户使用平台有效的计算资源和存储资源的分配。在用户收费的环节来讲，我们通过按需分配，比如根据它使用用户存储应用功能的情况进行按需分配。通过前面八个观点我们做了亚信的试图，它的核心就是一个数，也就是亚信大数据。它从上面来看主要分为功能域和用户域，共功能域把大数据进行整合分析，形成数据最大化，通过开放平台把数据开放出去，从用户来看我们亚信大数据分析这样一个能力不仅要服务于大、中型企业，也希望通过SAAS为小微企业提供服务。大数据分析离不开云计算技术，这边举了三个例子，第一个我们通过HADOOP的方式实现，在线分析我们使用了PSESG的方式来进行实现。

下面我分享一下亚信大数据融合的故事，比如交通，金融，服务业等等。下面我结合四个大数据融合分析的四个故事给大家回顾一下大数据的分析的作用，它与数据分析不一样，第一个是用户操作背后的故事。这个是某企业为了展现他的用户，比如说以往用户，终端用户的信息，希望推送到大数据通道，我们有大数据通道的接入，到数据展现，通过这个故事我们看出来大数据分析提倡大数据的实时分析，通过实时分析能够有效地帮助公司进行决策，也能够实现快速精确的营销。第二个是用户上网的一些故事，通过用户上网的信息，再进行用户上网的信息结合，比如说这个人是29岁是IT男，是使用HT手机，他是单身，他的爱好是手游，这是我们数据和的情况，我们把各个数据碎片化的数据形成相应的整合拼接成大的图谱。

第三个故事是用户电商背后的故事，这个故事是深度挖掘分析的故事，我们根据用户最近浏览的一些行为，再根据当前商品热销的一些情况来进行相应的一些个性推荐，所以我们当时做了有效定单访问率达到87.6%，降低投入17%。这个实际上更大的分析就是发现数据背后的价值，我们通过深度分析，通过自动挖掘算法能够挖掘大数据背后的价值，对企业未来的运营和市场决策提供一个有效的帮助。

第四个故事实际上提的也是比较多，就是舆情分析。这块我们通过第三方的分析报告，通过互联网的一些数据获取对企业正负面的新闻，企业竞争对手情况，商品销售情况，一些客户反馈等有效地支撑了企业运营。

从这些故事里面来看我们大数据分析离不开互联网的。虽互联网从消费互联网向产业互联网进行转型，大数据融合分析实际上针对产业互联网能够提升更大的帮助。以上这就是我的分享，谢谢大家！

编辑：admin