海量的数据隐含着巨大的信息，如何可能做好网络营销

　　21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器，智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。

　　社交媒体时代，通过互联网平台表达社情民意，体现用户的意愿，评论和态度。从古代的“防民之口甚于防川”，到如今的网络时代，“人人都有了自己的麦克风”。舆情，就是一个风向标。舆情分析，就是针对民众态度的收集和整理，发现相关的意见倾向，客观反映舆情状态。

　　海量的数据隐含着巨大的信息。看似庞大无规则的数据，实则包含着大量的用户标签及潜在的用户肖像。如何从这些可观的数据中分析出用户的潜在意愿及需求，将成为提高品牌价值和声誉，改善用户体验的新兴途径。

　　　　一、微博用户数据分析

　　微博是现代网络社会沟通的重要工具，很多大型零售商会发布近期的打折、新品信息。但是，这些信息往往不能针对每个用户的喜好来发布，类似于广播一样，每一条微博是否对每个粉丝有意义，需要用户自己来过滤。但实际上，粉丝自身发布的微博含有大量的数据信息，这些信息包含用户的个人爱好，自己年龄阶段，近期的想购买的款式，甚至是自己希望有的款式与功能等。

　　从客户发布微博开始， 到商家向用户发布商品目录和优惠信息，整个流程分为五个步骤：

　　首先，客户发布微博：从微博上初步获取的数据为“粗数据”，虽然数据杂乱需要分析，但是其中包含很多用户自己“无意识”的为自己打上的标签，这为后续的语义分析打下了基础。粗数据中包括类似于：性格、年龄阶段、星座、性别、突出喜好等。掌握这些用户自定义的标签后，把这些作为用户肖像的一部分。

　　其次，获取商家的粉丝：商家的粉丝包括关注商家微博的用户以及签到用户被提及的品牌粉丝等。这些粉丝的发布的微博便作为语义处理的输入。

　　第三，分析用户的微博：将用户的微博进行语义分析。利用分析平台对文章进行分词，分词后与字典进行比较和分类，然后对比总结出该用户的兴趣爱好所在，作为用户的一个标签，同时作为客户肖像的一部分。

　　第四，指定相关营销策略：客户肖像制定后，存入数据库，并根据微博内容实时或定时更新客户肖像，根据客户的肖像，向用户推送相应的商品打折、优惠、最新上架产品信息。

　　最后，消费者便可使用消费券或根据打折信息购买相关产品。这样向用户推送的促销信息会更加符合用户近期的购买意愿和用户的个性特征，可以做到为每个用户个性定制的营销方案，使推送更有效。

　　二、系统分析流程简介

　　　　1．方案架构

　　主要由文本分析系统、DB2 BLU 数据库以及 Cognos 数据分析工具组成。首先从互联网上获取数据以后，将原始数据送入文本分析平台进行分析，主要做中文分词、情感分析等工作;然后将文本分析结果整合后输出送入 DB2 BLU 数据库中，进行存储、建表，建表包括客户肖像表、商品目录表、促销策略表等;最后，利用 DB2 BLU 与 Cognos 无缝集成的优势，用 Cognos 对数据进行分析。根据 Cognos 分析出的结果，生成促销的报表，继而将优惠信息分别推送给每个用户。

　　在整个方案架构中，文本分析平台是舆情分析的核心。语义分析常见有两种思路，一种是基于句法结构，采用逐条使用规则的形式驱动语义解释，这种思路适用于以解决语言的综合语法为目标的研究;还有一种思路就是部分或完全抛开语法，直接从句子本身生成语义系统，或者以句法分析的结果作为语义分析的输入，这种思路在解决一些特定领域的问题有较大优势。

　　　　2．数据的获取

　　文本分析的数据来源十分重要，网络上的数据，大多是非结构性数据，对这些非结构性数据在获取的过程中或文本分析前进行预处理或预分析可以为下一步的文本分析带来较大的优势和便利。本系统用 python 脚本提取微博用户的数据，将用户的名称、ID、性别、标签、地点等提取出来。

　　数据源的获取和预处理分为两个部分，一部分作为用户“原始肖像”(其中包括用户的 ID、性别、“原始标签”、地点等)，另一部分为用户的微博内容，这一部分将作为输入进行 Hadoop 平台上的文本分析。

　　　　3．基于 Hadoop 平台的文本分析

　　首先是语义分析。语义分析的目的是产生用户肖像中最重要的部分 - 用户标签，例如“喜欢运动”、“爱时尚”等，这些用户标签是商家向用户推送商品信息的重要依据。对于语义分析分成两步，词法分析和高级文本分析。第一部分为词法分析，主要进行分词、匹配字典等。系统字典主要是由手动设置和词语聚类生成的。情感分析模块主要针对文本中表达情感的词语进行分析，例如“喜欢”、“一般”、一些表示肯定或否定的词语来进行关键字匹配与规则匹配。情感词的分析有助于商家找出商品潜在的缺陷和用户的使用反馈，针对未购买的用户，用户发布的针对产品的情感词，有助于商家获取用户需求，所以情感词的分析对舆情分析来说，十分重要。

　　分词结束后，将数据导入初步分析表，表格包含三列 UID，Token( 分词结果 )，还有 Category( 分词字典匹配分类 )。其中 Category 这一列是根据文本分析系统里的字典匹配，将分词的结果与我们所建立的商品类别字典匹配而得到的结果。通过表格分析，可以在用户的微博里所提到的词语中发现他/她所关注的商品类别。

　　每个用户对不同类别的商品关注度不同。后续，我们可以根据这些不同以及用户的标签来分析用户对某类商品的购买意愿，从而向其推送商品折扣信息。由于用户的微博数据是实时更新的，那么客户的肖像也可以是实时更新的。这样，商家推送的内容才会更加准确。在语义分析系统里，字典的更新速度相对要缓慢一些，因为字典是人工标记或者聚类分析而生成，相对比较稳定