原标题：案例：故宫网络评论的采集与预处理

之前我们在讲旅游舆情数据的清洗中提到清洗数据是为了清除非文本数据、去除指定无用的符号、无意义文本、长串数字或字母，清洗完之后要对数据进行预处理，预处理一般会按照进行分词、去除停用词、变形词识别和替换这些步骤对数据进行处理，以便后续的数据分析更准确。我们以故宫网络评论的采集与预处理为例，来了解一下数据采集和预处理的过程。

2017年2月分别选取以大众点评为代表的综合性社区网站、以携程为代表的在线旅行社（OTA），以及以马蜂窝为代表的旅游社交网站3种不同类型的旅游在线服务网站，来采集故宫的网络评论。采集到大众点评论数7922条，携程38810条，马蜂窝 10525条。

对采集的原始数据进行了去重、去除无意义数据（广告，无意义的超短文本）等数据清洗工作，最终获取到故宫的有效游客评论数19526条，其中大众点评7922条，携程1019条，马蜂窝 10515条。

采用中科院计算所张华平、刘群研制的 ICTCLAS 分词词性标注一体化系统，分词后共得到1066474个词汇。采用一个较为通用的停用词表（含有 2825个停用词） 作初始停用词表去停用词；根据多次主题挖掘的实验结果对初始停用词表进行扩展，增加主题挖掘实验结果中出现的对于主题分类无意义的高频词，如故宫、北京等。第三步，语义去重与合并。利用 Hownet 合并相同含义的词或短语，先对预处理得到的数据集中所包含的特征词项进行语义分析，通过词项相似度的计算，删除、合并语义相似的词项。经过上述预处理，分词后26%的词汇被留下。