基于大数据的舆情分析系统架构（架构篇）

这套架构在存储层面，全部基于 Tablestore，一个数据库解决不同存储需求，根据之前舆情系统的介绍，网页爬虫数据在系统流动中会有四个阶段分别是原始网页内容，网页结构化数据，分析规则元数据和舆情结果，舆情结果索引。我们利用 Tablestore 宽行和 schema free 的特性，合并原始网页和网页结构化数据成一张网页数据。网页数据表和计算系统通过 Tablestore 新功能通道服务进行对接。通道服务基于数据库日志，数据的组织结构按照数据的写入顺序进行存储，正是这一特性，赋能数据库具备了队列流式消费能力。使得存储引擎既可以具备数据库的随机访问，也可以具备队列的按照写入顺序访问，这也就满足我们上面提到整合 Lambda 和 kappa 架构的需求。分析规则元数据表由分析规则，情感词库组层，对应实时计算中的维表。

（编辑：源码网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!