网络舆情监测分析系统软件

1.1总体需求

根据功能说明书要求，其主要包含了下面的工作：
Ø  舆情选题子系统负责舆情的宏观选题，为采集子系统实施采集提供大致范畴和关键词。
Ø  舆情采集子系统是整个系统的直接数据来源，它根据选题系统提供的采集范畴和关键词，从互联网上按照不同的权重、不通的采集时间间隔和不通的采集方式，获取舆情信息的第一手资料，为分析子系统提供数据支撑。
Ø  舆情分析子系统将采集子系统从互联网上抽取的数据通过过滤、分类、聚合等数据挖掘方式，进行定性分析、定量分析，为人工分析和研判提供技术支撑。
Ø  舆情报警子系统将舆情分析子系统分析后的数据，按照预先设定的报警指标进行判别，达到一定的条件及时通过各种方式通知相关人员，为舆情处置赢得时间。
Ø  舆情发布子系统为用户提供友好的人机界面，进行实时监控、数据查询、统计与分析，同时提供丰富的服务接口为其它系统的二次开发提供数据和业务支撑。
Ø  任务管理子系统对选题子系统、采集子系统、分析子系统和报警子系统的工作进行调度，充分利用有限的软硬件和网络资源，合理分配调度任务，使得整个系统的运行条件和服务能力达到优。北京软件公司有哪些？
Ø  数据管理子系统对整个系统的数据进行管理，及时分类、归档、清洗、备份，优化数据库的查询效率，提高用户的体验。
Ø  客户服务子系统对个系统的用户进行注册、订购、支付、权限管理、满意度调查等，为系统的循序渐近的优化提供参考依据。
开发过程中需要针对软件的每个功能细节进行设计和开发，以求开发出一款卓越的人机交互界面更加人性化、执行效率更高、可操作性更强的软件，确保该软件成为一款高品质的产品。其需求总结如下：北京大数据公司有哪些？
Ø  图形化设计更符合用户的使用习惯，方便操作；
Ø  人机交互界面风格基本统一；
Ø  数据结构保持完整性和统一性；
Ø  体现系统强大的交互式功能；
Ø  系统功能具备很强的可扩展性；
Ø  系统管理和数据交互功能更加智能；
 

1.2网络拓扑结构

舆情监测分析内网包括选题及采集服务器、分析服务器、报警服务器、任务管理服务器、舆情发布及客服Web服务器集群、数据库服务器集群、数据存储。
外网互联网对象包括各类用户和各类监测对象，其中用户通过“发布服务系统”专用网络链路接入到系统中；系统对互联网对象进行数据采集时，则通过“监测采集系统专用网络链路”对监测对象进行采集。外网对象接入内网时，先要经过防火墙进行过滤。北京软件开发公司有哪些？

1.3系统主要功能需求

网络舆情监测分析系统包括：舆情选题子系统、舆情采集子系统、舆情分析子系统、舆情报警子系统、舆情发布子系统、任务管理子系统、数据管理子系统、客户服务子系统八大了系统。

1.3.1需求功能图如下图所示：

1.3.3功能模块

1.3.3.1舆情选题子系统

网络舆情的选题是舆情监测机构对于准备实施监测的舆情主题或题目的一种设想和构思，选题名称一般由监测范围、关键词、服务对象等构成。
通过实时监测论坛首页推荐、门户网站新闻排行、BBS热帖排行、博客标签排行、微博话题排行和搜索引擎与百科热词，可直接获得网络舆情的选题。

1.3.3.1.1对门户网站及论坛首页进行监测

在网络舆情监测中，为了迅速查找近期重大网络热点，我们应该关注新闻门户网站和论坛的热点排行榜。另外，对于当天的重大网络舆情监测也要注意门户新闻网热点排行。包括：
新浪热门新闻排行、人民网新闻排行榜、腾讯新闻排行、新华网24小时新闻排行、凤凰网点击新闻排行、央视网新闻台排行、网易新闻排行、搜狐新闻网评排行榜等。
论坛首页推荐内容连接到频道页面的方式在各大网站都是普遍采用的处理方式。一般通过采集当天的重点论坛首页和重要板块首页，可以在要闻区获得相关重大舆情信息。包括：
天涯社区、网易论坛、华声论坛、中华网论坛、凤凰论坛、大洋论坛、京华论坛、Tom社区、铁血社区、QQ论坛、雅虎口碑论坛、西祠胡同、中新网论坛、在线论坛、南方论坛、请柬论坛、环球论坛、新华社区、凯迪社区、新浪论坛、猫扑社区、央视网论坛、搜狐社区、人民网强国社区、奥一网等。
 

1.3.3.1.2对BBS热帖排行进行监测

全国部分论坛热帖排行榜：
天涯杂谈新帖排行、天涯聚焦周报、凯迪社区凯迪头条、凯迪社区热点事件、凯迪社区排行榜、强国论坛热帖排行、强国论坛热评排行、强国论坛热帖推荐、强国社区每日精华、人民网掘客最热排行、凤凰论坛有料天天报、凤凰论坛热帖排行、新华社区24小时排行、新华社区特贴排行、网易论坛风云榜、新浪热帖排行榜、搜狐新闻社区热帖、搜狐社区热门评论、华声论坛搜索排行、腾讯论坛新闻论坛、大旗网焦点访谈、大旗网社会热点精选、大旗网社会头条精选、大旗网社会版热点排行等。北京软件开发公司。
 

1.3.3.1.3对博客/微博标签排行进行监测

我国知名的博客平台包括新浪博客、搜狐博客、博客大巴、博客中国、凤凰博报等，博客标签排行榜一般是根据相关文章数量、网民关注度、社会影响力等因素进行的综合排行。主要包括：
博客大巴热门Tag搜索、新浪博客标签排行搜索、搜狐博客热门标签搜索、天涯首页热门标签、博客中国百科热门标签、博客中国百科新闻维客、新浪博客排行榜、搜狐博文排行榜、天涯博客排行榜、博客中国排行榜、博客中国支持排行榜、科技中国排行榜大全、腾讯博文热门排行、和讯新博报等。
知名微博话题榜包括：
新浪微博话题榜、新浪微博热门标签、腾讯微博话题榜、搜狐微博话题榜、网易微博话题榜、和讯微博话题首页、人民网微博热榜等。软件公司。

1.3.3.1.4固定选题

固定选题是持续关注、连续监测的选题，例如在消防舆情监测系统中，以消防综合、消防管理、灭火救援、部队管理等专题作为持续关注的选题，对各类网站进行监测。主要包括以下方面：
1)       消防综合类：消防、消防官兵、消防干部、消防警官、消防战士、消防士官、消防文员、合同制消防员、消防文职雇员、消防志愿者、消防人员、消防队、消防站、火灾、大火、火警、灭火等。
2)       消防管理类：消防坑爹、消防执法不作为、消防无法无天、消防乱处罚、消防乱罚款、消防乱收费、消防培训收费、消防吃拿卡要、消防腐败、消防收贿、消防受贿、消防打人、消防抓人、消防执法蛮横等。
3)       灭火救援类：消防灭火收费、119报警电话无人接听、消防队出警慢、消防队到场慢、消防车无水、消火栓无水、消防员见死不救、消防队不作为、消防队救援不力、消防队扑救不力、消防指挥不力、消防人员死亡、消防人员受伤等。
4)       部队管理类：消防车辆事故、消防战士牺牲、消防装萌、消防卖萌、消防屌丝、消防2B、消防炫富、消防高富帅、消防白富美、消防富二代、消防官二代、消防对骂、消防女警官、消防美女等。软件公司有哪些
需要针对这些主题内容，精准筛选出关键词。

1.3.3.2舆情采集子系统

舆情采集的方法是通过舆情采集工具，抓取不同背景和来源的言论媒介上的第一手样本数据。平台除了基本的关键词的新闻搜索以外，还能对微博进行定向抓取、阅读数量、转发数量等。
对于采集功能，需要采用先进的自动分析抽取网页结构的技术，支持网站模版的配置，提供多种网站模版库资源，实现抽取网页中的有效信息。针对目前很多网站、博客、论坛大量使用JS(JavaScript)脚本的情况，需要在采集平台中内置js脚本执行引擎。对于采集数据量大的情况，支持分布式集群采集，通过任务管理子系统对这些采集程序进行调度。
对于采集的对象，主要考虑网站载体权重、内容版面权重、意见领袖权重等。

1.3.3.2.1网站载体

舆情抽样的网站权重是指根据网站浏览量的大小和地域性范围的定位、专业权威的特质等，在舆情工作中，作为重点监测和采集的对象。重点舆情监测网站上的文章的影响力要比一般网页大很多，在数量积累方面要加大权重。
1)        全国性网络论坛
全国性论坛在往上较为火爆的有天涯社区、凯迪社区、西祠胡同、央视复兴论坛、人民网强国论坛、新华发展论坛、百度贴吧、奇虎社区、大旗网、凤凰网社区、新浪论坛、搜狐社区、网易论坛、腾讯论坛、猫扑、中华网社区、铁血论坛等。
2)        热点思想类网站
国内论坛网站中，除了天涯社区天涯杂谈、凯迪社区猫眼看人、人民网强国论坛、新华网发展论坛和中华网杂谈之外，还有几个思想类网站需要重点关注，如中国选举与治理网、共识网、乌有之乡、爱思想、喷嚏网、牛博网、一五一十部落等。这些网站往往会有很多政治性话题，高度关注国内外舆情热点，也汇集了不少持有不同观点的活跃网友，需要重视。
3)        门户网站排行
依照网站影响力与公信力系数，门户网站的权重从高到低一次分别是：
a)        中央重点新闻网站，如新华网、人民网、中新网、中国网等；
b)        全国性门户网站，如新浪、搜狐、腾讯、网易、百度新闻、财经网等；软件公司。
c)        地方重点新闻网站，地方都市报网站
d)        三大证券报(中国证券报、上海证券报、证券时报)和其它财经媒体网站
e)        行业与专业网站
f)         政府机构网站
g)        大学、科研机构网站
h)        一般网站等
 
4)        地方重点网站
侧重权威性、影响大的论坛、博客、新闻网站，如黑砖窑《400位父亲泣血呼救》从大河网转到天涯社区，才发生全国性影响。

1.3.3.2.2内容版面

在对于舆情采集的标准上，事件或话题敏感、关注度高、点击多、回复多、人气高的新闻或者评论；时效性强、以新失态发展为由头的新帖；各大媒体和网站的首页、头版头条、置顶帖和专题等，是重点的采集对象。
互联网上的往右言论主要分布在各种论坛/BBS原帖、博客、网站专题、新闻评论等平台中，采集时还应关注贴文的浏览数、转载数、回复量、支持率、反对率等。

1.3.3.2.3意见领袖

在近几年的社会热点中，网络意见领袖的作用突显，立场出现分化趋势。在一些突发事件中，在官方传统媒体失语或者报道不及时的情况下，网民习惯于打开网络意见领袖的博客或追逐其微博上的只言片语，从他们哪里寻找解读、剖析和批判。
首先是数量庞大的传统媒体从业者迅速在网络中成长，如笑蜀、李承鹏、黄健翔、梁树新、邓飞、王克勤、连岳、雷宇、长平、边民、五岳散人、十年砍柴等人。互联网上段、平、快和无障碍的报道新闻、尖锐评说时事的方式，比他们从业的传统媒体更具活力，而且逐渐形成了品牌和名人效应，引起全社会的广泛重视。
其次，在“公共知识分子”范畴的意见领袖，包括作家、学者、艺术家、律师等，如韩寒、于建嵘、戴旭、周泽、牧沐、孙云晓、陈铭龙、沈志华、袁腾飞等，他们以身后的文化工地观察和描绘社会，对于各种突发事件和社会热点畅所欲言，观点更为开放透明，所以给媒体记者提供了极为便利的信息渠道。
第三类是网上活跃的明星、名人等，如刘翔、徐静蕾、姚晨、周立波等。经验表明，明星和公共人物往往一上网就会获得比普通网友更高的关注度和影响力。再以财经业余观察家和自由撰稿人而言，网络关注度较高的有徐小明、叶檀、时寒冰、曹建海、牛刀、水皮、秋风等。
第四类是积极接触网络的党政官员。如云南省委宣传部副部长伍皓、国务院新闻办处长侯召迅和湖南湘潭雨湖区官员张洪峰等。今年中国政坛形成部分官员上网、部分官员的“网络恐惧症”和“雷人雷语”并存的特有现象。体制内一线领袖能够促进官民沟通，呼唤官场的党性、良知和改革动力，有利于舆论新格局的形成。
第五类是真正的普通自由职业者和活跃网友，如著名的往右“屠夫”对邓玉娇案的现实参与。

1.3.3.3舆情分析子系统

舆情分析子系统需要提供丰富的信息处理工具，可以对信息进行自动分类，自动聚类，自动提取关键词和摘要，自动排重，过滤垃圾信息等。另外带有人物、地域、机构等知识库，能够通过算法和规则自动识别出这些实体名称。用户通过对这些处理工具的组合应用，可以化繁为简，及时准确监测到自己需要监控的舆情信息。

1.3.3.3.1自动分类

分析舆情文章的特征，并与实现定义好的各种类别具有的共同特征进行比较，然后将舆情对象划归为特征接近的一类，并赋予相应的分类代码。

1.3.3.3.2自动聚类

基于相似性算法的自动聚类技术，自动对海量的无规则文档进行归类，把内容相近的文档归为一类，并自动为其生成主题词，为确定类目名称提供方便。
 

1.3.3.3.3自动排重

通过相似性检索，找出舆情信息内容雷同文章，对相似、雷同文章消重处理；还根据文章主题相似性，生成专题报道，背景分析等。

1.3.3.3.4垃圾信息过滤

通过设定关键词和判别规则，将明显与舆情专题无关的信息排除掉。

1.3.3.3.5人物名称识别

通过建立人物名称知识库，对舆情信息中包含的人物名称进行判别。

1.3.3.3.6地理位置识别

通过建立地理位置知识库，对舆情信息中包含的地理位置进行判别。

1.3.3.3.7机构名称识别

通过建立机构名称知识库，对舆情信息中包含的机构名称进行判别。

1.3.3.4舆情报警子系统

将舆情分析子系统分析后的数据，按照预先设定的报警指标进行判别，达到一定的条件及时通过各种方式通知相关人员，为舆情处置赢得时间。

1.3.3.4.1首页报警

针对舆情信息在首页位置出现的特殊意义和影响，针对各大网站（比如新浪、搜狐、网易、腾讯、人民网等和本地有名的地方性门户）、著名论坛、地方性论坛等权重比较大的网站首页信息进行的高效率监控，系统以非常迅速的方法扫描这些网站的首页，如果发现首页中出现了要监控的关键字，则会以醒目的方式进行报警。

1.3.3.4.2敏感词报警

对通过舆情分析子系统之后的产生的数据进行再次分析，报警系统自动对文章的内容进行中文分词并自动比照，如果发现文章内容中涉及到敏感词，则以醒目的方式在“敏感报警”栏目中显示。如“法轮功”。

1.3.3.4.3敏感地域报警

对通过舆情分析子系统之后的产生的数据进行再次分析，通过对用户配置的地理位置关键词分析，如果出现的地理名称达到一定的指标，则产生“敏感地域”报警。如“汶川”。

1.3.3.4.4敏感机构报警

对通过舆情分析子系统之后的产生的数据进行再次分析，通过对用户配置的机构名称关键词分析，如果出现的人物名称达到一定的指标，则产生“敏感机构报警。如“红十字会”。

1.3.3.4.5敏感人物报警

对通过舆情分析子系统之后的产生的数据进行再次分析，通过对用户配置的人物名称关键词分析，如果出现的人物名称达到一定的指标，则产生“敏感人物报警。如“郭美美”。

1.3.3.4.6推送对象与推送方式

产生报警时，将报警信息推送到预先设定的对象，可通过网站客户端、电子邮件、手机短信等方式进行推送。

1.3.3.5舆情发布子系统

在已经采集和分析的这个庞大信息库里，提供各类舆情展示界面和丰富的高级检索功能，包括可以按关键词、时间、分类、地域、人物、机构、信息源等组合进行高级检索，方便用户准确锁定自己关注的舆情信息，并提供这些数据内在的联系和趋势图，便于用户从事件起源、传播、发展、平息等角度把握舆情时间发展动态。

1.3.3.5.1个性化桌面

个性化桌面上，用户可以根据自己的工作习惯定义，用户通过“添加记录”功能即可添加要显示的模块。

1.3.3.5.2今日舆情

舆情展示子系统中对众多采集下来的网络舆情进行了科学的分类，当天采集到的网络舆情会统计集中在今日舆情中（舆情），通过这个栏目可以对当天发生的网络舆情一目了然。

1.3.3.5.3报警舆情

将“舆情报警子系统”中产生的首页报警、敏感词报警、敏感地域报警、敏感任务报警、敏感机构报警等各类报警信息推送到此处。

1.3.3.5.4舆情检索

系统提供统一的查询检索入口，对各种来源各种格式的社会公开信息进行查询和检索。检索结果可按类别、相似度、重复度、信息发布时间等多种方式进行排序。该系统支持元搜索技术，可以对多个通用的互联网搜索引擎进行联和检索，并在同一个界面返回检索结果，配合合理的检索策略，可大大提高检索效率。
 

1.3.3.5.5统计报表

按照时间、选题、分类、地域、人物、机构等各种维度对舆情信息进行查询与统计，可用不同的方法对数据进行展示，如直方图、饼图等，并形成相应的报表。

1.3.3.6任务管理子系统

对选题子系统、采集子系统、分析子系统和报警子系统的工作进行调度，充分利用有限的软硬件和网络资源，合理分配调度任务，使得整个系统的运行条件和服务能力达到。
同时任务管理子系统定期对监测对象的网站结构和网页结构进行分析，如果对象的结构发生变化，则告知后台工作人员对采集分析模版进行相应的调整。

1.3.3.6.1选题调度

调度选题子系统抽样的频率、采样对象空间、时间、模版及权重。

1.3.3.6.2采集调度

调度采集子系统的任务进程分配、采集频率、采集对象空间、解析模版及权重、COOKIE管理等。

1.3.3.6.3分析调度

调度分析系统的任务进程分配、分析频率、分析算法及分析模版。

1.3.3.6.4报警调度

调度报警子系统的进程分配、检测频率、报警算法、推送对象及推送方式。

1.3.3.6.5网站结构监测

系统定期对监测对象的网站结构和网页结构进行分析，如果对象的结构发生变化，则告知后台工作人员对采集分析模版进行相应的调整。

1.3.3.7数据管理子系统

舆情数据库是一个庞大的数据库，需要性能优秀的数据存储硬件和功能强大的数据库管理平台，以对整个系统的数据进行存储、管理，及时分类、归档、清洗、备份，优化数据库的查询效率，提高用户的体验。

1.3.3.7.1数据存储

数据存储的速率和容量主要依托于存储硬件设备，拟通过光纤通道（Fibre Channel）技术连接存储设备和应用服务器，使得存储设备具有很好的传输速率和扩展性能。

1.3.3.7.2数据管理

采用已经关系型数据库系统，在数据库系统中所建立的数据结构，充分地描述数据间的内在联系，便于数据修改、更新与扩充，同时保证了数据的独立性、可靠、安全性与完整性，减少了数据冗余，提高数据共享程度及数据管理效率。

1.3.3.7.3数据归档

在数据库中划分独立的数据归档空间，将不再经常使用的数据移到这个空间来进行长期保存的过程。数据归档由旧的数据组成，但它是以后参考所必需且很重要的数据，其数据必须遵从规则来保存。数据归档具有索引和搜索功能，这样数据可以很容易地找到。

1.3.3.7.4数据清洗

因为舆情数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个其它网站中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。

1.3.3.7.5数据备份

数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。

1.3.3.8客户服务子系统

对个系统的用户进行注册、订购、支付、权限管理、满意度调查等，为系统的循序渐近的优化提供参考依据。

1.3.3.8.1用户注册

匿名用户通过域名登录系统可注册用户，注册并通过审核之后可凭登录名和密码进入系统。

1.3.3.8.2产品订购

注册用户可订购不同类型的产品，可按照选题类型、监测网站类型、分析复杂度等维度，来进行订购；订购之后登录系统能查看到相关范围内的内容。数据库中暂时没有的内容，用户也可提出相关需求，视情况进行个性化研发，不断丰富舆情产品线。

1.3.3.8.3权限管理

根据用户订购产品，拥有查看相关舆情内容的权限；对于没有订购的产品，则只提供有限时间、有限性能的服务。

1.3.3.8.4满意度调查

调查用户使用的满意度，以提高服务及技术水平。

1.3.3.8.5意见反馈

收集用户对使用产品、服务的意见和建议，以促进服务及技术能力。

1.4开发建议

鉴于本系统功能强大、流程复杂，尤其是网络抓取工作量极大，建议本系统分期分批开发。

1.4.1第一阶段开发工作

将“舆情选题子系统”“舆情采集子系统”中的选题内容进行压缩，以网站2－5个；论坛2－5个、博客2－5个；微博2－5个等进行一期开发。
将“舆情发布子系统”中的个性化桌面留待后期开发，这样一来其它子系统的开发工作也会有所减少，保证在极短的时间内开发出一个可演示的版本；前期硬件投入也会相应减少。

联系方式：北京软件开发公司
电话：010-52895342，400-886-7161
邮件：service@hivekion.com
网址：http://www.hivekion.com

【北京华盛恒辉科技有限公司 ——（hivekion）是一家软件定制开发公司，在软件产品研发与服务，华盛恒辉坚持稳健经营、持续创新、开放合作，在安全生产、大数据处理等领域构筑了端到端的解决方案优势，为企业客户提供有竞争力的IT解决方案、 产品和服务。】