谷尼Goonie互联网舆情监控系统技术白皮

发布时间：2020-03-03 04:38:47 来源：范文大全收藏本文下载本文手机版

Goonie互联网舆情监控系统

技术白皮书

谷尼国际软件（北京）有限公司

二〇一〇年八月

1 2 3 4 5 系统概述 ........................................................................................................................................1 系统结构 ........................................................................................................................................1 系统特点 ........................................................................................................................................2 性能指标 ........................................................................................................................................3 功能描述 ........................................................................................................................................4 5.1 5.2 5.3 5.4 5.5 5.6 5.7 6 7 热点话题、敏感话题识别 ...................................................................................................4 舆情主题跟踪 .......................................................................................................................4 自动摘要 ...............................................................................................................................4 舆情趋势分析 .......................................................................................................................5 突发事件分析 .......................................................................................................................6 舆情报警系统 .......................................................................................................................6 舆情统计报告 .......................................................................................................................6

运行环境 ........................................................................................................................................6 系统案例 ........................................................................................................................................7

谷尼国际软件（北京）有限公司制

1 系统概述

网络舆情形成迅速，对社会影响巨大，不仅需要各级党政干部密切关注，也需要社会各界高度重视。该方案可应用在政府的新闻监管、舆论监督等部门。

互联网舆情监控系统是一套利用搜索引擎技术、文本处理技术、知识管理方法，通过对互联网海量信息自动获取、提取、分类、聚类、主题监测、专题聚焦，实现用户对网络舆情监测和热点事件专题追踪等需求，形成舆情决策库、舆情简报等分析结果，为客户全面掌握舆情动态，做出正确舆论引导提供分析依据。

谷尼互联网舆情监控是以信息采集技术为核心，应用信息采集技术、内容管理技术、知识管理技术、信息分类技术，实现网络舆情监测和新闻热点追踪、新闻监管等功能需求。为客户全面掌握群众思想动态，做出正确舆论引导，提供分析依据。系统工作流程如下: • 信息采集：互联网信息实时监测、采集、内容提取及排重；

• 信息处理：对抓取的内容进行自动分类聚类、主题检测、专题聚焦等； • 信息服务：将采集并分析整理后的信息直接为用户或为用户辅助编辑提供信息服务，如自动形成舆情信息简报、追踪已发现的舆论焦点等。

2 系统结构

总体来说，该监控管理软件的结构和特点如下：

谷尼国际软件（北京）有限公司制

3 系统特点

该项目与国内外互联网舆情监控系统或类似功能的系统比较，具有自己显著的技术特点，如允许用户定制舆情监控的范围、方式等，具体如下： • 支持网页编码自动识别 • 支持URL去重识别

• 支持正文自动识别抽取，无须标签配置

谷尼国际软件（北京）有限公司制

• 支持分页采集 • 可设置采集频率 • 支持分布式部署 • 强大的信息采集功能 • 智能化的中文信息处理

• 全面的敏感信息分布式检索系统 • 分类、聚类等中文智能处理技术广泛采用 • 实时增量备份原则

• 合理的模块化结构及方便的分类监控 • 灵活的调度算法

• 支持新闻、博客、论坛、贴吧的采集监控 • 基于内容相似性去重识别 • 支持互联网关键词搜索采集入库 • 支持敏感词过滤提取 • 支持热点发现 • 支持网页快照

4 性能指标

• 稳定性强：在机器不断电的情况下，采集系统能7×24不间断持续运行，不出现死机、无故重启、资源耗尽等问题；无需人工监控。

• 性能优越：在普通网络带宽情况下，单机PC的采集能力达到30页面/秒，网络带宽高的情况下可达到60-100页面/秒。 • 效率优良：采集器所耗费的带宽的利用率超过80％。 • 抽取精确：正文的抽取准确率98%，误抽率不到1%。 • CPU和内存的占有率不超过50％。

谷尼国际软件（北京）有限公司制

5 功能描述

5.1 热点话题、敏感话题识别

可以根据新闻出处权威度、发言时间密集程度等参数，识别出给定时间段内的热门话题。利用内容主题词组和回贴数进行综合语义分析，识别敏感话题。

5.2 舆情主题跟踪

分析新发表文章、贴子的话题是否与已有主题相同。

是根据文档内容间的相关程度进行分组归并。聚类不需要类别及相关训练样本。聚类可以发现当前舆论焦点,或者相关文档的查找.通过对同一个阶段搜索到的大量信息进行聚类，我们可以很方便地发现当前关于什么类别的文章数量更多，那些信息之间的关系更紧密，这样我们可以很直观地了解到当前舆论的焦点，以及各个舆论点之间的联系紧密程度。

5.3 自动摘要

对各类主题，各类倾向能够形成自动摘要。

信息自动摘要的中心思想是让用户在查看搜索结果时候，无需点击进入每一个谷尼国际软件（北京）有限公司制

搜索结果去了解具体内容，而自动在搜索结果条目下显示摘要信息。这些“摘要”帮助用户迅速了解搜索结果的主要内容，提高了工作效率。

5.4 舆情趋势分析

分析某个主题在不同的时间段内，人们所关注的程度。

谷尼国际软件（北京）有限公司制

5.5 突发事件分析

对突发事件进行跨时间、跨空间综合分析，获知事件发生的全貌并预测事件发展的趋势。

5.6 舆情报警系统

对突发事件、涉及内容安全的敏感话题及时发现并报警。

5.7 舆情统计报告