惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Google DeepMind News
Google DeepMind News
Martin Fowler
Martin Fowler
T
Threatpost
云风的 BLOG
云风的 BLOG
博客园 - 司徒正美
C
CERT Recently Published Vulnerability Notes
V
Vulnerabilities – Threatpost
Help Net Security
Help Net Security
Project Zero
Project Zero
博客园 - 聂微东
博客园_首页
T
Tor Project blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
V
Visual Studio Blog
人人都是产品经理
人人都是产品经理
The Register - Security
The Register - Security
Latest news
Latest news
K
Kaspersky official blog
L
LINUX DO - 热门话题
P
Proofpoint News Feed
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
美团技术团队
C
Cyber Attacks, Cyber Crime and Cyber Security
A
Arctic Wolf
aimingoo的专栏
aimingoo的专栏
J
Java Code Geeks
F
Full Disclosure
Recent Announcements
Recent Announcements
SecWiki News
SecWiki News
C
Cybersecurity and Infrastructure Security Agency CISA
F
Fortinet All Blogs
The Hacker News
The Hacker News
Apple Machine Learning Research
Apple Machine Learning Research
NISL@THU
NISL@THU
The GitHub Blog
The GitHub Blog
量子位
Hugging Face - Blog
Hugging Face - Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
P
Palo Alto Networks Blog
T
Troy Hunt's Blog
O
OpenAI News
T
Threat Research - Cisco Blogs
博客园 - Franky
Hacker News - Newest:
Hacker News - Newest: "LLM"
A
About on SuperTechFans
C
Check Point Blog
Hacker News: Ask HN
Hacker News: Ask HN
AWS News Blog
AWS News Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
T
Tenable Blog

浮华生

Elasticsearch 检索性能优化 - 浮华生 2024 半年度总结 - 浮华生 2023 年终总结 - 浮华生 异地机器组网方案 - 浮华生 Kubernetes 部署 Elasticsearch 和 Kibana - 浮华生 2022 年终总结 - 浮华生 RabbitMQ connection channel 的关系 - 浮华生 Kafka Java 客户端 Producer 原理分析 - 浮华生 RabbitMQ 和 Kafka 应用原理简单对比 - 浮华生 阿里云 OpenSearch 介绍 - 浮华生 Golang Array 和 Slice 区别 - 浮华生 Mac OS 下打造 golang nvim 编程环境之基础配置 - 浮华生 电商搜索技术总结 - 浮华生 电商搜索业务总结 - 浮华生 2021 年终总结 - 浮华生 Cypress 实践总结 - 浮华生 年终总结 - 浮华生 关于我 - 浮华生 使用 cucumber 进行行为驱动开发(BDD) - 浮华生 微服务应用集成 SpringCloud 步骤 - 浮华生 电商搜索数据同步方案 - 浮华生 通过一道数值转换题重温计算机补码 - 浮华生 macOS 系统推荐的一些软件 - 浮华生 DevOps 实施规划(持续更新) - 浮华生 rabbitmq 如何提高可靠性并保证消费端幂等 - 浮华生 AMQ Model总结 - 浮华生 结对编程 - 浮华生 RSocket 介绍 - 浮华生 面向对象的理解 - 浮华生 企业平台技术框架 - 浮华生 对创业的思考 - 浮华生 知难行易 - 浮华生 一年工作经验总结 - 浮华生 我与领域驱动之缘 - 浮华生 TDD 中使用的工具 - 浮华生 tf-idf 算法 - 浮华生 gitlab 添加代码规范检测 - 浮华生 query 改写 - 浮华生 阶段性总结 - 浮华生 操作系统作用 - 浮华生 - 浮华生 hamming-distance - 浮华生 ElasticSearch API 基本操作 - 浮华生 elasticsearch 集群容错 - 浮华生 ElasticSearch 基础概念 - 浮华生 技术选型怎么做 - 浮华生 条件概率、全概率与贝叶斯公式 - 浮华生 年终总结 - 浮华生 迁移到 ubuntu18 的问题及配置 - 浮华生 总结 - 浮华生 使用 psi-probe 监控 Tomcat - 浮华生 Tomcat 远程 Debug - 浮华生 jstack 死循环和死锁定位 - 浮华生 jmap & mat 内存溢出 - 浮华生 JVM 常用参数查看 - 浮华生 周总结(8.13-8.19) - 浮华生 周总结(7.30-8.4) - 浮华生 使用移位运算符 - 浮华生 master 公式 - 浮华生 VMware 12 NAT网络下配置 ubuntu 16.04 LTS 系统静态 IP - 浮华生 关于进制的计算 - 浮华生 项目总结 第三篇 - 浮华生 项目总结 第二篇 - 浮华生 editor.md 富文本编辑器的使用 - 浮华生 项目总结 第一篇 - 浮华生 2017至今总结 - 浮华生 谈谈微服务 - 浮华生 单例模式 - 浮华生 tor 使用 - 浮华生 归档 - 浮华生 搜索 - 浮华生 搜索 && 推荐 - 浮华生
舆情监控系统综述 - 浮华生
浮华生 · 2024-11-25 · via 浮华生

前言

当下是一个自媒体的时代,我们每个人都处于舆论场中,微博、抖音、快手、小红书等平台是言论的载体,那这些现代化的平台都有几个特点:

  1. 发布简单、传播迅速,短时间能够覆盖广泛的人群;
  2. 舆论主体多元化,专业媒体不是唯一主导力量,个体、组织、水军都可能影响舆论的走向;
  3. 信息碎片化,断章取义的消息片段有可能对观点造成误解和放大;
  4. 热点更新迅速,热点事件会在短时间爆发大量的信息,随之而来的会有新的事件出现,造成舆论热点的快速转移;
  5. 平台算法,会对舆论进一步的推荐,造成舆论的进一步扩大。

对于平台算法,这个是本人最厌恶的,拿新浪微博举例,如果当天热点是比较消极的内容,那后续的推荐就会有越来越多的消极内容,如果不及时干预有可能会对用户造成潜移默化的影响。

舆情系统

那对于现代化的舆论形式,就需要现代化的舆情监控系统来处理。舆情系统主要分为下面几个模块:

数据采集

从社媒上抓取对应的数据,一般会通过爬虫手段或者同厂家直接购买数据(一般是以接口方式提取)

数据清洗

数据采集过来会有各种各样的样式或者格式,数据清洗是一个结构化的过程,比如采集过来的数据中存在特殊字符、HTML 标签等,这些对数据分析没有价格还会增加成本,所以要在这个环节过滤掉;还有把对应的文本映射存储到项目的字段上;还有数据去重等。

数据挖掘

对于结构化的数据,我们会对数据做一个深度的价值挖掘,这部分需要用到算法方面的内容。

  • 情感分析:判别文本的正负面,这个算是监控的一个核心点。
  • 实体识别:分析出地域涉及、所属行业、品牌等标签。
  • 相似文章:一般会用在热点分析模块
  • 关键词提取:提取热词
  • 等等

数据存储

数据存储会贯穿整个舆情监控系统,不同时期可选用不同的数据库,这不是一成不变的,但要考虑稳定性。

  • MySQL:存储系统配置
  • Redis:存储待采集链接
  • Kafka:大批量采集时可以使用队列进行削峰
  • ElasticSearch:存储处理好的数据方便检索
  • ClickHouse:适用于没有全文检索的场景

数据应用

数据可视化

根据想要查询的关键词、布尔表达式等条件进行查询,统计出声量、声量走势、正负面、社媒分布等,通过饼图、柱状图、走势图等图表进行展示。

舆情报告

这个会分为自动化报告和人工报告。

自动化可以先配置一个报告模版,通过拖拉拽的方式把图表指标放置在合适的位置,后续会定期生成日报、周报、月报等;

人工报告是针对一下热点舆情或者客户特殊要求,会有专业的报告分析师参与。

舆情预警

预警需要配置预警关键词方案、监测平台、预警周期、推送渠道等。

总结

舆情监控系统通过采集、清洗、存储、挖掘和展示,为舆论场的动态分析与管理提供了强有力的技术支持。

前端:数据采集全面高效,内容清洗精确。

中台:挖掘技术提升了分析的智能化水平。

后端:数据存储和可视化应用保障了系统的实用性与易用性。

意义:现代化舆情系统能够快速应对复杂的舆论环境,帮助企业、政府和个人及时发现并解决潜在问题,从而更好地管理舆论影响。