惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

雷峰网
雷峰网
MyScale Blog
MyScale Blog
PCI Perspectives
PCI Perspectives
S
Securelist
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
V
Vulnerabilities – Threatpost
C
CXSECURITY Database RSS Feed - CXSecurity.com
D
Darknet – Hacking Tools, Hacker News & Cyber Security
L
Lohrmann on Cybersecurity
C
Cybersecurity and Infrastructure Security Agency CISA
Spread Privacy
Spread Privacy
量子位
P
Proofpoint News Feed
T
Tailwind CSS Blog
腾讯CDC
G
Google Developers Blog
V
Visual Studio Blog
The GitHub Blog
The GitHub Blog
博客园 - 司徒正美
GbyAI
GbyAI
The Register - Security
The Register - Security
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
罗磊的独立博客
A
About on SuperTechFans
有赞技术团队
有赞技术团队
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
月光博客
月光博客
Recorded Future
Recorded Future
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
aimingoo的专栏
aimingoo的专栏
美团技术团队
Engineering at Meta
Engineering at Meta
博客园 - 【当耐特】
小众软件
小众软件
F
Fortinet All Blogs
Last Week in AI
Last Week in AI
U
Unit 42
T
The Blog of Author Tim Ferriss
B
Blog RSS Feed
云风的 BLOG
云风的 BLOG
Microsoft Azure Blog
Microsoft Azure Blog
The Cloudflare Blog
Recent Announcements
Recent Announcements
S
SegmentFault 最新的问题
D
DataBreaches.Net
Stack Overflow Blog
Stack Overflow Blog
A
Arctic Wolf
C
CERT Recently Published Vulnerability Notes
Security Latest
Security Latest
L
LINUX DO - 热门话题

浮华生

Elasticsearch 检索性能优化 - 浮华生 2024 半年度总结 - 浮华生 2023 年终总结 - 浮华生 异地机器组网方案 - 浮华生 Kubernetes 部署 Elasticsearch 和 Kibana - 浮华生 2022 年终总结 - 浮华生 RabbitMQ connection channel 的关系 - 浮华生 Kafka Java 客户端 Producer 原理分析 - 浮华生 RabbitMQ 和 Kafka 应用原理简单对比 - 浮华生 阿里云 OpenSearch 介绍 - 浮华生 Golang Array 和 Slice 区别 - 浮华生 Mac OS 下打造 golang nvim 编程环境之基础配置 - 浮华生 电商搜索技术总结 - 浮华生 电商搜索业务总结 - 浮华生 2021 年终总结 - 浮华生 Cypress 实践总结 - 浮华生 年终总结 - 浮华生 关于我 - 浮华生 使用 cucumber 进行行为驱动开发(BDD) - 浮华生 微服务应用集成 SpringCloud 步骤 - 浮华生 电商搜索数据同步方案 - 浮华生 通过一道数值转换题重温计算机补码 - 浮华生 macOS 系统推荐的一些软件 - 浮华生 DevOps 实施规划(持续更新) - 浮华生 rabbitmq 如何提高可靠性并保证消费端幂等 - 浮华生 AMQ Model总结 - 浮华生 结对编程 - 浮华生 RSocket 介绍 - 浮华生 面向对象的理解 - 浮华生 企业平台技术框架 - 浮华生 对创业的思考 - 浮华生 知难行易 - 浮华生 一年工作经验总结 - 浮华生 我与领域驱动之缘 - 浮华生 TDD 中使用的工具 - 浮华生 tf-idf 算法 - 浮华生 gitlab 添加代码规范检测 - 浮华生 query 改写 - 浮华生 阶段性总结 - 浮华生 操作系统作用 - 浮华生 - 浮华生 hamming-distance - 浮华生 ElasticSearch API 基本操作 - 浮华生 elasticsearch 集群容错 - 浮华生 ElasticSearch 基础概念 - 浮华生 技术选型怎么做 - 浮华生 条件概率、全概率与贝叶斯公式 - 浮华生 年终总结 - 浮华生 迁移到 ubuntu18 的问题及配置 - 浮华生 总结 - 浮华生 使用 psi-probe 监控 Tomcat - 浮华生 Tomcat 远程 Debug - 浮华生 jstack 死循环和死锁定位 - 浮华生 jmap & mat 内存溢出 - 浮华生 JVM 常用参数查看 - 浮华生 周总结(8.13-8.19) - 浮华生 周总结(7.30-8.4) - 浮华生 使用移位运算符 - 浮华生 master 公式 - 浮华生 VMware 12 NAT网络下配置 ubuntu 16.04 LTS 系统静态 IP - 浮华生 关于进制的计算 - 浮华生 项目总结 第三篇 - 浮华生 项目总结 第二篇 - 浮华生 editor.md 富文本编辑器的使用 - 浮华生 项目总结 第一篇 - 浮华生 2017至今总结 - 浮华生 谈谈微服务 - 浮华生 单例模式 - 浮华生 tor 使用 - 浮华生 归档 - 浮华生 搜索 - 浮华生 搜索 && 推荐 - 浮华生
舆情监控系统综述 - 浮华生
浮华生 · 2024-11-25 · via 浮华生

前言

当下是一个自媒体的时代,我们每个人都处于舆论场中,微博、抖音、快手、小红书等平台是言论的载体,那这些现代化的平台都有几个特点:

  1. 发布简单、传播迅速,短时间能够覆盖广泛的人群;
  2. 舆论主体多元化,专业媒体不是唯一主导力量,个体、组织、水军都可能影响舆论的走向;
  3. 信息碎片化,断章取义的消息片段有可能对观点造成误解和放大;
  4. 热点更新迅速,热点事件会在短时间爆发大量的信息,随之而来的会有新的事件出现,造成舆论热点的快速转移;
  5. 平台算法,会对舆论进一步的推荐,造成舆论的进一步扩大。

对于平台算法,这个是本人最厌恶的,拿新浪微博举例,如果当天热点是比较消极的内容,那后续的推荐就会有越来越多的消极内容,如果不及时干预有可能会对用户造成潜移默化的影响。

舆情系统

那对于现代化的舆论形式,就需要现代化的舆情监控系统来处理。舆情系统主要分为下面几个模块:

数据采集

从社媒上抓取对应的数据,一般会通过爬虫手段或者同厂家直接购买数据(一般是以接口方式提取)

数据清洗

数据采集过来会有各种各样的样式或者格式,数据清洗是一个结构化的过程,比如采集过来的数据中存在特殊字符、HTML 标签等,这些对数据分析没有价格还会增加成本,所以要在这个环节过滤掉;还有把对应的文本映射存储到项目的字段上;还有数据去重等。

数据挖掘

对于结构化的数据,我们会对数据做一个深度的价值挖掘,这部分需要用到算法方面的内容。

  • 情感分析:判别文本的正负面,这个算是监控的一个核心点。
  • 实体识别:分析出地域涉及、所属行业、品牌等标签。
  • 相似文章:一般会用在热点分析模块
  • 关键词提取:提取热词
  • 等等

数据存储

数据存储会贯穿整个舆情监控系统,不同时期可选用不同的数据库,这不是一成不变的,但要考虑稳定性。

  • MySQL:存储系统配置
  • Redis:存储待采集链接
  • Kafka:大批量采集时可以使用队列进行削峰
  • ElasticSearch:存储处理好的数据方便检索
  • ClickHouse:适用于没有全文检索的场景

数据应用

数据可视化

根据想要查询的关键词、布尔表达式等条件进行查询,统计出声量、声量走势、正负面、社媒分布等,通过饼图、柱状图、走势图等图表进行展示。

舆情报告

这个会分为自动化报告和人工报告。

自动化可以先配置一个报告模版,通过拖拉拽的方式把图表指标放置在合适的位置,后续会定期生成日报、周报、月报等;

人工报告是针对一下热点舆情或者客户特殊要求,会有专业的报告分析师参与。

舆情预警

预警需要配置预警关键词方案、监测平台、预警周期、推送渠道等。

总结

舆情监控系统通过采集、清洗、存储、挖掘和展示,为舆论场的动态分析与管理提供了强有力的技术支持。

前端:数据采集全面高效,内容清洗精确。

中台:挖掘技术提升了分析的智能化水平。

后端:数据存储和可视化应用保障了系统的实用性与易用性。

意义:现代化舆情系统能够快速应对复杂的舆论环境,帮助企业、政府和个人及时发现并解决潜在问题,从而更好地管理舆论影响。