惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Privacy International News Feed
A
Arctic Wolf
Security Latest
Security Latest
雷峰网
雷峰网
V2EX - 技术
V2EX - 技术
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
S
Schneier on Security
WordPress大学
WordPress大学
J
Java Code Geeks
宝玉的分享
宝玉的分享
T
The Exploit Database - CXSecurity.com
T
Troy Hunt's Blog
Scott Helme
Scott Helme
爱范儿
爱范儿
罗磊的独立博客
Apple Machine Learning Research
Apple Machine Learning Research
Application and Cybersecurity Blog
Application and Cybersecurity Blog
I
Intezer
博客园 - 【当耐特】
T
Threat Research - Cisco Blogs
L
LINUX DO - 最新话题
W
WeLiveSecurity
K
Kaspersky official blog
Google Online Security Blog
Google Online Security Blog
IT之家
IT之家
N
News and Events Feed by Topic
The Hacker News
The Hacker News
Know Your Adversary
Know Your Adversary
小众软件
小众软件
博客园 - 叶小钗
Latest news
Latest news
P
Proofpoint News Feed
G
GRAHAM CLULEY
Schneier on Security
Schneier on Security
T
Tor Project blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
T
Tailwind CSS Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Project Zero
Project Zero
The Cloudflare Blog
美团技术团队
大猫的无限游戏
大猫的无限游戏
S
Secure Thoughts
量子位
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
博客园_首页
Jina AI
Jina AI
V
Visual Studio Blog
Help Net Security
Help Net Security

浮华生

Elasticsearch 检索性能优化 - 浮华生 2024 半年度总结 - 浮华生 2023 年终总结 - 浮华生 异地机器组网方案 - 浮华生 Kubernetes 部署 Elasticsearch 和 Kibana - 浮华生 2022 年终总结 - 浮华生 RabbitMQ connection channel 的关系 - 浮华生 Kafka Java 客户端 Producer 原理分析 - 浮华生 RabbitMQ 和 Kafka 应用原理简单对比 - 浮华生 阿里云 OpenSearch 介绍 - 浮华生 Golang Array 和 Slice 区别 - 浮华生 Mac OS 下打造 golang nvim 编程环境之基础配置 - 浮华生 电商搜索技术总结 - 浮华生 电商搜索业务总结 - 浮华生 2021 年终总结 - 浮华生 Cypress 实践总结 - 浮华生 年终总结 - 浮华生 关于我 - 浮华生 使用 cucumber 进行行为驱动开发(BDD) - 浮华生 微服务应用集成 SpringCloud 步骤 - 浮华生 电商搜索数据同步方案 - 浮华生 通过一道数值转换题重温计算机补码 - 浮华生 macOS 系统推荐的一些软件 - 浮华生 DevOps 实施规划(持续更新) - 浮华生 rabbitmq 如何提高可靠性并保证消费端幂等 - 浮华生 AMQ Model总结 - 浮华生 结对编程 - 浮华生 RSocket 介绍 - 浮华生 面向对象的理解 - 浮华生 企业平台技术框架 - 浮华生 对创业的思考 - 浮华生 知难行易 - 浮华生 一年工作经验总结 - 浮华生 我与领域驱动之缘 - 浮华生 TDD 中使用的工具 - 浮华生 tf-idf 算法 - 浮华生 gitlab 添加代码规范检测 - 浮华生 query 改写 - 浮华生 阶段性总结 - 浮华生 操作系统作用 - 浮华生 - 浮华生 hamming-distance - 浮华生 ElasticSearch API 基本操作 - 浮华生 elasticsearch 集群容错 - 浮华生 ElasticSearch 基础概念 - 浮华生 技术选型怎么做 - 浮华生 条件概率、全概率与贝叶斯公式 - 浮华生 年终总结 - 浮华生 迁移到 ubuntu18 的问题及配置 - 浮华生 总结 - 浮华生 使用 psi-probe 监控 Tomcat - 浮华生 Tomcat 远程 Debug - 浮华生 jstack 死循环和死锁定位 - 浮华生 jmap & mat 内存溢出 - 浮华生 JVM 常用参数查看 - 浮华生 周总结(8.13-8.19) - 浮华生 周总结(7.30-8.4) - 浮华生 使用移位运算符 - 浮华生 master 公式 - 浮华生 VMware 12 NAT网络下配置 ubuntu 16.04 LTS 系统静态 IP - 浮华生 关于进制的计算 - 浮华生 项目总结 第三篇 - 浮华生 项目总结 第二篇 - 浮华生 editor.md 富文本编辑器的使用 - 浮华生 项目总结 第一篇 - 浮华生 2017至今总结 - 浮华生 谈谈微服务 - 浮华生 单例模式 - 浮华生 tor 使用 - 浮华生 归档 - 浮华生 搜索 - 浮华生 搜索 && 推荐 - 浮华生
舆情监控系统综述 - 浮华生
浮华生 · 2024-11-25 · via 浮华生

前言

当下是一个自媒体的时代,我们每个人都处于舆论场中,微博、抖音、快手、小红书等平台是言论的载体,那这些现代化的平台都有几个特点:

  1. 发布简单、传播迅速,短时间能够覆盖广泛的人群;
  2. 舆论主体多元化,专业媒体不是唯一主导力量,个体、组织、水军都可能影响舆论的走向;
  3. 信息碎片化,断章取义的消息片段有可能对观点造成误解和放大;
  4. 热点更新迅速,热点事件会在短时间爆发大量的信息,随之而来的会有新的事件出现,造成舆论热点的快速转移;
  5. 平台算法,会对舆论进一步的推荐,造成舆论的进一步扩大。

对于平台算法,这个是本人最厌恶的,拿新浪微博举例,如果当天热点是比较消极的内容,那后续的推荐就会有越来越多的消极内容,如果不及时干预有可能会对用户造成潜移默化的影响。

舆情系统

那对于现代化的舆论形式,就需要现代化的舆情监控系统来处理。舆情系统主要分为下面几个模块:

数据采集

从社媒上抓取对应的数据,一般会通过爬虫手段或者同厂家直接购买数据(一般是以接口方式提取)

数据清洗

数据采集过来会有各种各样的样式或者格式,数据清洗是一个结构化的过程,比如采集过来的数据中存在特殊字符、HTML 标签等,这些对数据分析没有价格还会增加成本,所以要在这个环节过滤掉;还有把对应的文本映射存储到项目的字段上;还有数据去重等。

数据挖掘

对于结构化的数据,我们会对数据做一个深度的价值挖掘,这部分需要用到算法方面的内容。

  • 情感分析:判别文本的正负面,这个算是监控的一个核心点。
  • 实体识别:分析出地域涉及、所属行业、品牌等标签。
  • 相似文章:一般会用在热点分析模块
  • 关键词提取:提取热词
  • 等等

数据存储

数据存储会贯穿整个舆情监控系统,不同时期可选用不同的数据库,这不是一成不变的,但要考虑稳定性。

  • MySQL:存储系统配置
  • Redis:存储待采集链接
  • Kafka:大批量采集时可以使用队列进行削峰
  • ElasticSearch:存储处理好的数据方便检索
  • ClickHouse:适用于没有全文检索的场景

数据应用

数据可视化

根据想要查询的关键词、布尔表达式等条件进行查询,统计出声量、声量走势、正负面、社媒分布等,通过饼图、柱状图、走势图等图表进行展示。

舆情报告

这个会分为自动化报告和人工报告。

自动化可以先配置一个报告模版,通过拖拉拽的方式把图表指标放置在合适的位置,后续会定期生成日报、周报、月报等;

人工报告是针对一下热点舆情或者客户特殊要求,会有专业的报告分析师参与。

舆情预警

预警需要配置预警关键词方案、监测平台、预警周期、推送渠道等。

总结

舆情监控系统通过采集、清洗、存储、挖掘和展示,为舆论场的动态分析与管理提供了强有力的技术支持。

前端:数据采集全面高效,内容清洗精确。

中台:挖掘技术提升了分析的智能化水平。

后端:数据存储和可视化应用保障了系统的实用性与易用性。

意义:现代化舆情系统能够快速应对复杂的舆论环境,帮助企业、政府和个人及时发现并解决潜在问题,从而更好地管理舆论影响。