惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
The Exploit Database - CXSecurity.com
F
Fortinet All Blogs
U
Unit 42
F
Full Disclosure
雷峰网
雷峰网
博客园 - 司徒正美
云风的 BLOG
云风的 BLOG
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
T
Tailwind CSS Blog
The Cloudflare Blog
Last Week in AI
Last Week in AI
罗磊的独立博客
D
DataBreaches.Net
C
Check Point Blog
www.infosecurity-magazine.com
www.infosecurity-magazine.com
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
O
OpenAI News
C
CXSECURITY Database RSS Feed - CXSecurity.com
aimingoo的专栏
aimingoo的专栏
S
Security @ Cisco Blogs
大猫的无限游戏
大猫的无限游戏
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
S
SegmentFault 最新的问题
NISL@THU
NISL@THU
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
The Hacker News
The Hacker News
Webroot Blog
Webroot Blog
Security Latest
Security Latest
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Google DeepMind News
Google DeepMind News
酷 壳 – CoolShell
酷 壳 – CoolShell
N
News | PayPal Newsroom
P
Proofpoint News Feed
B
Blog RSS Feed
MongoDB | Blog
MongoDB | Blog
C
Cybersecurity and Infrastructure Security Agency CISA
N
News and Events Feed by Topic
Google Online Security Blog
Google Online Security Blog
H
Help Net Security
Spread Privacy
Spread Privacy
T
Threat Research - Cisco Blogs
GbyAI
GbyAI
I
Intezer
Application and Cybersecurity Blog
Application and Cybersecurity Blog
M
MIT News - Artificial intelligence
Vercel News
Vercel News
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
IT之家
IT之家
MyScale Blog
MyScale Blog
腾讯CDC

博客园 - Ron.Liang

亿万级分库分表后如何进行跨表分页查询 日计不足涓滴成河-自定义响应结果格式化器 .NET5.0 单文件发布打包操作深度剖析 .NET5.0 Preview 8 开箱教程 算法面试题:一个List<Student>,要求删除里面的男生,不用Linq和Lamda,求各种解,并说明优缺点! .NETCore中实现ObjectId反解 深入剖析.NETCORE中CORS(跨站资源共享) 因为喜欢所以升级,MyStaging-3.0 继续 .NETCore3.1中的Json互操作最全解读-收藏级 鲲鹏来了,在EulerOS试用.NETCore-3.1 超简单让.NET Core开发者快速拥有CI/CD的能力-Docker版本 .NETCore下CI/CD之自动化测试 多场景抢红包业务引发.NETCore下使用适配器模式实现业务接口分离 13张PPT带你了解主动式消息队列处理集群 TomatoLog-1.1.0实现ILoggerFactory 博客园升级有感一点建议 上车时机已到--.NETCore是适应时代发展的雄鹰利剑 花5分钟时间来了解一下高性能网关Kong会有意外收获 高性能微服务网关.NETCore客户端Kong.Net开源发布
番茄日志发布1.0.3版本-增加Kafka支持
Ron.Liang · 2019-08-23 · via 博客园 - Ron.Liang

番茄日志(TomatoLog)能做什么

可能你是第一次听说TomatoLog,没关系,我可以从头告诉你,通过了解番茄日志,希望能帮助有需要的朋友,番茄日志处理将大大降低你采集、分析、处理日志的过程。

介绍

TomatoLog 是一个基于 .NETCore 平台的日志处理组件,包含客户端、服务端,非常容易使用和部署。

多客户端实现

TomatoLog 的客户端和服务端目前都是基于 .NETCore 版本,客户端提供了三种日志流传输方式,目前实现了 Redis/RabbitMQ/Kafka流。如果希望使用非 .NETCore 平台的客户端,你可以自己开放其它第三方语言的客户端,通过实现 TomatoLog 传输协议,将数据传送到管道(Redis/RabbitMQ/Kafka)中即可。

强大的日志存储方式

TomatoLog 服务端还提供了三种存储日志的方式,分别是 File、MongoDB、Elasticsearch,存储方式可以通过配置文件指定。在 TomatoLog 服务端,我们还提供了一个Web 控制台,通过该控制台,可以对日志进行查询、搜索,对服务过滤器进行配置,警报配置、通知发送等等

灵活多样的日志报警配置

其中,可使用的警报通知方式有:SMS 和 Email 两种方式,但是,SMS 其本质是一个 Http 请求,通过 SMS 的配置,可以实现向所有提供了 Http 接口的网关发送通知。

我好累丫

为了开发支持Kafka,还得学习Kafka/Zookeeper,为了使用Kafka-Manager控制台,还学习Scala/sbt编译雅虎这个破项目,控制台我就起了四个,不说了,看图。

TomatoLog-1.0.3 版本

TomatoLogServer 服务器版本 1.0.3 ,主要增加了对Kafka的支持,服务端做了一些优化,在配置上,几乎没有改动,只需要在原来的基础上增加Kafka配置即可

"Kafka": {
        "Group": "TomatoLogServer",
        "BootstrapServers": "127.0.0.1:9092",
        "Topic": "TomatoLog"
      }

同时也增加了Kafka客户端的支持,当前版本为:1.0.3

Install-Package TomatoLog.Client.Kafka

使用方式和其它Redis/RabbitMQ客户端是没有任何区别的,主要看下面的 WriteLogAsync() 方法,只要做好了 TomatoLogClientKafka 的配置,剩下的,就是调用 Exception 的扩展方法 ex.AddTomatoLogAsync()

public class TomatoLogClientKafkaTest
{

    [Fact]
    public async Task WriteLogAsync()
    {
        int i = 0;
        for (; i < 10; i++)
        {
            try
            {
                throw new Exception("Kafka throw exception");
            }
            catch (Exception ex)
            {
                ex.Data["connection"] = "127.0.0.1";
                await ex.AddTomatoLogAsync(1320);
            }
        }
        Assert.Equal(10, i);
    }

    ITomatoLogClient client;
    public TomatoLogClientKafkaTest()
    {
        var options = new EventKafkaOptions
        {
            Logger = null,
            LogLevel = Microsoft.Extensions.Logging.LogLevel.Information,
            ProjectLabel = "20272",
            ProjectName = "TomatoLog",
            SysOptions = new EventSysOptions
            {
                EventId = true,
                IP = true,
                IPList = true,
                MachineName = true,
                ProcessId = true,
                ProcessName = true,
                ThreadId = true,
                Timestamp = true,
                UserName = true
            },
            Tags = null,
            Version = "1.0.1",
            BootstrapServers = "127.0.0.1:9092",
            Topic = "TomatoLog"
        };
        client = new TomatoLogClientKafka(options);
    }
}

番茄日志服务端控制台长什么样

首页看日志列表

日志详情、弹出查看详情、日志搜索、支持ES/MongoDB/File搜索

全局日志处理、警报配置

针对单个项目的详细日志处理、警报配置

极简风格

不管是从项目结构还是解决方案,我都强调简单就是最美的根本要求,解决方案的内容虽然看起来很多,但是你也只需要按需引用其中一个客户端就可以了,服务端更是如此,全站都打包在一个 .NETCore 的应用程序中,程序的警报配置都是存储在配置文件中的,无需数据库支持。

看到这里,其实完全就可以点赞了。谢谢大家!

别走,我还有几个开源工具

优秀的微服务网关Kong的.NETCore中唯一客户端
https://github.com/lianggx/Kong.Net

基于.NETCore+PostgreSQL的快速开发脚手架
https://github.com/lianggx/mystaging

Asp.NETCore轻松学系列的开源实例代码
https://github.com/lianggx/EasyAspNetCoreDemo

好了,这下我真的没啥家底了,都抖露给你们看完了。