惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

MyScale Blog
MyScale Blog
Jina AI
Jina AI
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
阮一峰的网络日志
阮一峰的网络日志
P
Proofpoint News Feed
Last Week in AI
Last Week in AI
博客园 - 司徒正美
Martin Fowler
Martin Fowler
T
Tailwind CSS Blog
B
Blog RSS Feed
Vercel News
Vercel News
博客园 - 聂微东
I
InfoQ
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
M
MIT News - Artificial intelligence
Recent Announcements
Recent Announcements
GbyAI
GbyAI
L
LangChain Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Microsoft Security Blog
Microsoft Security Blog
C
Check Point Blog
MongoDB | Blog
MongoDB | Blog
B
Blog

碎言

不懂就别瞎掰掰:【程序员的常识】写的什么玩意? AI 辅助编程下的程序设计与代码编写 使用 Next.js 和 Tailwind CSS 构建可编辑和删除的 ToDo 待办事项应用 探索编程新境界:MarsCode 助你一臂之力 使用 Next.js 和 Tailwind CSS 搭建静态图片展示站点并部署到 Vercel AI 辅助编程:免费工具的优缺点及官网一览 GitHub push更新总是失败,写个python脚本解决 把博客从GitHub迁移到到了vercel ComfyUI 和 Flux.1 安装与使用教程 Flux.1 入门必知:硬件、环境、模型 Git项目的子文件夹中的内容无法同步到远程仓库的解决方法 blender流体Fluid使用中没有流体、流体穿模等一些问题的解决方法 博客聚合网站:积薪,竟然关闭了! blender日常使用中的一些技巧 虽然只有我自己在用,但还是更新了碎言博客的源代码, 与其在迷茫中困惑,不如在努力中前进 差点忘了我还有一个博客... 秧歌、博客和AI 终于熬到了新手上路 好久没有更新博客了。。。 老妈大腿骨骨折,最近一直在医院护理 Hello, September! Ubuntu开机自动启动Docker容器运行WordPress Docker 简单快速安装部署WordPress Docker下安装MySQL 加碘盐能防核辐射的话,还怕什么核战争? shields.io 一个简洁、一致、清晰的徽章 Ubuntu下使用root登录ssh的设置 GitHub Actions 构建、部署 Next.js项目 我又用回了"IE"--edge
Python生成器yield应用实例——监控日志
J.sky · 2017-12-22 · via 碎言

Python生成器yield是编写基于处理管道,流或数据流程序的一种极其强大的方式,在《Python参考手册》中有一则实例非常简单实用,略加修改,分享一下给大家。

需要分析

假设服务器有一个日志文件,每隔一秒都会更新日志的内容,日志每行中都有一组类似:2017-12-21 14:07:26.471691 99123数据被写入日志。 我们的目的是分析日志中的数字如果大于5000就要打印出来。 这样来看,我们需要一个程序负责模拟日志写入,另一个程序负责分析日志打印数据。

模拟日志写入

server_log.py:

import random
from datetime import *
import os
import time


def server_log():
    # 生成模拟的日志数据
    server_int = random.randint(1,99999)#生成需要的随机数
    server_date = datetime.now()#获取当前系统时间
    return str(server_date) + ' ' + str(server_int)#拼装日志字符串


while True:
    #模拟系统写入日志
    #打开日志文件并写入日志
    with open(os.path.join(os.path.dirname(__file__),'server_log.log'),'at') as f :
        s = server_log()
        print(s)
        f.write(s + '\n')
    time.sleep(1)

上边的代码我已经添加了相关的注释,这样我们就有了一个日志文件,每秒会有一第记录插入到日志中。

利用生成器yield解析日志

生成器可以返回一个迭代的流式的对象,我们可以通过这种方式便捷的获得相关数据,而且代码也更清晰易懂

tail.py 代码如下:

import time

def tail(f):
    f.seek(0,2)#移动到文件尾部。
    while True:
        line = f.readline()
        if not line :
            time.sleep(1)
            continue
        yield line

def grep(lines):
    for l in lines:
        k = int(l.split()[2])
        if k >50000:
            yield l

serverlog = tail(open('server_log.log'))
lines = grep(serverlog)

for line in lines:
    print(line)

我们运行两个文件看下效果:

输入图片说明

代码虽然简单,但值得细细品味,感受python的简约与强大吧。

本文源码下载: