7
15
实时监控文件系统：探索Python Watchdog库的神奇之处！
2024-02-04 16:06:17
0点赞
1收藏
1评论
在程序工具的开发过程中，监控文件的变化对于许多应用程序来说至关重要。
无论是自动化构建系统、文件同步工具还是相关的自动化程序，都需要对系统中文件的变化（创建、修改、删除等）做出及时响应。
而 Python Watchdog 库 就是一个强大的工具，可以帮助我们实现这一目标。
Watchdog介绍
Watchdog 是一个用于监视文件系统变化的库，它提供了一种简单而灵活的方式来监视文件或目录的创建、修改、删除和移动等操作。
图片无论是在本地文件系统还是网络文件系统中，Watchdog都能够高效地捕获这些变化，并触发相应的事件。
Watchdog库具有以下特色功能：
跨平台性：可以在Windows、Linux和macOS等主流操作系统上运行。灵活性：可以通过自定义处理程序来响应不同类型的文件系统事件。高效性：采用异步事件处理机制，能够高效地处理大量文件系统事件。易用性：提供简洁清晰的API，便于开发人员快速上手。
安装与使用
图片安装 Watchdog 库
首先，我们需要使用 pip 安装 Watchdog 库：
pip install watchdog
安装完成以后，就可以在Python程序开发时使用了。
Watchdog 四大API方法（事件处理）
1、创建事件（文件或目录被创建）
要监视文件或目录的创建事件，可以在自定义的处理程序类中重写 on_created 方法，并在其中处理相应的逻辑。
class MyHandler(FileSystemEventHandler):
def on_created(self, event):
if event.is_directory:
return
print(f'文件 {event.src_path} 被创建')
2、修改事件（文件或目录被修改）
要监视文件或目录的修改事件，可以在自定义的处理程序类中重写 on_modified 方法，并在其中处理相应的逻辑。
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
print(f'文件 {event.src_path} 被修改')
3、移动事件（文件或目录被移动）
要监视文件或目录的移动事件，可以在自定义的处理程序类中重写 on_moved 方法，并在其中处理相应的逻辑。
class MyHandler(FileSystemEventHandler):
def on_moved(self, event):
if event.is_directory:
print(f'目录 {event.src_path} 被移动到 {event.dest_path}')
else:
print(f'文件 {event.src_path} 被移动到 {event.dest_path}')
4、删除事件（文件或目录被删除）
要监视文件或目录的删除事件，可以在自定义的处理程序类中重写 on_deleted 方法，并在其中处理相应的逻辑。
class MyHandler(FileSystemEventHandler):
def on_deleted(self, event):
if event.is_directory:
print(f'目录 {event.src_path} 被删除')
else:
print(f'文件 {event.src_path} 被删除')
当然，小编为帮助大家更好地理解 Watchdog 库 API 的使用，为大家展示一个修改的示例，已更深入的理解它！
编写一个监控文件修改的示例
1、导入所需的模块
# 导入监听器类（观察者）
from watchdog.observers import Observer
# 导入文件系统事件类
from watchdog.events import FileSystemEventHandler
2、创建一个自定义的处理程序类，继承自 FileSystemEventHandler，并重写相应的方法来处理文件系统事件：
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
print(f'文件 {event.src_path} 被修改')
3、创建一个观察者对象并将处理程序类与要监视的路径关联起来：
observer = Observer()
observer.schedule(MyHandler(), path='要监视的路径', recursive=True)
observer.start()
4、在需要的时候停止观察
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
5、完整代码示例，演示如何使用 Watchdog 监视文件系统中目录（包括其子目录及文件）的修改事件：
import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
print(f'文件 {event.src_path} 被修改')
if __name__ == "__main__":
path = '.' # 监视当前目录
event_handler = MyHandler()
observer = Observer()
observer.schedule(event_handler, path, recursive=True)
observer.start()
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
上面为大家介绍了目录的监控方式，如果只想监控某一个文件的变化，只需要将 recursive 改为 False 即可。
...
if __name__ == "__main__":
path = 'e:srcevent_202401281535.log' # 监视当前文件
event_handler = MyHandler()
observer = Observer()
observer.schedule(event_handler, path, recursive=False)
observer.start()
...
Watchdog可以使用在哪些业务场景下？
Watchdog可应用于诸多场景，包括但不限于：
自动化构建系统：监控源代码文件的变化，自动触发构建和部署操作。
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
print(f'检测到文件 {event.src_path} 的修改，开始自动化构建...')
# 在这里添加触发构建任务的代码
文件同步工具：实时监控文件变化，保持多个目录之间的同步。
class MyHandler(FileSystemEventHandler):
def on_created(self, event):
if event.is_directory:
return
print(f'检测到文件 {event.src_path} 的创建，开始同步到目标目录...')
# 在这里添加文件同步逻辑的代码
def on_modified(self, event):
if event.is_directory:
return
print(f'检测到文件 {event.src_path} 的修改，开始同步到目标目录...')
# 在这里添加文件同步逻辑的代码
def on_deleted(self, event):
if event.is_directory:
return
print(f'检测到文件 {event.src_path} 的删除，开始同步到目标目录...')
# 在这里添加文件同步逻辑的代码
数据备份应用：监控数据文件的修改，及时备份重要数据。
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
print(f'检测到文件 {event.src_path} 的修改，开始备份数据...')
# 在这里添加触发数据备份操作的代码
def on_created(self, event):
if event.is_directory:
return
print(f'检测到文件 {event.src_path} 的创建，开始备份数据...')
# 在这里添加触发数据备份操作的代码
日志分析：通过日志文件的变化，记录、定位系统发生问题。
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
print(f'检测到日志文件 {event.src_path} 的修改，开始实时分析日志...')
# 在这里添加实时日志分析的代码
总结
Watchdog 是一个功能强大且易于使用的文件系统监控API工具（Python），它为开发人员提供了一种简单而灵活的方式来响应文件系统变化。
无论是在个人项目中还是企业级应用中，Watchdog都能够发挥重要作用，帮助我们实现对文件系统变化的实时监控和响应。
希望通过本文的介绍，让大家对Python Watchdog库有了更深入的了解，并能够在实际项目中灵活运用它来解决各种文件系统监控的需求。
作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～
卖女孩的火柴棍
一、数据导入
二、数据预处理（清洗规整、增删改查、数据类型转化）
三、探索分析（可视自动化）
四、特征衍生（组合变量批量自动化生成、特征筛选指标评估自动化）
五、分箱筛选（变量分箱最优自动化）
六、相关性构建（多类算法聚合：逻辑、回归、分类＆机器学习、深度学习、强化学习
七、检验评测（第六项计算各自的混淆矩阵指标，自动化计算结果）
八、分数转换
九、超参调优
so针对第二至七项，就python及其第三方库（自动化）实操详解的电子书及其代码而言，特跪求大佬推荐。。。非AI或者chatgpt+XX系列，书籍需求具体如下：
1、小白速成上手、简单易懂
because：文科转型
2、行业内公认靠谱，电子书中文版（暂不考虑：单个某库的说明书）
because：内容忒多繁杂，且无常用算法库的聚合呈现
3、需要2023年出版
because：即使按书实操，旧版书均因为其所涉之第三方库的灭失、相同操作而新旧版本不适配、新旧版本变更操作等原因而导致无法实现同等功能）
校验提示文案
卖女孩的火柴棍
一、数据导入
二、数据预处理（清洗规整、增删改查、数据类型转化）
三、探索分析（可视自动化）
四、特征衍生（组合变量批量自动化生成、特征筛选指标评估自动化）
五、分箱筛选（变量分箱最优自动化）
六、相关性构建（多类算法聚合：逻辑、回归、分类＆机器学习、深度学习、强化学习
七、检验评测（第六项计算各自的混淆矩阵指标，自动化计算结果）
八、分数转换
九、超参调优
so针对第二至七项，就python及其第三方库（自动化）实操详解的电子书及其代码而言，特跪求大佬推荐。。。非AI或者chatgpt+XX系列，书籍需求具体如下：
1、小白速成上手、简单易懂
because：文科转型
2、行业内公认靠谱，电子书中文版（暂不考虑：单个某库的说明书）
because：内容忒多繁杂，且无常用算法库的聚合呈现
3、需要2023年出版
because：即使按书实操，旧版书均因为其所涉之第三方库的灭失、相同操作而新旧版本不适配、新旧版本变更操作等原因而导致无法实现同等功能）
校验提示文案