利用Python实现自动化监控文件夹完成服务部署
作者:星安果 发布时间:2023-03-15 00:02:04
大家好,我是安果!
最近在部署前端项目的时候,需要先将前端项目压缩包通过堡垒机上传到应用服务器的 /tmp 目录下,然后进入应用服务器中,使用 mv 命令将压缩文件移动到 Nginx 项目设定目录,最后使用 unzip 命令解压文件,以此完成项目的部署
仔细分析,大部分操作都是重复性的动作,人工去完成这些操作会大大降低工作效率
本篇文章将介绍如何利用 Python 监控文件夹,以此辅助完成服务的部署动作
1. 准备
这里要介绍一个 Python 依赖库「 watchdog 」
它可用于监控某个文件目录下的文件变化,包含:删除、修改、新增等操,每一个操作都会回调一个事件函数,我们可以在内部编写自定义的逻辑,以此满足我们的需求
# 安装依赖包
pip3 install watchdog
项目地址
2. 实战一下
首先,我们需要创建一个 * ,用于监听文件夹目录
from watchdog.observers import Observer
...
# 创建一个 * ,用来监听文件夹目录
observer = Observer()
...
然后,创建 2 个事件处理对象
PS:该对象继承于「 FileSystemEventHandler 」类
它们分别用于监听「 /tmp 」目录、「 /home/project/frontend 」目录,假设事件对象被命名为 obj1、obj2
obj1 负责监听 /tmp 目录,重写「 新建或修改 」事件方法,完成压缩文件的移动操作
from watchdog.events import *
import ntpath
import shutil
import zipfile
def get_filename(filepath):
"""
根据文件夹目录,获取文件名称(待后缀)
:param filepath:
:return:
"""
return ntpath.basename(filepath)
class FileMoveHandler(FileSystemEventHandler):
def __init__(self):
FileSystemEventHandler.__init__(self)
...
# 文件新建
def on_created(self, event):
# 新建文件夹
if event.is_directory:
# print("directory created:{0}".format(event.src_path))
pass
# 新建文件
else:
# print("file created:{0}".format(event.src_path))
filename = get_filename(event.src_path)
# 如果属于前端的4个项目压缩包,开始文件夹的操作
if filename in watch_tags:
self.start(filename)
...
def on_modified(self, event):
if event.is_directory:
# print("directory modified:{0}".format(event.src_path))
pass
else:
# print("file modified:{0}".format(event.src_path))
filename = get_filename(event.src_path)
if filename in watch_tags:
self.start(filename)
...
def start(self, filename):
"""
文件处理逻辑
:param filename:
:return:
"""
try:
# 文件名不带后缀
filename_without_suffix = filename.split(".")[0]
# 源文件路径(压缩包文件)
source_file_path = watch_folder + filename
# 目标文件路径(压缩包文件)
target_file_path = target_folder + filename
# 目标项目文件夹(目标项目)
target_project_path = target_folder + filename_without_suffix
# 1、复制文件到目标文件夹
print(f"拷贝源目录{source_file_path},目标文件夹:{target_folder}")
# 删除目标文件夹下的压缩文件
if os.path.exists(target_file_path):
os.remove(target_file_path)
# 移动文件到目标文件夹中
shutil.move(source_file_path, target_folder)
# 2、清空目标文件夹中内的所有文件夹(如果存在)
# 如果不存在,新建一个文件夹
if os.path.exists(target_project_path):
shutil.rmtree(target_project_path, ignore_errors=True)
print(f"项目{filename_without_suffix}移动成功!")
except Exception as e:
print("部署失败,错误原因:", str(e.args))
obj2 负责监听 /home/project/frontend 目录,同样重写「 新建或修改 」事件方法,完成压缩文件的解压动作
...
def start(self, filename):
# 文件名不带后缀
filename_without_suffix = filename.split(".")[0]
# 目标文件路径(压缩包文件)
target_file_path = target_folder + filename
# 目标项目文件夹(目标项目)
target_project_path = target_folder + filename_without_suffix
r = zipfile.is_zipfile(target_file_path)
if r:
fz = zipfile.ZipFile(target_file_path, 'r')
for file in fz.namelist():
fz.extract(file, target_folder)
else:
print('这不是一个正常的zip压缩包!')
...
接着,通过 * 启动上面两个事件的监听任务
import time
...
if __name__ == "__main__":
# 待监听的文件夹目录
watch_folder = "/tmp/"
# 项目目标文件夹目录
target_folder = "/home/project/frontend/"
# 监听文件夹名称,即:项目压缩包名称
watch_tags = ['proj1.zip', 'proj2.zip', 'proj3.zip', 'proj4.zip']
# 创建一个 * ,用来监听文件夹目录
observer = Observer()
# 创建两个事件处理对象
move_handler = FileMoveHandler()
unzip_handler = FileUnzipHandler()
# 启动监控任务
# 参数分别是:观察者、监听目录、是否监听子目录
observer.schedule(move_handler, watch_folder, True)
observer.schedule(unzip_handler, target_folder, True)
observer.start()
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
...
最后,我们在服务器上通过「 nohup 」命令,让文件监听程序在后台运行即可
# 在后台运行
# 项目文件:watch_folder.py
# 日志文件:watch_folder.log
nohup python3 -u watch_folder.py > watch_folder.log 2>&1 &
# 查看日志:
cat watch_folder.log
3. 总结
通过上面的操作,每次我通过堡垒机将前端 zip 压缩项目文件上传到应用服务器的 /tmp 目录下,程序会自动进行后面的操作,自动完成应用部署
来源:https://mp.weixin.qq.com/s/JzOV1GkZ-XoqbERo6aDsGA
猜你喜欢
- xpath表达式1. xpath语法<bookstore><book> <title lang="e
- 为了方便例子讲解,现有数组和json对象如下var demoArr = ['Javascript', 'Gulp
- 复习回顾:Python 对于时间日期操作提供了很多方法,我们前面已经学习了2个模块:基于Unix 时间戳范围限制在1970~2038年的时间
- 什么是存储过程呢?定义:将常用的或很复杂的工作,预先用SQL语句写好并用一个指定的名称存储起来, 那么以后要叫数据库提供与已定义好的存储过程
- 先睹为快24点游戏规则(改编自 * )从1~10这十个数字中随机抽取4个数字(可重复),对这四个数运用加、减、乘、除和括号进行运算得出24
- 有两种方法供参考.一种是实实在在的将图片先用ASPJPEG组件做成想要的尺寸,再读取好处是节省服务器带宽,速度快坏处是处理起来较为麻烦,并网
- * 对子查询和Join进行了优化,包括对MyISAD和InnoB存储引擎分散范围内的批量索引访问。* 增加了 BACKUP DATABASE
- 一、控制用户存取 1、创建修改用户Creating Users Create/alter user new_user identified
- 摘要:现代网站和web应用程序趋向于依赖客户端的大量的javascript来提供丰富的交互。特别是通过不刷新页面的异步请求来返回数据或从服务
- 本文实例为大家分享了Bootstrap实现渐变顶部固定自适应导航栏的具体代码,供大家参考,具体内容如下具体代码如下所示:<!DOCTY
- 背景环境:ArcGis10.2.2。C#开发程序一直以来以调用Desktop的python环境(32位)来做数据处理分析。但是数据量大时,出
- 本文介绍了关于redux-saga中take使用方法详解,分享给大家,具体如下:带来一个自己研究好久的API使用方法.redux-saga中
- 作为临时测试用python命令来搭建web测试是最好不过的选择了;CD切换到当前目录只需要一句python命令就迅速搭建好了简单的web服务
- 有一道算法题题目的意思是在二维数组里找到一个峰值。要求复杂度为n。解题思路是找田字(四边和中间横竖两行)中最大值,用分治法递归下一个象限的田
- 一、asp.net中导出Execl的方法:在asp.net中导出Execl有两种方法,一种是将导出的文件存放在服务器某个文件夹下面,然后将文
- 引言“深入认识Python内建类型”这部分的内容会从源码角度为大家介绍Python中各种常用的内建类
- 我的朋友没在服务器上设置DSN,可他一样访问数据库,他是怎样做到的? 其实,只要我们知道数据库文件名(比如Access、Parad
- 这篇文章主要介绍了基于python读取.mat文件并取出信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需
- 先说说线程在多线程中,为了保证共享资源的正确性,我们常常会用到线程同步技术.将一些敏感操作变成原子操作,保证同一时刻多个线程中只有一个线程在
- 应用正则表达式的全局匹配,可以匹配出字符出现的次数,比较这些次数,将最大的保存并返回。代码如下: var countMost = funct