Python+MediaPipe实现检测人脸功能详解
作者:woshicver 发布时间:2021-05-05 15:34:17
MediaPipe概述
谷歌开源MediaPipe于2019年6月首次推出。它的目标是通过提供一些集成的计算机视觉和机器学习功能,使我们的生活变得轻松。
MediaPipe是用于构建多模态(例如视频、音频或任何时间序列数据)、跨平台(即eAndroid、IOS、web、边缘设备)应用ML管道的框架。
Mediapipe还促进了机器学习技术在各种不同硬件平台上的演示和应用程序中的部署。
应用
人脸检测
多手跟踪
头发分割
目标检测与跟踪
目标:三维目标检测与跟踪
AutoFlip:视频裁剪管道
其他
为什么需要MediaPipe
有效管理资源(CPU和GPU)以实现低延迟性能,处理时间序列数据(如音频和视频帧)的同步。
MediaPipe将每个感知模型抽象为一个模块,并将它们与维护图连接起来。
除上述功能外,MediaPipe还支持TensorFlow和TF Lite推理引擎。任何TensorFlow和TF Lite模型均可用于MediaPipe。同时,在移动和嵌入式平台上,MediaPipe还支持设备本身的GPU加速。
现在是时候向MediaPipe的应用迈进了,人脸检测。
人脸检测
考虑一个场景,“零售商要求你计算访客数量,并跟踪访客的移动。”
看起来很难!!我们怎样才能解决这个问题?嗯…
哦,是的!我们将使用人脸检测来解决这个问题。
人脸检测是计算机视觉中的一个问题,即在照片中定位和定位一个或多个人脸。
问题的一般陈述可以定义如下:给定一幅静止或视频图像,检测并定位未知数量(如果有)的人脸。
使用MediaPipe执行人脸检测:
要执行人脸检测,可以使用三种模型:
近景模型(最适合距离相机2米以内的人脸)
全范围模型(密集型,最适合距离相机5米以内的人脸)
全范围模型(稀疏,最适合距离相机5米以内的人脸)
全范围密集模型和稀疏模型在F分数方面具有相同的质量,但在基础度量方面有所不同。
密集型模型的召回率略高于稀疏模型,而稀疏模型的精确度高于稠密模型。
现在是时候使用MediaPipe的人脸检测模型了。
安装必要的库
要执行人脸检测,首先必须在机器中安装MediaPipe。如果你是windows用户,则可以在计算机的命令提示符下运行以下代码。
pip install mediapipe
有关详细说明,你可以访问以下链接:
https://google.github.io/mediapipe/getting_started/python.html
你还需要为网络摄像头或图像输入安装OpenCV。如果你是windows用户,可以在命令提示符下运行以下代码。
pip install opencv-python
有关详细说明,你可以访问以下链接:
https://pypi.org/project/opencv-python/
编写代码以了解API的使用:
我们使用Google Colab来运行代码。你可以选择使用它。
我们需要cv2,能够读取和显示图像,以及MediaPipe模块,它公开了我们执行人脸检测所需的功能
import cv2
import mediapipe as mp
然后我们将访问两个子模块face_detection和drawing_utils。人脸检测用于加载所有功能以执行人脸检测,而绘图工具用于在图像上绘制检测到的人脸。
mp_face_detection = mp.solutions.face_detection
mp_drawing = mp.solutions.drawing_utils
是时候深入研究代码了。首先,我们将图像作为输入。这里我们使用两种类型的图像
(i) 包含2米以内的人脸的图像
(ii)包含5米以内的人脸的图像。
我们使用colab中的文件直接从本地目录加载图像。你也可以使用cv2.imread用于在本地计算机中工作时加载图像。
(a) 第一张照片
from google.colab import files
uploaded_short_range = files.upload()
(b) 第二张照片
from google.colab import files
uploaded_full_range = files.upload()
在本地PC上工作时,你可以使用
cv2.imread() # 获取输入
单击此处了解有关cv2.imread:
现在我们将调整图像大小并显示图像。为了显示图像,我们必须使用colab或cv2的cv2_imshow模块。
在本地机器中工作时显示cv2.imshow(frame name, iamge)。我们可以使用下面的代码在google colab中调整图像大小并显示图像。
用于调整图像大小和显示图像的代码:
import cv2
from google.colab.patches import cv2_imshow
import math
import numpy as np
DESIRED_HEIGHT = 480
DESIRED_WIDTH = 480
def resize_and_show(image):
h, w = image.shape[:2]
if h < w:
img = cv2.resize(image, (DESIRED_WIDTH, math.floor(h/(w/DESIRED_WIDTH))))
else:
img = cv2.resize(image, (math.floor(w/(h/DESIRED_HEIGHT)), DESIRED_HEIGHT))
cv2_imshow(img)
# 预览图片.
short_range_images = {name: cv2.imread(name)
for name in uploaded_short_range.keys()}
for name, image in short_range_images.items():
print(name)
resize_and_show(image)
full_range_images = {name: cv2.imread(name)
for name in uploaded_full_range.keys()}
for name, image in full_range_images.items():
print(name)
resize_and_show(image)
上述代码的输出示例
现在,我们将在脸上画关键点。
我们可以如下更改thickness和circle_radius的值。
drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1)
以下代码了解mp.solutions.face_detection的详细信息。
help(mp_face_detection.FaceDetection)
在此之后,我们将创建一个FaceDetection类的对象。该对象将允许我们处理图像并执行人脸关键点检测。此类的构造函数支持以下参数:
(i) 模型选择:整数索引0或1。使用0选择最适合距离摄影机2米以内的面的短距离模型,使用1选择最适合距离摄影机5米以内的面的全范围模型。对于全范围选项,稀疏模型用于提高推理速度。
(ii)最小检测置信度:人脸检测模型中的最小置信值([0.0,1.0]),检测成功。默认值为0.5。
with mp_face_detection.FaceDetection(min_detection_confidence=0.5, model_selection=0) as face_detection:
上面的代码model_selection=0,这意味着我们选择短距离模型进行人脸检测。使用下面的代码,我们使用一个简短的图像模型执行最终的人脸检测,并绘制关键点。
# 运行MediaPipe人脸检测与近距离模型
with mp_face_detection.FaceDetection(
min_detection_confidence=0.5, model_selection=0) as face_detection:
for name, image in short_range_images.items():
# 将BGR图像转换为RGB,并使用MediaPipe人脸检测进行处理。
results = face_detection.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
# 绘制每个人脸的检测。
print(f'Face detections of {name}:')
if not results.detections:
continue
annotated_image = image.copy()
for detection in results.detections:
mp_drawing.draw_detection(annotated_image, detection)
resize_and_show(annotated_image)
短长度(2米以内)图像的人脸检测模型
现在对于model_selection=1,这意味着我们选择人脸检测全范围模型。使用下面的代码,我们使用完整的图像模型执行最终的人脸检测,并绘制关键点。
with mp_face_detection.FaceDetection(
min_detection_confidence=0.5, model_selection=1) as face_detection:
for name, image in full_range_images.items():
# 将BGR图像转换为RGB,并使用MediaPipe人脸检测进行处理。
results = face_detection.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
# 绘制每个人脸的检测。
print(f'Face detections of {name}:')
if not results.detections:
continue
annotated_image = image.copy()
for detection in results.detections:
mp_drawing.draw_detection(annotated_image, detection)
resize_and_show(annotated_image)
全范围(5米以内)图像的人脸检测模型
我们还可以使用全范围人脸检测模型的代码对集体照片执行此过程。
下面关于algoscale的文章将向你展示使用OpenCV和MediaPipe姿势估计。
使用OpenCV和MediaPipe进行训练姿势估计:
https://algoscale.com/tech-corner/workout-pose-estimation-using-opencv-and-mediapipe/
来源:https://blog.csdn.net/woshicver/article/details/123059410
猜你喜欢
- <script> Function.prototype.$bind=function(object) {  
- 处理数据集的过程中用到了mask 但是源数据集中只给了mask顶点的坐标值,那么在python中怎么实现生成只有0、1表示的mask区域呢?
- 一、ASPJPEG文字水印对图片描边:程序代码: <% Set Jpeg = Se
- 本文是基于opencv将视频和动态图gif保存为图像帧。可以根据输入视频格式的不同,修改第21行。 &nb
- 写了一段时间java切回写python偶尔会出现一些小麻烦,比如:在java中自定义对象变成json串很简单,调用一个方法就行,但同样的转换
- PyHook是一个基于Python的“钩子”库,主要用于监听当前电脑上鼠标和键盘的事件。这个库依赖于另一个Python库PyWin32,如同
- PyCharm是一款很好用很流行的python编辑器。Anaconda是专注于数据分析的Python发行版本,包含了conda、Python
- 在部署一套内网测试环境时,频繁宕机,开机后不断的吃内存,重启apache之后内存占用会不停的上涨,直到swap用完,直到死机,由于是内网环境
- 关于文件加载及处理1、检查python关于文件加载及处理方式文件路径是否存在,如果不存在就创建此路径。#如果不存在路径,就创建一个这样的路径
- 一些MySQL发布对MySQL数据库中的系统表的结构进行了更改,添加了新权限或特性。当你更新到新版本MySQL,你应同时更新系统表,以确保它
- 在你的程序初始化时使用如下代码: <?php $Php2Html_FileUrl = $_SERVER["REQU
- 求英文字母、数字、下划线、汉字的js正则表达式英文字母或数字或下划线,英文字母数字下划线是:/^\w+$/汉字的是:/^[\u0391-\u
- 目录元组集合字符串1、字符串的驻留机制2、常用操作函数1、函数的优点:2、函数的创建:def 函数名([输入参数])3、函数的参数传递:4、
- javascript中的数组对象捆绑了强大的方法因此它可以用很简短的代码实现强大的数组操作而这些功能要C或者c++实现的话可能需要花费几倍的
- 一、输入input("提示内容")(1)当程序执行到input,等待用户输入,输入完成后才继续往下执行(2)input接
- 网上找了很多资料,都不理想。其实ubuntu20以后的版本,很多功能都预装好了,安装django也没有以前的版本那么复杂。很简单,只需要几步
- 关于电子邮件 大学之前,基本不用邮箱,所以基本感觉不到它的存在,也不知道有什么用;然而大学之后,随着认识的人越来越多,知识越来越广
- Software as a service 软件即服务,21世纪开始兴起的一种完全创新的软件应用模式。客户通过互联网向厂商定购所需的应用软件
- 通过APIView进入找到Request的源码可以看见一堆属性和方法,其中request.data其实是一个方法,被包装成一个属性继续看__
- 本文以实例形式展示了Python获取电脑硬件信息及状态的实现方法,是Python程序设计中很有实用价值的技巧。分享给大家供大家参考之用。具体