记录瞬间
最近碰到一个问题，在客户端上操作时，存在背景判断的情况，对自动化实现此操作增加难度。
所以考虑到实际的使用，将一些计算机视觉技术加入到实际的使用中，来解决此问题。
import os import cv2 import numpy # 打开视频文件 video = cv2.VideoCapture('./video/path.mp4') phone_width = 1080 # 手机设备的宽度 phone_height = 2400 # 手机设备的高度 # 获取视频的帧率和尺寸 fps = video.get(cv2.CAP_PROP_FPS) width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH)) height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT)) print("fps:", fps, "width:", width, "height:", height) # 创建VideoWriter对象以保存提取的帧为新的视频文件 # output = cv2.VideoWriter('path_to_output_file.mp4', cv2.VideoWriter_fourcc(*'mp4v'), fps, (width, height)) count = 0 # 循环读取视频帧并保存 while video.isOpened(): ret, frame = video.read() if not ret: break # 将帧写入输出文件 # output.write(frame) # 显示帧（可选） # cv2.imshow('Video', frame) new_img = frame[:phone_height, :phone_width, :] cv2.imwrite(f"./image/{count}.png", new_img) count += 1 if cv2.waitKey(1) & 0xFF == ord('q'): break # 释放资源 video.release() # output.release() cv2.destroyAllWindows() """ # 以下是判断图片内容，以第一个图片为准，其他图片作为对比结果，对比相似度 # 但是此方法需要设定一个对比的相似度的值，不是很能说明问题，这个值的取值怎么定，为啥这么定，谁能给出解释？ all_values = {} img0 = "./image/0.png" read_img0 = cv2.imread(img0) H1 = cv2.calcHist([read_img0], [1], None, [256], [0, 256]) H1 = cv2.normalize(H1, H1, 0, 1, cv2.NORM_MINMAX, -1) for img in os.listdir("./image"): compare = cv2.imread(f"./image/{img}") H2 = cv2.calcHist([compare], [1], None, [256], [0, 256]) H2 = cv2.normalize(H2, H2, 0, 1, cv2.NORM_MINMAX, -1) similarity = cv2.compareHist(H1, H2, 0) if similarity > 0.99: try: all_values[similarity] = f"./image/{img}" except: print(f"存在相同的key值{similarity}的数据，预判一下这个预判。好像也没啥用") continue else: print(f"./image/{img}", similarity) keys = list(all_values.keys()) keys.sort() print(keys[0], keys[-1], all_values[keys[0]], all_values[keys[-1]]) for data in keys: print(all_values[data]) """ def match_template(source, template, threshod=0.9, method=cv2.TM_CCOEFF_NORMED): """ 返回小图左上角的点，在大图中的坐标。 :param threshod: 相似度 :param template: 目标对比图片 :param source: 原始图片 :param method: :return: list[tuple(x,y),...] """ try: result = cv2.matchTemplate(source, template, method) locations = numpy.where(result >= threshod) res = list(zip(locations[1], locations[0])) # 返回的是匹配到的template左上角那个坐标点在image中的位置，可能有多个值 return res except cv2.error as e: print(e) # 另一个方法，是可以通过某一个图片的坐标来判断，主要是判断y坐标的最大值变化，来进行实际操作 img0 = "./image/0.png" source = cv2.imread(img0, cv2.IMREAD_UNCHANGED) images = ["./image/pic_path.png", "./image/pic_path.png"] # 判断一个不变的元素图片 exist_img = "" for img in images: template = cv2.imread(img, cv2.IMREAD_UNCHANGED) get_pos = match_template(source, template) print(get_pos) if len(get_pos) > 0: exist_img = img if len(exist_img) > 0: target = cv2.imread(exist_img, cv2.IMREAD_UNCHANGED) max_y_pos = 0 max_target_image = "" for img in os.listdir("./image"): temp_img = cv2.imread(f"./image/{img}", cv2.IMREAD_UNCHANGED) get_pos = match_template(temp_img, target, threshod=0.86) print(get_pos, img) try: if get_pos[0][1] > max_y_pos: max_y_pos = get_pos[0][1] max_target_image = img except: print(img) print(max_target_image, max_y_pos)
其中图片相似的判断方法，可以参考：https://blog.csdn.net/qq_39706141/article/details/118730137
以上简单的代码逻辑，实现了设备录屏后，抓取视频文件，解析视频每一帧，并保存每一帧为图片，后续将图片进行解析，判断固定元素在图片中 纵坐标的最大值，即为查看结果的最终图片数据。
录屏可以通过客户端工具如 airtest、appium等。
from airtest.core.api import * import time auto_setup(__file__) init_device(platform="Android", uuid="phoneid") dev = device() wake() stop_app('appname') start_app('appname') sleep(3.0) touch(Template(r"pic.png", record_pos=(-0.002, 1.046), resolution=(1080, 2400))) # 录屏开始 dev.start_recording() swipe(Template(r"pic_swipe.png", record_pos=(0.002, 0.076), resolution=(1080, 2400)), vector=[0.0722, 0.3658], duration=1.0) sleep(8.0) # 结束录屏 dev.stop_recording()