本文基于OpenCV实现了捕获答题卡中的每个填涂选项，并将获取的填涂选项与正确选项做对比计算其答题正确率。所涉及的图像操作有：灰度转换、高斯去噪、边缘检测、轮廓检测、透视变换、掩模操作。
步骤：
- 首先需要对输入的原始图像进行灰度转换、高斯去噪；然后进行轮廓检测，通过遍历拿到最大的轮廓也就是答题卡的部分，接着执行透视变换使图像只保留答题卡且规整，然后对透视变换后的图像再执行轮廓检测，检测每一个选项，最后，使用mask掩模来判断结果。
1.定位并规整答题卡
(1)图像预处理
读入的原始图像如下：
预处理原始图像，左图为经过高斯去噪后的结果，右图为Canny边缘检测的结果。（下一步的轮廓检测要求传入的图像是边缘检测后的结果）
image = cv2.imread(args["image"])
contours_img = image.copy()
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)#转化为灰度图
blurred = cv2.GaussianBlur(gray, (5, 5), 0)#高斯滤波操作
cv_show('blurred',blurred)
edged = cv2.Canny(blurred, 75, 200)#边缘检测
cv_show('edged',edged)
(2)轮廓检测(答题卡)
# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)[0]
cv2.drawContours(contours_img,cnts,-1,(0,0,255),3)
cv_show('contours_img',contours_img)
docCnt = None
# 确保检测到了
if len(cnts) > 0:
# 根据轮廓大小进行排序，最大的轮廓为答题卡的轮廓
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)
# 遍历每一个轮廓
for c in cnts:
# 近似
peri = cv2.arcLength(c, True)#轮廓长度
approx = cv2.approxPolyDP(c, 0.02 * peri, True)# C表示输入的点集、epsilon表示从原始轮廓到近似轮廓的最大距离，它是一个准确度参数、True表示封闭的。
# 4个点的时候就拿出来，矩形
if len(approx) == 4:
docCnt = approx
break
(3)透视变换
- 用一个图片看一下透视变换做的事情
def order_points(pts):
# 一共4个坐标点
rect = np.zeros((4, 2), dtype = "float32")
# 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
# 计算左上，右下
s = pts.sum(axis = 1)
rect[0] = pts[np.argmin(s)]
rect[2] = pts[np.argmax(s)]
# 计算右上和左下
diff = np.diff(pts, axis = 1)
rect[1] = pts[np.argmin(diff)]
rect[3] = pts[np.argmax(diff)]
return rect
def four_point_transform(image, pts):
# 获取输入坐标点
rect = order_points(pts)
(tl, tr, br, bl) = rect #tl指toplift左上, tr指右上, br指右下, bl指左下
# 计算输入的w和h值
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
maxWidth = max(int(widthA), int(widthB))
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
maxHeight = max(int(heightA), int(heightB))
# 变换后对应坐标位置
dst = np.array([
[0, 0],
[maxWidth - 1, 0],
[maxWidth - 1, maxHeight - 1],
[0, maxHeight - 1]], dtype = "float32")
# 计算变换矩阵3*3（歪歪扭扭的原图通过变换矩阵（平移旋转翻转）可变工整）二维坐标点--->三维空间进行变换(z坐标取1)--->二维(工整)
M = cv2.getPerspectiveTransform(rect, dst)#rect表示输入的4个点，dst表示输出的4个点（至少需8个方程求解变换矩阵中的8个未知数，最后一个为1，8个方程需要4组坐标求解）
warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
# 返回变换后结果
return warped
# 透视变换
warped = four_point_transform(gray, docCnt.reshape(4, 2))#gray表示原始输入图像的灰度图，docCnt表示轮廓的四个点的坐标
cv_show('warped',warped)
2.答题卡结果检测
(1)自适应二值化处理
# Otsu's 阈值处理
thresh = cv2.threshold(warped, 0, 255,
cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1]
cv_show('thresh',thresh)
thresh_Contours = thresh.copy()
(2)轮廓检测(选项)
# 找到每一个圆圈轮廓(霍夫变换也可对圆形检测，但对于答题卡圆圈涂出的检测效果不好）
cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)[0]
cv2.drawContours(thresh_Contours,cnts,-1,(0,0,255),3)
cv_show('thresh_Contours',thresh_Contours)
questionCnts = []
(3)绘制掩模
传入的图像总共有25个选项，因此需要25个掩模，在此不挨个列举，下面左图为第一个掩模结果，右图为最后一个掩模结果。
# 遍历（筛除干扰项，只保留选项）
for c in cnts:
# 计算比例和大小
(x, y, w, h) = cv2.boundingRect(c)#对每个选项圆圈做外接矩形
ar = w / float(h)
# 根据实际情况指定标准
if w >= 20 and h >= 20 and ar >= 0.9 and ar <= 1.1:
questionCnts.append(c)
# 按照从上到下进行排序
questionCnts = sort_contours(questionCnts,
method="top-to-bottom")[0]
correct = 0
# 每排有5个选项
for (q, i) in enumerate(np.arange(0, len(questionCnts), 5)):
# 排序
cnts = sort_contours(questionCnts[i:i + 5])[0]#保证ABCDE的顺序正确
bubbled = None
# 遍历每一个结果
for (j, c) in enumerate(cnts):
# 使用mask来判断结果
mask = np.zeros(thresh.shape, dtype="uint8")
cv2.drawContours(mask, [c], -1, 255, -1) #-1表示填充，[c]表示选项轮廓
cv_show('mask',mask)
(4)结果
由于填涂后的答题卡在二值图像中>0的像素点较多，而且掩模中的圆圈部分的像素值为255，其余部分的像素值为0，将掩模与原图像进行“与”操作，得到每一个圆圈的“与”运算结果，判断该选项的圆圈是否被填涂了。
- 提前设定好正确答案
# 正确答案
ANSWER_KEY = {0: 1, 1: 4, 2: 0, 3: 3, 4: 1}
# 每排有5个选项
for (q, i) in enumerate(np.arange(0, len(questionCnts), 5)):
# 排序
cnts = sort_contours(questionCnts[i:i + 5])[0]#保证ABCDE的顺序正确
bubbled = None
# 遍历每一个结果
for (j, c) in enumerate(cnts):
# 使用mask来判断结果
mask = np.zeros(thresh.shape, dtype="uint8")
cv2.drawContours(mask, [c], -1, 255, -1) #-1表示填充，[c]表示选项轮廓
cv_show('mask',mask)
# 通过计算非零点数量来算是否选择这个答案
mask = cv2.bitwise_and(thresh, thresh, mask=mask)#与操作，thresh二值处理后的图像
total = cv2.countNonZero(mask)#对比不同选项圈里面的像素点，计算非零的值
# 通过阈值判断（判断一道题中的5个圈哪个非零值最大）
if bubbled is None or total > bubbled[0]:
bubbled = (total, j)#j为0表示第一个答案，1234同理，bubbled保存最大值也就是填涂的选项
# 对比正确答案
color = (0, 0, 255)
k = ANSWER_KEY[q] #提前设定好正确答案，q表示第几题
# 判断正确
if k == bubbled[1]:
color = (0, 255, 0)
correct += 1 #正确数量
# 绘图
cv2.drawContours(warped, [cnts[k]], -1, color, 3)
score = (correct / 5.0) * 100
print("[INFO] score: {:.2f}%".format(score))
cv2.putText(warped, "{:.2f}%".format(score), (10, 30),
cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255), 2)
cv2.imshow("Original", image)
cv2.imshow("Exam", warped)
cv2.waitKey(0)
