车机技术之车牌识别技术（LPR）
车辆牌照识别（License Plate Recognition，LPR）技术作为交通管理自动化的重要手段和车辆检测系统的一个重要环节，在交通监视和控制中占有很重要的地位。LPR系统可以广泛应用于高速公路电子收费站、出入控制、公路流量监控、失窃车辆查询、停车场车辆管理、公路稽查、检测黑牌机动车、监控违章车辆的电子警察等需要车牌认证的重要场合，尤其是基于车牌识别技术的高速公路收费系统中，相对于射频卡等技术，可以实现不停车收费，提高了公路系统的运行效率。
简述：
一个典型的车辆牌照识别系统一般包括以下4个部分：车辆图像获取、车牌定位、车牌字符分割和车牌字符识别。
对应的处理过程：
基本工作过程如下：
（1）当行驶的车辆经过时，触发埋设在固定位置的传感器，系统被唤醒处于工作状态； 一旦连接摄像头光快门的光电传感器被触发，设置在车辆前方、后方和侧面的相机同时拍摄下车辆图像；
（2）由摄像机或CCD摄像头拍摄的含有车辆牌照的图像通视频卡输入计算机进行预处理， 图像预处理包括图像转换、图像增强、滤波和水平较正等；
（3）由检索模块进行牌照搜索与检测，定位并分割出包含牌照字符号码的矩形区域；
（4）对牌照字符进行二值化并分割出单个字符，经归一化后输入字符识别系统进行识别。
照片预处理：
灰度矫正：
为了后续操作更清晰的分辨车牌位置和字符，得到的照片需要做灰度预处理矫正。一张彩色照片的颜色由RGB组成，对于24位颜色深度的照片来讲，照片上每个点由3个字节的颜色组成，每个字节代表一种颜色，分别对应R/G/B。下面公式表示了一种由彩色转到灰色的算法：
平滑降噪：
灰度化处理之后的图像，由于拍照时的干扰和车辆本身的洁净程度的不同，导致灰度化之后的图像需要降噪，并要进行平滑处理，比如使用高斯过滤来降噪（公式中σ为灰度图像的方差）：
区域搜索提取车牌：
牌照的定位和分割是牌照识别系统的关键技术之一，其主要目的是在经图象预处理后的原始灰度图象中确定牌照的具体位置，并将包含牌照字符的一块子图象从整个图象中分割出来，供字符识别之用，分割的准确与否直接关系到整个牌照字符识别系统的识别率。由于牌照图象在原始图象中是很有特征的一个子区域，确切说是水平度较高的横向近似的长方形，它在原始图象中的相对位置比较集中，而且其灰度值与周边区域有明显的不同，因而在其边缘形成了灰度突变的边界，这样就便于通过边缘检测来对图象进行分割。
边缘检测分割：
其实除了边缘检测分割，还有基于颜色的分割方法、基于纹理的分割方法、基于数学形态法的分割方法等，这里就以边缘检测分隔为例。
先用Sobel算子来做边缘检测，下图为垂直方向的照片分割（注意中间为全0的列）：
下图为水平方向的照片分割（注意中间为全0的行）：
边缘检测裁剪的效果图：
二值化处理：
上述方法分割出来的车牌图像中存在目标物体、背景还有噪声，要想从图像中直接提取出目标物体，最常用的方法就是设定一个阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群，即对图像二值化。均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素。再用模板中的全体像素的平均值来代替原来像素值，算法如下：
整个处理效果如下，a为原图，b为灰度矫正图，c为边缘检测图：
字符分割和识别：
倾斜校正：
因为车牌照片有可能是倾斜的，所以需要在字符分割和识别之前做一次倾斜校正，利用数学上的立体几何线性变换即可实现倾斜校正。
字符分割：
字符分割的算法很多，因为车牌字符间间隔较大，不会出现字符粘连情况，所以可采用寻找连续有文字的块，若长度大于某阈值，则认为该块有两个字符组成，需要分割，示意如下：
计算连续有文字块时的直方图如下：
归一化处理：
为了后续字符的识别，把分割的字符做进一步的归一化处理。
字符识别：
可以采用传统OCR模板匹配方式，也可以使用opencv开源库方式，还可以使用神经网络的深度学习方式。
模板匹配是图象识别方法中最具代表性的基本方法之一，它是将从待识别的图象或图象区域f(i,j)中提取的若干特征量与模板T(i,j)相应的特征量逐个进行比较，计算它们之间规格化的互相关量，其中互相关量最大的一个就表示期间相似程度最高，可将图象归于相应的类。具体过程为先算出距离特征：
再算出角度特征，最后归类为哪个字符：
中国的车牌字符包括50多个汉字，26个大写英文字母，10个数字，总共也就80多个字符，所以即使训练数据不是十分巨大，采用CNN深度学习方式也能得到很高的识别率。可以参考TensorFlow例子的MNIST算法，很小的数据量也能得到不错的识别率，何况车牌的字符标准化程度比MNIST中的高多了。
改进点：
目前车牌识别系统面临的一些问题：
（1）、在全天候的情况下，如何获取车辆号牌的清晰图像，即无论是白天还是黑夜，强逆光还是强顺光，刮风还是下雨，都希望将车辆的号牌图像拍清晰；
（2）、在图像中如何正确的识别出车牌，即算法如何在一个尽量大的范围内适应各种天气情况下的图片。