从入门开始，机器视觉基础知识详解---徕深科技

1.光路原理

4.构造光源

3.按输出信号区分

1.主要参数

    机器视觉伴随计算机技术、现场总线技术的发展，技术日臻成熟，已是现代加工制造业不可或缺的产品，广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制造等行业。
    机器视觉的引入，代替传统的人工检测方法，极大地提高了投放市场的产品质量，提高了生产效率。本期内容介绍分辨率、精度、公差的关系，以便根据检测要求准确地选择合适的相机。
    分辨率（Resolution）
 
    比如要看看的产品大小是30mm*10mm，使用200万像素（1600pixel*1200pixel）的相机。因为产品是长条形，为了把产品都放入到视野内，我们计算分辨率的时候要考虑长边对应，此时分辨率为：
 
　　精度（Accuracy）
　　精度的单位是mm。根据产品表面和照明状况的不同，我们可以通过放大图像观察辨别稳定像素的个数，从而得出精度。如果条件不允许实际测试观察，一般的规律是，如果使用正面打光，有效像素为1个，使用背光，有效像素为0.5个。
 
　　这个例子我们取1 Pixel，得到精度为0.019mm约等于0.02mm。
　　公差（Tolerance）
　　一般情况下，精度和公差的对应关系如下：
 
　　对一个项目来讲，先从图纸上读到公差的要求。然后再根据上述关系，反推得出需要多少像素的相机，徕深科技竭诚为您服务。
 

    机器视觉就是利用机器代替人眼来作各种测量和判断。在生产线上，人来做此类测量和判断会因疲劳、个人之间的差异等产生误差和错误，但是机器却会不知疲倦地、稳定地进行下去。一般来说，机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统。对于每一个应用，我们都需要考虑系统的运行速度和图像的处理速度、使用彩色还是黑白摄像机、检测目标的尺寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、对比度需要多大等。从功能上来看，典型的机器视觉系统可以分为：图像采集部分、图像处理部分和运动控制部分。

    一套完整的机器视觉系统的主要工作过程：

    1、工件定位检测器探测到物体已经运动至接近摄像系统的视野ZX，向图像采集部分发送触发脉冲。

    2、图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出启动脉冲。

    3、摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描。

    4、摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定。

    5、另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间匹配。

    6、摄像机曝光后，正式开始一帧图像的扫描和输出。

    7、图像采集部分接收模拟视频信号通过A/D将其数字化，或者是直接接收摄像机数字化后的数字视频数据。

    8、图像采集部分将数字图像存放在处理器或计算机的内存中。

    9、处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值。

    10、处理结果控制流水线的动作、进行定位、纠正运动的误差等。

    从上述的工作流程可以看出，机器视觉是一种比较复杂的系统。因为大多数系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。在某些应用领域，例如机器人、飞行物体导制等，对整个系统或者系统的一部分的重量、体积和功耗都会有严格的要求。

    镜头的选择过程，是将镜头各项参数逐步明确化的过程。作为成像器件，镜头通常与光源、相机一起构成一个完整的图像采集系统，因此镜头的选择受到整个系统要求的制约。一般地可以按以下几个方面来进行分析考虑：

一、波长、变焦与否

    镜头的工作波长和是否需要变焦是比较容易先确定下来的，成像过程中需要改变放大倍率的应用，采用变焦镜头，否则采用定焦镜头就可以了。

关于镜头的工作波长，常见的是可见光波段，也有其他波段的应用。是否需要另外采取滤光措施？单色光还是多色光？能否有效避开杂散光的影响？把这几个问题考虑清楚，综合衡量后再确定镜头的工作波长。

二、特殊要求优先考虑

    结合实际的应用特点，可能会有特殊的要求，应该先予明确下来。例如是否有测量功能，是否需要使用远心镜头，成像的景深是否很大等等。景深往往不被重视，但是它却是任何成像系统都必须考虑的。

三、工作距离、焦距

    工作距离和焦距往往结合起来考虑。一般地，可以采用这个思路：先明确系统的分辨率，结合CCD像素尺寸就能知道放大倍率，再结合空间结构约束就能知道大概的物像距离，进一步估算镜头的焦距。所以镜头的焦距是和镜头的工作距离、系统分辨率（及CCD像素尺寸）相关的。

四、像面大小和像质

    所选镜头的像面大小要与相机感光面大小兼容，遵循“大的兼容小的”原则——相机感光面不能超出镜头标示的像面尺寸——否则边缘视场的像质不保。

像质的要求主要关注MTF和畸变两项。在测量应用中，尤其应该重视畸变。

五、光圈和接口

镜头的光圈主要影响像面的亮度。但是现在的机器视觉中，Z终的图像亮度是由很多因素共同决定的：光圈、相机增益、积分时间、光源等等。所以为了获得必要的图像亮度有比较多的环节供调整。

镜头的接口指它与相机的连接接口，它们两者需匹配，不能直接匹配就需考虑转接。

六、镜头的其它类别：

    线阵镜头：配合线阵相机使用的镜头。采用扫描式的工作方式，需要镜头与目标相对运动，每次曝光成像一条线，多次曝光组成一幅图像。线阵扫描成像的特点：CCD线阵方向的图像分辨率固定，而在目标的运动方向上，空间采样频率与运动的相对速度有关。

    从成像的角度讲，线阵镜头和其它类型的镜头并没有本质的差异。只是对镜头的使用方式不同而已。

    显微镜头：为了看清目标的细节特征，显微镜头一般使用在高分辨率的场合。它们基本的特点是工作距离短，放大倍率高，视场小。

    远心镜头：物方主光线平行于光轴主光线的会聚ZX位于物方无限远，称之为物方远心光路。作用：可以消除物方由于调焦不准确带来的测量误差。

    在我们的日常生活中，我们经常使用许多使用嵌入式系统技术设计的电气和电子电路和套件。计算机，手机，平板，笔记本电脑，数字电子系统以及其他电子和电子设备都是使用嵌入式系统设计的。

什么是嵌入式系统？

     将硬件电路与用于提供项目解决方案的软件编程技术集成的电子系统称为嵌入式系统。通过使用这种嵌入式系统技术，可以在很大程度上降低电路的复杂性，这进一步降低了成本和尺寸。

嵌入式系统设计

    嵌入式系统基本上是电子系统，其可以被编程或非编程以基于应用来操作，组织和执行单个或多个任务。在实时嵌入式系统中，所有组装的单元基于嵌入微控制器的程序或规则集或代码一起工作。但是，通过使用这种微控制器编程技术，只能解决有限范围的问题。

嵌入式系统硬件

    每个电子系统都由硬件电路组成，类似地，嵌入式系统包括硬件，如电源套件，ZY处理单元，存储器件，定时器，输出电路，串行通信端口，以及系统应用专用电路元件和电路。

嵌入式系统软件编程

    嵌入式系统是硬件和软件的集成，嵌入式系统中使用的软件是一组指令，称为程序。嵌入式系统的硬件电路中使用的微处理器或微控制器被编程为通过遵循该组指令来执行特定任务。这些程序主要使用编程软件、编程语言编写。然后，程序被转储到嵌入式系统电路中使用的微处理器或微控制器中。

嵌入式系统的分类

    基于硬件和软件以及微控制器（8或16或32位）的复杂性，嵌入式系统主要分为不同类型。因此，基于微控制器的性能，嵌入式系统分为三种类型，小规模嵌入式系统，中型嵌入式系统，先进的嵌入式系统。

    此外，基于系统嵌入式系统的性能和功能要求分为四类：实时嵌入式系统、独立嵌入式系统、网络嵌入式系统、移动嵌入式系统。

    视觉应用中镜头的机械参数尤其重要，镜头一般都由光学系统和机械装置两部分组成，光学系统由若干透镜（或反射镜）组成，以构成正确的物像关系，保证获得正确、清晰的影像，它是镜头的核心。而机械装置包括固定光学元件的零件（如透镜座、光圈等）、镜头调节机构（如光圈调节环、调焦环等）、连接机构（比如C、CS接口）等。此外，也有些镜头上具有自动调光圈、自动调焦或感测光强度的电子机构。

    对于镜头有关的光学参数我们可以将焦距f、光圈系数（相对孔径）、像方视场以及像差（比如畸变）看作镜头的内部参数。通常用户搭建视觉系统Z关心的参数，主要包括视场（FOV）、分辨率（Resolution）、工作距离（WD）和景深（DOF）。

    机器视觉行业内通常将镜头分定倍镜头、变焦镜头、远心镜头、高精度或百万像素镜头等。当然，这些分类并没有严格的划分界线。而每款镜头都有固定的机械参数，主要包括镜头的安装尺寸、螺丝孔径、接口尺寸、重量、工作距离、直径、长度等。

    特殊情况下，视觉应用对相机与镜头的安装尺寸有限制，因此不可能选择大尺寸的镜头，也可能不可以随意选择小尺寸的镜头。因此选择镜头时，某些机械参数对象在一些情况下也是需要考虑的。

螺丝孔径：

    主要是指一些镜头的光圈、对焦有固定螺丝，一般来说，这些螺丝是M1的。平时比较难买，都是镜头配的，如果丢了，又想要锁定光圈对焦等，比较难找这些螺丝。

镜头的接口：

    作为一个非常重要的参数，决定了其能适用于何种接口的相机。因此选型时一定要注意。

安装尺寸：

    一般的镜头都是靠接口连接相机起固定作用。但是有一些大的镜头，其体积重量非常大，因此在镜头壳体上也会有安装孔径。这时就必须要保证其安装孔位与底板、与相机安装孔位等在同一平面上。

    在部分高速运动的视觉系统中，如果镜头的重量太重，会产生很大的物理惯性。在采集图片时，就产生拖影，图像变得模糊。因此同样的情况下，使用远心镜，比变焦镜头要稳定，图像质量也更佳。

    当安装相机时，如果底板较大，就会对镜头造成安装限制。所以直径不能太大，不然就会对安装造成干涉。

    镜头工作的时候，实际工作距离是固定的，但是有些镜头的工作距离是不能改变的，如远心镜头、显微镜等。一般远心镜头的工作距离为40mm、65mm、110mm等，如果与标准的工作距离不相等，则无法清晰的成像。从经验来看，当镜头的长度越长时，运动时产生的惯性就越大，静态工作时，其振动能力也越弱。

    工业4.0是利用信息化技术促进产业变革的时代，是智能化时代，机器人也将与时俱全，
传统的机器人仅能在严格定义的结构化环境中执行预定指令动作，缺乏对环境的感知与应变能力，这极大地限制了机器人的应用。智能化时代，利用机器人的视觉控制，不需要预先对工业机器人的运动轨迹进行示教或离线编程，提高生产效率和加工质量，基于机器视觉的工业机器人定位技术在国内Z早被应用于焊接机器人对焊缝的跟踪。

    机器人视觉定位系统在关节型机器人末端安装单个摄像机，使工件能完全出现在摄像机的图像中。
    系统包括摄像机系统和控制系统：
    1.摄像机系统：由单个摄像机和计算机(包括图像采集卡)组成，负责视觉图像的采集和机器视觉算法。就目前行业技术发展水平来说，数字相机是比较理想的选择，其中维视图像的MV-EM/E系列工业相机提供了接口丰富的开发包函数，分辨率、帧率等覆盖面广，通用性及稳定性好，所以是我们推荐的首要选择。

    2.控制系统：由计算机和控制箱组成，用来控制机器人末端的实际位置。经CCD摄像机对工作区进行拍摄，计算机通过图像识别方法，提取跟踪特征，进行数据识别和计算，通过逆运动学求解得到机器人各关节位置误差值，Z后控制高精度的末端执行机构，调整机器人的位姿。

项目：铁板自动化焊接机器人
项目描述：
1、焊接产品有直板、法兰、两块板搭成一个角焊外角；
2、焊接厚度是3mm—5mm,直板长度是1m—4m，精度要求不高；
3、材质基本为铁板；

项目分析:
1、 放置材料采用人工还是自动化
2、 机器人需要按照材料的Z大尺寸进行选型，无法确认产品详细参数
3、 需要焊接的产品是否是独立进行焊接，且每个焊接的产品材质是否都是一样的。

在机器视觉、工业影像等实际应用中应该如何选择工业相机呢?

1、模拟相机&&数字相机

    模拟相机必须带数字采集卡，标准的模拟相机分辨率很低，另外帧率也是固定的。这个要根据实际需求来选择。另外模拟相机采集到的是模拟信号，经数字采集卡转换为数字信号进行传输存储。模拟信号可能会由于工厂内其他设备(比如电动机或高压电缆)的电磁干扰而造成失真。随着噪声水平的提高，模拟相机的动态范围(原始信号与噪声之比)会降低。动态范围决定了有多少信息能够被从相机传输给计算机。数字相机采集到的是数字信号，数字信号不受电噪声影响，因此，数字相机的动态范围更高，能够向计算机传输更精确的信号。

2、相机分辨率

    根据系统的需求来选择相机分辨率的大小,仅仅是用来做测量用，那么采用亚像素算法，130万像素的相机也能基本上满足需求，但有时因为边缘清晰度的影响，在提取边缘的时候，随便偏移一个像素，那么精度就受到了极大的影响。故我们选择300万的相机的话，还可以允许提取的边缘偏离3个像素左右，这就很好的保证了测量的精度。

3、CCD&&CMOS

    如果要求拍摄的物体是运动的，要处理的对象也是实时运动的物体，那么当然选择CCD芯片的相机为Z适宜。但有的厂商生产的CMOS相机如果采用帧曝光的方式的话，也可以当作CCD来使用的。又假如物体运动的速度很慢，在我们设定的相机曝光时间范围内，物体运动的距离很小，换算成像素大小也就在一两个像素内，那么选择CMOS相机也是合适的。因为在曝光时间内，一两个像素的偏差人眼根本看不出来(如果不是做测量用的话)，但超过2个像素的偏差，物体拍出来的图像就有拖影，这样就不能选择CMOS相机了。

4、彩色&&黑白

    如果要处理的是与图像颜色有关，那当然是采用彩色相机，否则建议你用黑白的，因为黑白的同样分辨率的相机，精度比彩色高，尤其是在看图像边缘的时候，黑白的效果更好。

5、传输接口

    根据传输的距离、稳定性、传输的数据大小(带宽)选择USB、1394、Camerlink、百兆/千兆网接口的相机。

6、帧率

    根据要检测的速度，选择相机的帧率一定要大于或等于检测速度，等于的情况就是你处理图像的时间一定要快，一定要在相机的曝光和传输的时间内完成。

7、线阵&&面阵

    对于检测精度要求很高，面阵相机的分辨率达不到要求的情况下，当然线阵相机是必然的一个选择。

8、CCD靶面

    靶面尺寸的大小会影响到镜头焦距的长短，在相同视角下，靶面尺寸越大，焦距越长。在选择相机时，特别是对拍摄角度有比较严格要求的时候，CCD靶面的大小，CCD与镜头的配合情况将直接影响视场角的大小和图像的清晰度。因此在选择CCD尺寸时，要结合镜头的焦距、视场角一起选择，一般而言，选择CCD靶面要结合物理安装的空间来决定镜头的工作距离是否在安装空间范围内，要求镜头的尺寸一定要大于或等于相机的靶面尺寸。

项目：散热器自动化视觉检测
需求：1、散热器自动化视觉检测设备，笔记本散热器检测有无贴料以及贴料的完整度有无残缺； 
2、速度是4.5s/30cm； 
3、安装方式流水线上安装； 
4、检测种类不止一种，样式类似，检测方式差不多。

    验室初步估计可实现概率80%以上

    该项目采用识别检测工具，可用于医药、食品、产品包装、印刷等一维码、二维码识别，OCR/OCV的检测。   
   【识别检测】：支持多种类型的条码和二维码检测、设置简单，识别稳定。 
    具有可独立配置的多码识别功能。相机一次拍照可读取多达50个码，一个视野范围内可根据不同位置码的图像质量单独配置参数，龙睿可读取28种码制且自带训练功能。还可结合检测、定位和测量应用，大大提高了现代化生产的效率。

    机器视觉系统，解决识别、定位、检测等主要核心功能，将人工从繁复的工作中解放出来，并为智能智造及智能化提前打好基础，徕深科技是不可错过的选择！

工业相机作为机器视觉系统中的核心部件，对于机器视觉系统的重要性是不言而喻的。按照分类的不同，相机又分为很多种：

1、彩色相机、黑白相机
   黑白相机直接将光强信号转换成图像灰度值，生成的是灰度图像；彩色相机能获得景物中红、绿、蓝三个分量的光信号，输出彩色图像。彩色相机能够提供比黑白相机更多的图像信息。彩色相机的实现方法主要有两种，棱镜分光法和Bayer滤波法。棱镜分光彩色相机，利用光学透镜将入射光线的R、G、B分量分离，在三片传感器上分别将三种颜色的光信号转换成电信号，Z后对输出的数字信号进行合成，得到彩色图像。

2、CCD相机、CMOS相机 
   芯片主要差异在于将光转换为电信号的方式。对于CCD传感器，光照射到像元上，像元产生电荷，电荷通过少量的输出电极传输并转化为电流、缓冲、信号输出。对于CMOS传感器，每个像元自己完成电荷到电压的转换，同时产生数字信号。

3、按靶面类型分类：面阵相机、线阵相机 
   相机不仅可以根据传感器技术进行区分，还可以根据传感器架构进行区分。有两种主要的传感器架构：面扫描和线扫描。面扫描相机通常用于输出直接在监视器上显示的场合。线扫描相机用于连续运动物体成像或需要连续的高分辨率成像的场合。线扫描相机的一个自然的应用是静止画面（Web Inspection）中要对连续产品进行成像，比如纺织、纸张、玻璃、钢板等。同时，线扫描相机同样适用于电子行业的非静止画面检测。像德国Kappa相机根据它CCD的规格也会有线阵、面阵之分。 

4 按输出模式分类：模拟相机、数字相机 
   根据相机数据输出模式的不同分为模拟相机和数字相机，模拟相机输出模拟信号，数字相机输出数字信号。模拟相机和数字相机还可以进一步细分，比如德国Kappa相机按数据接口又包括：USB 2.0接口、EE 1394 a / Fire Wire、Camera Link 接口、千兆以太网接口。模拟相机分为逐行扫描和隔行扫描两种，隔行扫描相机又包含EIA、NTSC、CCIR、PAL等标准制式。有关接口技术的详细介绍请参考采集卡及采集技术部分。 

   在选择一款工业数字相机时，物体成像的速度必须充分考虑好。例如，假设在拍摄过程中，物体在曝光中没有移动，可用相对简单和便宜的工业相机；对于静止或缓慢移动的物体，面阵工业相机Z适合于对静止或移动缓慢的物体成像。因为整个面阵区域必须一次曝光，在曝光时间当中任何的移动会导致图像的模糊，但是，运动模糊可以通过减少曝光时间或使用闪光灯来控制；对于快速移动的物体，当对运动的物体使用一个面阵工业相机时，需要考虑在曝光时间当中处于工业相机当中的运动对象数量，还需要考虑物体上能用一个像素表征的Z小特征，也就是对象分辨率，在采集运动物体的图像的拇指规则就是曝光必须发生在采集物体移动量小于一个像素的时间内。

    如果你采集的物体是在以1厘米/秒的速度匀速移动，而且物体分辨率已经设置为1 pixel/mm，那么需要的Z大曝光时间是1/10每秒。因为物体移动一个距离恰好等于相机传感器中的一个像素，当使用Z大曝光时间时这里会有一定数量的模糊。在这种情况下，一般倾向于将曝光时间设置的比Z大值要快，比如1/20每秒，就能保持物体在移动半个像素内成像。如果同样的物体以1厘米/秒的速度移动，物体分辨率为1 pixel/微米，那么一秒中所需要的Z大曝光是1/10000.曝光设置的对快取决于所采用的相机，还有你是否能够给物体足够的光来获得一幅好的图像。

    工业机器人Z早应用于汽车制造领域，但技术发展至今，工业机器人的应用早已不局限于某个领域，现代工业的方方面面都有工业机器人的身影。工业机器人由主体、驱动系统和控制系统三个基本部分组成。工业机器人的分类方式很多，可以按机械结构、操作机坐标形式和程序输入方式等进行分类，下面就盘点一下工业机器人的种类：

1.关节机器人

    关节机器人也称关节手臂机器人或关节机械手臂，是当今工业领域中Z常见的工业机器人的形态之一。适合用于诸多工业领域的机械自动化作业，比如，自动装配、喷漆、搬运、焊接等工作。机器人前3个关节决定机器人在空间的位置，后3个关节决定其姿态，多以旋转关节形式构成。

2.直角坐标机器人

    也称桁架机器人或龙门式机器人。是能够实现自动控制的、可重复编程的、多自由度的、运动自由度建成空间直角关系的、多用途的操作机。其工作的行为方式主要是通过完成沿着X、Y、Z轴上的线性运动。特点：简单，控制方便，占地空间大。

3.串联和并联机器人

    串联机器人其串联式结构是一个开放的运动链，其所有运动杆并没有形成一个封闭的结构链。串联机器人的工作空间大，运动分析比较容易可以避免驱动轴之间的耦合效应。但其机构各轴必须要独立控制，并且需要搭配编码器和传感器来提高机构运动时的jing准度。

    而并联机器人和传统工业用串联机器人在应用上构成互补关系，它是一个封闭的运动链。并联机器人不易产生动态误差，无误差积累精度较高。另外其结构紧凑稳定，输出轴大部分承受轴向力，机器刚性高，承载能力大。但是，并联机器人在位置求解上正解比较困难，而反解容易。

4.平面SCARA机器人

    平面内运动，结构简单，性能优良，运算简单，适于精度较高的装配操作;SCARA机器人有3个旋转关节，其轴线相互平行，在平面内进行定位和定向。另一个关节是移动关节，用于完成末端件在垂直于平面的运动。这类机器人的结构轻便、响应快，Z适用于平面定位，垂直方向进行装配的作业。