图像捕捉和处理

        工业机器视觉领域不断创新，并尝试进一步提高性能水平，不断向各行业推出新技术。与此同时，为了在确定的最短时间范围内执行，工业对视觉过程中的实时能力需求也在不断增加。

   Kithara RealTime Suite解决了这些关键问题，并且能够为自动化质量检测、机器人、自动驾驶汽车或医疗技术等工业领域开发具有成本优势和性能高效的机器视觉解决方案。这包括在相同的实时环境中进行图像捕获、图像处理以及随后的控制反应。

   对于工业机器视觉，GigE Vision®和 USB3 Vision®这两种相机标准已被证明是符合未来发展趋势的。这两种标准都具有相似的优势，因此非常适合广泛的工业领域和应用。除了高数据速率之外，由于价格低廉和可互换的标准硬件，这两个接口几乎用于任何任务都是最合适。这两个接口都可以使用GenICam 2.0进行配置，允许使用默认函数以及兼容不同的供应商产品。

Machine vision in real time

任务和解决方案

        在机器视觉使用过程中，Windows系统往往是必不可少的。因为大多数视觉应用程序主要运行在Windows操作系统上。但如果没有实时能力，开发人员通常会面临一定的问题：

  • GigE Vision 或 USB3 Vision 相机的个别数据包不会传送，从而导致图像被损坏或只是部分传送。
  • 反应时间由于受到Windows应用程序的影响，会导致其很长且不确定，从而影响后续进程。

        Kithara RealTime Suite中相机模块的应用实例是包装行业的质量检测。在这一领域，必须要在极短的时间内从生产线上移出一个不合适的工件，或者评估一个产品是否符合规范。Kithara实时套件的相机模块很好地解决了这个问题。为了避免数据包丢失，相机模块提供了大容量的内存缓冲区和实时网络或XHCI驱动，对于接收到的GigE Vision或USB3 Vision图像，它的反应在几微秒内就可以发生在实时环境中。这也允许通过触发后续的实时任务来控制机器反应。

   机器视觉中对高性能实时系统的需求，在处理高帧率的高分辨率图像时尤其明显。在这种情况下，常规的 Windows 功能会限制传入数据包的处理。

机器视觉实时

模块

Kithara RealTime Suite 模块化系统的实时机器视觉由以下部分组成：

  • 使用GigE Vision® 和 USB3 Vision® 相机进行实时图像捕捉。 相机模块
  • 使用Halcon进行实时图像处理 Halcon扩展
  • 使用OpenCV进行实时图像处理 OpenCV扩展

Camera Module

GigEVision和USB3Vision摄像头实时图像采集

  • 普通
  • 特征
  • 扩展

相机作为一个功能模块，用于实时根据GigEVision®或USB3Vision®标准捕捉工业相机的图像数据。 它提供了检测和管理以及创建实时流的所有必要功能。

大容量缓冲存储器以及实时网络驱动器可靠地防止数据包丢失。GigE或USB3视觉影像传入后在几微秒钟内即时在实时环境中发生反应，所触发即时的实时任务可以用来执行即时控制反应。

由于基于实时的网络驱动程序，相机模块可根据接口和系统配置实现最大的数据吞吐量，甚至可以达到理论上的最大值。有关图像数据的实时处理，请参阅视觉模块。

即使在实时环境中，图像处理也可以在没有任何延迟的情况下给出结果，例如，通过EtherCAT®或CANopen®。因此，自动化解决方案可以轻松地与Kithara RealTime Suite中的其他几个功能结合使用。

相机模块分别需要网络模块用于GigE Vision和USB实时模块用于USB3 Vision。

最多两个摄像头，以上需要Camera Device Extension。

需要 Network Module和/或 USB RealTime Module

一般特征

  • 使用GigE Vision或USB3 Vision摄像头实时采集图像
  • 基于事件或请求
  • 多个同时摄像头，热插拔，符合GenICam 2.0的配置
  • 支持所有符合GigE Vision的相机

控制

  • 自动连接处理
  • 完全访问相机配置空间
  • 读取和写入相机内存
  • 设置自定义heartbeat超时
  • 启动和停止通过软件获取图像
  • 通过软件设置采集模式
  • GenICam XML配置文件自动下载
  • 访问GenICam标准功能配置您的相机
  • 错误处理

Streams

  • 每个摄像机可能有一个或者多个流
  • 实时获取图像
  • 高效内存捕获图像，无需不必要的复制
  • 自设缓冲区大小和缓冲区数量
  • 提示遗漏或者不完全图像

GenICam功能

  • 编号所有类别
  • 设置和检索所有可访问的相机功能，如图像格式，像素格式，帧频，曝光时间等

图像处理

有关图像数据的处理，请参阅：Halcon Extension或OpenCV Extension

Camera Device Extension

使用额外相机的扩展

  • 扩展级别：最多8级
  • 无限级别（需要扩展级别）：无限制

Camera Acceleration扩展

Camera Acceleration扩展为PLC2的GigE Vision帧抓取器加速卡PGC-1000提供高效的实时驱动程序。嵌入Kithara RealTime Suite的PGC-1000能够几乎完全卸载CPU以用于机器视觉应用中的图像采集过程。例如，这允许在实时环境中同时捕获多达四个GigE Vision摄像头流，每个流都具有10 Gbit/s。也可以通过Kithara的PTP模块实时同步多台摄像机。

  • 实时支持 PGC-1000
  • 几乎完全卸载了用于 GigE Vision 图像采集的 CPU
  • 连接速度高达 4 倍； 10 GBit/s 或 64 × 1 GB/秒
  • 通过 PTP 模块同步多台摄像机

Halcon Extension

Halcon实时图像处理

  • 普通
  • 特征

慕尼黑MVTec公司的Halcon是一个程序库，其中包含用于图像处理和机器视觉的算法。它包括自己的集成开发环境HDevelop以及2000多算子。 Halcon扩展允许将此程序库在Kithara实时系统中实现。这样就可以触发对已处理图像的即时控制反应，并通过EtherCAT或CANopen将其集成到自动化系统中。

所述的Halcon许可证需要从MVTec公司单独获得。

  • 使用Halcon进行实时图像处理
  • 超过2000个算子
  • 集成开发环境HDevelop
  • 自动并行化
  • 直接从实时上下文执行HDevEngine
  • 对处理后的图像数据的立即控制反应，例如EtherCAT或CANopen
  • 支持Halcon版本10至13以及18.11 Steady和20.11 Steady
  • Halcon扩展是  库模块的一部分

OpenCV Extension

使用OpenCV进行图片处理

  • 普通
  • 特征

OpenCV是一个免开源程序库，其中包含用于图像处理和机器视觉的算法。除此之外，它包括用于面部识别的算法，3D功能，头发分割，各种快速滤镜以及用于相机校准的功能。 OpenCV扩展允许将此程序库在Kithara实时系统中实现。这样就可以触发对已处理图像的即时控制反应，并通过EtherCAT或CANopen将其集成到自动化系统中。

  • 使用OpenCV进行实时图像处理
  • 用于面部识别，3D功能，头发分割，各种快速滤镜以及相机校准功能的算法
  • 自动并行化
  • 对处理后的图像数据的立即控制反应，例如EtherCAT或CANopen
  • 支持OpenCV版本OpenCV 3.0、3.4和4.1
  • OpenCV扩展是  库模块的一部分

EtherCAT®与Safety over EtherCAT®是由德国倍福自动化有限公司（ Beckhoff Automation GmbH ）授权许可的注册商标和获得专利保护的技术。
CANopen®是 CAN in Automation e. V.的一个注册商标。
GigE Vision®是 Automated Imaging Association的一个注册商标。
USB3 Vision®是 Automated Imaging Association的一个注册商标。