中国区总部
毕孚自动化设备贸易(上海)有限公司

市北智汇园4号楼
静安区汶水路 299 弄 9-10 号
上海, 200072, 中国

+86 21 6631 2666
info@beckhoff.com.cn
www.beckhoff.com.cn/zh-cn/

TwinCAT Machine Learning:

具有可扩展性、开放性及实时性

人工智能无缝集成至控制层

人工智能(AI)可以模仿人类的认知能力,因此能够成功地自动化工作流程。实现人工智能的方法有很多,但近年来最成功的方法之一应该就是机器学习(ML),它基于大量样本数据集的处理。机器学习的基本概念是用泛化学习针对特定任务具有代表性的实例数据的解决方法。

倍福作为基于 PC 的控制技术专家,将此技术集成到了 TwinCAT 3 控制软件中,并认识到对流程自动化的深度理解也是控制设备的非常重要的一部分。因此,倍福提供了一系列可以将 AI 模型直接集成到 PLC 中的模块化硬件和软件产品。

请参阅下文,了解 AI 技术在工业自动化领域中的应用,探索倍福可为此提供哪些产品和工作流程,以便让不具备任何 AI 专业知识的广大用户都能够成功使用 AI 应用 — 而不仅仅是 AI 专家。

AI 技术在工业自动化领域的应用

人工智能技术尤其适用于输入数据的差异难以预测的应用。例如,如果需要对木板或农产品/生物制品的质量进行视觉评估,就必须将这些天然产品的巨大差异纳入评估范围。AI 技术的应用范围非常广泛,因此具有广阔的发展前景。其理念是泛化学习针对特定任务的解决方法,而不是将静态算法序列应用于先前设计好的解决方案。

图像处理领域的应用实例往往容易理解, 而这种方法也可用于时间序列等数据。如果产品是由机器生产的,AI 就可以用来处理所有测量和记录的数据点,这些数据点通过具有代表性的方式(类似于产品的指纹图谱)描述产品的特征。然后,这些数据可以用于预测估值或分类。

AI 技术的潜在应用领域极其广泛,在此无法一一详述。麦肯锡市场研究机构挑选出来的下列应用,都是人工智能在工业领域中的顶级应用:

  • 机器集成的质量检查
  • 减少废品数量
  • 基于情境感知的协作机器人
  • 机器优化
  • 预测性维护

从数据到应用

简化了从数据采集,到训练,再到将训练好的 AI 模型集成到生产环境中的工作流程
简化了从数据采集,到训练,再到将训练好的 AI 模型集成到生产环境中的工作流程

倍福可以提供一个开放式系统工作流程,从数据采集、模型训练到在生产环境中执行训练好的模型的整个工作流程都会使用开放的格式、流程。借助其开放式系统,倍福可以灵活使用 TwinCAT 模块化系统中的软件包和功能块满足特定的应用需求。这也适用于现有的不基于倍福产品的系统基础架构。

请参阅下文,了解倍福可按照右侧列出的工作流程为您提供的更多可能性。

每个应用以及每个 IT 基础设施都对采集机器数据的方法提出了不同的要求:SQL 或 noSQL、基于文件、本地或远程、限制端口、基于云的数据存储等等。对于所有这些应用场景,都有大量成熟的 TwinCAT 产品可供选择,如 TF6420 TwinCAT 3 Database Server、TF3300 TwinCAT 3 Scope Server、TF3500 TwinCAT 3 Analytics Logger 以及 TF6720 TwinCAT 3 IoT Data Agent,等等。对于图像数据,TwinCAT Vision 甚至提供了用于图像采集、图像(预)处理和图像存储的完整产品系列。

机器学习的概念是通过具有代表性的实例来学习各种关系。因此,必须对记录的数据进行审查和整理,以建立一个干净的数据集。一般来说(异常检测应用除外),需要先标注(标记)样本数据,才能成功训练模型。

为自动化和过程控制专家带来的优势

有了 TE3850 TwinCAT 3 Machine Learning Creator,即使是非 AI 专家也能高效开发高质量的 AI 应用程序。该软件可基于数据集自动创建 AI 模型。这些 AI 模型在精度和延迟方面可以调优,以确保它们在安装有 TwinCAT 产品的倍福工业 PC 上高效运行。生成的模型也仍可作为标准的 ONNX 模型,用于非倍福产品。为了与 TwinCAT 产品配合使用,除了 ONNX 文件外,还创建了一个带 IEC 61131-3 代码的 PLCopen XML 文件,该文件描述了完整的 AI 模型训练流程,并可以无缝导入到 TwinCAT 中。

为 AI 专家带来的优势

TE3850 TwinCAT 3 Machine Learning Creator 也适用于 AI 专家,可以加快和规范 AI 开发流程。ONNX 导出功能让专家能够将创建的 AI 模型读取到任何框架中进行分析或改进。

AI 专家也可以完全不使用 TwinCAT 3Machine Learning Creator 来训练 AI 模型。他们可以使用 PyTorch、TensorFlow 以及 SciKit-Learn® 等框架进行训练。最终,只需要所使用的框架导出 ONNX 格式的模型即可。这意味着 AI 模型的开发没有任何限制。

如果将训练完成的模型导出成 ONNX 文件格式,倍福就可以提供在 PLC 工业控制计算机上加载和执行这些模型的功能选项。这使得 AI 应用成为了控制应用的一部分。这种整合的优势如下:

  • 无需额外的(AI 专用)硬件
  • 无需额外的接口或子系统
  • 只需维护一个中央系统(更新、安全、登录等)
  • 同步、透明地提供控制计算机中的所有设备数据
  • 高性价比且可扩展的解决方案

目前,市场上有很多种 AI 模型。有些模型即使在计算资源较少的情况下也能非常高效地执行,而有些则需要较大的算力才能在足够的时间内获取结果。倍福提供的具有高度灵活性和高可扩展性的产品系列可以满足各种应用需求。

硬件

对于大部分应用而言,基于 CPU 执行 AI 模型便完全足够了。对于这些情况,可以从倍福可扩展的工业 PC 和嵌入式控制器产品系列中选择合适的硬件平台,以满足执行速度(延迟)需求。

在某些情况下,受限于可达到的执行速度,必须使用硬件加速器。倍福的 C6043 超紧凑型工业 PC 集成了 NVIDIA 显卡处理器(GPU) ,性能可扩展。该 PC 可选择搭载 Intel® CoreTM-i CPU 处理器和 NVIDIA 显卡处理器,因此可为这一细分市场提供高性价比的解决方案。

软件

倍福针对通过 TwinCAT PLC 加载和执行训练好的 AI 模型的具体要求提供了多种功能选项。这些功能选项基本上可以分为两类:

  • 在 TwinCAT Runtime 进程中执行模型
  • 将模型作为服务器进程执行

下表列出了这些功能选项各自的特点:

在 TwinCAT Runtime 中推理 推理服务器
硬实时执行 近实时执行(独立的进程)
在标准 x64 CPU 上执行 支持 AI 的硬件选项 — 例如 NVIDIA 显卡处理器
精选经过高度优化的 AI 模型 几乎支持所有 AI 模型
用于无缝集成的标准 PLC 功能块 用于无缝集成的标准 PLC 功能块
支持 ONNX,可实现互操作性 支持 ONNX,可实现互操作性
整合在同一个 TwinCAT 授权中 本地和(多)远程客户端连接
优先调度

“在 TwinCAT Runtime 进程中执行模型”组包含以下 TwinCAT 产品,这些产品整合在同一个授权中:

  • TF3800 TwinCAT 3 Machine Learning Inference Engine
  • TF3810 TwinCAT 3 Neural Network Inference Engine
  • TF7810 TwinCAT 3 Vision Neural Network

“将模型作为服务器进程执行”组中包含的 TwinCAT 产品如下:

  • TF3820 TwinCAT 3 Machine Learning Server
  • TF3830 TwinCAT 3 Machine Learning Server Client

通过使用更大的数据集进行训练,不断改进 ML 模型。同样,在机器的运行过程中,其状态会逐渐或自发地发生变化。这意味着您可以在设备正常运行期间更新训练好的 ML 模型,即无需停止设备、无需重新编译,就可以通过标准 IT 基础设施完全远程进行更新。无论您选择使用哪种 TwinCAT 产品执行 AI 模型,都可以通过 PLC 功能将新的 AI 模型传输给控制计算机并重新加载。

此外,您也可以在工业 PC 上远程或本地运行训练环境,从而可以无论在现场或者远程都使用 TwinCAT 重新训练、更换和加载模型。

人工智能在控制系统中的应用举例

虚拟机为容器化边缘计算应用提供了灵活的执行环境。
虚拟机为容器化边缘计算应用提供了灵活的执行环境。

在金属制件的离散制造中,几何形状往往对成品质量产生重要的影响。除了采用公制测量法对工件进行定量评估以外,定性描述(例如,按照传统分类方法,将工件分为“合格”和“不合格”)通常就足够了。

使用 TwinCAT Vision 功能库记录并保存 200 个代表性的图像数据集 数据被标注为“合格”和“不合格”,其中各种不同的错误模式均被归纳为“不合格”。通过 TE3850 TwinCAT 3 Machine Learning Creator,可以根据该数据集训练出一个图像分类模型,该模型预测工件合格/不合格的准确率超过了 95% ,用户无需具备任何 AI 专业知识。

翻新改造现有的设备
翻新改造现有的设备

食品生产流程的自动化有助于提高食品生产效率,减少资源浪费。其中一项挑战是食品的自动化分拣,因为与人工制造出来的产品相比,食品有着很大的天然差异。以鸡蛋为例,鸡蛋应自动分为“合格”、“脏污”、和“破损”三个等级。为此,我们根据这三个等级拍摄了 200 张图像并进行了标注。通过 TE3850 TwinCAT 3 Machine Learning Creator 可以创建一个 AI 模型,该模型分类鸡蛋的准确率超过了 90%。通过使用产品中包含的 AI 模型的可解释性方法,我们不难发现,尤其是在从“合格”到“脏污”的边缘区域出现了分类错误。这让我们明白了需要采取哪些措施来改进模型:要么在“合格”和“脏污”之间的边缘区域提供更多的样本数据,要么通过修改现有标注来更加清晰地定义边缘。

所有来自机器的数据都经过合并和预处理。
所有来自机器的数据都经过合并和预处理。

风力发电机组是实现全球向可再生能源平稳过渡的关键部件, 它们可将风的动能转为清洁的电力。了解风向和风速对于系统的发电效率具有重要意义。当风向发生变化时,机舱上安装的转子会自动调整迎风方向。至于转子叶片的倾角,则根据风速进行调整,使风力发电机组尽可能在额定输出功率下持续运行。

风向跟踪和桨距调节的速度相对较慢,因此必须对风向和风速进行估算,才能预测性地将风力发电机组运转至最佳方位。

根据从风力发电机组收集到的实时风力数据创建了一个 AI 模型,该模型能够在可接受的误差范围内估算出未来 10 到20 秒内的风向和风速值。估算完全基于过去的风力值。创建的模型可以通过 TF3810 TwinCAT 3 Neural Network Inference Engine 轻松集成到 TwinCAT 中。

将套筒宽度作为套筒密封质量标准之一来表示
将套筒宽度作为套筒密封质量标准之一来表示

机械地脚螺栓一般由螺栓、垫圈、六角螺母和金属套筒组成。套筒和钻孔壁之间的摩擦力确保了在使用时有足够的附着力。用金属螺栓的锥形头分开套筒与钻孔,以便给钻孔施加附着力所需的正向力。

该项目由研发工程师 Robin Vetsch 负责,作为瑞士东部应用科技大学系统科技学士学位课程的一部分,重点关注预成型冲孔套筒封闭连接地脚螺栓锥颈的密封过程。质检程序仅使用现有的设备数据源,即无需安装额外的传感器。

在开展这个项目之前,操作人员基本都是使用量具手动检查螺栓套筒的密封质量。现在表明,根据质量规范,所有外壳都可以分为三个不同的等级(闭合过松,正好,闭合过紧)。此外,需要使用回归分析法预测包围套筒关键的几何数据(套筒宽度、高度和开口)。对密封过程进行 100% 检验可以在早期阶段检测出异常趋势或偏差。

天津丰昱项目经理芦鹏(左)与倍福中国系统应用工程师万品雷(中)— 以 CX51xx 系列嵌入式控制器作为 TwinCAT 机器学习解决方案的硬件核心 — 以及倍福中国技术支持工程师解少伟(右)。
天津丰昱项目经理芦鹏(左)与倍福中国系统应用工程师万品雷(中)— 以 CX51xx 系列嵌入式控制器作为 TwinCAT 机器学习解决方案的硬件核心 — 以及倍福中国技术支持工程师解少伟(右)。

在中国任意规模的食品商店和超市中,几乎都可以看到方便面的身影。国内某大型方便面制造商为了减少带有封包瑕疵的产品流入市场,降低其客户对包装瑕疵的投诉率,决定使用包括 TwinCAT Machine Learning 产品在内的倍福控制技术, 使其方便面外包装质量可以得到实时的智能化检测。

首先,使用倍福的 EL1xxxEL3xxx EtherCAT 数字量和模拟量输入端子模块结合 TE1300 TwinCAT 3 Scope View Professional 采集传感器数据。然后使用开源的学习框架 Scikit-learn 训练机器学习模型,并生成模型描述文件。控制系统中的 TF3600 TwinCAT 3 Condition Monitoring 可以预处理传感器数据。然后再转换成加密的 BML 文件,最后将该文件部署到一台 CX51xx 嵌入式控制器上运行,借助 TF3800 TwinCAT 3 Machine Learning Inference Engine 实时运行 AI 模型,然后通过 EL2xxx 系列 EtherCAT 数字量输出端子模块输出推理结果,实时剔除瑕疵品。倍福控制技术具备系统开放性优势,可以非常轻松地与生产线上现有的第三方主控系统集成。

产品

TE3850 | TwinCAT 3 Machine Learning Creator

TE3850 | TwinCAT 3 Machine Learning Creator

The TwinCAT 3 Machine Learning Creator 可基于数据集自动创建 AI 模型。这些 AI 模型在精度和延迟方面可以调优,以确保它们在安装有 TwinCAT 产品的倍福工业 PC 上高效运行。生成的模型也仍可作为标准的 ONNX 模型,用于非倍福产品。为了与 TwinCAT 产品配合使用,除了 ONNX 文件外,还创建了一个带 IEC 61131-3 代码的 PLCopen XML 文件,该文件描述了完整的 AI 模型训练流程,并可以无缝导入到 TwinCAT 中。

TF3800 | TwinCAT 3 Machine Learning Inference Engine

TF3800 | TwinCAT 3 Machine Learning Inference Engine

TF3800 TwinCAT 3 功能组件是一个用于执行训练好的机器学习算法的高性能功能块(推理引擎)。

TF3810 | TwinCAT 3 Neural Network Inference Engine

TF3810 | TwinCAT 3 Neural Network Inference Engine

TF3810 TwinCAT 3 功能组件 是一个用于训练神经网络的高性能功能块(推理引擎)。

TF3820 | TwinCAT 3 Machine Learning Server

TF3820 | TwinCAT 3 Machine Learning Server

TF3820 TwinCAT 3 Machine Learning Server 是一款高性能的推理服务,用于执行训练好的 AI 模型,并支持配备硬件加速器。

TF3830 | TwinCAT 3 Machine Learning Server Client

TF3830 | TwinCAT 3 Machine Learning Server Client

TwinCAT 3 Machine Learning Server 的标配包含一个与本地客户端(本地 TwinCAT Runtime)连接的接口。如果(可能更多的)TwinCAT Runtime 需要远程访问 TwinCAT 3 Machine Learning Server,这些 Runtime 必须具有 TF3830 TwinCAT 3 Machine Learning Client 的授权。

TF7800 | TwinCAT 3 Vision Machine Learning

TF7800 | TwinCAT 3 Vision Machine Learning

TwinCAT 3 Vision Machine Learning 提供专门用于机器视觉的集成式机器学习(ML)解决方案。机器学习模型的训练和实现都是实时进行的,甚至可以帮助机器自动学习复杂的数据分析。这可用于取代复杂的、手动创建的程序结构。

TF7810 | TwinCAT 3 Vision Neural Network

TF7810 | TwinCAT 3 Vision Neural Network

TwinCAT 3 Vision Neural Network 提供专门用于机器视觉的集成式机器学习(ML)解决方案, 支持实时执行机器学习模型。借助这些模型,可以自动学习、分析复杂的数据。这意味着可以取代复杂的、手动创建的程序结构。

C6043 | 超紧凑型工业 PC 采用 NVIDIA® GPU

C6043 | 超紧凑型工业 PC 采用 NVIDIA® GPU

C6043 是一款高性能设备,内置了用于插入高性能显卡的插槽,它的推出进一步完善了超紧凑型工业 PC 的产品范围。通过搭载新一代 Intel® Core™ 处理器与 NVIDIA® 并行计算显卡芯片,PC 成为适合用于超复杂应用的中央控制单元。这些应用包括对 3D 图形或深度集成的机器视觉和 AI 程序块有较高要求且周期时间极短的应用。倍福 TwinCAT 3 控制软件能够将其映射为一个全集成的解决方案,无需任何额外的软件或接口。通过增加可自由分配的 PCIe® 紧凑型模块插槽,C6043 可以通过添加功能的方式灵活扩展。

C6675 | Control cabinet Industrial PC

C6675 | Control cabinet Industrial PC

The C6675 industrial PC is equipped with top-performance components with Intel® Celeron®, Pentium® or Core™ i3/i5/i7/i9 of the latest generation on an ATX motherboard.. The housing and cooling concept adopted from the C6670 also enables the use of a GPU accelerator card, among other things. A total of 300 W is available for full-length plug-in cards. Applications in the field of machine learning or vision can thus be realized in an industrial environment.