智能制造职业体验报告陆汝钤院士：软件工程的智能化和知识化的个人体验（附PPT）|智能制造|上海羊羽卓进出口贸易有限公司

陆汝钤院士：软件工程的智能化和知识化的个人体验（附PPT）

智能制造中的人-信息-物理系统

人-信息-物理系统(HCPS)的智能制造理论体系明确了人在智能制造系统的中心地位。从智能制造人机协同的需求出发,基于人机交互鸿沟理论,在行为、意图、认知三个层面讨论了人因工程在“人本智造”中的研究重点。围绕虚实融合场景、多模态人机交互及认知量化等方法,阐述了人因工程在促进HCPS智能融合的重要作用。最后,从实现HCPS集成的智能制造系统出发,提出了“人本智造 ”的研究方向和学科发展建议。

- 文章信息 -

本文作者：杨晓楠、房浩楠、李建国、薛庆。来源于《中国机械工程》2023年第14期（新一代智能制造专辑）。原题：智能制造中的人-信息-物理系统协同的人因工程。

引言

“十四五”规划纲要提出深入实施制造强国战略,推动智能制造发展,促进制造业智能化升级,实现向“中国智造”的转变。目前,我国制造业持续快速发展,形成了门类齐全、独立完整的产业体系,有力推动了我国的工业化和现代化进程。同世界先进水平相比,我国制造业存在大而不强等问题,自主创新能力、资源利用效率、产业结构水平、信息化程度、质量效益等方面的差距尤其明显,工业智能化转型升级和跨越发展的任务紧迫而艰巨。

新一代互联网、人工智能、数字孪生等技术的不断发展为我国智能制造的发展持续注入了强劲的动力。过分追求信息化、数字化的生产模式已不能满足生产车间柔性化、用户个性定制化等复杂作业的需求,智能制造中的难点开始凸显,因此生产趋势急需改变,人作为关键因素不能再被忽视。工业5.0 的概念逐渐引起人们的重视,作为工业4.0的延续和补充,工业5.0除了注重产业结构优化和自动化水平提升,又将人置于制造业中心,让技术主动服务和适应人,并更注重人的价值和感受。以人为中心的智能制造要考虑工人的安全感和幸福感,打消工人对工业革命浪潮带来的“机器换人”的担忧和顾虑,让劳动力重回工厂。

在汽车行业,由于频繁变更的车型,企业需要制造系统具备更加柔性化的部署[1],以满足智能制造面临的小批量、多品种的生产需求。在3C行业,电子产品的更新换代周期通常在1到2年,这导致生产线经常需要改造,部署调整成本高[2]。因此无论是考虑生产周期还是实施成本,仅依靠工业机器人很难满足这些行业的生产需求。作为一种模块化的小型智能化工厂实践,整个智能生产单元由自动化模块、信息化模块和智能化模块组成,包含设备、机器人、AGV、网络、信息数据等。

智能生产单元将人作为关键因素,由人负责对柔性、触觉、灵活性要求比较高的工序,机器人则利用其快速、准确的特点来负责重复性的工作,以“最小的智能化工厂”实现多品种、小批量的生产智能化。如何落实人机交互生产模式,将操作人员、机器人和辅助设备等进行模块化、集成化、一体化的聚合,通过人与机器人的协调合作,充分发挥机器人的效率及人类的智能,使制造系统具备多品种、小批量产品的柔性生产输出能力,已成为解决当前智能制造发展瓶颈的关键[3]。因此,开展人机交互的生产模式,使人和机器和谐共处,满足消费者对产品个性定制化的需求,打消工人对失业的担忧,使人回归制造业。

本文着重分析智能制造系统中的人机协同需求与人机交互鸿沟，从行为、意图、认知三个层次阐述人因工程在缩小人机交互鸿沟、实现人机协作中的重要性，并在此基础上结合数字孪生、混合现实等先进技术的发展与应用,提出面向智能制造的人机交互的人因工程发展建议。

智能制造中的人机协同

智能制造的蓝图中,人机协同成为主流的生产和服务方式。由于人与“机”的深度协作,人在智能制造系统中的作业任务和要求都发生了巨大的变化。尽管人不再承担重复性的工作,但仍是决策回路系统的中心环节,始终处于主导地位[4-5]。人机协同的深层内涵是“人机智能融合”,它代表人与“机”需要共同完成指定任务。在完成动态作业任务的过程中,制造系统需要与工作人员保持步调一致,面对动态作业需求,进行资源适配与自主协同,实现协调生产。

ZHOU等[6]提出的人-信息-物理系统(human-cyber-physical system,HCPS)的智能制造发展理论,明确了以物理系统(机器、机器人、加工过程)为主体、以信息系统为主导、以人为决策主宰的技术体系(图1)。通过信息系统迁移人的部分感知、分析和控制功能,替代人的大部分体力劳动和部分脑力劳动。人与物理系统的结合使整个制造系统具备较高的生产效率、生产能力和生产质量[7]。根据智能制造的人-信息-物理系统发展理论,智能制造人机协同中的“机”具有两层含义:一是信息系统,即人与计算机等智能体、智能系统的交互(human-computer interaction);二是物理系统,即人与机器人、设备等物理实体的交互(human-robot interaction)。本章从智能制造人机协同的需求出发,对人与信息系统、物理系统交互的研究重点进行阐述,并梳理上述过程中存在的人机交互鸿沟。

图1 新一代人-信息-物理系统的原理简图[6] Fig.1 Schematic diagram of the new HCPS

1.1 / 人与信息系统的交互

智能制造系统[8]是建立在新一代信息技术之上、面向人机协同与生产过程自治的新一代HCPS。HCPS中的关键问题在于如何实现人与“机”的智能融合。在复杂且动态变化的生产任务下,信息系统如何通过数据与模型对物理系统进行实时的感知、认知、分析、决策与控制,并与人一起不断优化分配资源,进行合理的任务决策与调度,实现资源的在线适配,从而实现对作业需求的快速响应与协同生产。数字孪生作为信息-物理空间交互融合的有效手段,能更好地反映实际生产状态,使操作人员更好地了解系统的整体运行情况。数字孪生技术通过物理模型、传感器更新、运行历史等数据,建立物理世界与虚拟世界的双向动态连接,为解决信息和物理系统的融合提供了有效途径[9-10]。

柔性生产趋势下,实现人机协作的核心问题是如何实现人与制造系统的有效协同,尤其是针对信息系统的状态感知。智能化的生产系统必然产生复杂的信息系统,随着数字孪生、深度学习、知识工程等在不同领域的发展与应用,如何实现人与制造系统数字孪生体的无缝衔接[11-13],使人通过信息系统快速准确地掌握整个系统的运行状态,已成为实现人与“机”智能融合的又一关键问题。

1.2 / 人与物理系统的交互

物理系统主要指智能制造系统中的智能设备及机器人。随着机器人与自动化控制技术的发展,工业机器人凭借控制精度高、反应速度快、工作能力强等优势,已成为发展智能制造不可忽视的重要组成部分。现在,绝大部分的产业化工业机器人一直未能脱离预编程/遥操作的控制方式,很多工厂虽通过部署机器人实现了自动化,但智能化程度不高[14]。为保证人机交互的安全,需将人与工业机器人的工作区域隔离开,无法实现真正意义上的人机协作。人与灵活、安全的物理系统共同协作已成为发展以人为中心的智能制造系统的关键[15-16]。人与机器人共同完成动态作业任务,充分发挥人与机器的长处是未来智能制造的重要研发方向。

与汽车行业相比,航空航天、造船和建筑等领域的制造任务和过程过于复杂,装配精度要求高,目前仍依赖手工操作[17],因此有必要开展人机协作的研究。由协作机器人辅助人来完成复杂作业,使人的脑力、体力维持在最佳水平,并使大脑认知资源的需求与大脑认知资源对任务的供给处于平衡[18],避免负荷过载和欠载对操作人员的负面影响[19-20],减轻人的负担,提高任务执行效率和生产安全性。LIU等[21]研究了肌电信号控制协作机器人的相关算法,SARA等[22]探索了指导性手势在工业领域人机协作场景下的有效性。

欧姆龙于2020年推出的“人机协作的智能化单元生产线”融合了人工智能、物联网、大数据分析等先进技术,针对多品种、小批量生产模式,实现了生产效率、柔性、品质的提升,通过人与机器的互相感知,可在同一现场通过互补、协助实现超柔性生产。国内协作机器人行业的领军者——遨博于2021年推出的“利用机器人生产机器人的智能化柔性生产线”,通过模块化设计及协作生产等方式,为协作机器人在工业生产领域中的人机协作应用提供了稳定高效的参考样本。

上述研究均表明,自动化和智能化的发展并不会完全替代人,如何保障人与物理系统的交互顺畅,使机器快速准确地捕获操作人员的作业意图是实现人机协同作业的关键。

1.3 / 人机交互鸿沟

智能工厂是实现智能制造的重要载体,智能工厂环境下,人与信息物理系统的关系从传统的操作控制模式逐步向人机协作的方式转变。实现人机交互的首要任务是建立一个能实现人与机信息传输的渠道,这主要包括3个阶段:①操作人员感知信息物理系统,并用自然便捷的行为方式表达作业意图;②信息物理系统准确理解操作人员的作业意图,完成智能分析、决策与控制,对不同任务做出反应;③对上述人机信息传输过程进行认知能力评估,调节优化双方的作业方式,从而最大程度降低认知负荷和疲劳度。因此,要想准确有效构建人与信息及物理系统的友好协作关系,还需解决现存的人机交互鸿沟问题。

人机交互鸿沟包括评估鸿沟(gulf of evaluation)和执行鸿沟(gulf of execution)[23],即人与“机”每次交互时都会面临认知系统状态、对系统做出反应并执行操作的两大挑战,这贯穿于人“机”信息传输的3个阶段。评估鸿沟指的是人在与系统交互的过程中,对系统状态的理解与系统实际运行情况的差异。执行鸿沟指的是在交互过程中,人需要采取行动实现特定目标时,操作者的心理认知与系统的实际运行方式之间的差距。人机交互中,评估和执行阶段相互依存,描述了操作人员成功与任何系统完成交互所必须经历的循环,如图2所示,成功的评估需要感知系统呈现信息的状态指标并理解其含义,成功的执行需要弄清楚要做什么来完成目标。

图2 人机交互中的评估与执行鸿沟 Fig.2 Gulf of evaluation and execution in human-computer interaction

智能制造的信息物理系统与操作人员之间必然存在评估鸿沟与执行鸿沟。如果系统不能清楚表示当前状态,操作人员就必须付出大量的认知资源来了解系统的当前状况、下一步操作后会发生什么,并且不断推测、判断之前的操作有没有更接近目标。随着系统复杂性的提高,人需要克服的交互鸿沟也越来越大。系统是由设计人员(专家)创造的,因此鸿沟主要出现在操作人员与专家之间,设计者需要了解人使用系统的操作习惯与认知能力,研究人的潜在学习理论与心智模型是帮助减小交互鸿沟的有效途径。

“以人为本”的智能制造

2.1 / 智能制造中人的因素

新一代智能制造更加强调人的中心地位[24],智能制造发展的目的是更好地为人服务。基于 HCPS 理论,王柏村等[25]提出了包含单元级智能制造、系统级智能制造、系统之系统级智能制造的人本智造架构,并从产品、生产、模式、基础建设4个维度对“人本智造”进行了阐述(图3)。其中,以人为本的智能产品是主体,以人为本的智能生产是主线,以人为本的产业模式变革是主题,以人为本的智能制造基础建设是研究的理论与方法基石。

图3 “人本智造”四个维度中的人因工程[25] Fig.3 Human factors in four-dimension of human-centered intelligent manufacturing[25]

从智能制造全生命周期的角度出发[26],结合人所担任的角色,可以看出智能制造的不同环节均需考虑人的因素,这包括人的作用、人体工效学、认知工效学、组织工效学、人机关系等(图4)。国内外学者对人在制造系统中的关键地位、决定性作用进行了分析,梳理了制造系统中的人的因素及相关研究,认为先进技术只有真正和人协同起来才能充分发挥作用,进而真正带来智能化生产的效益[27-29]。

图4 智能制造系统中人的因素[25] Fig.4 Human factors in intelligent manufacturing systems

随着新一代智能制造相关研究的发展,大数据智能、群体智能、跨媒体智能、混合增强智能及自主无人系统极大改变了人在系统中的作用[30-31]。由于信息系统开始具备深度学习和自主认知及决策的相关基本能力,人可以将更多的重复性工作或简单脑力劳动,甚至知识型工作交给信息系统完成。这使得人可以将更多的精力放在思考和需要更多想象力与创造力的工作上,这一变化将贯穿整个智能制造系统的设计、生产、物流、销售、服务等环节。此类系统中,人主要作为系统的设计者存在,虽然直接参与系统的实时运行与控制性工作减少,但仍然需要参与系统的运维、创新和优化等环节[32]。

人在系统中的角色和作用发生改变直接导致人机关系的变化。智能工厂环境下,人与信息物理系统的关系从传统的操作控制模式逐步向人机交互的方式转变。与此同时,工业5.0的发展也将人机交互的模式从“人适应机器”转变为“机器服务于人”。LI等[33]指出人机协作的主要目标在于机器协助人而不是取代人,减少人在生产线上的重复工作,降低人体的工程学压力和工作负荷,提高生产质量和效率,实现人机优势互补。NAHAVANDI[34]强调工业5.0将会提高人机之间的主动性,以及互学习、互理解、互辅助融合能力,机器认知能力的增强使机器适应不断变化的环境及任务,与人可以进行自然的深度交流、互学习、互推理,更好地协助于人、服务于人。

从行为、意图、认知三个层次分析智能制造中人的中心地位已成为当前的研究重点,相关研究成果如表1所示[35-44]。利用动作捕捉等技术,采用生物力学、人机工程学,从行为层面对工人作业姿势进行疲劳度分析;引入机器学习、计算机视觉、动态决策、神经网络算法等先进技术,分析人的行为表征,推测、预判人的作业意图;为人机交互过程构建人体认知负荷评估模型,形成有效的认知负荷均衡机制和优化方法,从认知层面形成自适应调节。这些都从不同领域阐述了智能制造中研究人的因素的重要性。

↓ 表1 智能制造中人的因素相关研究成果 Tab.1 Research achievements related to human factors in intelligent manufacturing

与此同时,更多学者将人因工程的研究引入智能制造系统,YANG等[45]针对智能制造监控系统开展了“人在回路”的相关人因研究,探索通过瞳孔变化预测脑力负荷,以提高监控系统的宜人性设计。王柏村等[46]将“面向智能制造的人因工程”定义为:基于对人、机器、技术和环境的深入研究,发现并利用人的自然行为方式、工作能力、作业限制等特点,通过对智能制造系统中相关信息与工具、任务和环境、人员安排等进行合理设计,以提高智能制造系统的效率、安全性、舒适性和有效性的工程技术。由此看来,在“以人为本”的模式下,智能制造系统中的人因研究尤为重要,但针对该领域的研究相对匮乏,因此如何让智能系统的设计更符合人的使用习惯,有效缩小人机交互鸿沟,使人能及时掌握复杂系统的运行态势并做出正确反应,已成为人与智能系统融合的重要研究领域。

2.2 / 人因工程助力“人本智造”

人因工程(human factor engineering,HFE)是近年来随着科技全面进步与工业化水平大幅度的提升而迅猛发展的一门综合性交叉学科,它综合运用生理学、心理学、人体测量学、生物力学、计算机科学、系统科学等多学科的研究方法和手段,致力于研究人、机器及所处工作环境之间的相互关系和影响,以提高系统性能并确保人的安全、健康和舒适[47-48]。

面对工业4.0的迅猛发展和工业5.0的到来,人因工程始终以提高生产效率为目标,深入解决复杂的人与自动化、智能化的安全高效交互的问题[49]。随着制造业的进步与发展,人因工程的关注焦点也从传统的降低疲劳、体力解放、效率提升,转变到人的智能增强,同时也推动了制造业的进步,特别是提升了工业、计算机等领域的信息交互系统的适人性水平[50-51]。同样,本文将人因工程研究及发展方向从行为、意图、认知三个层面进行聚焦(图5)。

图5 人本智造中人因工程的研究聚焦层次 Fig.5 Human factor engineering research focus level

(1)行为层面。 行为层面的研究通常对人根据系统状态表达出的显性行为进行分析,获取人的作业姿势、物理行为、习惯特征等数据,并借助人机工效分析方法分析人体的可视性与可达性,判断人的生理极限和作业能力,优化作业流程与作业空间设计。

(2)意图层面。 意图的研究聚焦为自然意图的表达方式,基于人的眼动、手部动作、肢体运动等物理行为的特征属性,通过多模态特征融合方法,明确操作人员的作业意图、目的和期望,并根据具体作业意图的多模态表达对系统做出优化和调整。

(3)认知层面。 认知层面的研究主要集中在人隐性状态的表征,例如通过采集操作人员的心电、脑电、皮肤电等多源生理数据,构建人的认知状态模型和认知负荷量化指标等方法,开展对人的认知负荷、疲劳程度等的量化与评估。在操作人员都没有意识到疲劳或异常状态时,实现系统的主动感知与协调。

坚持以人为中心的理念、遵循系统工程思想和方法、直接面向设计和具体应用场景是人因工程的另一典型特征。当前,以人工智能、混合现实、云计算、大数据、物联网等为代表的新技术与制造业加速融合,推动智能系统向更贴近人的智慧系统改变。影响深远的科技革命和产业变革正在逐步兴起,智能制造、智能生产单元、人机协同制造等新型生产方式不断涌现,给人因工程的研究环境带来了巨大的改变。人因工程的科学思想、理论方法、设计理念和技术应用将推进信息化与工业化的深度融合,推动智能装备、可穿戴智能产品、虚拟信息显示、增强现实、人机交互等技术快速发展,实现人与信息物理系统的有机结合,在不断提升产品品质和制造业核心竞争力等方面发挥重要作用。

除此之外,中国工程院智能制造课题组的研究报告[52]指出:“智能制造系统是一个大概念,一个不断演进的大系统,是新一代信息技术与先进制造技术的深度融合,贯穿于产品、制造、服务全生命周期的各个环节及相应系统的优化集成,不断提升企业的产品质量、效益、服务水平,减少资源消耗,推动制造业创新、绿色、协调、开放、共享发展”,是我国制造业升级的发展方向[53],也与智能制造中的人的因素形成呼应。

考虑“以人为本”的智能制造,即从“人本智造”的四个维度出发,在设计之初就充分考虑用户需求和人的因素,根据消费者或目标用户群的定位,利用互联网、虚拟现实、多视角共享等智能技术,使用户直接参与设计、研发、测评等环节。针对生产环节的设计或工作人员,利用知识工程、机器学习、自然行为交互等研究成果,开展人机协同设计、人机协作装配、以人为本的生产管理等研究,全面提升产品设计、制造和管理的水平。

因此,如何完成先进技术与人因工程在智能制造系统中的整合是下一步需要解决的问题,形成一套前后端贯通的完整解决方案,从分析人的作业姿势到识别人的行为意图、均衡人的认知负荷的一体化智能制造系统,充分考虑系统中人的因素,注重人的思维、情感和行为,关注不同操作人员的需求和意图,融入人的多样性和差异性,实现技术增强人而非取代人,缩小人机交互的执行鸿沟和评估鸿沟,真正推动“人本智造”理念的实施与落地。

人本智造的发展趋势与研究重点

以人为本的智能制造从人的行为、意图和认知三个层次,将人因工程整合到虚实融合、多模态人机交互等先进技术中,在原有的智能制造系统基础上扩大人因工程特征,通过人的生物智能与机器智能、人类用户认知体与机器认知体之间的协同合作,形成可持续发展的人机智能互补式交互,最大限度地发挥人机协同合作优势和整体系统绩效。

3.1 / 虚实融合环境下的交互

当前,越来越多的虚拟现实技术在公共安全、工业互联网、智慧城市、文化旅游等产业相关场景落地。国内外工业领域也在大幅开展虚实融合技术研究,通过虚实数据的融合实现虚实双向动态连接,促进了信息系统与物理系统的融合发展,降低人在生产过程中的工作负荷。

增强现实技术(augmented reality, AR)作为将虚拟信息和真实世界融合的先进技术,在跟踪注册、可视化、多模态交互等技术领域都有大量研究,将计算机生成的虚拟信息添加到真实世界,实现两者的互补和对真实世界的“增强”[54]。数字孪生模型作为典型的虚拟数字信息,将其叠加至制造业的真实物理环境是目前制造业实现虚实融合的一大研究重点。作为一个技术核心,跟踪注册的精度和准确度与虚实融合系统的最终效果密不可分。

从当前真实空间场景中获得实时数据,并根据观察者的位置、角度、方向、视场等因素构建虚拟空间坐标系和真实空间坐标系的转换关系,结合标记物、自然特征信息等,最终将三维模型、动画、文本注释等虚拟信息完美叠加至真实环境,从而提高装配、运维等过程的操作效率。WANG等[55]基于AR协同环境、碰撞检测、辅助评估工具等建立了AR装配工艺方案的评估系统,辅助工人从多个视角有效评估和改进装配过程(图6)。面向某汽车制造企业线束卡接等手工装配作业,WANG等[56]设计了基于AR的手部作业检验软件,该软件包括AR测试场景构建、手势追踪与验证、虚拟模型操纵、碰撞检测等4个模块,可验证操作人员手部的通过性和可达性,解决了当前基于CATIA的人机仿真模块验证方法存在的人手定义复杂度高、真实性差等问题。

图6 增强现实装配工艺方案评估系统[55] Fig.6 Augmented reality assembly process evaluation system[55]

面向“人本智造”理念,如何增强人与信息物理的交互,建立人的数字孪生体来反映人的真实状态,从而实现虚拟信息、真实环境与数字人的智能融合显得尤为重要。验证人与信息物理系统在协作生产过程中的安全性也是亟待解决的问题之一[15,17]。

数字人建模仿真技术是验证操作人员可达性,保障人机协作过程中的工人安全,建立虚实融合环境下智能制造系统可靠安全机制的主要手段之一[57]。目前的仿真软件建模方法存在仿真工作量大、操作繁琐、动作连贯性差、对人体行为建模精确度低等问题,无法对实际复杂产品的操作人因风险进行全面验证,专家只能在仿真任务完成后再对整个操作过程进行分析,工作周期长、生产成本高。通过动作捕捉设备、眼动仪等设备和人因分析方法,实时采集人的行为、生理、心理等相关数据,建立人的数字孪生体,实时生成高保真数字人模型,反映人在虚实融合环境下的状态,保证对作业人员行为的高精度建模,提高人因分析准确度,专家可以在人体数据输出的同时进行动态分析作业,实时更改产品设计,不需要在产品生产后再次试验调整设计,从而起到缩短产品生产周期的作用。

研究人-信息-物理系统的感知机制是实现以人为本的智能制造的关键点。文献[58-59]针对某人因分析方法存在的分析周期长、仿真建模工作量大、虚拟人动作精度低等问题,开展了面向工业车间座椅装配、手工涂胶作业任务的人机功效分析,验证并评估手工装配过程的工人操作可达性及安全风险性,提出一种基于AR的汽车总装体力疲劳综合评估方法(图7),借助AR技术搭建汽车总装典型场景,实现虚实融合场景的可视化、产品分析师和设计师多人视角共享及协同在线操作;利用动作捕捉系统真实准确地反映人体运动姿态,实时捕捉人体运动学数据,完成体力疲劳度评估与分析。

图7 基于增强现实和动作捕捉设备的人因分析系统[58-59] Fig.7 Human factor analysis system based on augmented reality and motion capture equipment[58-59]

人机结合、虚实融合是新一代智能制造系统的显著特征,通过增强现实、虚拟现实的头戴式设备帮助工作人员接入制造系统的数字孪生系统,从而“身临其境”地全方位感知系统状态;在装配、运维过程中增强信息的智能呈现,以便于操作人员理解,降低操作负荷,减小人机交互执行鸿沟[60]。利用动作捕捉设备采集人体行为数据,实现动态人机工程的仿真验证与分析,为实时感知系统状态、完成动态调整提供了便捷,同时也满足了智能制造柔性可变、快速响应的需求。随着数字化信息技术与增强现实辅助技术的广泛应用,研究虚拟数字信息与真实物理场景融合环境下的人与数字化信息交互的工业现场(图8)已成为未来工业发展的新趋势。

图8 HCPS中的虚实融合技术 Fig.8 Virtual-reality fusion technology in HCPS

3.2 / 多模态意图识别

智能制造系统中,人机角色发生转变,工作人员的活动范围更加灵活多变,对系统的控制及作业意图的表达方式也不再局限于命令行、图形界面、鼠标和键盘等利用辅助设备进行的人机交互。自然用户界面(natural user interface,NUI)[61]提倡用户不需要学习,凭借感知器官与经验来接收信息,利用自然行为表达作业意图,降低了用户的操作和学习成本,从而缩小人机交互的执行鸿沟。

交互发生在三维的物理空间中时,智能制造系统现场任务及环境的动态变化会导致同样的输入代表不同的语义,因此需要考虑作业任务与环境的实时动态变化来准确识别操作人员的作业意图。随着增强现实、人工智能、机器视觉等新型技术的迅猛发展,以及交互环境的变化,传统的交互方式不再满足智能制造的发展需求,这使得新型人机交互模式逐渐涌现,依托以眼动、手势、语音等多模态生理信号为核心的自然交互模式成为未来助力智能工厂人机协作能力提升的新方向。

现有较为成熟的交互方式有语音交互、手势控制、触觉交互、眨眼检测及眼跟踪技术等。在人类感知信息途径中,通过视觉获取对外信息的比例高达83%,大大超过其他感知觉。相对于手控、语音等方式,视觉交互缩短了中央加工与动作执行的反应时间,可实现多任务同步处理,且受环境影响较小。但眼动信号中的认知成分较少,无法判断注视行为属于无意识还是有意识即发生“米达斯接触”问题,因此通常采用增加视觉反馈体系、反复定位确认与交互,以及外界信号触发辅助等解决方法[62-63],但这都给眼部带来了额外的负担与劳累,加剧视疲劳的产生,造成用户体验下降。

如何在有效解决“米达斯接触”问题的同时避免疲劳是目前视觉交互技术研究的重点。多模态交互方式充分利用各模态间的优势互补,融合多种模式的综合语义辅助视觉通道,精准定位目标、准确识别意图,对缩短定位时间、减缓视觉疲劳有着重要作用。相比于基于单一模态数据的交互方式,基于多模态融合交互方式的空间覆盖率、时间覆盖率和决策准确度更高,可以有效进行信息互补,多方面描述数据对象特性,成为复杂作业环境下实现人机交互意图感知的有效途径[64-65]。

虚实环境与多模态人机交互技术的结合为实现智能化生产车间的智能人机融合提供了技术路径。微软发布的HoloLen2增强现实头戴式设备支持手势、语音、眼动等交互方式,通过示教系统可用于复杂产品生产车间,辅助员工完成装配培训,并看使用Dynamic 365 Layout验证生产布局[66]。目前,针对人与虚拟信息的自然交互方式的研究还不成熟,在利用增强现实设备完成操作的过程中,出现了许多人因问题。由于用户体验的差异性和多样性,以及用户认知能力的不同,当前的技术及相关产品无法以人们所习惯的方式与人们进行信息交流、提供主动服务,不能满足人机交互系统个性化、柔性化的要求。

为提升用户体验,将多模态自然交互与用户画像相结合,深度挖掘用户的需求和意图,真正实现用户行为的个性化识别和理解,缩小人机交互的评估鸿沟,促进“以人为本”的智能制造发展。FANG等[67]面向制造业装配场景,将增强现实作为媒介连接人和机器人,实现人机的多模态交互,并基于该系统,提出一种增强现实环境下的个性化人机协作装配意图识别方法(图9),针对用户在典型人机协作装配过程的物理行为习惯及特征,以单个用户为中心采集多维度、强相关的数据,构建用户画像模型,构建基于用户行为习惯的多模态特征融合方法模型,并对增强现实环境下的习惯手势、语音和视觉等物理行为进行识别,利用基于改进HMM和贝叶斯融合的决策层融合方法,实现面向不同用户的个性化意图识别,为用户提供更精准的个性化服务,有效改善人机协作过程中的用户体验。

图9 个性化人机协作装配意图识别方法[67] Fig.9 Personalized intention recognition for human-robot collaborative assembly[67]

3.3 / 科学的认知量化方法

面对以智能制造为核心的产业和科技变革,制造企业应积极采取行动,推动转型升级,提高自动化、数字化水平。现阶段,我国制造业仍存在自动化水平不高、手工依赖程度高的问题,工人面临的操作任务愈发繁重。复杂的机电系统和长时间的人机协同作业容易对操作人员产生巨大的认知负荷。因此,形成对认知负荷的准确量化和有效均衡是保障人机协同安全稳定的关键。

操作人员面对复杂系统时的主要任务是“信息获取-判断-决策-响应”过程,属于掌控系统运行状态的脑力活动,因此人机协同作业时的工作负荷主要表现为认知负荷。徐小萍等[68]提出了基于认知的虚拟现实人机交互系统框架,并开展了交互通道与认知负荷的影响机制研究。认知负荷反映同时施加在工作记忆中所有智力活动的数量,任何认知加工活动均需消耗认知资源。不同交互通道带来的认知负荷不同,如果在同一时间多任务并行处理产生的认知负荷超过个体所拥有的认知资源总量,将导致认知负荷超载,直接影响操作者的任务绩效;另一方面,过低的任务需求通常会造成操作者参与不足,即认知负荷欠载,容易出现疲劳与自满情绪,此时任务需求的突然增加、突发意外等情况会使操作者迅速进入高度紧张状态,

影响操作者做出正确决策[69],即操作者表现与脑力负荷及大脑认知资源供需的倒U型关系模型[18]。因此,控制认知负荷的均衡可以有效提高人机协作效率。刘文等[70]分析了指挥控制系统界面认知负荷的来源及类型特点,形成了面向指挥控制系统界面认知负荷的均衡策略,主要包括图像复杂度控制、用户需求信息合理呈现、信息编码与视觉搜寻匹配等。缪相林等[71]提出一种动态调整用户认知负荷水平的智能空间增强现实系统,根据用户认知状态动态调整空间增强现实系统的增强信息,使用户处于最佳工作状态,提高工作效率,保证工作质量。因此,从面向用户认知的生理信息融合角度出发,构建认知负荷定量表达模型是完善人机协同系统、提高态势感知、实现正确决策的重点。

人机协同认知负荷评估与均衡问题可从“科学评价、准确量化、有效均衡”三方面开展研究。通过生理参数的动态表征揭示操作人员认知负荷的演变机理,是神经生理学和认知心理学领域具有挑战性的科学难题。在多通道交互的情况下,生理指标的变化易受交互通道的选择影响。同时,认知负荷水平的不确定性、抽象性、经验依赖性、个体差异性、学习迁移效应等特征导致以生理参数量化描述认知负荷水平的变化存在技术难度。

脑电、心电、肌肉电等多源生理信号的有效融合极大依赖操作任务与认知数据,复杂作业任务产生大量认知活动及决策行为数据,同时伴随认知行为时序关联、认知负荷的隐式干扰、认知状态和变化顺序等多层级耦合关系。由于生理参数敏感度不同、难以同步、存在竞争与互补效应等问题,要从中提取不同生理信号与认知行为相对关系,结构化学习信号特征,融合不同维度信号来反映增强现实环境下多通道交互过程中的认知负荷动态变化面临较大难度。人机协同运维过程中,“人在回路”的行为决策是在人内部认知空间与外部环境元素的共同作用下产生的,是环境信息要素与认知负荷的枢纽。揭示人机协同过程中的态势元素、个体认知负荷、行为决策的关联关系,是对认知负荷有效均衡的关键,对降低认知任务的复杂性及难度、提高人机协同的作业绩效至关重要。

因此,明确主体多生理指标的认知负荷诱发策略与演变机理并对其进行科学量化表达,是揭示认知负荷水平变化的关键;建立相应的人机协同认知负荷均衡机制,从而降低认知任务的复杂性,提高人机系统的作业绩效。这对在新环境、新技术、新模式下开展人因工程相关研究,缩小人机交互鸿沟,推动人本智造的发展有着实际性的作用。

发展与建议

4.1 / 学科发展

智能制造作为典型的系统工程,强调数字化智能设备、机器人、物联网、人工智能等关键技术在制造系统中的集成,涉及机械工程、控制科学与工程、计算机科学与技术等多个学科。面向世界范围的科技革命和产业变革,针对中国制造的发展需求,顺应“两化融合”国家战略,国内多所高校相继设立了智能制造工程等“新工科”专业。与此同时,国家自然科学基金委在2020年成立了交叉科学部,明确了强化学科交叉和寻求新的科研范式是未来科技快速发展的必由之路。人因工程作为典型的交叉学科,被列为交叉学部的重点研究方向之一。

在“新工科”专业与交叉学部的建设支持下,加强人才储备和梯队建设,注重对智能制造专业人才进行人因工程等相关知识的教育。以人因工程的基础理论与研究方法充分武装掌握现代化机械、电子、智能生产与管理的专业知识和技能的智能制造专业人才,把人因融入系统设计、研制与运维等不同周期,解决智能制造发展过程中各个相关领域出现的典型人因问题。积极开展跨学科探索性研究,推动机械工程与认知科学、信息科学、心理学等相关学科的交叉融合,促进传统学科与新型学科的交叉融合,为面向智能制造的人机交互与人因工程持续发展与深度应用提供强大的科学储备。

4.2 / 研究方向

面对智能制造人机交互与人因工程的发展需求,从研究现状看,在行为、意图、认知三个层面解决HCPS的人与信息系统、物理系统之间的鸿沟问题,是未来智能制造中的人因工程需要着重探索的研究方向,这包括人与智能设备的交互、人-信息-物理三元虚实融合感知、量化的科学标准等方面。

(1)开展人与智能设备的交互友好性研究,重视智能设备在设计及信息呈现、行为反馈上的宜人性表达,实现智能设备与人的良性互动,解决智能制造系统中大量的智能设备给人的操作和认知带来的不可避免的压力问题,保障人对系统的准确态势感知。

(2)实际生产场景、操作人员行为及产品虚拟模型之间的虚实融合感知机制是未来需要解决的关键科学问题。由于虚拟产品模型、实际生产现场与真实操作人员的物理属性不同,导致虚拟世界与真实世界融合困难。此外,目前的增强现实技术仅支持虚拟信息的显示与叠加,缺少实际的交互感知。

因此,对虚拟世界与真实世界的智能标定与个性化交互方法展开研究:

①研究产品的智能推送,建立辅助维修资源库,实现从IETM的交互式维修手册到AR手册的智能化生成;

②融合用户画像,通过意图识别,构建符合操作人员个性化特征的智能推送方法,将人的需求作为信息推送的驱动力,满足操作人员的属性多样性及个性化需求;

③分析人在使用AR系统时的认知负荷产生原因,结合脑电、眼动、手势等多模态交互方式,提取人的潜意识形态,智能化为用户提供最舒适便捷的操作环境及方式,有效降低疲劳度和操作负荷,研究虚实信息的柔性化融合机理,从而实现人-信息-物理三元虚实融合。

(3)建立完善的人因工程研究规范与测评技术,形成量化的科学标准,将定性问题转化为可参考的定量指标,形成主客观结合、定性定量综合集成的人因评价标准,以解决人作为人因工程的主要研究对象,在面对不同作业需求、新型系统和复杂问题时产生的心理变化、认知思考和决策执行能力存在多样性及差异性的问题。

表2列举的国际期刊中,多数已发布面向智能制造或工业4.0的人因工程特刊,以鼓励相关研究。

↓ 表2 国际关注智能制造及人因工程领域期刊 Tab.2 The list of journals in related domains

结论

本文立足于智能制造发展过程中存在的实际问题，基于人-信息-物理系统理论与技术体系，讨论了人机协同的必要性，以及人在智能制造系统中发挥的重要作用,梳理了人因工程在促进人本智造中的相关研究重点，针对学科发展与主要研究方向,提出了智能制造系统中人因工程的发展与建议，以期为我国新一代智能制造系统的发展提供建议与参考。