3D数字化IETM手册解决方案
3D数字化IETM手册综合方案
1、3D数字化IETM目标和需求
传统的操作手册(如产品装配工艺手册、产品使用说明、产品维修维护手册)依托文字说明、二维图纸、工艺卡片等纸质文件或电子文档,存在的主要问题是:工艺信息中无法包含产品零部件模型;工艺模型结构化成都差;工艺文件可表达的信息不全、不系统;使用工艺文件时,部分依赖使用者对工艺文件的理解,现场使用不便;除了用于现场查询查看外无法用于操作训练、操作辅助等其他需求。
随着数字化、智能化、可视化技术的发展,基于产品及装配工装/工具和环境三维数字化模型实现产品使用、产品装配、产品维修维护的3D数字化、结构化表达成为可能。
基于IETM理念,基于产品零部件、工具/工装/设备、使用/装配/维护环境的3D数字化模型,创建操作流程模型、操作工序内容3D数字化模型,并结合传统的2D电子图纸等信息,形成3D数字化IETM,它能够将产品对象模型融合到操作工艺中,使得工艺信息更加完备,并能以3D可视化方式表达操作内容、2D流程图的形式表达工艺流程,并可随时查阅传统的2D图纸、图片和视频,以及文本形式的附加说明信息。
航发核心机装配工序3D可视化表达
因此需要一个面向复杂产品3D数字化IETM制作、查看、训练、实际操作辅助的完整解决方案:
3D数字化IETM制作工具:能够基于产品和工具工装的3D设计模型、2D电子图纸、其他说明图片、视频文字信息制作统一规范的数字化IETM,包括辅助操作流程的图形化建模、工序/工步3D数字化建模(3D表达、2D信息关联等),输出统一格式的3D数字化IETM文件包;
基于3D数字化IETM文件的交互可视化查询浏览:能够导入3D数字化IETM文件包,在任何场合进行3D数字化操作工艺查询和多种形式浏览;
3D数字化装配工艺动态浏览
基于3D数字化IETM文件的交互可视化操作训练:能够基于制作好的3D数字化IETM进行操作训练与考核。IETM不仅用于一般的查询、浏览、学习,还应该能够用于交互式的操作训练与考核,从而让用户更加直观、深入地掌握操作过程、操作要领和动作,并能用于用户的操作水平考核。
基于3D数字化IETM文件的MR智能操作辅助:在实际操作中(如产品装配、复杂产品使用、产品维修维护),基于IETM和现场实际操作信息,提供操作过程的智能辅助,包括在实际场景中识别和指示操作对象、基于预定义工艺动作演示和引导用户操作、结合用户的实际操作,显示操作参数(如螺栓拧紧时扭矩、装配误差要求)和操作要求、结合用户的实际操作,判断用户操作是否正确(操作顺序、操作对象、错漏装等)。
2、JH-IETM解决方案
2.1 JH-IETM解决方案系统组成
JH-IETM完整解决方案如下图所示,由3D数字化IETM制作工具、3D数字化IETM单机应用工具、3D数字化IETM线上应用系统,以及一个由专家段和用户端组成的远程专家在线支持系统组成。
l 3D数字化IETM制作工具:
包含一个3D模型转换器,一个3D数字化IETM制作与发布工具。模型转换器(3D Convert)用于导入IGES和STEP格式的CAD模型、各种轻量化3D模型,进行显示精度设置和轻量化处理、输出轻量化3D模型文件和结构树文件;3D数字化IETM制作与发布工具(3D-IETM Builder)用于IETM的制作、编辑和发布,生成标准格式的数字化IETM文件包。
JH-IETM解决方案组成示意图
l 3D数字化IETM单机应用工具集:
包含3D数字化IETM浏览器(3D-IETM Viewer)、基于数字化IETM的交互式虚拟训练与考核(3D Training)、基于数字化IETM的混合现实智能操作辅助(MR Guide)。
3D-IETM Viewer:用于交互式查询和浏览IETM内容,包括操作流程查看、操作步骤查看和演示、完整操作过程演示。提供PC版和安卓版的IETM浏览器供不同终端使用。
3D Training:用于基于IETM的交互式训练和考核,用户可基于一般IETM文件进行操作训练与考核,也可以基于预设故障的IETM文件包进行特定科目的训练与考核。提供VR版和AR版的交互式训练与考核软件,分别在VR环境和AR设备上使用。
MR Guide:用于在操作现场基于IETM进行智能化的辅助操作,包括操作目标的识别与3D指示、操作动作3D演示与引导、操作参数和要领实时显示、操作过程集及结果的判断与提示(操作防错)。提供基于平板电脑和光学透视AR眼镜两种版本。
l 3D数字化IETM线上应用系统:
提供一个B/S架构的数字化IETM线上应用系统,该系统具有如下功能:用户管理、组织与部门管理、操作权限管理、IETM管理、线上IETM浏览、线上交互训练与考核。
线上应用系统不含IETM制作功能,它的IETM管理模块所管理的IETM文件包也来自3D-IETM Builder。线上IETM不含MR智能操作辅助功能,因为MR操作辅助需要现场信息。
线上交互训练
l 远程专家在线指导系统:
包含远程专家端软件(Remote Exp)和现场端软件(Scene User),用于IETM中信息无法解决时的专家远程指导。它们均读入同样的数字化IETM,通过用户现场视野同步共享到专家端、双向语音通话等实现在线交流,专家端可以冻结视频图像、在图像上标注后推送回用户端,也可以基于IETM的3D模型进行虚拟操作演示,将操作信息推送给用户端,用户端基于IETM的3D模型和操作信息同步呈现专家的3D操作演示。
3.2 JH-IETM解决方案主要功能
JH-IETM的主要功能要求如下:
(1) 3D模型转换
产品零部件轻量化3D数字化模型及装配层次关系模型,从装备设计模型直接转换成手册所需的轻量化模型能够省去大量的建模时间。目前产品设计普遍采用了三维设计软件(CATIA、UG NX、PROE/CREO、SolidWorks等),设计模型的轻量化转换是将各种CAD设计模型转换成数字化维修维护所使用的轻量化模型,满足各种类型的应用终端需求。
由于目前的三维设计软件不公开自己的模型文件格式,但可输出IGES和STEP格式的模型文件,IGES和STEP的通用转换工具从这两种格式的装备设计模型中抽取所需要的零部件模型、装配关系模型。
主要功能如下:
A. IGES或STEP格式文件导入和解析
3D Convert导入这两种格式文件,解析包含的所有零部件几何模型、装配层次和约束关系,显示零部件层次关系和3D模型。
B. 其他格式轻量化3D模型文件导入与解析
3D Convert还可以读入多种格式的轻量化3D模型(stl、obj、fbx、ive、wrl等),在3D Convert中显示和操作。用于不同格式轻量化模型之间的相互转换,也可以用于将多个轻量化模型文件合并成一个文件输出,或将由多个轻量化模型组成的一个模型文件输出一部分、或输出成几个模型。
输入一个或多个轻量化模型文件,格式可以是stl、fbx、flt、obj、ive、wrl等,在3D场景中显示出来;
C. 模型离散化误差设置
导入IGES、STEP或其他轻量化模型文件后,用户可设置模型的离散化误差(线性误差和角度误差)来控制模型显示精细度和数据量,用户可以统一设置所有模型离散化误差,也可以选择一个或多个模型独立设置离散化误差。离散化误差设置好后,模型的显示随之改变。
D. 导出零部件轻量化模型格式文件和装备结构树文件
从原始模型中获得零件模型、样机或设备部件的装配树结构。
选择要转换的零部件、批量导出指定格式(stl、fbx、flt、obj、ive、wrl等)的轻量化模型(按照设置好的离散化误差);零件的3D模型保存成指定的轻量化模型格式文件;关系模型(层次关系)保存到JSON文件中。
IGES和STEP模型转换工具
(2)3D数字化装配工艺编辑与发布模块
A. 素材管理
手册素材管理用于统一管理一个3D数字化工艺用到的各种素材。3D数字化工艺包含的信息类型:文本信息;3D模型;2D电子图纸(一般为PDF格式);2D图片;视频。为了手册编辑过程操作方便,可将手册要用到的3D模型、2D图纸、图片和视频分别管理起来,工艺规划和编辑时是随时使用。
手册素材管理工作界面
B. 流程建模
流程建模用于建立装备的装配过程模型,流程建模模块提供图形化的流程和步骤建模工具,支持用户对装备使用装配过程进行流程建模。
流程模型图中的每一个结点代表一个操作步骤(可能是装配操作、质量检测等步骤),操作步骤结束后可定义结束后的状态,作为分支判断的依据。
操作对象参数定义
流程规划工作界面
C. 步骤内容规划
操作步骤内容规划:
在上述执行流程模型中选择一个步骤,设置步骤名称或编号;
输入操作目标、操作内容、注意事项或技术要点;
选择该装配步骤相关的元素模型(零部件、工具工装、环境场景),设置其初始状态
规划装配操作过程动作,设置本步骤关联的2D电子图纸、说明图片等信息,保存一个结构化的装配操作步骤内容模型中。
步骤内容规划界面
3D动作规划与编辑界面
训练参数设置界面
D. 3D数字化IETM文件包发布
流程和步骤的内容规划完成后可发布成结构化的3D数字化IETM文件包,该文件包含有操作过程的所有信息:
n 操作工艺说明信息;
n 操作工艺执行流程;
n 各操作工序/步骤的内容:
u环境场景、零部件、工装设备3D数字化模型;
u本步骤的3D操作动作;
u本步骤的操作要求、操作要领、质检要求等;
u本步骤所用到的所有2D电子图纸、图片、视频。
发布3D数字化IETM文件时可选择加密和非加密模式,当选择加密模式时手册的各种信息均采用转码后格式存储,并且要求用户设置手册的使用密码。转码后格式是一种根据原先文件格式进行再编码的二进制文件格式,只有本系统提供的软件可以打开。
非加密发布时手册文件包同样为一种二进制数据包,包含:手册说明信息、各种流程模型、各种3D动作描述等;3D模型文件(多个);2D电子资料(多个),打开词文件不需要密码,也没有有效期。
3D数字化IETM文件包发布界面
(3)3D数字化IETM的动态可视化查看
A. 导入3D数字化IETM文件包
将上述3D数字化装配工艺文件包导入3D-IETM Viewer查看软件中,系统读入指定的数字化手册文件,并根据文件中的信息加在零部件、工装工具及操作环境的3D数字化模型、操作流程模型、各操作步骤/工步的操作信息、2D电子图纸/图片信息。
B. 3D数字化IETM内容查看
导入3D数字化装配工艺文件包后即可查看装配工艺的所有信息:
l 显示操作流程图;以图形化方式显示操作流程全过程,如装配工艺流程、装备使用过程、故障检修流程等
l 查看操作步骤内容
在流程图上点击任何一个步骤,显示该步骤的一般说明信息、3D装配场景、步骤所包含的子步骤、关联2D电子图纸
n 装配操作步骤的3D演示:点击下方进度条即演示本步骤的所有子步骤操作过程,演过过程用户可交互调节视角从任何角度和距离观看操作细节,并现在本步骤的操作要领、质检要求等信息
n 关联2D电子图纸/图片/视频查看:选择本步骤关联的2D电子图纸或图片,即可在弹出窗口查看2D电子图纸或图片,或显示关联视频。
l 连续演示完整操作过程:
n 可选择演示全部操作过程,此时系统将从流程图的开始结点自动进行全部工序/工步的3D演示
n 当进入下一个工序/工步时,流程图上各工序结点会同时变成显示状态,该工序的3D操作过程在右侧区域动态演示
n 当出现分支时,需要用户决定从哪一个分支进行下去。
数字化IETM查看
(4)基于3D数字化IETM的交互式操作训练与考核
基于3D数字化IETM的虚拟训练系统,包含VR虚拟训练软件、AR虚拟训练软件,能实现基于IETM的VR、AR模式交互训练与考核。
系统可用于一般拆装训练,又可预先植入故障进行特定任务训练。依托3D数字化IETM以及虚拟训练软件可以实现虚拟环境中的单人和多人协同虚拟训练:可基于该IETM预设故障,发布训练任务;虚拟训练软件读入3D数字化IETM和训练任务文件,即可进行虚拟训练与考核。可依托一般计算机终端、VR环境、AR设备进行各种形式的虚拟训练,既可以是单人训练,也可以多人协同训练。
VR虚拟操作训练(基于VR头盔和运动捕捉设备)
AR虚拟操作训练(基于光学透视AR眼镜)
(5)基于3D数字化IETM的MR智能操作辅助
由AR智能操作辅助软件和可穿戴/便携硬件组成,用于操作现场的IETM手册/资料查阅、故障诊断引导、操作引导、操作防错、操作过程信息记录。
可穿戴/便携硬件:光学透视AR眼镜,或加固平板电脑。硬件中预先安装AR智能维修辅助软件、存入装备IETM文件包,也可从数据管理系统下载装备IETM文件包。
AR智能操作辅助软件:基于数字化IETM实现的装备现场操作智能辅助。主要功能:数字化IETM载入;基于图像的视点定位、3D虚拟对象注册;IETM手册一般浏览与查询操作;可视化、智能化辅助操作(目标识别、操作引导、信息显示、操作防错)。
MR智能操作辅助软件中选择IETM(AR眼镜中视角)
MR智能操作辅助软件中自动识别与提示
(6)远程专家在线指导
远程专家指导系统用于IETM不包含的故障处理。借助于远程专家指导系统,用户可以将装备现场情况共享到专家端,专家以图像冻结+2D标柱、交互3D操作等方式远程指导用户完成装备检修。
远程专家指导系统的软件部分由用户端软件和专家端软件组成。用户端软件也运行于现场的AR眼镜或平板电脑终端上,专家端软件运行专家端的PC或服务器上。
专家远程交互3D操作同步指导
专家冻结图像+标注,推送到用户端