沉浸式分析(Immersive Analytics, IA)是当前人机交互领域快速发展的前沿方向,它将增强现实(AR)、虚拟现实(VR)等沉浸技术与数据可视化深度融合,直接把数据交互与分析过程嵌入用户日常工作和推理的物理环境中,最终目标是打破抽象数据分析与数据生成、落地执行的真实物理场景之间的壁垒,让数据洞察完全落地于真实业务空间。
为了支撑这一愿景,过去数年领域内已经诞生了大量沉浸式分析创作工具包,大幅降低了开发门槛,但当前大多数沉浸式分析创作工作流程仍然严重依赖于桌面端,研究者们开始考虑是否有实现支持沉浸式环境中的文本输入。
本文研究团队提出并评估了人体支撑键盘系统,这是一套将蓝牙键盘通过人体工学背心固定在用户身体上的可穿戴系统,旨在支持AR环境中的移动编程和现场沉浸式分析创作。研究系统性验证了这套方案的可行性与实际价值,为后续探索混合输入方案、长期实地场景评估提供扎实的实证基础(Merino et al., 2026)。
沉浸式分析与文本输入技术
沉浸式分析(Immersive Analytics, IA)探索如何利用增强现实(AR)和虚拟现实(VR)等沉浸式技术,通过将可视化直接嵌入用户工作和推理的环境中来增强数据理解和决策。在此过程中,沉浸式分析旨在弥合抽象数据分析与数据产生和作用于其中的物理环境之间的鸿沟。
但当前绝大多数沉浸式分析的工作流仍然高度以桌面端为核心。开发者往往需要先在传统工作站上完成全部可视化设计、代码编程、交互逻辑调试,之后再将成品部署到AR头显设备中。这种物理环境的强制分离直接在迭代式创作、调试、意义建构过程中引入了大量不必要的摩擦,完全消解了沉浸式技术本身应带来的在场沉浸优势。
支持沉浸式环境中的文本输入仍然具有挑战性。大量研究探索了空中键盘、基于凝视的输入、射线投射技术、和弦键盘以及可穿戴或手持设备。虽然这些方法无需离开沉浸式环境即可实现文本输入,但与常规键盘相比,通常存在打字速度降低、错误率升高、疲劳增加或舒适度有限的问题。
人体工学的重要性
人体工程学是沉浸式系统的关键考量因素,特别是在涉及长时间使用的专业情境中。在AR和VR中,空中交互和头戴式显示器可能施加显著的肌肉骨骼负荷,导致不适和疲劳。生理学研究表明,AR交互期间颈部和肩部压力增加,并强调了头显质量和重心对颈椎扭矩的影响。
这些发现推动了探索可以减少静态负荷、改善姿势稳定性并支持更长交互时长的身体支撑输入技术。将主观测量与生理数据(如肌电图和动作捕捉)相结合,被提出作为更好地理解沉浸式交互设计中人体工程学权衡的方法。
基于此,本研究旨在探索身体支撑的物理输入是否能够在不牺牲打字性能或人体工程学舒适度的情况下,支持AR中表达性、移动的创作工作流程。以此,研究者提出了人体支撑键盘系统(Body-Supported Keyboard, BSK),即将标准蓝牙键盘固定在用户身体上的人体工学系统,在保持触觉熟悉性的同时允许用户保持移动并与物理环境互动。
从设计到评估
人体支撑键盘系统围绕一组设计目标和功能及人体工程学要求展开,旨在支持AR环境中表达性、移动的编程活动:
在键盘使用期间提供稳定的承载平台 通过可调节组件适应不同体型 支撑前臂以促进健康的打字姿势 允许自由移动、姿势调整和执行常见的现场活动(如行走或爬楼梯)
最终原型由以下组件构成(图1):
- 可调节织物背心:配备塑料扣和魔术贴紧固件,用于固定躯干、肩部和腰部
- 3D打印臂托:可插入腰部口袋,为前臂提供稳定支撑,减少打字时肩部和腕部的压力
- 3D打印键盘托盘:可调节以容纳不同尺寸的键盘,安全固定键盘同时允许便捷打字
为了全面评估BSK系统在AR环境下用于沉浸式分析可视化编程的性能、舒适度与实际可行性,研究设计了一套融合受控实验与模拟实地评估的混合方法用户研究体系,同时采集可量化的性能指标和真实场景下的定性观察数据。共招募20名具有编程经验的被试进行评估。
采用两阶段评估策略:
任务A(基线打字性能):在受控条件下比较站立式桌面(A1)与人体支撑键盘(A2)的文本转录表现。被试在两种条件下将一份833字符的Smalltalk代码脚本转录到AR系统中。
任务B(模拟现场场景):在移动AR工作流程中使用人体支撑键盘完成编码任务。被试需创建三个不同的可视化,在实验室内移动寻找包含缺失代码片段的标签,完成脚本、执行并在环境中定位生成的可视化。
记录被试任务完成时间和转录错误数,并分别使用量表评估被试的模拟器晕动不适、姿势不适以及系统可用性。针对任务B,使用诺达思的多视频录制软件(MediaRecorder)进行视频录制,在后续的行为分析中,使用诺达思的行为观察记录分析系统(The Observer XT)进行行为编码分析。编码姿势(站立、行走、蹲跪、坐、躺)、颈部姿势(中立、屈曲、伸展)和手部活动(自由、打字、AR手势交互)的状态事件,以及调整设备、休息等点事件。
行为观察记录分析系统 (The Observer XT)
行为观察记录分析系统 (The Observer XT)
移动打字的新可能
(一)打字性能分析
站立办公桌条件下(A1),被试完成全部代码转录的平均时间为732.2秒;使用BSK系统条件下(A2),平均耗时848.8秒,两种条件下任务完成时间无显著差异。在打字错误数指标上,A1条件下被试平均出现4个输入错误;A2时被试平均出现6.4个输入错误,BSK系统的输入错误数显著高于站立桌面场景。
此外,被试在两种条件下的打字速度区间为11.8到13.7词每分钟,整体错误率维持在2%-4%区间。模拟器不适问卷结果证实,所有被试使用BSK系统过程中没有出现任何中度以上的严重不适症状,实验过程中仅有2名被试短暂暂停约1分钟调整状态,整体系统安全性、耐受性表现良好。
这一结果表明,人体支撑键盘在AR环境中使用传统键盘进行文本输入提供了可行的解决方案。任务A中,使用人体支撑键盘的脚本转录并未显著增加任务时间。然而,错误率显著更高,这可能反映了新设备的学习曲线和初始熟悉需求。
(二)现场场景下的行为观察结果
被试平均用时607.6秒完成任务。视频分析显示:
姿势分布(图2):
站立静止:平均401.95秒 行走:平均82.45秒 蹲跪:平均51.79秒 坐在地上:平均72.55秒 躺在地上:平均71.91秒
颈部姿势(图3):大部分时间颈部保持中立(平均444.05秒),但也有相当时间颈部屈曲(平均129.32秒)和伸展(平均58.45秒)。
手部活动(图4):
自由移动:平均279.90秒 - AR手势交互:平均202.60秒
打字:平均142.95秒
点事件的频次统计结果显示,调节HoloLens头显的总频次为每人平均3.47次,远高于调节BSK系统的平均1.64次,整个实验过程中仅出现3次被试需要研究人员协助调整BSK的情况,仅有4人次出现短时间休息行为,这一结果直接证实BSK系统本身稳定性极高,佩戴后几乎不需要频繁重复调整,完全不会打断用户的创作工作流。
此外,观察结果表明,虽然站立静止是总体最常见的活动,但被试之间存在显著差异。有些人主要保持直立,而另一些人频繁在移动、蹲跪、坐甚至躺之间转换。这种策略多样性表明,被试调整姿势以保持舒适并完成任务,而不会受到重大限制。
重要的是,站立姿势伴躯干屈曲或伸展的情况很少见,表明人体支撑键盘在直立工作时支持人体工学对齐。头部朝向数据显示,大多数被试花费大量时间直视前方,进一步表明显示器和键盘设置促进了中立颈部姿势。然而,一些个体花费较长时间向下看,可能是由于在持续打字期间需要频繁在AR界面和键盘之间切换视线。
(三)主观不适与可用性评价结果
姿势不适评估显示,颈部和下背部是最常报告不适的部位,在三种条件下均获得轻度至中度评分。这反映了持续站立姿势和操作AR头显所需的头部稳定所导致的负荷。使用人体支撑键盘时,被试报告的不适分布在更多身体区域,但任务B中这种差异基本消失。在任务B中,蹲跪或弯腰接触低处标签的被试出现了膝部和踝部不适的零星报告。
系统可用性量表平均得分为74.5,超过广泛接受的68分可用性阈值。被试对人体支撑键盘的舒适度评估在多数属性上为中性到积极,认为系统在躯干上贴合良好,在运动和姿势变化期间保持稳定。
人体工学输入的设计启示
本研究通过系统设计、受控实验和用户反馈评估,首次系统探讨了人体支撑键盘在AR环境中支持沉浸式分析创作的可行性。
研究的结果表明,将熟悉的输入设备与人体工学身体支撑相结合,可以为AR环境中的沉浸式分析创作提供可行方案,平衡了表达性、移动性和人体工程学舒适度。未来研究应通过迭代设计周期、更广泛的用户群体,比如工业现场工作者和有辅助需求个体,以及纵向现场评估,进一步验证和改进系统。
参考文献
Merino, L., Juliá-Nehme, B., & Viana, S. (2026). In-Situ Immersive Analytics Authoring Through Ergonomic Keyboard Support.International Journal of Human–Computer Interaction, 1-28.







