>>电子设计资源
．．>>图书馆:文章系列
. . . .>>题目:系统设计
. . . . . .>>系列:触摸触觉
在一个前一篇文章关于触觉学标准化的需要，我们回顾了不同的标准组织，它们将是触觉学标准的理想论坛。在本文中，我们将深入研究MPEG和浸入式的向SDO提出的在媒体文件中包含触觉的建议。
2020年4月，MPEG系统文件格式小组接受了Immersion提出的在ISO基础媒体文件格式(ISOBMFF)的音频/视频文件中添加触觉音轨的建议。这项建议将进入下一阶段的标准化进程。
ISOBMFF是一个基本的MPEG标准。ISO/IEC 14496第12部分)，是当今世界上大部分正在创建和使用的媒体文件的基础。所有的MP4文件(后缀为。MP4)都基于ISOBMFF。MP4文件是几乎所有数字平台上传输媒体内容的主要方式。3GPP (.3gp)和3GPP2 (.3g2)文件格式——移动电话上流行的音频/视频文件传输方式——也是ISOBMFF的扩展。
在这样一个普遍存在的标准中添加触觉功能的理由是显而易见的。触觉信号为用户提供了额外的一层娱乐和感官沉浸感，并已成为一种与触控界面相关的独立体验。为ISOBMFF提供一种标准化的机制来添加触觉轨迹，这将带来一些积极的发展:
- 内容创作者将被激励添加触觉音轨到他们的媒体文件(因为将有一个标准化的方式这样做)。
- 媒体播放器开发商将发布更新版本的播放器，使其能够在移动设备上播放这种支持触觉的文件。
- 最后，消费者将从更丰富的整体体验中受益。
我们想与您分享一些从我们的提案到MPEG的细节。如果标准化过程(刚刚开始)进展到合乎逻辑的结论，该提案将作为ISOBMFF标准的修正案发布。确切的时间表还有待确定，它取决于MPEG标准化过程中我们无法控制的几个因素。在下面的描述中，我们假设读者熟悉ISBOMFF标准中不同框类型的术语和层次结构。
在ISOBMFF中嵌入触觉轨迹的提议具有以下主要特征:
- 触觉学被视为一阶媒体类型，就像音频和视频一样。这反映了触觉不是元数据(定义为“关于其他数据的数据”)的事实，触觉轨道可以单独存在于一个ISOBMFF容器中，而不附带音频或视频数据。
- 提出了一种新的处理程序类型“hapt”，类似于音频的“sound”处理程序类型和视频音轨的“vide”处理程序类型。
- haptic音轨使用NullMediaHeader盒子——在ISOBMFF的这个层次的盒子层次结构中，真的不需要定义特定于haptic的信息。
- Haptic轨迹使用一个名为HapticSampleEntry的类型特定的样本条目，它扩展了在ISOBMFF中定义的SampleEntry类。HapticSampleEntry包含haptic轨道上的配置信息，比如文件中的内容被设计用来播放的执行器类型。它既支持振动触觉驱动器，也支持动觉驱动器，这反映了触觉轨迹可以在两种类型的驱动器上播放的事实。此外，该建议还解释了一个事实，即一个设备可能有以上一种执行器类型——这是通过在HapticSampleEntry中指定一个VibeGeneralConfig和KinestheticGeneralConfig框数组来实现的。这些盒子包含执行器特定的配置信息，如频率、电机类型、波形数据格式(所有用于振动触觉执行器)和控制频率(用于动觉执行器)。例如，如果内容打算用于单个振动触觉执行器设备(例如，基本的手机、笔记本电脑、平板电脑)，那么示例条目将有单个VibeGeneralConfig框(一个数组)。如果轨道用于多个振动触觉执行器，则样品入口将有一组VibeGeneralConfig框，每个框的频率和电机类型都不同。类似的结构可用于动觉驱动器。最后，我们可以创造一种触觉轨道，既可以在振动触觉驱动器上播放，也可以在动觉驱动器上播放。这样一个轨道的示例条目将具有VibeGeneralConfig和KinestheticGeneralConfig框的非零数组。
- 所有这些都是独立于实际的信号编码，它是由特定的触觉编解码器处理的。每个haptic编解码器将扩展HapticSampleEntry类，并包含特定于编解码器的配置信息。
通用和编解码配置
在本文中，我们不会详细讨论提案中定义的c++语言结构。但是，有必要强调一下所建议的一般(非编解码器)和特定编解码器配置。这些配置将确保带有触觉音轨的媒体文件可以在各种各样的设备上播放，并考虑到触觉工业中使用(或可能使用)的不同触觉编解码器。
表1显示建议中支持的不同执行器配置(电机类型)。请注意，“高清电机”包括音圈电机和宽带lra。
表2显示波形数据格式(或端点配置)被编解码器用来解释文件中的触觉媒体。值得注意的是，根据执行器类型的不同，相同的编解码器可以以不同的方式解释触觉媒体。这个配置可以帮助设备上的播放器适当地配置编解码器。
在两个表中，“Reserved”值范围分别为新的执行器电机和新的端点配置提供了扩展空间。
该提案还引入了四种haptic编解码器及其相关的FourCC编码，作为一个信息附件，因为编解码器不在这个特定MPEG子组的权限范围内。然而，编解码器信息显示了触觉音轨将如何与它们交互。表3概述这些编解码器。
“VibeGeneralConfig”和“KinestheticGeneralConfig”列的值的关键如下:
- 强制性的:触觉编码需要这种执行器类型。
- 可选:触觉编码可以使用这种驱动器类型。
- N / A:触觉编码不会在这种执行器类型上播放。
注意:“hstr”编码格式是Immersion的专有格式。讨论正在进行，以确定在MPEG中标准化它的可行性。有关正在进行的IEEE触觉编解码器标准的更多信息可以在此找到在这里．枚举效果编解码器是基于midi的，最适合用于添加了来自预存储效果表的触觉效果的媒体流。audio -to- vibe编解码器是一种自动音频到振动触觉的转换算法，它检查音频轨道，并根据音频特性的变化添加触觉效果。
信息用例
标准化建议还包括以下用例，以说明在真实世界中如何向ISOBMFF添加触觉轨迹:
触觉编码流媒体文件播放用例
- 文件与两个触觉轨道(都振动触觉;1个SD驱动器，1个HD驱动器)
- 专为单致动器设备
- 与音频/视频数据交织的触觉媒体
触觉编码流游戏控制器用例
- 文件有三个触觉轨道(一个振动触觉轨道，两个动觉轨道)
- 专为四致动器设备设计(两个振动触觉致动器- sd和hd -和两个动觉致动器)
- 动觉驱动器是游戏控制器上的左右触发器
- 没有音频/视频数据
枚举效应
- 从预先存储的触觉效果表中衍生出触觉效果的媒体流
- 触觉数据的格式就像MIDI;一个MThd块后面跟着一个或多个MTrk块
- 单个效果可以作为PCM数据存储在MIDI DLS补丁中
跟踪的实现
布丁的检验是在吃的过程中，所以我们目前正在实施这个建议，以确保它的工作。他们的目标是在7月初的下一次MPEG会议之前，向iOS和Android平台上选定的用户发布一款应用程序。这款应用将展示嵌入触觉音轨的MP4文件如何在移动设备上播放，以增强整体用户体验。该应用程序将有能力关闭触觉效果，以进一步强调播放媒体文件之间的差别，有和没有触觉。当它发生时，请继续关注有关这个主题的文章。
总结和下一步
ISOBMFF是一个基本的MPEG标准，它是当今世界上绝大多数媒体文件的基础。我们已经迈出了第一步，以一种标准化的方式向基于isobmff的文件添加触觉轨迹。一旦该提议被采纳到ISOBMFF标准中，我们预计他们将为触觉工业的一系列积极发展打开大门。
例如，内容创造者将被鼓励在他们的媒体文件中添加触觉音轨(因为这是一种标准化的方法)，媒体播放器开发者将发布他们的播放器的更新版本，使其能够在移动设备上播放这些触觉支持的文件。用户将能够享受由触觉技术提供的额外的娱乐和感官沉浸。
Yeshwant Muthusamy是标准部门的高级主管浸没式集团。
