您将学到什么：
- Why occupancy status technology is critical to the future of vehicle safety.
- 计算机视觉中的机器学习和神经处理的进步如何将OS的质量和性能提高到新级别。
- 单相机解决方案如何在自定义卷积神经网络和RGB-IR/IR传感器上运行，启用同时驱动器和乘客传感
居住地位（OS）技术是车辆安全系统的未来。已经是许多商业舰队的一部分，在检测儿童等乘客中使用操作系统是进入新边界的逻辑下一步。
实际上，它已经获得了监管牵引力和整个行业的采用。EURO NCAP（新汽车评估计划）将激励2022年提供该系统的汽车制造商，汽车制造商联盟成员和全球汽车制造商协会愿意在2025年之前对占用率进行监控。
推动这种改变是什么?为什么主人的地位such a critical aspect to the future of mobility? The simple answer is the emergence of autonomous vehicles and increasing automation in non-autonomous vehicles. Detection technology like OS is supportive in its ability to identify everything from occupant behavior and state to emergencies, attentiveness, and more.
在这里停下来，以反思您的第一辆车的高级技术，以及您在手套箱中保存的铅笔量表以进行轮胎气压。
关键是技术有助于使车辆行驶更安全，并将随着需求的不断变化而继续发展。因此，OS的应用虽然与旧的轮胎空气压力表相距甚远，但它代表了一个未来，其中包括宠物在内的乘客安全，包括更多的自动化，以及自动驱动和自动的经验。Xperi’s出于以下原因，开发并设计了DTS AutoSense以做到这一点：
- 在不断变化的环境中的安全：需要在任何时候处理各种变化，即客机控制，自主环境，部分自治，紧急乘客控制等。为此，它应该概述完整的机舱内饰，并具有框架准确性分析的能力。
- Occupant positioning:While we can acknowledge that passengersshould坐着，以安全的方式行事，他们通常不会，尤其是孩子。操作系统技术可以分析和发出警告，可以根据每个乘客姿势和暴露发生事故来部署安全气囊。这项技术可以以与乘客ID对齐的可控方式部署安全气囊，还提供定制的旅行体验（特定于负载的设置，温度，照明，声音等）。
- Occupancy behavior:In a more autonomous future, safety regulation organizations will need to understand far more than simple seat occupancy. By developing a rear-view mirror camera stream, analyzed by various neural-network-based algorithms, we have enabled a holistic in-cabin sensing system that allows for more behavioral context that can be scored by any regulatory institute.
- Occupancy experience:这不仅与安全有关。OS监视将通过音乐，照明方案，座椅调整等的个性化来实现更好的旅程体验，所有这些都是基于乘客ID/位置/行为/活动的所有这些。想象一下，根据您的心情为您选择播放列表，如通过活动和分析所检测到的。
实现这一点是一个重大挑战。当时的行业情绪倾向于不可能从单个相机中同时进行驾驶员和乘客的感觉。最大的确定问题是后视镜角度：安装在该位置，相机并未正面面对驾驶员，这直接影响了驾驶员感应技术的功效。
How the Technology was Developed
DTS AutoSense占用监测系统（OMS）背后的核心技术利用了计算机视觉的机器学习和神经处理的进步，将质量和性能提高到了新的水平。通过仔细使用数据，KPI进行检测，分类和识别达到上层90％。
The availability of relevant data with high-quality annotations is key to performance, which is why DTS invested heavily in all aspects of data infrastructure, from acquisition and generation, validation, evaluation, storage, retrieval, and compute power to a skilled workforce dedicated to using and managing it. With the stream of data secured, DTS AutoSense leverages AI advances as they were prototyped to continue to innovate development.
结果？我们的操作系统解决方案是完全神经的，基于自定义卷积神经网络（CNN），该神经网络（CNN）结合了级联的探测器，用于身体，面部和通用物体，以生成胶体内环境并对其作用。我们还部署了一个复杂的镜头失真校正过程，然后使用乘员的卡宾3D空间定位进行定制的图像处理序列。
该解决方案是相机不可知论的，因此我们有能力在任何现有的木制内空间中校正任何相机和镜头系统的进纸。该溶液在RGB-IR（红绿蓝色红外线）/IR传感器上运行，无论是在单个RGB流，累积的RGB-IR还是仅在纯红色IR上。
The OS solution runs in real-time in any vehicle cabin and can offer feedback and/or directly report on passenger status. If a seat in the vehicle is occupied, this position will be detected, recorded, reported, and actualized in real-time.
发展挑战
开发新生的技术并创建新颖的，未定义的用例，向我们的团队带来了一些主要挑战。当我们构建了启用关键功能所需的核心技术之一时，我们遇到了不可预见的副作用。这些中的每一个都必须解决，解决，分类和分类以进行前进。
最终，它要求新的精通水平，包括开发新的采集系统，数据标记，其他符号要求和过程以及我们的神经培训方法的完整完善。这是一些挑战以及我们如何解决这些挑战：
保持驾驶员监控系统（DMS）的精度与现有解决方案一样高
有些人可能会假设单摄像机解决方案（从后视镜运行DMS和OMS）与仅额叶摄像头只能影响准确性。但是，后视镜可以提供更广泛的环境，这意味着通过分析驾驶员的扩展景观，即身体姿势分析，行为，活动检测等，可以实现相同甚至更高的精度。
后座阻塞率
另一个巨大的挑战涉及处理后座乘客的阻塞率（前排座椅总是在一定程度上阻塞后排受试者）。我们通过对乘客的活动和行为进行时间分析来克服这些问题。该分析创建了一种复杂的算法，该算法在一段时间内跟踪活动（睡觉，说话，使用小工具，身体移动，姿势，出现/不赞成对象等），为每个乘员独立，然后保存其历史。
基于此信息，我们计算对象的概率（是否被遮挡）以及由此产生的特定行为（是否可观察到）。有效的决定/警告仅在分析这些活动和整体行为的历史之后才发出。
Detection of occupants
检测到卡宾内空间外的乘员提出了一个独特的挑战。我们的OMS仅通过计算机视觉和RGB-IR或IR传感器启用了卡宾的占用率。但是，我们需要超越当前市场座椅压力传感器的局限性，以便该系统始终可以检测到汽车中的人数及其位置。
该检测技术的副作用是它在外部和内部检测到了汽车，从而影响了解决方案的有效性。因此，我们提出了特定的几何计算技术，仅检测机舱中的内容。
Overall, as we navigated through these challenges, we developed specific data-acquisition scenarios and perfected a custom infrastructure that was able to design solutions for issues particular to this technology.
如何进行测试
The complexity of these challenges required rigorous analysis and testing, including evaluation contexts, specific scenarios, poses behaviors, and occlusions. We addressed a variety of factors, from cabin size and form, to day vs. night light, to high occlusion rates. We then collected real traveling scenarios from different vehicles with a variety of passengers (up to five), and at multiple traveling lengths and landscapes.
Sensor and image quality were critically important. We had to tackle problems caused mainly by noise, overexposure (extreme sunlight), underexposure (low-light condition) issues caused by the mixed IR and visible domains, fast ambient light transitions (entering a tunnel), shadows in-cabin and on passengers, as well as varying ambient lighting, color, and intensity.
在这些不同的照明场景中，乘客从事各种活动和姿势，这些活动和姿势通过特定的硬件系统验证/注释，并由熟练的数据团队进一步分析。
概括
Overall, it took the team years of ideation, development, testing, and more testing to create a truly accurate OS system for passenger vehicles. We’re proud of the work we’ve done, excited to see how it’s applied in the future, and how it evolves as vehicle users’ needs multiply and change.
Clearly, the number of in-cabin features provided by car makers will increase, and, as such, they will need to have a corresponding number of safety elements and use cases—that will be critical. DTS AutoSense is designed, developed, tested, and ready for the global market challenge.
