实时数据存储

在众多工业领域中,大数据的重要性日益凸显。许多应用已经从不断增长的数据量中受益,有的甚至因之而大获成功。特别是在测量与测试技术等领域,大量的数据被有效利用来生成准确的结果和评估。

除了数据采集(例如来自工业相机的数据)之外,数据存储也是高效利用这些数据的关键环节。为此,数据集不仅需要在高吞吐率下无损地写入存储介质,往往还需要以相同的速度被检索。基于此,Kithara在Storage Module这一领域的发展重点特别放在实时数据存储上,以确保它们能在高要求项目中得到有效实施。

Storage Module支持通过NVMe接口的SSD进行实时数据存储。这样一来,数据可以在持续运行中以每秒数GB的速度进行写入和读取。通过UDF(通用磁盘格式),还提供了一个高效的文件系统,使得包写入得以最优利用。

通过RAID(独立磁盘冗余阵列),在已经通过互联多块SSD之后达到的很高的吞吐率还能进一步提升。如此一来,数据速率可通过所使用的SSD数量倍增(RAID 0模式下),速度可达数十GB/s的范围。借助Kithara RealTime Suite,读写访问依然在实时环境中处理。

为了高效存储数据集,提供了与MDF(测量数据格式)的实时连接。得益于Kithara实时环境内对MDF 4.2的支持,大量复杂的层次化结构测量数据能够即刻存储并访问。利用实时功能,无损捕获的原始测量数据作为MDF文件供后续使用。MDF已成为测量任务的实际标准,尤其在汽车行业最为突出,其特点在于对采集数据的快速且节省空间的存储。该格式还包括高效排序和压缩数据集的强大功能。

此外,还支持Wireshark兼容的文件格式PCAPng。结合实时能力,可在网络中直接捕获并评估数据包。这意味着免费且广受欢迎的Wireshark可作为存储数据后续分析的便利工具。


模块

使用Kithara RealTime Suite的模块化系统进行实时数据存储 由以下部分组成:

Storage Module

SSD 硬盘上的实时数据存储

  • 普通
  • 特征
  • 硬件支持
  • 扩展

存储模块通过SSD引入具有最新容量的实时数据存储。这样,通过NVMe接口,可以以超过2 Gbyte/s的读写速度写入和读取大量数据。 UDF作为文件系统提供,也允许数据包写入。

最多一个存储设备,以上需要Storage Device Extension。

  • 通过具有最新容量的NVMe SSD实时存储数据
  • 高速读写速度超过2 Gbyte/s
  • UDF数据系统
  • 需要 RealTime Tasking Module

结合Storage Module,所有符合NVMe 1.0至1.4规范的存储设备均可按需使用。已测试设备包括:

  • Intel NVMe SSD P3700/P3600/P3520/750 Series
  • Intel NVMe SSD DC P3520 Series
  • Intel NVMe SSD DC P4511 Series
  • Intel NVMe SSD 600p Series
  • Samsung NVMe SSD 950 Series
  • Samsung NVMe SSD 960 Series
  • Samsung NVMe SSD 970 Series
  • Samsung NVMe SSD 980 Series
  • Samsung NVMe SSD 980 PRO Series
  • Corsair NVMe SSD MP510 Force Series
  • HGST NVMe SSD Ultrastar SN200/SN260 Series
  • Micron NVMe SSD 9300 MAX
  • Seagate NVMe FireCuda 530
  • Toshiba NVMe SSD XG6
  • VirtualBox NVMe disk

Storage Device Extension

使用附加存储设备的扩展

  • 扩展级别:最多 4
  • 无限级别:无限制

Storage RAID扩展

通过 RAID 0 组中的多个 NVMe SSD 进行实时数据存储,成倍的存储容量和吞吐率。

PCAPng Module

PCAPng格式的实时数据存储

  • 普通
  • 特征

PCAPng模块(PCAP Next Generation)允许以PCAPng格式实时存储复杂的分层结构测量数据。下一代PCAP是Wireshark支持的数据格式,用于捕获网络中的数据包。 这样,Wireshark可用于以后对存储的测量数据进行分析。

  • PCAPng格式的实时数据存储
  • Wireshark用于读取存储的数据集,例如测量数据甚至图像数据
  • 需要 Storage Module

MDF Module

MDF的实时数据储存

  • 普通
  • 特征

MDF模块允许以测量数据格式实现复杂分层结构测量数据的实时数据存储。MDF 4.2是ASAM提供的二进制文件格式,用于评估或长期存储记录和计算的数据集。文件大小仅取决于使用的硬件(意味着文件大小高达TB)。

  • MDF中的实时数据存储
  • 支持MDF 4.2,并且向下兼容早期版本
  • 写入文件的大小几乎没有限制(264字节)
  • 存储来自CAN,LIN,FlexRay和汽车以太网的数据
  • 需要 Storage Module