面向周期性工业时序数据的流式清洗系统
作者:
作者单位:

1.同济大学 机械与能源工程学院,上海 201804;2.同济大学 浙江学院,浙江 嘉兴 314051;3.上海地铁盾构设备工程有限公司,上海 200233

作者简介:

王 耀,博士生,主要研究方向为工业大数据、智能盾构系统。E-mail: 1910425@tongji.edu.cn

通讯作者:

赵 炯,副教授,博士生导师,工学博士,主要研究方向为远程设备智能维护、计算机网络。 E-mail: Jiong.Zhao@tongji.edu.cn

中图分类号:

TP391

基金项目:

上海申通地铁集团有限公司科研计划(JS-KY21R003-3)


Streaming Cleaning System for Periodic Industrial Time Series Data
Author:
Affiliation:

1.College of Mechanical Engineering, Tongji University, Shanghai 201804, China;2.Tongji Zhejiang College, Zhejiang Jiaxing 314051, China;3.Shanghai Metro Shield Machine Equipment & Engineering Co.Ltd, Shanghai 200233, China

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为了高效清洗具有时序性、周期性等特点的工业数据,首先利用分布式组件设计了一套流式清洗系统,系统以Mosquitto作为采集数据的汇集中心,以Flume为连接组件,以Kafka为缓冲组件,对接数据清洗组件,使系统具有高吞吐、大缓冲等优势。然后基于速度约束模型,设计了一种周期性数据清洗算法,综合工业数据的时序性、周期性、物理意义等特性,在原有速度约束算法基础上增加周期性检测和数据切片机制,以解决速度约束算法处理周期性数据的失真问题,提高可用度。最后文中以盾构掘进数据集为样本,验证了系统和算法的有效性,以及改进算法的适用性。

    Abstract:

    To efficiently clean industrial time series with the characteristics of periodicity, a streaming data cleaning system was first designed using distributed components. The system employs Mosquitto for data gathering, Flume for connection, and Kafka for the buffer, which provides benefits of high throughput and a large buffer. The data cleaning component serves as the core of the system. Then, a periodic time series cleaning algorithm was proposed based on a constraint model. Integrating the characteristics of temporality, periodicity, and physical meaning, the methods of periodic detection and data slicing were added to the original speed constraint algorithm, so as to solve the distortion problem of the original algorithm and improve the availability to deal with periodic data. Finally, the effectiveness of the system and the improved algorithm was verified using a tunnel boring machine data set as a case study.

    参考文献
    相似文献
    引证文献
引用本文

王耀,赵炯,周奇才,熊肖磊,陈传林,张恒.面向周期性工业时序数据的流式清洗系统[J].同济大学学报(自然科学版),2024,52(3):462~471

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-05-12
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-04-10
  • 出版日期: