本發明公開了一種基于storm的鐵路地質災害監測大數據預處理方法及系統,包括:基于開源流計算storm框架為每個監測點的每個傳感器數據提供并行的子計算模塊,在每個子計算模塊中實現鐵路地質災害監測大數據ETL處理,實現對不同監測點的多種傳感器數據的實時并行預處理,有效提高數據處理效率、提高數據清洗質量;有效解決傳統方法串行處理執行效率不高、不能滿足監測大數據的處理需求的問題,能夠滿足鐵路地質災害監測數據預處理的實時性、時效性、高精度等要求,適用于復雜鐵路地質災害監測大數據實時分析與預警應用場景;同時,本發明所提供的基于storm的ELT處理方法同樣也適用于其它存在多個工程監測點、多種監測數據的復雜工程。
聲明:
“基于storm的鐵路地質災害監測大數據預處理方法及系統” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)