本發明公開了一種Internet環境下MapReduce計算方法。該方法利用Internet桌面PC的空閑計算和存儲資源來進行MapReduce計算。桌面PC以志愿者的形式加入系統成為工作節點,用戶作為Master向服務器上傳待處理的數據,服務器將Map和Reduce任務調度至工作節點上執行,待所有任務完成,最終結果自動返回給用戶。該方法在元數據管理基礎之上,采用數據驅動的方式,將任務調度轉化為數據調度,解決了節點動態易失效帶來的影響,提供了一種Internet環境下簡單有效的容錯MapReduce計算模型與方法。采用本發明,可在校園、企業、政府內利用現有桌面PC構建以私有為目的的MapReduce計算平臺來進行海量數據分析,或用于改進志愿計算系統來支持MapReduce計算模型,降低志愿計算系統應用開發的難度。
聲明:
“Internet環境下MapReduce計算方法” 該技術專利(論文)所有權利歸屬于技術(論文)所有人。僅供學習研究,如用于商業用途,請聯系該技術所有人。
我是此專利(論文)的發明人(作者)