最近，金山軟件MapReduce（KMR）與英特爾合作推出。KMR是一個基于Intel到Intel處理器E5v4系列硬件平臺的可擴展通用數據計算和分析平臺。基于ApacheHadoop和ApacheSpark，通過自動調度靈活計算服務（KEC），幫助企業用戶快速構建分布式數據分析系統。金山云的發展大致可分為三個階段：云計算、大數據和人工智能。換言之，云計算是以iaas和虛擬化技術為核心支持，使企業把業務放在云上，降低部署成本，加快企業業務的發展。接下來，云中會生成大量數據，因此我們必須能夠使用這些數據來驅動企業做出決策。此時，我們需要以Hadoop為代表的大數據處理技術。第三步，其實是人工智能，比如人臉識別，這本身就是一個很高的性能和規模要求的行業，自然為云，所以金山之后的云將重點放在布局上。為了實現這一目標，我們依靠金山云高性能異構計算集群的機器學習/深度學習任務托管平臺——金山云機器學習（KML），將Intel等合作伙伴的技術集成在一起。會議上，金山云達數據與人工智能技術總監張東進從成本、效率、性能和安全四個方面闡述了KML的價值。在成本方面，平臺根據實際運行時間收費，有助于企業節約系統開發和維護成本。在效率方面，這是一個全功能的深度學習集成環境，包括TensorFlow和IntelBigDL框架。由于它是一個全過程的平臺，從整個物料預處理、物料存儲、物料培訓、評估、在線預測等方面提供了完整的支持。在安全性方面，人工智能的核心不是算法或數據。KML可以提供企業級的數據加密和企業級的HPC集群，保證數據安全。在性能方面，底層是基于成熟的異構計算集群，包括Intel的高性能E5系列CPU，以及10000 Mbp網卡和Intel SSD技術。至于英特爾，技術專家也表示，金山云一直努力合作的部分是端到端、基于云的大數據解決方案。以最典型的kmr計算為例，數據是存儲在塊中還是存儲在對象中？這其實是一種不同的配置，比如用戶想要節約成本，想要最低的成本，都是批量處理的，這時可以把所有的數據放在底層的對象存儲中，用ks3作為對象存儲，這樣在計算時，spark直接從對象存儲中調用數據表。計算。同樣，如果我們想保證效率，計算的實時性要求也很高。此時，我們可以在內存中構建一個內存文件系統，現在稱為alluxio，它將所有熱數據緩存在內存中。我們可以直接使用上面的kml或spark來實現內存計算，以確保實時查詢和實時計算。因此，英特爾與金山云的合作目標是優化每一個模塊，根據云的特點，結合大數據的特點，把雙方結合起來。

« “問卷網絡”用戶突破300萬發布CEM管理系統作為行業解決方案 | Airbnb已暴露于連續的“房屋破壞”：沒有門檻導致水土適應 »