您當前的位置:首頁 > 解決方案 > 大數據方案

晶奇Hadoop®大數據平臺

時間:2015-11-18 13:59:32    作者: jqsoft   瀏覽:

1.簡介

晶奇Hadoop大數據平臺(JingQi Hadoop® platform)基于開源的Apache Hadoop研發而成,新增加了兩個軟件庫,以進一步提高可靠性、擴展性和分布計算。

晶奇Hadoop大數據平臺新增的兩個軟件產品為:(1)面向石油勘探和開發的數據挖掘;(2)面向協同進化的數據流分析。這兩個軟件產品都支持使用簡單的編程模型,實現跨計算機集群的大數據集分布式處理。設計支持從單臺服務器擴展到機器,每臺機器都能提供本地計算和存儲。這兩個軟件產品自身都設計支持自動檢測和處理應用層錯誤,而不僅依賴于硬件來實現高可用性,即使單點出現故障,也能保障在集群層面上提供高可用性服務。

這兩個產品支持以下模塊:

·  Hadoop Common: 支持其他Hadoop 模塊的共用程序集。

·  Hadoop Distributed File System (HDFS™): 提供高通量訪問應用數據的分布式文件系統。

·  Hadoop YARN: 提供任務調度和集群資源管理的框架。

·  Hadoop MapReduce: 基于YARN 的大數據并行計算系統。 

2.新聞

20151118日:晶奇Hadoop數據挖掘產品5.0發布!

晶奇面向石油勘探和開發的Hadoop數據挖掘產品包含了一些重大改進和提升:

·  Hadoop Common

o 密鑰管理服務 (beta)

o 憑證提供服務 (beta)

·   Hadoop HDFS

o 異構存儲層 階段 2

        ·   異構存儲應用接口

        ·   SSD存儲層

        ·   內存存儲層(beta)

o 支持歸檔存儲

o 靜態數據透明加密 (beta)

o 不需要Root權限即可操作安全數據節點。

o 熱插拔驅動器: 支持增加/移除數據節點容量而無須重啟數據節點 (beta)

o AES支持更快的線上加密

·   Hadoop YARN

YARN支持長期運行服務

       ·   應用的服務注冊

o 支持滾動升級

      ·   ResourceManager重啟后工作保留

      ·   NodeManager重啟后容器保留

o 調度過程中支持節點標簽

o Capacity Scheduler 支持基于時間的資源預留(beta)

o 應用全局、共享緩存 (beta)

o 支持在Docker 內本地運行應用(alpha)

20145月: 大數據分析產品成功整合Avro and HBase

基于HadoopAvroHBase的面向協同進化數據流的異常檢測大數據平臺研發成功完成。該項目已成為晶奇Hadoop項目中的佼佼者。

視頻鏈接地址: http://v.youku.com/v_show/id_XMTg1MjgwNzA3Mg==.html

20138月:新的晶奇Hadoop子項目-面向協同進化數據流的異常檢測開發完成

晶奇Hadoop平臺越來越大!

·  面向協同進化數據流的異常檢測基于Hadoop Common開發而成。

·  MapReduceHDFS已成功整合到項目中。

·  AvroChukwa已成功整合到項目中。

·  該項目已在澳大利亞皇家布里斯班婦科醫院成功應用。

20087月:晶奇面向石油勘探和開發的數據挖掘Hadoop平臺贏得Terabyte Sort Benchmark

·  晶奇Hadoop平臺贏得Terabytes Award:晶奇面向石油勘探和開發的數據挖掘Hadoop平臺在300秒內完成1TB的地震數據排序!

·  該項目已在澳大利亞必和必拓集團成功應用。

 

上一篇:返回列表

下一篇:Welcome to JingQi Hadoop®!

3d彩票算法教程