产品概述

　　国双大数据平台是以 Hadoop 生态圈开源软件技术栈为基础，自研产品为核心，面向企业级用户提供海量数据分布式存储、计算和分析挖掘的高可靠、高性能的大数据平台。

　　国双大数据平台旨在为企业级用户提供大数据管理、数据开发以及数据运营的能力，解决数据信息壁垒问题，降低开发周期、提升开发效率，提高数据质量;平台承上启下，从数据采集到数据展示，从数据分析到共享应用得以一站式解决。

　　平台能够支撑企业整合并治理全域数据，提升跨部门的数据协同效率，协助企业在数字化转型中发挥大数据的驱动作用，深挖企业数据的核心价值，助力企业决策。



       产品功能

　　大数据管理

　　大数据管理面向平台运维人员提供集群组件管理的能力。支持自动化部署,通过向导式的图形化界面,轻松完成集群搭建。运维

　　人员通过可视化界面对集群组件的健康状态进行监控、配置告警等级、定义自动报警规则,对集群进行站式的运维监管。

　　多租户

　　资源的申请、使用、赋权,数据的釆集、存储、分析、开发等操作都是在租户的基础上实现的,通过租户的方式共享资源的分和隔离,实现平台资源利用最大化,同时也保证了数据的安全可靠,防止外泄

　　数据安全

　　对租户内各类资源实现统细粒度的数据访问控制,支持Kerberos和LDAP的方式做用户级别认证;提供安全审计功能,针对系统敏感信息的访问和操作进行记录,为用户提供事件跟踪、实时监测的能力,使数据操作行为有迹可循。

　　数据开发和任务调度

　　支持将汇聚到存储层的数据进行开发加工,为上层智能应用提供所需的数据。开发人员通过可视化开发界面,丰富的任务节点,按需进行数据计算和开发,通过拖拽的方式配置工作流依赖。灵活的调度和告警配置可以满足开发节点周期执行,提高开发效率;并在出现问题时第时间通知运维,协助管理开发过程,形成开发运维管理的闭环。

　　实时流计算

　　提供创建流计算任务、实时消费数据的能力,缩短全链路数据流时延,平摊计算成本。支持不同场景下的高吞吐和低延迟,通过xactly-once, At-least-once提升计算精准度。平台还提供了流计算任务的可视化开发和管理界面,支持SQ或其他语言开发流计算任务。

　　多维分析

　　基于OLAP技术,采用多维视图Cube来描述数据集的结构,将数据源转化为多维分析模型,支持维度、指标星型拓扑、雪花拓扑等语义,并支持计算指功能,从而提供更加灵活的模型搭建能力。适配多种类型数据源,对数据进行预聚合处理,为数据的可视化展示提供更高效的查询能力。

　　数据质量

　　提供30+套数据质量检验模板,从多个不同维度来配置数据质量稽核任务,检验数据的完整性、唯性、有效性、准确性;支持对数据质量任务的运维管理、实时监控、调庭配置以及告警方案配置,将校验结果生成为数据质量报告,并支持形成问颢库,从而监督问题数据。

　　数据服务

　　支持将企业数据以AP的形式对内对外提供数据服务能力,无需具备编码能力,只需要通过图形化界面进行配置和调试,即可满足个性化查询需求。服务涵盖了AP发布、管理、运维、运营的全生命周期管理,同时具备授权鉴权、流量控制、统计分析等能力为前台业务用户提供数据服务。