背景

　　过去十年中无论是放眼中国还是世界，都可以发现互联网行业经历了快速地扩展与发展。在互联网/移动互联网、物联网等应用场景中，个性化服务越来越多、用户体验要求越来越高、智能分析越来越精确，这些业务需求对大数据处理技术提出了更高的要求。

　　挑战

　　为满足这些需求，大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。这样的高并发、大数据、高实时应用需求给大数据处理系统提出了严峻的挑战。因此，构建具有低迟滞(在1 min内甄别突发风险)、高实时(100 ms内返回处理结果)、长周期(可处理长达10年以上的历史周期数据)以及支持高复杂度规则(如方差、标准差、K阶中心矩、最大连续统计等)等特性的流式大数据系统，已成为当前互联网企业获取竞争优势的重要手段和途径。

　　方案

　　九章云极DataCanvas大数据技术提供了流式大数据实时处理建设方案，通过其提供的海量数据集的实时处理、规则匹配、数据保序、数据追补等特性可以有效支撑公司的各种实时、准实时业务场景。

典型应用场景

　　在线实时流处理

　　以核心交易数据为载体，以流计算框架为核心，实现报文预处理、在线指标计算、规则处理和输出联动。

　　批量报文处理

　　以历史报文和核心报文为载体，以Spark为计算框架完成指标分析、交易分析、预警分析和报文分析。

　　历史库管理

　　基于Spark和ElasticSearch实现报文、日志、交易、指标、预警等数据的分析和检索。数据应用分析：基于异常检测、深度学习等数据分析方法实现对运营数据的分析和挖掘。