datacanvas在移动互联网行业的应用之二
-
项目背景：
在互联网/移动互联网、物联网等应用场景中，个性化服务、用户体验提升、智能分析、事中决策等复杂的业务需求对大数据处理技术提出了更高的要求。为满足这些需求，大数据处理系统必须在毫秒级甚至微秒级的时间内返回处理结果。这样的高并发、大数据、高实时应用需求给大数据处理系统提出了严峻的挑战。因此，构建具有低迟滞(在1min内甄别突发风险)、高实时(100ms内返回处理结果)、长周期(可处理长达10年以上的历史周期数据)以及支持高复杂度规则(如方差、标准差、k阶中心矩、最大连续统计等)等特性的流式大数据系统，已成为当前互联网企业获取竞争优势的重要手段和途径。
-
k8凯发的解决方案：
九章云极datacanvas大数据技术为xx公司提供的流式大数据实时处理平台建设方案，通过其提供的海量数据集的实时处理、规则匹配、数据保序、数据追补等特性可以有效支撑公司的各种实时、准实时业务场景。该方案主要包括如下几个子系统的建设：
- 在线实时流处理系统：该子系统以核心交易数据为载体，以流计算框架为核心，提供报文预处理、在线指标计算、规则处理和输出联动等功能。
- 批量报文处理系统：该子系统以历史报文和核心报文为载体，以spark为计算框架提供指标分析、交易分析、预警分析和报文分析等功能。
- 历史库管理子系统：该子系统基于spark和elasticsearch提供报文、日志、交易、指标、预警等数据的分析和检索功能。
- 大数据基础平台：该平台是实现数据的汇聚、存储和计算的基础架构。
- 数据交换平台：该平台主要完成数据文件的预加工以及各系统间的数据流转和交互。
- 数据应用分析平台：该平台基于异常检测、深度学习等数据分析方法实现对运营数据的分析和挖掘能力。
- 调度平台：该平台主要实现调度和监控功能，完成系统的批量任务调度与监控。
-
客户价值：
通过构建流式大数据实时处理平台，可以为客户创造如下价值：
- 复杂指标的增量计算：支持多种时间窗口下计数、求和、平均、最大、最小、方差、标准差、k阶中心矩、递增/递减、最大连续递增/递减、唯一性判别、采集、过滤等基本指标和复杂指标的增量计算，为复杂业务逻辑的实现提供保障。
- 基于分布式内存的并行计算：提供一种细粒度的基于进度实时感知的融合存储策略，优化和提升融合系统的内存使用效率。
- 多尺度时间窗口漂移的动态数据处理：支持多种时间窗口尺度(数秒到数十年)、多种窗口漂移方式(数据驱动、系统时钟驱动)的动态数据实时处理方法，以快速响应来自业务系统的即席查询请求。
- 高可用、高可扩展的内存计算：基于内存介质大大提升数据分析及处理能力，通过分布式多副本一致性协议以及自平衡的智能分区算法，进一步提升流处理集群的可用性以及可扩展性。
- 复杂事件处理(complexeventprocessing)：复杂事件处理，可以处理一组时序上的复杂模式（pattern）。例如，”30分钟内在境内授权次数在2次，且为无密消费，mcc代码为0000,且累计交易金额大于或等于人民币1000元”。这种事件序列，就可以基于cep的模式来定义、处理。
- 基于机器学习、深度学习的规则处理：规则处理平台，可以将处理逻辑扩展到更复杂的处理逻辑，例如基于机器学习算法、深度学习模型的决策逻辑。