datacanvas在交通运输业的应用
-
项目背景：
某市交通管理局每月有大概3pb的多类型数据要进行存储，同时力图打造该市的智能交通系统，缓解交通压力。交通系统面临升级改造，原有小型机和集中式数据库不能满足数据和分析日益增长的需求，如何存储海量的数据并从中获取想要的信息对交通行业提出了巨大挑战：
- 系统无法满足横向扩展要求
- 在大型智能交通应用中需要分布式数据中心
- 当前数据处理技术无法满足多样化数据处理需求
- 数据的实时统计、监控告警遭遇瓶颈
- 互动搜索响应时间长，交通监管不利
- 无法满足对大量历史数据的分析处理要求，难以预测交通和突发事件等
-
k8凯发的解决方案：
建立一个智能的数据平台，一揽子解决存储，查询和分析的需求。由统一的系统来支撑各类场景。
利用低成本存储的新平台，保存原来无法上传的各类信息，包括传感器数据，图片和视频。同时为了保证原有数据业务的平滑迁移，以及新应用的开发，需要高兼容性的sql引擎和查询能力。同时面对大数据高级分析的需求，需要一个并行处理数据的计算框架，对于在收集数据的基础上，建立各类数据的相关度联系以及机器学习建模来指导业务。
datacanvas通过低成本的hdfs存储，高ansisql兼容的超融合架构mpp引擎，实现了数据平台无缝scale-out的性能提升。为了应对各类业务场景，平台独有的基于容器技术的编排工具，使得各类业务分析通过模块化的抽象固化，做到分析流程效率的大幅度提高。从而实现在百tb量级的端到端数据平台完整k8凯发的解决方案。 -
客户价值：
通过datacanvas大数据平台k8凯发的解决方案，实现了：
- 海量数据存储：新建的分布式数据中心实现了pb级数据的海量存储，按节点收费，支持横向扩容；支持单节点20,000次并发写入，可将全市的车辆实时抓拍的数据进行快速传输并长期存储。
- 实时数据查询：hadoop mpp融合架构实现了亿条数据的秒极响应，监管全市交通状况。实时监管拥堵、易堵路段，实时掌握车辆违章记录。
- 智能数据分析：利用datacanvas平台的机器学习算法模块库，对海量的交通信息进行对比、分析和预测；自助式组建油耗模型、路段拥堵模型等，可视化呈现分析结果，使交通管制更加智能。