datacanvas在移动互联网行业的应用之一
-
项目背景：
随着旅游垂直搜索、o2o的兴起，旅游行业已经迎来一系列根本性的改变，用户的购买行为迅速线上化，对it系统提出了更高的要求。国内某知名在线旅游电商从自身市场定位出发，决定建设新一代数据平台，通过数据了解客户，提升业务能力和效率。
该旅游电商现有pc网页，移动网页，ios客户端和android客户端四大类客户接入手段：- 这些客户端的使用者，不论是已有客户还是潜在客户，都需要对其行为，操作以及关注点做详尽的跟踪记录。
- 在记录的基础上，通过多元化的分析手段来了解客户需求。希望通过交互式查询和接口的方式对过去三年的全数据做汇聚、分析和挖掘。
- 用户平均每天的行为数据量约10g，平均交互式查询的数据量在100g左右，覆盖三个月左右的数据关联分析。
- 对三年的数据进行全量分析，单个查询的数据扫描量可达1tb至10tb。
- 其应用场景中主要覆盖olap的分析，对高并发读写有一定要求。
-
k8凯发的解决方案：
datacanvas数据平台以hadoop集群为依托，实现海量数据的存储和无缝扩容，通过内置的mpp分布式架构数据库，把需要高并发读的数据导入到多节点的分布式数据库，实现sql查询兼容的高并发读场景。同时，平台提供api接口支持单节点20k事件以上的高并发写。为以后应用于非用户行为分析的其他数据应用打下基础。采用列存储ssd提速以及预处理计算等措施优化大数据量的查询时间。
同时，datacanvas专门针对该电商定制开发了分析模块和模板，通过拖拽模块和运行模板即可实现对全量客户数据的个性分析，深刻挖掘客户需求的同时提升团队开发效率，降低大数据使用门槛。 -
客户价值：
通过datacanvas平台的数据收集工具，将客户详细信息进行了收集、分类，实现了100g数据稳定和高效的存储：
- 对于100g左右数量级数据的查询可达秒极响应。
- it和业务人员可以通过sql查询检索系统中的各类数据表，实现了自助式数据的导入导出。
- 通过restapi接口，该旅游电商的开发人员实施了二次开发，增加了专题推送等许多应用。
- 通过定制的模块和模板运行的分析结果，对线上资源进行调整，将网站转换率提高了4.6%。