曾任Intel大数据高级架构师,负责Hadoop/Spark生态开源工作,专注于分布式计算、机器学习模型与优化算法等领域,曾负责语音识别、图形图像处理、分布式机器学习算法研发及AI应用系统等项目。目前负责甜橙金融大数据和AI体系建设。
曾任Intel大数据高级架构师,负责Hadoop/Spark生态开源工作,专注于分布式计算、机器学习模型与优化算法等领域,曾负责语音识别、图形图像处理、分布式机器学习算法研发及AI应用系统等项目。目前负责甜橙金融大数据和AI体系建设。
经过几年的迅猛发展,甜橙金融注册用户突破5亿,月均活跃3000多万用户,年交易额超1, 700亿。旗下拥有翼支付、红包套餐、甜橙理财、橙分期、甜橙保险、甜橙国际、甜橙信用等业务。业务的增长带来了海量的数据,也随即为大数据平台带来了严峻的挑战。
甜橙金融大数据经历了从TD到Spark的迁移;自助BI分析平台开发建设,高效支撑业务部门数据提取,数据下发及长短时,交互式查询需求;数据科学平台研发,真正做到“平民化”机器学习,以最低门槛赋能业务人员进行业务模型开发与应用;将流计算应用于诸如实时业务监控,实时交易风控监测等场景并通过优化提升10倍性能,利用复杂网络进行精准营销及团体反欺诈等。此次分享将聚焦我们在平台建设规划,架构选型及实践中碰到的问题并探讨诸如集群规划建设,作业调度优化,权限中心建设,标签体系构建及AI算法模型落地等方面的问题。
传统互联网企业如何进行企业大数据体系建设,包括: