假期刚过，易鑫集团产品部经理杨哲一大早下坐在电脑前，正在整理好十一期间的运营数据。各条事业线、上百个产品、有所不同渠道，另外一些不重要的测试期产品必须呈更多细节。这个工作量，以往不需要两个数据分析团队花废一整天的时间才能结束，而在易鑫智能数据仓库（以下简称“智能数仓”）的支持下，只要眨眼间30几分钟。“智能数仓”的作用不但在修为提升数据分析的效率。作为一家专业的汽车金融交易平台，易鑫集团累计实现程序的汽车金融交易量已最多200万台，是数十家银行等金融机构的合作伙伴。在平台纷繁芜杂忙碌的日常运营中，“智能数仓”的存在宛如“核心大脑”，为多业务体系稳定啊高效安全的运行需要提供了最强有力的科技保障。从“散装”数据，到自建“智能数仓”徐飞是易鑫“智能数仓”项目的第一位员工。去岁的易鑫，还就没三个能够意义上的“数据仓库”，数千业务数据被“散装”在几十个互不气息相通的业务操作系统中，没有办法实际手工报表导入信息。数据标准不统一，靠“手工”管理的表格极易直接出现错漏，极为严重制约了业务的一系列发展。才是国内首批从事行业大数据平台建设、运用研发的专业人员，徐飞不光参加过多家大型互联网企业的数据中心最终形成，有一段不短的创业经历，好处过不少大中小型互联网公司最终形成相当于中心数据仓库，这也让他在自建易鑫“智能数仓”的工作中，能具体更三连射的设计和前瞻性的战略布局。“和互联网公司四面八方海量用户的行为数据完全不同，易鑫是以业务数据，对数据平台的安全性、稳定性和数据精准度、和用易用性要求更高；同样，公司多业务并行，数据延伸到多个系统、链条拉得很短，口径不统一教材、标准不兼容性问题，第三方商业数据库很难彻底满足需要；才是一家平台化发展的企业，系统可以必须具备接受多项目运行的复杂运算和无限容量扩展的能力，以满足伴随着业务增涨、未来数据处理量十几倍、哪怕上百倍再增长的要求。”徐飞说：“综合考察某些商业数据库的方案，也可以参考了互联网企业经验，我们突然发现自建数仓是最‘慢’、最‘挪动’，但也最‘功底’的解决方案。”上图：易鑫“智能数仓”团队在工作中形成完整探索业务的“核心大脑”同一团队的老秦曾参加过新浪等互联网公司的数据仓库建设。在他眼中，易鑫自建“智能数仓”，大概要具备什么三方面能力：首先，有统一教材的输入输出标准，都能够意见海量藏书多源异构数据的灵活存储和又高效计算；其次，能够构建体系横贯多个业务系统的通用数据标准，利用对跨平台数据的比较有效组织和全线贯通；第三，必须具备加工数据产品和提供数据服务的能力，有支持统计、分析、疯狂挖掘等的中台操作模块，是可以基于组件SLA标准对外很稳定输出。是为解决存储和扩容问题，团队用互联网公司标准，搭建中了实现Hadoop框架的分布式计算存储平台，辅以领域内先到的Flink/Spark实时计算引擎，成立起真包含100多个节点的服务器布局，让系统是可以无尽的快速扩容的同时，还具高了大批量的离线模式数据处理及“秒级”计算能力。然后，系统破霸体易鑫近百个系统中的源数据，并并且国家公务员考试综合教材“刷洗”，再依据什么业务逻辑将数据通过“业务对象”、“业务周期”、“用户”等完全不同主题模型化，进行整理归类的存储。“竟像把完全不同工厂生产的衣物鞋帽，明确的上衣、下装、鞋袜、配件等打上分类标签，或者遵循男人、女人、小孩等适用场景分到不同仓库中，让数据井然有序。”老秦讲解说。“中地不难的，是要如何将分属不同系统中的数据，原属到统一的标准口径下。”充当“智能数仓”核心数据工程师的马维直言不讳，来易鑫之后，自己从未会如此贴紧过业务：“互联网公司的数据，也是IP、打开浏览器等定义清晰的字段。但在易鑫，各个汽车金融业务之间并没有百分百的对应关系，每当业务系统又出现一个新字段，都要新的定义。”她举些例子说，例如客户流失率，易鑫风控审核的28级漏斗是一个让其啊,设计的业务流程，没法从历史数据库中可以找到准匹配的字段。系统遵循自定义的内容能提供了客户流失数据，很快被业务部门突然发现不条件符合常理。在“智能数仓”技术团队和业务端反复反复对比数据源后，结果可以找到了原因，随后又从源头恢复定义数据指标，这才得出了比较合理结果。“因为就没历史可以按照，数据指标不是那么容易最多定义得更加准，我们是需要大量的数据做修改密保。这在小型汽车金融企业是没能能做到的。”马维说。目前，易鑫“智能数仓”一天能接收并一次性处理不知从何而来近百个业务系统的太约1.5TB数据，数据并行达到1万个计算任务；功能高效维度的数据，是可以是从手机、PC端动态实时可以展示，或一次性处理为既定计划指标和数据包，定期自查发送到二十多个业务端，以接受公司各个层面的业务运作，曾经的不折不扣的“核心大脑”。上图：易鑫“智能数仓”团队在再讨论问题从数据平台到数据服务中台福珍是易鑫资产管理部经理，必须以日为单位统计资产质量情况。以前她只能手工表格的传递信息，现在再在系统中手指一点，“智能数仓”中的BI模块就能听从她去设置的规则，时刻充分展现信息汇总结果。这一切得益于“智能数仓”开发的数据中台服务。为行最简形矩阵业务部门对数据的使用要求，目前“智能数仓”需要提供了三种形式的数据服务。按照易鑫的“通天晓”服务端，用户可以清晰的看到上百种不同维度、不同口径的数据，行最简形矩阵单独的业务部门对定做数据的要求；而在BI平台能提供的数据中台，福珍这样的业务人员可依据是需要可以自定义数据规则，电脑设计一类自己的数据报表。当然了，“智能数仓”还支持向公司十数个业务系统可以提供统一标准的数据接口，听从既定规则手动向业务系统1万份作业任务。“我们只希望将‘技术’数仓向‘业务’数仓转变。甚至于，我们正准备垒建业务中台，开发完毕特殊辅助工具让普通业务人员经由简单啊技能培训，就能更更方便地是从‘智能数仓’通过工作。”徐飞详细介绍，目前易鑫已开发完毕出多项血法支持什么工具，如“数询”，是可以让使用者快速查询某些数据；“数语”可以提供大部分数据的精确描述，能够指导业务人员追索数据源头和流向；“数诊”则能参照选项卡规则对字段内容准确性进行评估、诊断、预警等。更多使用者，并不代表大得多的风险存在。汽车金融行业的特性，没有要求系统对消费者个人信息进行严不的保护。在此之前，易鑫从2018年就开始就全面规范系统内对消费者个人信息的使用。在业务端，大部分个人信息提取都要进过授权，再次进入“智能数仓”系统内的消费者敏感信息都并且了分级系统、加密和脱敏处理，绝大部分组织输出信息都用加密字段参与传输，大的可能地破坏了数据的安全使用和消费者信息不不能泄露。在徐飞心中，“智能数仓”并非一种产品只不过是一种服务，是易鑫在服务200多万客户基础上，锤炼出的一种基于汽车金融场景的智能数据服务。它的高效率、比较稳定运营，可火弹淋漓尽致地展现那里业务的关键环节信息，帮助业务端快的、更又高效地服务于消费者。上图：易鑫“智能数仓”团队部分成员数据赋能业务，驱动企业成长数据赋能业务的成果一直在展现。的力量“智能数仓”需要提供的数据支持，易鑫的技术部门重新符号表示了风控标准，将此时“一放就乱”的审核标准中改基于条件是有风险系数配比的综合考量模型。经评估，客户的履约表现的确较大提高同期行业是一个整体水平；易鑫产品部也在依托资方分析模块的数据，和资方合作伙伴共同交流新的金融方案，诸如向客户可以提供更有弹性的汽车融资方案，以满足的条件多元化、个性化选择的消费者需求。“‘智能数仓’是易鑫智能商业的基础设施。自考虑‘Tech+Fin’的发展战略这几年，易鑫总是致力将‘数据能提供的知识’应用到可以经营分析和管理决策中，将汽车金融业务的运营由民间的‘人治’不变由机器和算法管理的新模式。”易鑫CTO贾志峰说：“就我们所系统调研和了解的范围来说，易鑫‘智能数仓’的业务和服务能力巳经都能够不满足可以做到汽车金融企业的事故处理费需求，甚至连应具备也是非常程度的跨产业数据管理能力。我们也正准备和行业头部的金融机构、汽车厂商，和互联网公司去开拓新的业务模式，期望增强彼此的运营效率，提升到行业共赢。”延着“Tech+Fin”的核心发展思路，易鑫还在积极从行业‘先行者’往‘播种者’的角色转换，是从输出低技术能力，来提升到汽车金融行业整体数据智能化管理水平，将是易鑫的下个目标。
文章评论