以数字化为引擎，大数据平台在马上消费的实践

时下无论是以“ChatGPT”引发的数字科技狂欢,还是工业元宇宙的进一步纵深发展,数字驱动的巨大产业变革昭示着数智领航经济发展的时代已经到来。

党的二十大报告也提出,加快发展数字经济,促进数字经济和实体经济深度融合。随着近年来人工智能、大数据、云计算、区块链的广泛应用,数字货币兴起,数字化技术飞速发展遇上金融行业深刻变革,产业数字金融迎来发展机遇期。同时,在加快建设现代化产业体系的背景下,推动产业数字金融发展也具有十分重要的现实意义。

发展产业数字金融是金融机构转型发展的需要。产业数字金融是数字化技术和产业金融服务的有机结合。发展产业数字金融具有重要现实意义和长远影响,将进一步提升金融与实体经济的适配度,也将成为加快建设现代化产业体系的有效助力。

以数字化为引擎驱动的探索实践

作为科技驱动型金融机构,马上消费金融股份有限公司(下称“马上消费”)深知自主研发的重要性。自成立伊始,公司便确立了自主产研的发展战略,深耕科技研发、锻造数字技术,提升数字化综合水平,缩短科技产研到业务增长的路径周期,挖掘数字引擎驱动的核心价值。

自2018年开始,经过5年多的探索,目前大数据平台已有能力支撑公司业务飞速发展,当前大数据整体数据量已经超过40PB,服务器超过1600台,每日数据交换量超过950亿,其中实时数据接入量350亿,每日投放数据量超过190亿,而风控Hbase调用量超过40万次/s,相关指标均在消费金融领域处于领先位置。

海量大数据使得找数据和用数据都成为巨大挑战,同时,数据的处理也给存算能力带来压力。“海量大数据、多维数据源及全面数据驱动带来大量复杂场景引发的数据质量问题,需建立完善的数据质量治理体系和数据标准管理体系,完善事前、事中、事后数据质量管控机制。”马上消费相关负责人表示。

基于此,在马上消费的实践过程中主要从“快、准、稳、省”四个方面来保障业务的可持续快速发展。

所谓“快”是指业务侧可以在海量数据中快速找到所需数据并进行自助式分析,快速决策。基于此,马上消费建设了数据地图、大数据查询平台和一站式大数据开发平台、数据科学分析平台。数据地图简单来说就是一个数据资产信息管理中心,借助强大的元数据采集和管理能力,给用户呈现了企业级的资产全景视图,帮助用户快速找到所需数据,同时通过大数据查询平台和一站式大数据开发平台、数据科学分析平台能够快速的进行自助式分析、数据开发和数据建模,在精准营销、获客等实时业务能够做到秒级响应,支撑业务的快速分析决策。

所谓“准”是指使用或分析的数据样本和数据关联关系是准确、值得信任的。马上消费建立了强大的数据质量稽核能力与数据血缘、数据影响分析能力,数据质量稽核能力主要帮助监控并解决加工、处理过程中的数据质量问题,保障大数据平台整体数据链路准确性、可靠性;同时在发生数据质量问题或进行问题追溯排查时,准确、可靠的数据血缘和影响分析能力能够有效保障用户快速进行问题排查,识别核心矛盾,将数据问题扼杀在摇篮中。

所谓“稳”是指大数据平台和集群高效稳定运行,保障风控、营销、催收、客诉、监管等的数据集成、离线加工、实时计算、质量监控等任务在平台平稳可靠运行,保证业务连续性要求,支撑业务的快速发展。马上消费大数据平台是基于开源组件(HDFS/HBASE /Doris/Spark/Hive/Presto等18种以上开源组件)打造的一站式大数据开发与治理平台,通过Spring Cloud微服务框架,简化了分布式系统基础设施的开发,提升了平台应用间的独立性,加强了应用层可靠性,同时通过专业的组件研究团队对组件进行源码化的改造,提升了底层组件整体稳定性。

所谓“省”是指在充分保障业务高效运行的同时实现降本增效。为了实现这一目标马上消费通过完善的使用规范奠定企业级平台使用基础,高效的数据治理体系加强数据资产的管理。一方面建立“3+1”的数据管理架构形成自上而下协调一致的数据管理体系,另一方面通过数据标准平台、数据指标平台落地数据资产管理机制,同时提升数据资产价值密度,降低整体成本。以数据生命周期管理为例,根据统计,在2022年通过生命周期管理机制,累计减少容量超过30PB,约相当于375台服务器存储规模。

从赋能业务来看,基于线上金融服务,马上消费实现了智能营销、数字风控、智能运营、智能质检等多种场景。以数字风控为例,大数据为风控场景提供可靠的模型变量、模型预测、模型策略产品化存储和计算能力以及风控策略模型训练能力,赋能风控审批、贷后管理、反欺诈等,保障业务稳定发展。

赋能业务增长和产业升级,数字价值逐渐展现

近年来,许多企业也开始数字化转型,认识到数据是企业的新型资产,已经从“跟风转型”过渡到“数据驱动转型”。然而,并不是所有的企业都能获得显著收益,其主要原因之一是于没有形成数据全生命周期价值管理的闭环,从而导致企业数据价值密度低,无法作为关键生产要素为企业注入新动能。

对传统金融机构而言,在强监管的要求下,其对数据质量、数据时效以及数据资产价值密度要求越来越高,大数据平台是实现全渠道、全链路的敏捷业务能力的有效方案。一方面通过汇聚全企业的数据资产并形成全景视图,帮助企业总览资产全景;另一方面基于DataOps理念形成完善的一站式大数据开发和自助分析能力,企业轻松通过可视化方式进行数据价值挖掘和分析,赋能前端业务能力,而基于价值管理的数据资产治理,则能够帮助企业有效提升数据质量和数据资产价值密度,实现业务-数据-资产-业务的有效闭环。服务自身业务的同时也赋能金融产业升级迭代。

未来,马上消费将继续坚持数字化、智能化,牢牢抓住历史机遇,为产业数字金融发展提供新动能,加快数字科技能力建设与研发投入,加强数字科技驱动、引领创新发展,助力金融行业实现高质量发展,持续赋能实体经济。