基于TEZ引擎+LakeHouse金融级数据中台重构创新实践

江苏常熟农村商业银行股份有限公司（简称“常熟农商银行”）改制成立于2001年11月28日，是一家具有60多年历史、全国首批组建的股份制农村金融机构。截至2025年6月末，常熟农商银行(含村镇银行)资产总额4012亿元，近八成的信贷资金服务于实体经济，集约化管理六省31家兴福村镇银行，连续七年蝉联“陀螺”评价体系县域农商行第一。根据英国《银行家》杂志最新排名，常熟农商银行入选全球银行品牌价值和全球千强银行“双五百强”。

常熟农商银行全面推进数字化转型，以技术重塑金融服务，构建面向未来的核心竞争力。 依托手机银行、企业微信等线上工具，已连接超90万客户，构建了从引流到留存的闭环服务，并通过对超10万户个体经营户的线下数字化赋能，深度融合线上线下场景。 私有化部署AI大模型，将小微贷款从“经验判断”升级为“数据智能决策”，实现规模化、精准化的普惠金融。 在风控方面，运用知识图谱与图计算技术建立前瞻性预警体系，推动风控向数据驱动跨越。同时推动组织与文化进化，建设“技术-业务-数据”融合团队，塑造敏捷与数据驱动的文化。 为确保转型落地，银行设立专项领导小组，制定三年行动路径，并建立涵盖数据底座、流程重构、数据治理与数据安全的常态化评估与动态调整机制，保障数字化转型扎实有序推进。

数据中台重构项目作为常熟农商银行数字化转型历程中的里程碑事件，主要技术创新包括：创新应用国产化Hadoop+MPP湖仓一体（LakeHouse）平台且大幅提升批处理时效，全面采用Hive_On_TEZ计算引擎并显著降本增效，落地全栈国产化湖仓主备交叉容灾创新架构，具体如下。 1）国产化Hadoop+MPP湖仓一体 创新性应用全栈国产化“Hadoop+MPPDB”湖仓一体化架构，采用数据仓库DWS的Exter- nal Schema能力实现Hadoop数据湖的跨集群异构读写，涉及45个库，超30000张表，占比42.68%，实现湖仓元数据共享，数仓批处理性能提升90%以上；采用数据归档实现冷热分离，统一HDFS数据存储，节省12%的存储成本，既充分发挥数据湖的“大容量、低成本”特性，又充分利用数据仓库“高性能”优势。 2）全面应用TEZ+ORC存算引擎 基于Hive计算引擎技术演进趋势和迁移重构改造成本考虑，采用“Hive on TEZ”作为数据湖计算引擎，通过TEZ有向无环图实现任务依赖关系的高效调度，减少中间数据落盘次数，结合批量作业内存优化方案，完成数十项TEZ参数最佳实践调优；同时，文件存储采用ORC格式+Zlib压缩。与原平台相比，批处理执行时效提升2倍以上，存储成本节省43%。 3）全栈主备交叉容灾探索创新 Hadoop数据湖和MPP数仓首次采用“全栈信创+主备集群+交叉容灾”架构，湖仓主备集群架构实现交叉组合容灾，组合容灾场景包括：“数据湖主集群+数仓主集群”、“数据湖主集群+数仓备集群”、“数据湖备集群+数仓主集群”和“数据湖备集群+数仓备集群”，与传统湖仓主备集群架构相比，容灾场景及业务连续性保障能力提升100%。同时，备集群支持试验创新和预发布验证等需求。该架构兼顾业务连续性保障、价值最大化和试验创新。

1. 1数据中台重构项目作为常熟农商银行数字化转型历程中的里程碑事件，主要技术创新包括：创新应用国产化Hadoop+MPP湖仓一体（LakeHouse）平台且大幅提升批处理时效，全面采用Hive_On_TEZ计算引擎并显著降本增效，落地全栈国产化湖仓主备交叉容灾创新架构，具体如下
2. 21）国产化Hadoop+MPP湖仓一体
3. 3创新性应用全栈国产化“Hadoop+MPPDB”湖仓一体化架构，采用数据仓库DWS的Exter- nal Schema能力实现Hadoop数据湖的跨集群异构读写，涉及45个库，超30000张表，占比42.68%，实现湖仓元数据共享，数仓批处理性能提升90%以上
4. 4采用数据归档实现冷热分离，统一HDFS数据存储，节省12%的存储成本，既充分发挥数据湖的“大容量、低成本”特性，又充分利用数据仓库“高性能”优势
5. 52）全面应用TEZ+ORC存算引擎
6. 6基于Hive计算引擎技术演进趋势和迁移重构改造成本考虑，采用“Hive on TEZ”作为数据湖计算引擎，通过TEZ有向无环图实现任务依赖关系的高效调度，减少中间数据落盘次数，结合批量作业内存优化方案，完成数十项TEZ参数最佳实践调优