基于XML描述的可编程函数式ETL实现

转载本文需注明出处:微信公众号eaworld,违者必究。
引言:
传统 etl 主要以 sql 为主要技术手段,把数据经抽取、清洗转换之后加载到数据仓库。但是在如今移动互联网大力发展的场景下,产生大量碎片化和不规则的数据。政府,公安等行业,传统数据库已经远远无法满足需求。数据原始文件通过文件导入到基础库,再通过大数据 hql等技术手段提取出二级库,这中间的数据导入和 sql etl 的提取的过程,大量消耗 io 性能和计算资源,在很多场景下已经是数据处理的瓶颈所在。
普元在实施公安项目过程中开发了一种基于 xml 描述的可编程的函数 etl 转换方法。主要用于大数据文件处理领域,能从原始数据文件直接、快速加载到专题库的技术手段。技术方案主要解决了用 xml 的技术手段描述数据文件的格式,包含文件字段切分、字段类型、默认值、异常值校验、时间格式校验。在处理时可添加自行开发的 java udf 函数,函数实参支持变量、常量、表达式、函数和运算符重载。同时函数支持多层嵌套,即内部函数的返回值最为外部函数的实参。该方案实现了 xml 内函数体的语法解析并在运行过程中直接编译为 java 字节码的技术。有效的解决了政府、公安、电信行业巨量的数据处理需要的大量计算资源和 io 性能瓶颈,有效的提高了数据处理效率和降低了数据处理开发难度。
目录:
一、基于 xml 控制文件解析数据文件方案介绍
二、xml 控制文件结构和语法
三、函数和多层嵌套函数传参
四、udf 函数编写方法
五、数据测试工具
六、flumeonyarn 架构和分布式部署
一、基于 xml 控制文件解析数据文件方案介绍
对于数据开发项目,我们常常会面临众多的数据对接,部分场景不仅数据量大,且数据种类多,数据解析开发工作量巨大。对于大量数据对接,一般设计的 rpc 接口和 webservice 一般都达不到数据性能要求的。并且他们都是点对点的服务,一旦上下游系统故障,都会造成整个数据对接异常。因此大部分都会选择使用文件的方式进行数据对接。
对于非实时数据对接需求,这种方式的优点:
在数据量大的情况下,可以通过文件传输,上游只写入,无需关心数据业务和故障;
方案简单,避免了网络协议相关的概念;
维护简单,只需保证磁盘写入稳定性即可;
我们常常会面临基于此架构的数据对接。但基于此架构数据处理工作都在下游(即数据使用方)。
面对大量数据对接和众多的数据类型,我们对于每种数据文件解析、解码、清洗消耗大量的人力,并且基于编码的方式对于较多数据类型的场景代码量大,且难以管理。因此经过多次数据开发实践,我们开发了一种基于 xml 描述的方式来解析和清洗数据文件的实现。
本架构实现适合以下几个方面:
基于文件的数据对接;
文件无法直接导入到目标数据库,需要做转换,清洗为目标格式;
如上数据对接架构图,flume 基本实现了基于文件系统的自动扫描和读取,因此架构实现了基于 flume sink 的模块。本架构也可作为sdk 作为框架集成到现有数据处理方案中。
二、xml数据控制文件结构和语法
jd_type_v1textfile,exp_flag sender_id sender_num sender_address receiver_num expect_time receiver_num_origin is_sender_num_null number_connect all_num_null sender_province_code
(可左右滑动查看全部代码)
如上 xml 描述了一种数据文件类型及该类型的切分方法,数据每行经过切分后,产生的多个数据列的转换方法。
理论上,每种数据类型应该对应一个控制文件,意味着控制文件来描述该种数据类型如何解析和转换。
key 主要标注该控制文件处理的类型id;
delimiter 为文件列切割字符;
fields 中包含每列的字段描述;
数据类型支持java基本类型和date类型;
skip为数据对齐语法,控制在列中忽略某列的值;
default = true 属性为数据对齐语法,给某列提供默认值,提供默认值的列在数据列中不移动位移;
value 提供了给该字段提供当列中无值时提供默认值;value=null则指定列值为null;
date 类型需 pattern 属性;
三、函数和多层嵌套函数传参
默认值
词法分析时字段field 的value 属性值没有以英文小括号闭合的实体。如下示例中的primeton:
data_vendor
(可左右滑动查看全部代码)
函数
函数是由一组字符串、数字、下划线组成的合法函数名和0 到多个形式参数组成。在词法分析时字段field 的 value 属性值由英文小括号闭合的实体。如下示例中的:
location(),yn(),concat();curr_timereceiver_num_origin is_sender_num_nullnumber_connect
(可左右滑动查看全部代码)
函数名
函数体小括号前面的部分。一般由字符串、数字、下划线组成的一组特定的名称。如location(receiver_tel),location 即为该函数的函数名称。
函数的形式参数:
1.无参数
词法分析时value的值满足函数条件且函数体内无参数。如下示例中:unix_timestamp() 获得当前系统内的 unix 时间戳;
curr_time
(可左右滑动查看全部代码)
2.常量型形参
词法分析时函数体内以英文单引号引用的值为函数体的常量型形参。如’100’,函数示例为:random_int(‘100’),生成 0-100 以内的随机整形数值;
rand_num
(可左右滑动查看全部代码)
3.变量型形参
词法分析时函数体内参数没有英文单引号引用并且不以英文小括号闭合的为函数体的变量型形参。如下示例中的receiver_tel;
r_num_loc
(可左右滑动查看全部代码)
4.函数型形参
词法分析时函数体内没有英文单引号并且以英文小括号闭合的参数类型参数为函数体的函数型参数。如下示例中的:none(sender_num)和none(receiver_num);
all_num_null
(可左右滑动查看全部代码)
词法分析获得到函数体的同时,使用函数名调用udfregistors.getudf(udfname) 函数,以检验当前系统必要存在该函数,否则则抛出无法识别的函数异常。
5.类型校验
词法分析阶段获得了字段 field 的取值是默认值或者函数,下一步需校验其默认值或函数的返回值是否能和定义的字段类型相匹配。如果是函数同时校验函数的形参和实参类型是否相匹配。
data_vendorcall_flag
(可左右滑动查看全部代码)
如上示例中的primeton 需能转换为 string 类型,call_flag 需能转换为 int 类型。如果类型不能转换,则会抛出类型无法转换异常。对于函数,通过 returntype 返回类型和字段类型进行校验,可匹配或者是该类型的子类型则类型验证通过。
四、udf 函数编写方法
编写一个udf函数的步骤:
继承 udf 类,实现 eval 方法;
eval 方法传入的是一个数组参数;
判断参数长度是否和预期的一致;
判断位置参数类型是否和预期的一致;
实现函数体;
返回eval函数执行的返回值,理论上该返回值的类型应该一致,不应该同一函数返回多种类型值;
函数编写者应该保证函数体内是线程安全的;
udf 实现如下:
public abstract class udf { /** * 是否支持该组参数类型,不支持抛出unsupportedtypeexception异常。默认返回 true */ public void support(class... paramsclass)throws unsupportedtypeexception; /*** 该 udf 返回值类型,用于校验嵌套函数类型是否匹配。可返回简单类型,map,array,record 等类型.默认返回 string 类型*/ public class returntype();/*** udf 执行函数,当输入不符合预期时,向外抛出异常* @param params 函数的输入实参* @return 函数输出结果,简单类型或者复杂类型,支持简单类型,map,array,record 类型*/public abstract object eval(object... params);}
(可左右滑动查看全部代码)
一个判断是否包含子串的udf 写法:
所有的udf都通过一个核心注册类(这点类似 hive 的functionregistry)
public final class udfregistors { /** * udf 函数映射 */static final map udf_cached = new hashmap(); static {udf_cached.put(copy, new copyudf()); // 复制一个变量的值 udf_cached.put(eq, new equdf()); // 判断两个变量是否相等 udf_cached.put(yn, new ynudf()); // 根据输入true,false 转换为 y、nudf_cached.put(null, new nulludf()); // 判断变量是否为null// add udf methodudf_cached.put(location, new locationudf()); // 获得手机号码的归属地 udf_cached.put(nation_code, new nationcodeudf()); // 根据国家名称获取国家代码 udf_cached.put(province_code, new provincecodeudf()); //根据省名称获取省代码 udf_cached.put(city_code, new citycodeudf()); // 根据城市名称获取城市代码 udf_cached.put(phone_num, new phonenumudf()); // 校验是否是手机号或者固话udf_cached.put(number_format, new numberformatudf()); //校验是否可以转化成数字}/*** 添加一个udf函数 * @param key udf 函数 * @param value udf 函数 eval 应线程安全 * @return */ public static boolean addudf(string key, udf value) { return udf_cached.put(optional.of(key).map((it)->it.tolowercase()).get(), value) != null; } /** * 获得内置的 udf 函数 */ public static udf getudf(string udfname) { return udf_cached.get(udfname.tolowercase()); }}
(可左右滑动查看全部代码)
udf 函数注册时期:
可在编译期绑定内置的 udf 函数;
可在系统启动时配置自加载的 udf 函数;
可在运行期动态注入udf 函数;
五、数据测试工具
数据对接过程,面对数据是否能转换为目标结果常常无从所知。基于xml 控制文件的数据解析,可实现一个测试工具。该工具通过上传数据文件和上传 xml 控制文件,可对数据文件随机的读取行进行匹配测试,只要数据列和目标 xml文件能通过列匹配测试,则数据可通过 etl 解析清洗。否则继续修改 xml 控制文件,直到顺利通过匹配。
六、flumeonyarn 架构和分布式部署
本架构适合以文件作为数据对接的方案,另一方面,通过扩展 flume 即可实现拿来主义。flume 内部实现对 channel 的 transaction,对于每个以文件构造的 event 对象是原子操作,要么全部成功,要么失败。flume依赖事务来保证event的可靠性。flume 默认没有分布式实现,因此开发了 flumeonyarn 的架构,用于支持 flume 的分布式部署。
flumeonyarn优势:
无需每个节点安装 flume,可一键启动和停止;
配置文件在客户端节点修改,自动复制到 yarn 上各实例,无需每个节点修改;
基于 cdh或hdp的发行版,即使实现了 web 可视化化的配置和分布式部署,但是对于 flume 只能实现单配置文件实例,无法实现多配置实例;
集群的规模可以根据数据量大小进行实时的调整(增减节点),实现弹性处理。通过命令或者 api 即可控制(cdh 等需要在页面添加 host,繁琐且不易动态调整);
多个租户或者同一租户多个处理实例互不影响,且能隔离(yarn container);
flumeonyarn 架构
上图所示,提交flumeonyarn 需要客户端,该客户端没有太多和flume安装包结构特殊的地方,只是在 lib 下添加了 flume-yarn 的架构支持和 bin 下 flume-on-yarn 的启动脚本。
flume onyarn 客户端程序
通过 bin/flume-on-yarn 即可提交 flumeonyarn application 集群。如下的命令即可一次性申请多个 yarn 资源节点,实现一键部署:
bin/flume-on-yarn yarn -s --name agent_name –conf conf/flume-hdfs.conf --num-instances 5
(可左右滑动查看全部代码)
总结
推荐阅读
元数据新型存储架构的探索
基于 spark 的数据分析实践
本地读写的多活数据存储架构设计要义
关于作者:震秦,普元资深开发工程师,专注于大数据开发 8 年,擅长 hadoop 生态内各工具的使用和优化。参与某公关广告(上市)公司dmp 建设,负责数据分层设计和批处理,调度实现,完成交付使用;参与国内多省市公安社交网络项目部署,负责产品开发(spark 分析应用);参与数据清洗加工为我方主题库并部署上层应用。
关于eaworld:微服务,devops,数据治理,移动架构原创技术分享。关注微信公众号eaworld!

湖北户外LED显示屏厂家效果好
创业加盟不用怕加盟致胜全屋定制轻松致富
西典科技-微晶纤维素-微晶纤维素112
常熟热缩管价格，最新批发价格，年底优惠多多
可兰素车用尿素加盟费多少办个厂一共要多少钱
基于XML描述的可编程函数式ETL实现
陇南无缝E防腐管-X42-X80
养猪饲喂料线猪场自动上料线养殖料线主机销售
南山大学城学UI设计多少钱？优途移动UI设计培训学校更专业
手术室用麻醉机迈瑞WATO EX-30 麻醉机
各种继电器回收公司回收各种继电器
巴彦淖尔压花压模彩色透水彩色沥青彩色防滑路面厂家施工队
供应简易电子版半身心肺复苏模拟人全身急救训练护理模拟人
BTL2-GS10-1450-A巴鲁夫传感器Ⅲ
车载疲劳驾驶预警系统，驾驶疲劳预警系统
时尚环保指甲油厂家直销
麦吉丽素颜三部曲美白效果怎么样？28天给你婴儿般肌肤！
供应围裙印花，热转印围裙，田园风围裙
供应新款充气模特儿、软体模特儿
散热器GLC2-3.5列管式换热器