我们正在寻找一名高级数据工程师,加入数字技术团队。
我们需要一位经验丰富的数据工程师来设计和开发数据基础设施。
由于我们打算从头开始构建数据流水线,您将在设计、开发和维护基础设施方面拥有自主权,并获得工程团队的技术支持。
为关键的数据流水线架构决策做出贡献,并领导重大项目的实施。
将业务需求转化为技术规范和文档。
制定代码标准、ETL架构标准和命名约定。
设计、执行和记录ETL测试计划。
优化ETL作业的性能。
开发团队的数据能力-分享知识,强制执行最佳实践,并鼓励数据驱动的决策。
具备计算机科学、数据科学、机器学习、人工智能、统计学或其他定量和计算科学的技术背景。
5年以上的经验,具有构建可扩展和高性能数据基础设施、实施数据仓库和商业智能项目的成功记录:
MS SQL Server,Oracle,MySQL,PostgreSQL
使用Informatica堆栈交付生产ETL作业,包括:
Power Center,PowerExchange,Informatica Data Explorer
应该在Hadoop生态系统中工作过,具有AWS(redshift,cloud watch)经验
具备以下工具的经验是一个加分项:
大数据管理,大数据流式处理,企业数据集成,企业数据湖,企业数据目录,客户360
具备实施数据质量(DQ)框架的经验是一个加分项:
数据剖析,DQ验证规则,自动清洗等。
3年以上的Hadoop架构和组件经验,包括:
Apache Hive,Apache Spark,Apache zoo keeper,Kafka,Nifi,Sqoop,HDFS架构,HBase,MapReduce
Git hub- CI/CD自动化
具备NoSQL数据库经验是一个加分项:
MongoDB,Cassandra等。
具备构建API的经验是一个加分项
具备以下语言的经验:
SQL,Bash,HiveQL,Scala,SparkSQL,PySpark,Python,Java