高级数据工程师(Hadoop)

14个月前全职
FINSURGE PTE. LTD.

FINSURGE PTE. LTD.

location 新加坡
unsaved
我们正在寻找一名高级数据工程师,加入数字技术团队。 我们需要一位经验丰富的数据工程师来设计和开发数据基础设施。 由于我们打算从头开始构建数据流水线,您将在设计、开发和维护基础设施方面拥有自主权,并获得工程团队的技术支持。 为关键的数据流水线架构决策做出贡献,并领导重大项目的实施。 将业务需求转化为技术规范和文档。 制定代码标准、ETL架构标准和命名约定。 设计、执行和记录ETL测试计划。 优化ETL作业的性能。 开发团队的数据能力-分享知识,强制执行最佳实践,并鼓励数据驱动的决策。 具备计算机科学、数据科学、机器学习、人工智能、统计学或其他定量和计算科学的技术背景。 5年以上的经验,具有构建可扩展和高性能数据基础设施、实施数据仓库和商业智能项目的成功记录: MS SQL Server,Oracle,MySQL,PostgreSQL 使用Informatica堆栈交付生产ETL作业,包括: Power Center,PowerExchange,Informatica Data Explorer 应该在Hadoop生态系统中工作过,具有AWS(redshift,cloud watch)经验 具备以下工具的经验是一个加分项: 大数据管理,大数据流式处理,企业数据集成,企业数据湖,企业数据目录,客户360 具备实施数据质量(DQ)框架的经验是一个加分项: 数据剖析,DQ验证规则,自动清洗等。 3年以上的Hadoop架构和组件经验,包括: Apache Hive,Apache Spark,Apache zoo keeper,Kafka,Nifi,Sqoop,HDFS架构,HBase,MapReduce Git hub- CI/CD自动化 具备NoSQL数据库经验是一个加分项: MongoDB,Cassandra等。 具备构建API的经验是一个加分项 具备以下语言的经验: SQL,Bash,HiveQL,Scala,SparkSQL,PySpark,Python,Java