数据自动化工程师
加利福尼亚州都柏林(混合工作)
电话+Skype
职位描述:作为数据工程团队的重要成员,这位数据工程师将使用各种数据技术,如Azure Cloud、Snowflake、Streamsets、dbt、Starburst、数据运营、数据可观察性等,构建富有洞察力、可扩展和稳健的数据流水线,为我们的各种分析平台提供数据。这个资源将被引入来帮助确定可以自动化的内容
需要具备数据工程师背景,以了解什么可以自动化
领导级别的经验
非常重视Python
Pyspark
Airflow
一些Scala
DBT非常重要
数据质量。数据质量原则。
构建自动化模块。
云:Azure / Snowflake。有以下经验:
数据运营(数据操作)。
现代数据堆栈
Python
Pyspark
AirflowDBT
数据流水线的自动化
拥有深入的数据工程经验和数据流水线、数据运营、数据可观察性、脚本和SQL查询的执行经验超过10年
5年以上的数据架构经验-必须具备数据架构的可证明经验,负责数据标准,设计数据模型用于数据仓库和现代分析用例(例如,从操作数据存储到语义模型)
DBA是必须具备的,他们希望找一个具备架构背景的人。
至少3年的支持高级分析的现代数据架构经验,包括Snowflake、Azure等。有Snowflake和其他云数据仓库/数据湖的经验更佳。
精通使用各种数据技术ETL/ELT、大数据技术(Hive、Spark)构建数据流水线的能力,在大规模数据集上通过多年的经验得以证明。
5年以上的数据仓库设计、开发和数据建模经验,为现代数据架构提供最佳实践
至少精通以下编程语言之一:Java、Python
具备现代数据建模工具、数据准备工具的经验
具备将数据流水线与数据目录工具连接的数据血统、技术词汇表的添加经验。
精通数据分析,分析SQL、Python脚本、ETL/ELT转换脚本。
具备数据编排方面的技能,有Ctrl-M、Apache Airflow等工具的经验。需要具备实际的DevOps/Data Ops经验。
具备报告工具(如MicroStrategy、Power BI)的知识/工作经验
具备Streamsets、DBT的经验更佳。
必须具备良好的软技能。("相信你可以,你已经成功了一半。")西奥多·罗斯福 Yogesh Sharma | 高级技术招聘专员 P:+1 E: