数据自动化工程师,加利福尼亚州都柏林市(混合型)

15个月前兼职
Stellent IT LLC

Stellent IT LLC

location 旧金山
unsaved
数据自动化工程师 加利福尼亚州都柏林(混合工作) 电话+Skype 职位描述:作为数据工程团队的重要成员,这位数据工程师将使用各种数据技术,如Azure Cloud、Snowflake、Streamsets、dbt、Starburst、数据运营、数据可观察性等,构建富有洞察力、可扩展和稳健的数据流水线,为我们的各种分析平台提供数据。这个资源将被引入来帮助确定可以自动化的内容 需要具备数据工程师背景,以了解什么可以自动化 领导级别的经验 非常重视Python Pyspark Airflow 一些Scala DBT非常重要 数据质量。数据质量原则。 构建自动化模块。 云:Azure / Snowflake。有以下经验: 数据运营(数据操作)。 现代数据堆栈 Python Pyspark AirflowDBT 数据流水线的自动化 拥有深入的数据工程经验和数据流水线、数据运营、数据可观察性、脚本和SQL查询的执行经验超过10年 5年以上的数据架构经验-必须具备数据架构的可证明经验,负责数据标准,设计数据模型用于数据仓库和现代分析用例(例如,从操作数据存储到语义模型) DBA是必须具备的,他们希望找一个具备架构背景的人。 至少3年的支持高级分析的现代数据架构经验,包括Snowflake、Azure等。有Snowflake和其他云数据仓库/数据湖的经验更佳。 精通使用各种数据技术ETL/ELT、大数据技术(Hive、Spark)构建数据流水线的能力,在大规模数据集上通过多年的经验得以证明。 5年以上的数据仓库设计、开发和数据建模经验,为现代数据架构提供最佳实践 至少精通以下编程语言之一:Java、Python 具备现代数据建模工具、数据准备工具的经验 具备将数据流水线与数据目录工具连接的数据血统、技术词汇表的添加经验。 精通数据分析,分析SQL、Python脚本、ETL/ELT转换脚本。 具备数据编排方面的技能,有Ctrl-M、Apache Airflow等工具的经验。需要具备实际的DevOps/Data Ops经验。 具备报告工具(如MicroStrategy、Power BI)的知识/工作经验 具备Streamsets、DBT的经验更佳。 必须具备良好的软技能。("相信你可以,你已经成功了一半。")西奥多·罗斯福 Yogesh Sharma | 高级技术招聘专员 P:+1 E: