拥有计算机科学/信息技术或相关领域的学位。
· 至少3年专注于数据管道的工作经验。
· 在构建数据平台方面具有经验(例如Snowflake、Redshift、Databricks)。
· 有持续集成和持续部署(CICD)的经验。
· 有软件开发生命周期(SDLC)方法论的经验。
· 了解数据仓库概念。
· 强大的问题解决和故障排除能力。
· 良好的沟通和协作能力。
· 熟练掌握SQL和Python。
有在数据转换框架上构建经验(例如dbt、Dataform)。
· 云环境(例如AWS、GCP、Azure)。
· 大数据技术(例如Spark)。
· 数据平台迁移。
职责:
· 与利益相关者密切合作,了解他们的需求。
· 设计、开发和维护数据管道和数据模型。
· 持续优化数据管道和数据模型。
· 支持数据管道和数据模型的运营需求。
简介:
数据工程师将与工程和业务利益相关者合作,收集需求,然后设计、开发和维护专门构建的数据管道和数据模型。理想的候选人应具备在构建抽取-加载-转换(ELT)或抽取-转换-加载(ETL)数据管道方面的丰富经验。