高级数据工程师

16个月前全职
Formula.Monks

Formula.Monks

location 旧金山
unsaved
高级数据工程师 地点:加利福尼亚库比蒂诺(每周3天混合办公) 职位类型:这是一份全职W2职位,您将在Formula.Monks担任顾问,在这家顶级FAANG公司工作。作为全职员工,您将获得年薪、全面福利、带薪休假等。该职位是在一个高影响力团队中,从事长期合作。您还可以通过Formula.Monks在这家科技公司探索就业机会! 关键资格: 6年以上实际数据建模和数据工程经验 在维度建模和数据仓库方面具有强大的专业知识 具备使用Snowflake、Redshift、BigQuery等云数据仓库的设计和开发经验 具备使用Spark、Dremio、Hadoop、Map Reduce、Hive等大数据平台的实际经验 精通使用SQL和脚本语言(Python/Shell/Golang)以及Airflow等工作流管理工具进行自定义ETL流程的设计和开发 精通高级SQL,性能调优 具备AWS、Google Cloud等云计算平台的经验 具备版本控制系统、CI/CD实践、测试和数据库和软件迁移工具的经验 具备使用API的经验 具备现代数据架构(如数据湖仓库)的经验将是一个重要的加分项 具备使用Apache Kafka或Spark Streaming进行实时数据处理的经验将是一个重要的加分项 能够学习和适应新的工具和技术 具备分析和数学思维能力,能够评估和解决各种复杂问题 能够独立工作或作为团队的一部分工作 能够在快节奏的环境中快速学习 优秀的口头和书面沟通能力 描述: 您将设计、开发和测试大规模数据解决方案,为我们全球和地区销售和财务团队提供高效的分析和报告能力。 您将开发高度可扩展的数据管道,从各种源系统加载数据,并使用Apache Airflow编排、调度和监控工作流程。 构建通用和可重用的解决方案,可以利用各种技术和框架来解决我们复杂的业务需求。 您将需要理解现有解决方案,根据需要进行优化和支持。 数据质量是我们的目标,我们期望您在数据和软件质量方面达到我们的高标准。 我们是一个快速发展的团队,面临许多有趣的技术和业务挑战。 我们寻求一个自我启动的人,愿意快速学习,能够适应不断变化的需求,并与跨职能团队合作。