数据工程师 - GCP/AWS (45-60千)

作为数据工程师/高级数据工程师，该人员将为客户的数据分析平台开发新的解决方案，以使他们的分析解决方案（如机器学习解决方案）满足业务需求。 职位职责 • 开发和维护基于云的数据湖和数据仓库，遵循最佳实践和架构标准。 • 从多种内部和外部来源创建高效的ETL/ELT数据管道。 • 收集业务需求，以设计数据模型，确保质量和性能。 • 测试和验证数据管道的准确性和可靠性。 • 与数据科学家和分析师协作，以满足他们的需求。 • 解决数据问题并实施预防措施。 • 清晰地文档化架构、数据字典和映射关系。 • 关注新兴技术，以提升流程。 • 与近岸和离岸IT团队协作，确保高质量的解决方案。 • 与各级利益相关者有效沟通。 要求 • 4年以上数据工程经验，熟悉SQL和Python。 • 对数据湖/数据仓库设计和基于云的ETL服务（如AWS、EMR、Redshift、GCP）具有深刻理解。 • 具备MLOps框架和分布式计算（如Spark、Hadoop）的经验。 • 熟悉Postgres和MySQL等数据库。 • 具备优秀的英语沟通能力。 • 了解机器学习概念。 • 精通实时数据流技术（如Kafka、Spark Streaming）。