大数据工程师

15个月前合同
Apex Systems

Apex Systems

location 纽约
unsaved
混合模式: 整个团队周三和周四上班。你可以灵活选择你的第三天。 团队: - 为营销技术团队提供实时数据解决方案 - 组织营销数据(用于分析、报告等) 顶级技能: - 强大的GCP - 至少2-3年的Big Query经验 - 总工作经验5年以上 - 大数据:需要具备hadoop和spark的知识 - 在SQL和数据仓库方面非常强 - 后端Java经验:运行API微服务 - Python可能是一个加分项 - 全栈经验,具备强大的API后端能力将是一个优势 - CI/CD流水线 - 熟悉像Jenkins这样的源代码管理工具,能够在这些工具中进行调试 - 熟悉敏捷实践,团队规模为6-7人 日常工作: - Airflow?Composer,数据目录 - 为所有营销团队开发新产品。为团队创建数据市场,以便访问数据,例如数据发现 - 大多数敏捷团队都是由同事推动的,负责端到端交付,这个角色将是高度技术性的,并且需要日常实际操作 - 已经筛选了几位候选人,但他们在技术上不够熟练 - 将进行单元测试并承担实际交付的责任 - 具备CICD流水线、自动化测试框架、DevOps和源代码管理工具(XLR、Jenkins、Git、Maven)的经验。具备使用Spark UI等工具调试Spark应用程序的经验。具备有效的沟通和分析能力,包括有效的演示技巧。熟悉敏捷和Scrum仪式。持有GCP认证将是一个加分项。