高级数据工程师,熟悉Spark、Scala和Google Cloud Platform

15个月前全职
Dice

Dice

location 旧金山
unsaved
Dice是每个阶段的技术专家的领先职业目标。我们的客户Info Dinamica Inc正在寻找以下职位。立即通过Dice申请! 职位:具备Spark、Scala、Google Cloud Platform的高级数据工程师 地点:加利福尼亚州圣尼维尔 我们的客户目前更倾向于本地候选人。 必备技能 Spark 8年以上经验 Scala 8年以上经验 Google Cloud Platform 5年以上经验 Hive 8年以上经验 SQL - 8年以上经验 ETL流程/数据管道- 8年以上经验。 职责:作为一名高级数据工程师,您将 •使用最新的开源技术设计和开发大数据应用程序。期望在离岸模式和托管结果中开发。为大数据平台开发逻辑和物理数据模型。使用Apache Airflow自动化工作流程。使用Apache Hive、Apache Spark、Scala、Apache Kafka创建数据管道。对现有系统进行持续维护和增强,并参与轮换的呼叫支持。快速了解我们的业务领域和技术基础设施,并自由主动地与团队中的其他人分享您的知识。指导团队中的初级工程师。领导日常站立会议和设计审查。使用JIRA整理和优先处理待办事项。充当您所分配的业务领域的联系人。 要求: •具有8年以上实际经验,开发数据仓库解决方案和数据产品。要求具备4年以上使用Hadoop、Hive、Scala、Airflow或工作流编排解决方案开发分布式数据处理平台的实际经验。要求具备4年以上在Google Cloud Platform、GCS Data proc、BIG Query方面的经验。具备2年以上在数据湖或关系型数据库平台上进行建模(Erwin)和设计模式的实际经验。具备编程语言的经验:Python、Java、Scala等。具备脚本语言的经验:Perl、Shell等。具备处理和管理大型数据集(多TB/PB规模)的经验。具备测试驱动开发和自动化测试框架的经验。具备Scrum/敏捷开发方法的背景。能够在少量监督下完成多个竞争性任务。优秀的口头和书面沟通技巧。计算机科学学士学位或等同经验。 最成功的候选人还应具备以下经验: •Gitflow Atlassian产品BitBucket、JIRA、Confluence等。持续集成工具,如Bamboo、Jenkins或TFS。