领先的大数据工程师

14个月前全职
Dice

Dice

location 纽约
unsaved
Dice是技术专家在职业生涯的各个阶段的首选职业目的地。我们的客户PETADATA正在寻找以下职位。立即通过Dice申请! 职位:首席大数据工程师 地点:新泽西州泽西市(混合工作) 经验:10年以上 工作类型:仅全职(W2) PETADATA目前正在寻找一位首席大数据工程师,为其客户之一招聘。 职责: • 理想的候选人应能够为基于数据的决策定义整体战略和路线图,并致力于实施大数据技术解决方案。 • 提供技术领导和指导,为银行创建尖端技术解决方案。 • 必须能够研究、评估和利用围绕大数据处理的新技术/工具/框架。 • 开发数据挖掘、数据建模和数据生成的一套流程。 • 引领和指导团队开发优化的高质量代码交付物,持续的知识管理,并遵守组织准则和流程。 • 参与项目估算,为解决方案交付提供输入,进行技术风险规划,进行代码审查和单元测试计划审查。 • 理解需求,创建和审查设计,验证架构,并确保在技术领域向客户提供高水平的服务。 • 定义指导方针和最佳实践,推动客户实施的一致性,并确保一致性在全面实施。 • 与架构工程团队紧密合作,确保实施质量解决方案,并遵守最佳工程实践。 • 与各职能领导(开发/产品管理/业务利益相关者/销售等)密切合作,确保对将要构建的解决方案有清晰的理解。 所需技能: • 理想的候选人在数据仓库、SQL和云平台(Azure)应用开发方面拥有10年以上的经验。 • 必须具有深入和扎实的技术知识,包括Hive、Spark、Kafka、Streaming、SQL、Hadoop平台和Python。 • 必须具备数据架构、数据质量、元数据管理、ETL、分析、报告和数据库管理的经验。 • 应该是使用Azure Databricks和Azure Data Factory进行ETL/管道开发的专家,并具有批处理和实时数据集成的开发专长。 • 必须具备使用Spark、HDFS、Hive、Sqoop、Kafka和Streaming等Hadoop生态系统的主要组件的实际经验。 • 有处理结构化和非结构化数据、编排工具的经验。 • 应该是关系数据处理技术(如MS SQL、Delta Lake、Spark SQL、SQL Server和GitHub)的专家。 • 理想的候选人应能够同时处理多个项目。 • 必须具备强大的数据分析能力-能够将各种大型复杂数据源(内部和外部数据提供商)识别、分析和整合为易于消化的数据产品。 • 应具备云平台(如Azure、AWS)的广泛知识。 • 需要良好的口头和书面沟通能力。 教育背景: 计算机科学、工程或相关领域的学士/硕士学位。 我们提供专业的工作环境,并提供在信息技术领域发展的各种机会。 注意: 候选人需要参加电话/视频/面试,并在候选人被选中后进行教育和经验的背景调查。 请将您的简历发送至: 经过对您的经验和技能的仔细审查后,我们的人力资源团队成员将与您联系,了解接下来的步骤。