客户描述：
我们的客户是全球金融机构和位于新加坡的亚洲企业集团，正在寻找经验丰富的候选人！
职位描述：
职位：高级数据工程师
雇佣类型：1年代理合同（可大幅续约）
工作方式：混合
地点：亚历山大
职责：
• 设计、开发和实施数据处理流水线，处理大量结构化和非结构化数据
• 应具备数据库和Hadoop（Hive、Impala、Kudu）的良好知识和工作经验。
• 应具备使用脚本编写的良好知识和工作经验（Shell脚本、awk编程、快速自动化以集成任何第三方工具）、BMC监控工具
• 具备使用行业标准数据模型（如FSLDM）的数据建模领域的良好理解和知识
• 与数据工程师、数据科学家和其他利益相关者合作，了解需求并将其转化为技术规范和解决方案
• 最好具备在使用No SQL和虚拟化数据库环境方面的经验
• 使用Spark RDD、DataFrames和Datasets实施数据转换、聚合和计算，并将其与Elasticsearch集成
• 开发和维护可扩展和容错的Spark应用程序，遵循行业最佳实践和编码标准
• 诊断和解决与Spark-Elasticsearch集成的数据处理、性能和数据质量相关的问题
• 监控和分析作业性能指标，识别瓶颈，并在Spark和Elasticsearch组件中提出优化建议
• 具备使用ETL、Hadoop开发银行应用程序的经验是必需的。对全球银行技术栈的深入了解是必需的。
职位要求：
• 在开发Hadoop/Spark方面具备丰富经验。
• 在数据湖（将不同数据源整合到数据湖中）方面具备丰富经验
• SQL存储过程/查询/函数
• Unix脚本编写
• 数据架构（Hadoop）
• 对数据建模、索引策略和查询优化有坚实的理解
• 具备分布式计算、并行处理和处理大型数据集的经验
• 熟悉Hadoop、Hive和HDFS等大数据技术
• 在Control-M中进行作业调度
• 具备解决问题和分析能力强的能力，能够调试和解决复杂问题
• 熟悉版本控制系统（如Git）和协作开发工作流程
• 具备出色的沟通和团队合作能力，能够在跨职能团队中有效工作
如果有兴趣，请将您的简历发送至stefan.olsem@tangspac.com
如果您对以上职位感兴趣，请直接与Stefan Olsem联系以进一步讨论，或点击下方的“申请”按钮。
职位参考编号4675
请注意，只有成功的候选人将收到通知。
www.Tangspac.com
提供的数据仅供招聘目的使用。
Tangspac Consulting Pte Ltd
#03-02 The Octagon, 105 Cecil Street, Singapore 069534
EA人员姓名：Olsem Stefanus Emmanuel
EA许可证：07C3635 | EA注册：R2094432 
新加坡