我们正在寻找一位有才华和经验丰富的Spark Scala开发人员，具备Elasticsearch的专业知识，加入我们的团队。作为一名Spark Scala开发人员，您将在使用Apache Spark、Scala和Elasticsearch设计、开发和优化大数据解决方案方面发挥关键作用。您将与跨职能团队合作，构建可扩展和高效的数据处理管道和搜索应用程序。对合规/AML领域的知识和经验将是一个加分项。
职责:
• 设计、开发和实施Spark Scala应用程序和数据处理管道，以处理大量结构化和非结构化数据
• 将Elasticsearch与Spark集成，实现高效的数据索引、查询和检索
• 优化和调整Spark作业的性能和可扩展性，确保在Elasticsearch中进行高效的数据处理和索引
• 与数据工程师、数据科学家和其他利益相关者合作，了解需求并将其转化为技术规范和解决方案
• 使用Spark RDDs、DataFrames和Datasets实现数据转换、聚合和计算，并将其与Elasticsearch集成
• 开发和维护可扩展和容错的Spark应用程序，遵循行业最佳实践和编码标准
• 解决与Spark-Elasticsearch集成相关的数据处理、性能和数据质量问题
• 监控和分析作业性能指标，识别瓶颈，并提出Spark和Elasticsearch组件的优化建议
• 持续关注大数据技术领域的新趋势和进展，以确保持续改进和创新要求
• 计算机科学、软件工程或相关领域的学士或硕士学位
• 至少5年以上Spark和Scala应用程序开发经验。有Spark Streaming经验者优先考虑
• 熟练掌握Scala编程语言，并熟悉函数式编程概念
• 深入理解Apache Spark架构、RDDs、Data Frames和Spark SQL
• 有使用Elasticsearch进行数据索引和搜索应用程序的集成和工作经验
• 扎实的Elasticsearch数据建模、索引策略和查询优化的理解
• 有分布式计算、并行处理和处理大型数据集的经验
• 熟悉Hadoop、Hive和HDFS等大数据技术
• 精通Spark应用程序和Elasticsearch查询的性能调优和优化技术
• 具有解决复杂问题的强大解决问题和分析能力
• 熟悉版本控制系统（如Git）和协作开发工作流程
额外信息
职业水平
未指定
资格
未指定
职位专业化
未指定
公司概述
总部位于新加坡的Unison Consulting成立于2012年9月，旨在在各个领域提供尖端的解决方案和服务。在Unison Consulting，我们的使命是通过我们的金融和保险服务为企业赋能。
我们的咨询服务帮助客户实施风险管理、风险分析系统、系统集成、商业智能、信息管理和定制IT解决方案。我们超越金融、保险机构和其他行业的质量标准。
我们的团队将客户视为合作伙伴，并通过客户的成功来实现自己的成功。我们非常注重超越客户的期望，为他们的业务提供最佳解决方案。
Unison Consulting拥有一支年轻、充满活力、富有想象力和创新能力的团队，他们从不退缩，勇敢面对挑战。他们突破所有限制，帮助我们的客户并超越他们的期望。我们帮助我们的团队根据市场需求提升他们的知识，从而增强他们的个人和专业能力。
额外公司信息
注册号
201225652C
行业
计算机/信息技术（软件） 
新加坡