大数据工程师

14个月前全职
AI Staffing Ninja

AI Staffing Ninja

location 香港
unsaved
职位描述: 我们正在寻找一名才华横溢且经验丰富的大数据工程师加入我们的团队。作为一名大数据工程师,您将负责设计、实施和维护我们公司的大数据基础设施。您将与数据科学家、分析师和其他利益相关者密切合作,确保我们的数据管道高效、可靠和可扩展。理想的候选人应具备扎实的大数据技术背景、出色的问题解决能力,并对处理大量数据充满热情。 职责: • 设计、开发和维护大数据基础设施和数据管道。 • 与数据科学家和分析师密切合作,了解他们的需求并将其转化为技术解决方案。 • 优化和调整数据管道以提高性能和可扩展性。 • 实施数据安全和隐私措施以保护敏感信息。 • 解决与数据处理和数据质量相关的问题。 • 了解大数据和分布式计算领域的新兴技术和最佳实践。 • 与跨职能团队合作,整合来自各种来源和系统的数据。 • 文档化系统架构、流程和规程。 要求: • 计算机科学、工程或相关领域的学士学位或更高学历。 • 3年以上担任大数据工程师或类似角色的工作经验。 • 熟练掌握Hadoop、Spark、Kafka、Hive和HBase等大数据技术。 • 具备分布式计算和并行处理框架的经验。 • 熟练使用Java、Scala或Python等编程语言。 • 具备使用AWS、Azure或Google Cloud等云平台的经验。 • 对SQL和数据库技术(如MySQL、PostgreSQL)有了解。 • 出色的问题解决和分析能力。 • 良好的沟通和协作能力。 首选资格: • 具备使用Docker和Kubernetes等容器化和编排工具的经验。 • 熟悉机器学习算法和技术。 • 拥有相关技术的认证(如AWS认证的大数据专项)。 • 有在敏捷开发环境中工作的经验。