数据工程师(Flume, Kafka, Hive)

10天前全职
3万 - 3.9万 / 月 TALENTSIS PTE. LTD.

TALENTSIS PTE. LTD.

location 新加坡
unsaved
概述: 我们正在寻找一位技术娴熟且积极主动的数据工程师,设计并实施强大、可扩展和安全的数据基础设施和数据管道,以支持分析、机器学习和运营需求。您将与利益相关者密切合作,包括数据科学家、技术团队和业务用户,在动态、数据丰富的环境中提供端到端的数据解决方案。 主要职责: • 与客户、合作伙伴和内部团队合作,以理解和解决数据基础设施的需求和技术挑战。 • 与数据科学家紧密合作,收集数据需求并支持建模和分析项目。 • 设计、构建和维护可扩展的数据模型、数据仓库/数据集市、ETL/ELT 过程和管道,以管理来自不同来源和延迟(批处理、实时、近实时)的大量结构化和非结构化数据。 • 定义并监控数据管道的服务水平协议(SLA),确保高质量数据产品的一致交付。 • 实施数据安全、隐私和治理控制,以满足内部和监管标准。 • 推动数据质量倡议,包括验证、监控和持续改进实践。 支持售前活动,包括提案开发、技术演示和演示;提供售后支持,以确保数据解决方案的成功实施和采用。 技术技能与能力: • 精通关系型、非关系型和 NoSQL 数据库,以及企业数据仓库技术。 • 在大数据技术方面有实际经验,如 Hadoop、Spark、Hive、HBase。 • 熟悉数据摄取工具,如 Kafka、Flume、NiFi。 • 在一种或多种编程和脚本语言方面具有强大的技能:Python、Java、C/C++、R、Scala、MATLAB、SQL,适用于 Windows 或 Linux 环境。 • 具有主数据管理、数据治理和数据生命周期管理的经验。 • 对软件开发最佳实践有实际了解,包括测试、版本控制(例如 Git)和 CI/CD 过程。 • 理解数据隐私法规和安全最佳实践。熟悉机器学习、计算机视觉和大型语言模型者优先。 软技能: • 与技术和非技术利益相关者的优秀书面和口头沟通能力。 • 高度组织、独立且积极主动的团队合作者。 • 强大的分析、人际交往和解决问题的能力。能够在矩阵化和快速变化的环境中处理竞争优先事项。 您可以通过以下方式联系此职位的招聘人员: WhatsApp Jammy @ 6421 4954 以获得更快的响应。 与我联系: Jammy | jam@talentsis.com.sg Talentsis Pte Ltd | EA No: 20C0312