你是否对将数据转化为可操作的洞察感到兴奋？加入DP World，成为数据工程师，成为设计、构建和维护前沿数据管道的关键角色，从而推动我们的业务发展。
在这个角色中，你将与利益相关者密切合作，了解他们的数据需求，确保数据的准确性、安全性和隐私合规性。享受刺激的工作环境，丰富的职业成长机会，以及为行业领先的数据计划做出贡献的机会。
主要职责
数据集成和转换：
• 设计和实施强大的数据摄取技术，用于结构化和非结构化数据的实时和批处理。
• 使用Microsoft Azure Stack构建可扩展和可重用的数据管道，确保与各种数据源的无缝集成。
• 利用Azure Data Factory (ADF) 提取、转换和加载（ETL）数据，跨平台如Azure SQL、Blob存储和数据仓库。
云解决方案设计：
• 架构和开发现代数据解决方案，利用Azure IaaS和PaaS服务来满足业务需求。
• 应用云迁移和现代软件设计原则的专业知识。
• 与利益相关者协作，识别业务数据需求并将其转化为安全、可扩展的解决方案。
大数据与分布式系统：
• 使用Databricks开发和部署Spark应用程序，专注于使用Spark SQL进行数据提取、转换和聚合。
• 确保数据分析的效率，并利用高级Spark架构组件（如Core、SQL、DataFrames和Streaming）揭示客户使用模式的洞察。
• 部署分布式消息系统，如Kafka，并将其与其他Azure服务集成。
监控和安全：
• 管理、监控并确保Azure生态系统中数据的隐私和安全，以符合业务和监管要求。
• 利用Debezium进行来自各种数据库源的CDC（变更数据捕获），并与事件中心集成。
生命周期和项目专业知识：
• 在生命周期的所有阶段开展项目，包括设计、分析、实施和测试。
• 分析当前应用程序的生产状态，以确定新实施对现有业务流程的影响。
可视化和洞察：
• 使用Azure服务构建解决方案，支持数据可视化和分析。
• 通过数据转换和仪表板为利益相关者提供洞察支持。
资格、技能和经验
• 计算机科学、信息技术或相关领域的学士/硕士学位
• Databricks认证将是加分项（非强制）
• 至少5年数据工程经验，具有设计和实施数据解决方案的良好记录
• 具备PySpark、Databricks（优先）、SQL和Spark架构的实践经验
• 具备多个云平台的经验，包括Azure、AWS和Google Cloud，以确保灵活性和适应性
• 精通Azure生态系统：数据湖、数据工厂、Databricks、事件中心和Purview。
• 有Azure数据库的经验：SQL数据库、Synapse和SQL数据仓库。
• 具备ETL知识将是加分项
• 在Azure分析服务方面有强大专业知识
• 具备Scala、Python、R和Spark SQL的编程技能
• 有使用Kafka或Azure MQ等消息队列系统的经验将是加分项
• 具备Power BI等数据可视化工具的知识将是加分项
• 熟悉数据迁移流程将是加分项
请注意：该职位名称用于人才吸引和招聘广告的目的。
平等就业机会（EEO）
DP World致力于平等就业机会（EEO）原则。我们坚信，雇用多元化的劳动力是我们成功的核心，我们根据你的经验和技能做出招聘决策。我们欢迎所有社会成员的申请，无论年龄、性别、残疾、种族、宗教或信仰。
通过提交你的简历和申请信息，你授权DP World在全球招聘数据库中传输和存储你的信息，并在必要时传播该信息，以评估你对该职位或其他职位空缺的资格。
关于DP World
贸易是全球经济的命脉，为世界各地的人们创造机会并改善生活质量。DP World的存在是为了使全球贸易更顺畅，改变我们为全球客户和社区提供的可能性。
DP World拥有一支由来自159个国籍的超过111,000名员工组成的专注、多元和专业的团队，遍布六大洲的77个国家，正在推动贸易向前发展，朝着更无缝的供应链迈进，适应未来。在亚太地区，DP World雇佣了超过7,000名员工，并在17个地点拥有港口和码头。
我们正在迅速转型和整合我们的业务——港口和码头、海洋服务、物流和技术——并将我们的全球基础设施与本地专业知识结合起来，创造更强大、更高效的端到端供应链解决方案，改变世界贸易的方式。
更重要的是，我们通过投资创新来重塑未来。从智能交付系统到自动化仓库堆垛，我们站在颠覆性技术的前沿，推动行业朝着更好的交易方式发展，尽量减少从工厂到客户门口的干扰。
我们让贸易流动
改变每个人的可能性。
免责声明：
社交媒体和招聘网站上可能存在虚假的工作机会和招聘计划，或通过未请求的电子邮件进行沟通。DP World绝不会要求求职者支付任何费用或提供敏感的财务信息。要探索与DP World的真实职业机会，请仅通过我们的官方网站或LinkedIn等受信任的平台申请，我们是经过验证的雇主。 
新加坡