职位信息
职位开放编号
ZR_1090_JOB
行业
商业智能
城市
迪拜
国家
阿联酋
在Deriv，我们正在寻找一个注重细节的高级数据工程师，能够定义我们未来数据模型的数据管道。您将利用Google Cloud Platform、Airflow、Python、Docker和PostgreSQL等技术，帮助公司提供可靠的商业智能解决方案。作为这个角色的一部分，您将开发、测试和维护数据处理架构，并构建提取、转换和加载（ETL）管道。您将是确保我们的数据仓库数据准确性的关键贡献者。
您的挑战
• 在从内部和第三方复杂数据源中提取数据并管理其系统存储时，确保数据完整性。负责数据安全性、准确性和可访问性。
• 利用您在数据工程领域的专业知识，提供切实可行的业务解决方案和决策。
• 设计和构建高性能、安全、可扩展的公司数据仓库和管道，以支持数据科学项目，并遵循最佳实践。
• 调试和解决复杂问题，并建议改进措施，以确保ETL管道架构的正常运行。
• 将原始数据转换为易于使用的表格，供数据分析师使用。
• 及时了解公司产品和新发布的内容，以便有效计划数据仓库或管道的变更。
我们的团队
我们是商业智能团队。我们在公司朝着未来发展的过程中，引领组织培养数据驱动文化。我们收集有意义的数据和分析，深入了解我们的消费者，并构建更有价值的产品和服务。我们的工作在推动智能营销决策、优化业务和增加盈利能力方面非常重要。
要求
• 至少5年的数据工程领域经验
• 熟悉数据建模技术，如Kimball星型模式、Anchor模型和数据仓库
• 掌握面向对象或面向函数的脚本语言，如Python
• 熟练掌握关系型SQL和NoSQL数据库，最好使用PostgreSQL、PITR、Pg_basebackup、WAL存档和复制
• 熟悉列式存储或数据仓库，如parquet、Redshift和Bigquery
• 深入了解开发和维护ETL/ELT数据管道和工作流管理工具，如Airflow
• 具备使用Google Cloud Platform（GCP）服务的实际经验，如BigQuery、定期查询、Cloud Storage和Cloud Functions
• 熟悉有关数据准确性的警报和自我恢复方法
• 具备分析能力，能够将数据转化为最佳业务决策
• 专业审查管道代码，并在需要时提出改进意见的能力
• 通过数据帮助团队做出明智的业务决策的经验
• 出色的沟通和演示技巧
• 流利的英语口语和书写能力
有益之处
• 具备网络安全和数据保护方面的背景
• 熟练使用数据管道和工作流管理工具，如Luigi
• 了解维护和监控数据库健康状况并解决错误的方法
• 具备管理利益相关者期望和技术需求收集的经验
• 熟悉容器技术，如Docker
• 金融科技背景
福利待遇
• 市场薪资
• 年度绩效奖金
• 医疗保险
• 住房和交通津贴
• 休闲着装
• 工作许可证 
迪拜