工作编号：
Tead - 1972
工作经验（年）：
10-14
工作类型：
永久
发布日期：
2023年12月29日
地点：
迪拜
概述：
数据工程师
描述：
理想的候选人应该能够熟练运用各种数据技术、系统和工具，并负责为我们的组织设计和交付复杂、高性能的数据架构。
主要职责：
• 运用您在Apache Spark方面的专业知识，设计、开发和优化数据流程
• 利用尖端的数据结构，确保次级响应时间
• 实施复杂的ETL程序，用于清理、规范化和聚合数据
• 在云和本地环境之间灵活工作，使用Snowflake、Clickhouse等工具
• 开发、部署和监控在Apache Airflow上运行的程序
• 高效地管理从S3导入和导出的大量数据
• 定义要求并维护一个本地Clickhouse集群，存储拍字节的数据
• 为Clickhouse实施性能优化解决方案，包括使用各种引擎和其他工具
• 优化和改进Clickhouse的分析查询
• 运行实验并使用自动化基准工具记录结果
• 实施数据质量管理流程
注意：我们特别寻求在大规模数据系统方面有丰富经验并在Apache Spark方面具有坚实背景的候选人。如果您喜欢挑战，并在您的领域追求卓越，这是您的机会。
所需技能和资格：
• 作为数据工程师或类似职位的经验
• 实时数据处理和批处理数据处理经验
• 数据仓库设计的丰富经验（例如维度建模，数据保险库）和数据挖掘
• 对数据库结构原理有深入理解
• 熟练掌握Python、SQL、Apache Spark、Apache Airflow、Kafka、Clickhouse、Snowflake和其他相关技术
• 工业软件开发经验
• 出色的数据备份、恢复、安全性、完整性和SQL知识
• 熟悉大数据工具和数据生态系统
• 强大的问题解决能力，注重产品开发
• 出色的书面和口头沟通能力
• 计算机科学、信息技术或相关领域的学位
• 全面了解数据质量管理原则和最佳实践
• 能够独立工作并参与各种项目的团队合作
技能：
无 
迪拜