迪拜
岗位职责:
-创建和维护最佳的数据管道架构。
-组装满足功能/非功能业务需求的大型复杂数据集。
-识别，设计和实施内部流程改进: 自动化手动流程，优化数据交付，重新设计基础架构以实现更大的可扩展性等。
-构建所需的基础设施，以便从各种数据源中进行最佳的数据提取，转换和加载
-构建利用数据管道的分析工具，以提供对客户获取，运营效率和其他关键业务绩效指标的可操作见解。
-与包括执行，产品，数据和设计团队在内的利益相关者合作，以协助解决与数据相关的技术问题并支持其数据基础架构需求。
-为分析和数据科学家团队成员创建数据工具，帮助他们将我们的产品构建和优化为创新的行业领导者。
-与数据和分析专家合作，努力在我们的数据系统中实现更大的功能。
-构建支持数据转换，数据结构，元数据，依赖性和工作负载管理的流程。
资格:
-1年的数据工程师经验，已获得计算机科学，统计学，信息学，信息系统或其他定量领域的研究生学位。他们还应该有使用以下软件/工具的经验:
使用大数据工具的经验: Hadoop，Spark，Kafka等.
有使用关系型SQL和NoSQL数据库的经验，包括Postgres和Cassandra。
具有数据管道和工作流管理工具的经验: Azkaban，Luigi，Airflow等。
使用AWS云服务的经验: EC2、EMR、RDS、Redshift
具有流处理系统的经验: Storm，Spark-Streaming等。
具有面向对象/对象函数脚本语言的经验: Python，Java，C，Scala等.
-高级工作SQL知识和经验，使用关系数据库，查询创作 (SQL) 以及熟悉各种数据库。
-具有构建和优化 “大数据” 数据管道，架构和数据集的经验。
-具有对内部和外部数据和流程进行根本原因分析的经验，以回答特定的业务问题并确定改进机会。
-与非结构化数据集相关的强大分析技能。
-消息队列，流处理和高度可扩展的 “大数据” 数据存储的工作知识。
