职位责任
• 创建和维护最佳的数据管道架构
• 组装满足功能/非功能业务需求的大型复杂数据集
• 识别、设计和实施内部流程改进：自动化手动流程、优化数据传递、与基础设施团队合作重新设计基础设施以实现更高的可扩展性和稳定性
• 与基础设施团队合作，为从各种数据源使用SQL和“大数据”技术进行数据的最佳提取、转换和加载提供所需的基础设施
• 与高管、产品、数据和设计团队合作，解决与数据相关的技术问题，并支持他们的数据需求
• 通过多个数据中心和AWS区域将我们的数据分离和安全存储
• 为分析和数据科学团队成员创建数据工具，帮助他们构建和优化模型，使我们成为创新的行业领导者
• 与数据和分析专家合作，努力提高我们数据系统的功能性
• 从零开始构建利用数据管道提供客户获取、运营效率和其他关键业务绩效指标的可行动见解的工具
• 为电子商务团队准备每日、每周、每月、每年和临时报告和分析
• 利用数据并能够与电子商务团队分享见解
• 了解并能够分享电子商务数据分析的最佳实践
理想候选人
• 具有先进的SQL知识和与关系数据库的工作经验，包括查询编写（SQL）以及对广泛使用的关系数据库管理系统的熟悉
• 具有构建和优化“大数据”数据管道、架构和数据集的经验
• 具有分析未结构化数据集的强大能力
• 构建支持数据转换、数据结构、元数据、依赖关系和工作负载管理的流程
• 成功处理、处理和从大型断开的数据集中提取价值的历史记录
• 熟悉消息队列、流处理和高度可扩展的“大数据”数据存储
• 具有较强的项目管理和组织能力
• 在动态环境中支持和与跨职能团队合作的经验
• 具有面向对象/函数脚本语言的经验：Python和/或Java、C++、Scala等
• 具有大数据工具的经验：Hadoop、Spark、Kafka、NiFi、sqoop等
• 具有关系型SQL和NoSQL数据库的经验
• 具有数据管道和工作流管理工具的经验：Luigi、Airflow等
• 具有AWS云服务的经验：EC2、EMR、Kenesis、Firehose
• 具有流处理系统的经验：Storm、Spark-Streaming等
• 具有Qlikview和Qliksense经验者优先考虑
• 具有AlicCloud环境（Alicloud、AWS）的经验
• 具有DevOps环境的经验：Docker、Kubernetes、Git、CI/CD 
新加坡