数据工程师
£80,000-£90,000
工作概述
我很高兴能与一家SaaS创业公司合作，他们正在寻找一名数据工程师加入他们的数据分析团队。
您将负责扩展和优化数据、数据管道架构、数据流和跨职能团队的数据收集。
该职位直接向数据副总裁汇报，您将是该团队的首位雇员，帮助塑造整个数据部门。
数据工程师的职责
创建和维护最佳的数据管道架构，
组装大型复杂数据集，满足功能/非功能业务需求。
识别、设计和实施内部流程改进：自动化手动流程、优化数据交付、重新设计基础架构以实现更高的可扩展性等。
使用SQL和AWS的“大数据”技术构建所需的基础架构，以从各种数据源中提取、转换和加载数据。
构建利用数据管道的分析工具，为客户获取、运营效率和其他关键业务绩效指标提供可操作的洞察。
与高管、产品、数据和设计团队合作，解决与数据相关的技术问题，支持他们的数据基础设施需求。
通过多个数据中心和AWS区域，确保数据在国界上分离和安全。
为分析和数据科学家团队成员创建数据工具，帮助他们将产品优化为创新的行业领导者。
与数据和分析专家合作，追求数据系统更高的功能性。
数据工程师的资格要求
具有高级的SQL知识和与关系数据库、查询编写（SQL）以及与各种数据库的工作熟悉性的经验。
具有构建和优化大数据管道、架构和数据集的经验。
具有在内部和外部数据和流程上执行根本原因分析以回答特定业务问题和识别改进机会的经验。
具有处理非结构化数据集的强大分析能力。
构建支持数据转换、数据结构、元数据、依赖和工作负载管理的流程。
成功处理、处理和从大型断开的数据集中提取价值的历史记录。
熟悉消息排队、流处理和高度可扩展的“大数据”数据存储。
强大的项目管理和组织能力。
在动态环境中支持和与跨职能团队合作的经验。
他们正在寻找一名具有5年以上数据工程师经验的候选人，最好具有以下软件/工具的使用经验：
具有大数据工具的经验：Hadoop、Spark、Kafka等。
具有关系SQL和NoSQL数据库的经验，包括Postgres和Cassandra。
具有数据管道和工作流管理工具的经验：Azkaban、Luigi、Airflow等。
具有AWS、GCP或Azure的经验
具有流处理系统的经验：Storm、Spark-Streaming等。
具有面向对象/函数脚本语言的经验：Python、Java、C++、Scala等。 
伦敦