高级数据工程师

吉达 无个税5天前全职 网络
面议
公司概况 在Barakah,我们致力于通过技术和社会意识的力量来对抗食物浪费。 我们的使命是创建一个连接食品零售商和消费者的生态系统,使他们能够节省和利用原本会被浪费的剩余食物。 加入我们的团队,您将在推动我们的努力和扩大我们的影响力方面发挥重要作用,从而在减少食物浪费方面产生有意义的影响。 职位概况 我们正在寻找一位数据工程师来负责和发展我们的数据平台,确保支持分析和业务决策的可靠、可扩展和高性能的数据系统。 在这个职位上,您将负责设计、构建和维护跨批处理和流处理用例的数据管道,优化我们的数据仓库,并建立一流的数据工程实践。 您将与分析、产品和工程团队密切合作,确保数据在整个组织中准确、及时和可信。 职责 管理和优化ClickHouse数据仓库 使用dbt和Kafka构建可靠的数据管道以实现可靠的批处理和流数据流 在数据系统和管道上实施监控、警报和可观察性 设计和维护备份和恢复系统 为分析团队提供可靠、及时的数据交付 建立数据工程最佳实践 所需技能 关键词: 数据库、数据仓库、SQL、ETL、ELT、数据管道、Kafka、编排 强大的SQL和数据库经验。具有ClickHouse和/或PostgreSQL经验者优先。 具有构建和管理生产数据管道的经验 使用dbt、airflow、dagster或类似技术进行编排工具和批处理 使用Kafka或类似技术进行流处理 具有错误处理和弹性模式的API集成 基础设施: Kubernetes、Docker、分布式系统 用于数据处理和自动化的Python 数据建模和仓库设计 优先技能 关键词: Kubernetes、DevOps、DataOps、Docker、机器学习 在快速增长的初创公司中的经验 事件流架构和实时分析 DevOPS经验 在海湾合作委员会地区的工作经验和阿拉伯语流利 Barakah提供的机会 有机会为食品可持续性方面的有意义的改变做出贡献。 支持学习和成长的团队环境。 在不断发展的公司中提供职业发展和晋升的机会。