公司概况
在Barakah,我们致力于通过技术和社会意识的力量来对抗食物浪费。
我们的使命是创建一个连接食品零售商和消费者的生态系统,使他们能够节省和利用原本会被浪费的剩余食物。
加入我们的团队,您将在推动我们的努力和扩大我们的影响力方面发挥重要作用,从而在减少食物浪费方面产生有意义的影响。
职位概况
我们正在寻找一位数据工程师来负责和发展我们的数据平台,确保支持分析和业务决策的可靠、可扩展和高性能的数据系统。
在这个职位上,您将负责设计、构建和维护跨批处理和流处理用例的数据管道,优化我们的数据仓库,并建立一流的数据工程实践。
您将与分析、产品和工程团队密切合作,确保数据在整个组织中准确、及时和可信。
职责
管理和优化ClickHouse数据仓库
使用dbt和Kafka构建可靠的数据管道以实现可靠的批处理和流数据流
在数据系统和管道上实施监控、警报和可观察性
设计和维护备份和恢复系统
为分析团队提供可靠、及时的数据交付
建立数据工程最佳实践
所需技能
关键词:
数据库、数据仓库、SQL、ETL、ELT、数据管道、Kafka、编排
强大的SQL和数据库经验。具有ClickHouse和/或PostgreSQL经验者优先。
具有构建和管理生产数据管道的经验
使用dbt、airflow、dagster或类似技术进行编排工具和批处理
使用Kafka或类似技术进行流处理
具有错误处理和弹性模式的API集成
基础设施:
Kubernetes、Docker、分布式系统
用于数据处理和自动化的Python
数据建模和仓库设计
优先技能
关键词:
Kubernetes、DevOps、DataOps、Docker、机器学习
在快速增长的初创公司中的经验
事件流架构和实时分析
DevOPS经验
在海湾合作委员会地区的工作经验和阿拉伯语流利
Barakah提供的机会
有机会为食品可持续性方面的有意义的改变做出贡献。
支持学习和成长的团队环境。
在不断发展的公司中提供职业发展和晋升的机会。