加入Sepal AI,帮助我们利用真实世界的软件数据为AI系统创建突破性的评估!我们正在寻找一位有至少3年经验且具有强大系统思维的数据工程师,协助开发适合动态日志分析环境的AI评估环境。
您的职责:
- 使用高性能工具如BigQuery、ClickHouse、Snowflake、Redshift和其他列式数据库设计和实施分析模式和管道。
- 处理复杂的分布式查询,涉及大量日志和遥测数据集。
- 创建和管理模拟数据集,以复制真实世界的DevOps、可观测性或云基础设施日志。
- 调整和优化分布式查询执行计划,以避免超时并减少过度扫描。
您的资格:
- 3年以上数据工程或后端系统角色的经验。
- 在分析数据库和OLAP引擎方面有深入的专业知识,特别是在大规模查询优化、模式设计和性能提升方面。
- 熟练掌握日志摄取管道如FluentBit、Logstash或Vector,具备强大的可观测性系统模式设计技能。
- 出色的SQL技能,能够分析性能问题并纠正低效的查询模式。
- 加分项:熟悉Python、Docker或合成数据生成。
薪资:根据经验每小时$50 - 85
远程,灵活工作时间
项目时间表:5-6周