AI评估数据工程师

休斯顿 3天前全职 网络
面议
加入Sepal AI,帮助我们利用真实世界的软件数据为AI系统创建突破性的评估!我们正在寻找一位有至少3年经验且具有强大系统思维的数据工程师,协助开发适合动态日志分析环境的AI评估环境。 您的职责: - 使用高性能工具如BigQuery、ClickHouse、Snowflake、Redshift和其他列式数据库设计和实施分析模式和管道。 - 处理复杂的分布式查询,涉及大量日志和遥测数据集。 - 创建和管理模拟数据集,以复制真实世界的DevOps、可观测性或云基础设施日志。 - 调整和优化分布式查询执行计划,以避免超时并减少过度扫描。 您的资格: - 3年以上数据工程或后端系统角色的经验。 - 在分析数据库和OLAP引擎方面有深入的专业知识,特别是在大规模查询优化、模式设计和性能提升方面。 - 熟练掌握日志摄取管道如FluentBit、Logstash或Vector,具备强大的可观测性系统模式设计技能。 - 出色的SQL技能,能够分析性能问题并纠正低效的查询模式。 - 加分项:熟悉Python、Docker或合成数据生成。 薪资:根据经验每小时$50 - 85 远程,灵活工作时间 项目时间表:5-6周