后端工程师(大数据),数据平台

14个月前全职
TikTok

TikTok

location 新加坡
unsaved
职责 关于TikTok TikTok是短视频领域的领先目的地。我们的使命是激发创造力,带来快乐。TikTok在全球范围内设有办事处,包括洛杉矶、纽约、伦敦、巴黎、柏林、迪拜、新加坡、雅加达、首尔和东京。 为什么加入我们 在TikTok,我们的员工谦逊、聪明、富有同情心和创造力。我们创造的目的是激励——为您、为我们,也为超过10亿用户在我们的平台上。我们以好奇心为先导,并追求最高标准,从不回避冒险和接受不确定性。在这里,对于敢于追求超越可能性边界的大胆想法的人来说,机会是无限的。加入我们,在TikTok的职业生涯中实现影响。 关于团队 TikTok和附属公司正在开发下一代高性能分析数据库,旨在实现对PB级数据集的高效实时数据驱动决策。最初的产品是从Clickhouse分叉出来的,之后进行了大规模的重新架构。该产品不仅提高了Clickhouse的效率,还能更好地适应弹性云原生基础架构,具有更好的可扩展性和资源利用率。通过在内部EB级场景中多年的打磨,我们现在已经准备好通过各种云供应商为业务合作伙伴提供服务了。 • *该产品将**: - 让用户能够安全、轻松地管理底层数据引擎中的大规模数据资产 - 提高整个系统的可观察性,帮助用户更透明地了解系统的健康状况和资源利用情况 • *您将会做**: - 负责构建数据加载领域的核心功能 - 推动与主流上游生态系统集成的数据加载功能的设计、开发和交付 - 领导优化流式和批量加载引擎,以在各自的场景中提供低延迟和高吞吐量 - 领导数据加载资源管理的解决方案设计,涉及数十万个加载作业 - 通过整个软件开发生命周期确保服务质量 • *资格要求**: - 计算机科学学士学位或研究生学位 - 至少2年的后端经验 - 熟练掌握GoLang、Java或Scala等主流语言的编程技能 - 对ETL和数据仓库有良好的领域知识 - 深入了解分布式实时或批处理数据处理系统,如Spark、Flink、Kafka等 - 有优化Spark、Flink、Storm、Kafka等系统的经验 - 了解Kafka、Redpanda、Kinesis、Redshift、Hive等大数据生态系统的知识将是一个加分项 - 良好的沟通和人际交往能力 TikTok致力于打造一个包容的空间,员工在这里会因其技能、经验和独特的观点而受到重视。我们的平台连接着来自全球各地的人,我们的工作场所也是如此。在TikTok,我们的使命是激发创造力,带来快乐。为了实现这个目标,我们致力于庆祝我们多元化的声音,并创造一个反映我们所触及的众多社区的环境。我们对此充满热情,希望您也一样。