后端工程师(大数据),数据平台

15个月前全职
6.5K - 13K SGD NodeFlair

NodeFlair

location 新加坡
unsaved
职位摘要 薪资 S$6,503 - S$13,000 / 月薪估计 工作类型 永久 资历要求 初级 经验年限 至少2年 技术栈 ETL Go ClickHouse Storm Elastic Kinesis RedShift Java Hive Spark kafka Flink Scala 职位描述 TikTok和其附属公司正在开发下一代高性能分析数据库,旨在实现对PB级数据集的高效实时数据驱动决策。初始产品是从Clickhouse分叉出来的,之后进行了大规模的重构。该产品不仅提高了Clickhouse的效率,还能更好地适应弹性云原生基础架构,具有更好的可扩展性和资源利用率。经过多年在内部EB级场景中的打磨,我们现在准备通过各种云供应商为业务合作伙伴提供服务。 该产品将: • 让用户能够安全、轻松地管理底层数据引擎中的大规模数据资产 • 提高整个系统的可观察性,帮助用户更透明地了解系统的健康状况和资源利用情况 你将要做的事情: • 负责构建数据加载领域的核心功能 • 推动与主流上游生态系统集成的数据加载功能的设计、开发和交付 • 领导流式和批量加载引擎的优化,以在各自的场景中提供低延迟和高吞吐量 • 领导在数十万个加载作业上进行数据加载资源管理的解决方案设计 • 确保整个软件开发生命周期的服务质量 • 研究、设计和开发计算机和网络软件或专门的实用程序 • 分析用户需求并开发软件解决方案,应用计算机科学、工程和数学分析的原理和技术 • 更新软件,增强现有软件功能,并开发和指导软件测试和验证程序 • 与计算机硬件工程师合作,集成硬件和软件系统,并制定规格和性能要求 资格要求 你应该具备以下条件: • 计算机科学学士学位或研究生学位 • 至少2年的后端开发经验 • 熟练掌握GoLang、Java或Scala等主流编程语言 • 对ETL和数据仓库有良好的领域知识 • 深入了解分布式实时或批量数据处理系统,如Spark、Flink、Kafka等 • 有优化Spark、Flink、Storm、Kafka等系统的经验 • 了解Kafka、Redpanda、Kinesis、Redshift、Hive等大数据生态系统将是一个加分项 • 良好的沟通和人际交往能力 TikTok致力于创建一个包容的空间,员工的技能、经验和独特观点都受到重视。我们的平台连接着来自全球各地的人,我们的工作场所也是如此。在TikTok,我们的使命是激发创造力,带来快乐。为了实现这一目标,我们致力于庆祝我们多样化的声音,并创造一个反映我们所触达的众多社区的环境。我们对此充满热情,希望你也一样。