职位摘要
薪资
S$6,503 - S$13,000 / 月薪估计
工作类型
永久
资历要求
初级
经验年限
至少2年
技术栈
ETL Go ClickHouse Storm Elastic Kinesis RedShift Java Hive Spark kafka Flink Scala
职位描述
TikTok和其附属公司正在开发下一代高性能分析数据库,旨在实现对PB级数据集的高效实时数据驱动决策。初始产品是从Clickhouse分叉出来的,之后进行了大规模的重构。该产品不仅提高了Clickhouse的效率,还能更好地适应弹性云原生基础架构,具有更好的可扩展性和资源利用率。经过多年在内部EB级场景中的打磨,我们现在准备通过各种云供应商为业务合作伙伴提供服务。
该产品将:
• 让用户能够安全、轻松地管理底层数据引擎中的大规模数据资产
• 提高整个系统的可观察性,帮助用户更透明地了解系统的健康状况和资源利用情况
你将要做的事情:
• 负责构建数据加载领域的核心功能
• 推动与主流上游生态系统集成的数据加载功能的设计、开发和交付
• 领导流式和批量加载引擎的优化,以在各自的场景中提供低延迟和高吞吐量
• 领导在数十万个加载作业上进行数据加载资源管理的解决方案设计
• 确保整个软件开发生命周期的服务质量
• 研究、设计和开发计算机和网络软件或专门的实用程序
• 分析用户需求并开发软件解决方案,应用计算机科学、工程和数学分析的原理和技术
• 更新软件,增强现有软件功能,并开发和指导软件测试和验证程序
• 与计算机硬件工程师合作,集成硬件和软件系统,并制定规格和性能要求
资格要求
你应该具备以下条件:
• 计算机科学学士学位或研究生学位
• 至少2年的后端开发经验
• 熟练掌握GoLang、Java或Scala等主流编程语言
• 对ETL和数据仓库有良好的领域知识
• 深入了解分布式实时或批量数据处理系统,如Spark、Flink、Kafka等
• 有优化Spark、Flink、Storm、Kafka等系统的经验
• 了解Kafka、Redpanda、Kinesis、Redshift、Hive等大数据生态系统将是一个加分项
• 良好的沟通和人际交往能力
TikTok致力于创建一个包容的空间,员工的技能、经验和独特观点都受到重视。我们的平台连接着来自全球各地的人,我们的工作场所也是如此。在TikTok,我们的使命是激发创造力,带来快乐。为了实现这一目标,我们致力于庆祝我们多样化的声音,并创造一个反映我们所触达的众多社区的环境。我们对此充满热情,希望你也一样。