领先数据工程师

16个月前全职
11K - 18K USD THOUGHTWORKS PTE. LTD.

THOUGHTWORKS PTE. LTD.

location 新加坡
unsaved
你是否在将数据成功转化为最简单、最有意义的形式时最具活力? Thoughtworks是一家全球软件咨询公司,旨在通过技术对世界产生积极影响。我们的技术人员社区以打破常规的思维方式来为客户的最复杂挑战提供务实的解决方案。我们是充满好奇心的思考者,以协作和包容的团队形式汇聚在一起,突破界限,自由做自己,在技术领域留下自己的印记。 我们的开发人员在过去25年里一直为主要组织和开源项目贡献代码。他们还撰写书籍、在会议上发表演讲,帮助推动软件开发,改变公司甚至行业。我们坚信,软件质量是由开放的沟通、审查和协作推动的。这就是为什么我们如此热情地支持开源,并为测试、持续交付(GoCD)、持续集成(CruiseControl)、机器学习和医疗保健等开源工具做出了重要贡献。 作为顾问,我们与客户合作,确保我们不断发展他们的技术,赋予适应性思维,以实现他们的业务目标。你可以影响零售巨头的数字战略,为银行构建一个大胆的新移动应用,或者使用事件溯源和智能数据管道重新设计平台。你将学习使用最新的精益和敏捷思维,创建务实的解决方案来解决关键问题,并每天挑战自己。 数据工程师开发现代化的数据架构方法,以满足关键业务目标并提供端到端的数据解决方案。你可能会花几周时间与新客户进行深入的技术审查或完整的组织审查,帮助他们了解数据在解决他们最紧迫问题方面的潜力。在其他项目中,你可能担任架构师的角色,领导技术解决方案的设计,或者监督一个项目的开始,构建一个新产品。也可能是一个软件交付项目,你既乐于编码,也乐于领导团队实施解决方案。 你将花时间做以下工作: 你可能会花几周时间与新客户进行深入的技术审查或完整的组织审查,帮助他们了解数据在解决他们最紧迫问题方面的潜力 你将与队友合作,创建复杂的数据处理管道,以解决我们客户最雄心勃勃的挑战 你将与数据科学家合作,设计可扩展的模型实现 你将成对编写基于TDD的清晰迭代代码 利用各种持续交付实践来部署、支持和操作数据管道 为客户提供关于如何使用不同的分布式存储和计算技术的建议和教育,从众多可选项中进行选择 开发和操作现代化的数据架构方法,以满足关键业务目标并提供端到端的数据解决方案 创建数据模型,并讨论不同建模方法的权衡 在其他项目中,你可能担任架构师的角色,领导技术解决方案的设计,或者监督一个项目的开始,构建一个新产品 无缝地将数据质量融入到日常工作和交付过程中 我们正在寻找以下特点的人: 你既乐于编码,也乐于领导团队实施解决方案 你在数据工程方面具有创新和专业知识的记录 你对工艺非常热衷,并在各行各业和组织中应用了自己的专业知识 你对数据建模有深入的理解,并具有使用Kafka、Spark和Hadoop等数据工程工具和平台的经验 你已经构建了大规模的数据管道和以数据为中心的应用程序,使用分布式存储平台(如HDFS、S3、NoSQL数据库(Hbase、Cassandra等)和分布式处理平台(如Hadoop、Spark、Hive、Oozie和Airflow)在生产环境中 在MapR、Cloudera、Hortonworks和/或基于云的(AWS EMR、Azure HDInsights、Qubole等)Hadoop发行版上有实际经验 你习惯采用数据驱动的方法,并应用数据安全策略来解决业务问题 你对数据基础设施和运营非常兴奋,并熟悉在云环境中工作 与数据一起工作让你兴奋:你已经创建了大数据架构,可以构建和操作数据管道,并在分布式系统中维护数据存储 在Thoughtworks之外,你将向更广泛的技术社区倡导你的数据工程专业知识,参加会议,并担任初级数据工程师的导师 确保Thoughtworks和客户团队之间有效的合作,鼓励开放沟通,并倡导共同的成果