工作总结
Careem大数据平台团队的使命是提供一个平台，以抽象大数据的复杂性，并实现对数据的快速、可靠和安全访问。作为该团队的领导者，您将处于实现这一使命的前沿。您将与该地区的顶尖人才合作并领导他们，利用现代大数据工具和技术解决该地区的日常问题，基于我们自有的数据平台，实时为用户服务。
主要活动和职责
- 定义架构、范围并交付各种大数据解决方案。
- 构建和维护大规模的Cassandra集群部署。
- 通过提供数据建模、数据使用、处理方面的指导来支持其他团队，并帮助他们更好地利用平台。
- 构建可扩展的数据管道，从各种数据源摄取数据，识别关键数据元素并定义数据质量规则。
- 利用Spark/Hadoop生态系统知识设计和开发能力，以提供创新和改进的数据解决方案。
- 提供改进领域的见解，包括数据治理、最佳实践、大规模处理。
- 支持数据管道中的错误修复和性能分析。
- 在充满活力、不断发展的团队中进行协作、指导和辅导同事。
要求
- 4年以上软件工程师经验，至少精通一种编程语言（Scala、Java或Python优先）。
- 2年以上Cassandra部署/维护和Cassandra数据建模经验。
- 具有分布式系统和设计/实现可靠性、可用性、可扩展性和性能的专业知识。
- 具有AWS技术（如S3、EMR、Cloudformation）的经验。
- 具有创造性和创新性的问题解决方法。
- 3年以上大数据工程师或类似角色的经验。
- 1年以上Hadoop和/或Spark经验。
- 使用Jenkins、Terraform或其他相关技术进行CICD的经验。
- 熟悉Docker和Kubernetes等容器化平台。
- 使用Kafka、Spark Streaming或类似技术进行实时数据处理的经验。
- 使用Hive、Presto或其他查询框架的经验。
- 公司：Careem
- 雇佣类型：全职
- 经验：4年
- 关键技能：Scala、Java、Python
- 职位类型：IT
