你的任务：你的任务是管理和优化我们的云数据平台。这意味着你将负责处理各种数据项目，包括使用现代大数据工具编排我们的数据流水线，以及满足我们的安全要求的现有事务处理系统的工程。
你的遗产：你的遗产将是确保每个Urgently团队可以在几分钟内从任何来源访问数据，并且没有数据丢失。结果是什么？你帮助Urgently成为全球领先的移动援助公司。
1）前三个月：
• 了解我们的平台开发环境和理念。
• 了解我们的云平台和应用程序基础设施。
• 掌握我们工程团队的工作文化。
2）前六个月：
• 集成多个第三方数据源
• 使用各种云工具将我们的内部和外部系统以及第三方API整合在一起
• 开发数据平台服务
• 构建监控基础设施/服务，以便查看流水线的状态
• 与不同团队进行接口，使数据可用于报告和分析
3）持续进行...
• 继续优化我们的数据平台
• 从其他团队收集数据需求并为他们实施解决方案
• 确保各个系统之间的完整性，并推动数据在所有系统中的流动，确保数据一致性
• 处理来自各种不同数据源（键值、文档、列式等）以及传统关系型数据库的结构化和非结构化数据
• 不断监控和支持我们完整的数据生态系统
• 维护数据平台的安全性和完整性
• 在生产中运行和管理服务
你的要求：
技术技能：
• 计算机科学、信息系统、应用数学或相关学位的学士学位。
• 在大数据技术方面有4年以上的软件开发经验
• 有Redshift的工作经验，包括性能调优的最佳实践。
• 有使用Apache Spark Streaming、Kinesis、Apache Kafka等流处理系统的经验。
• 有使用Airflow编排数据流水线的工作经验。
• 具备高级Python技能，包括面向对象编程、函数式编程、装饰器、生成器和异步编程等关键概念。
• 有编写和理解复杂SQL查询的经验，包括使用公共表达式（CTE）和窗口函数。
• 有使用AWS RDS、Lambda函数、EC2、S3的工作经验。
• 熟悉消息传递和数据流水线工具，如SNS、SQS。
• 有使用AWS服务和工具（如CloudWatch、Slack、Google Chat）进行日志记录和监控的工作经验。
• 精通AWS数据库迁移服务（DMS）的调试。
• 有自动化部署和运营数据流水线的工作经验。
• 熟悉EMR、Glue、Athena、Transfer Family、CloudFormation、OpenSearch和IAM基于角色的权限管理。
行业经验：
• 开发了多个数据流水线，涉及收集、流式处理、存储和处理不同业务用例的数据。
• 熟练处理各种数据格式，包括CSV、Excel、文本和Parquet，并擅长管理与数据库表、S3、API、Webhooks、电子邮件和SFTP操作的多样输入/输出交互。
• 从实时和批处理流式数据源处理结构化、半结构化和非结构化大数据集的经验。
• 有敏捷或Scrum方法论的项目管理经验。
• 能够管理和优先处理多个任务和项目。
• 优化数据流水线、数据库和相关流程性能的经验。
• 理解并具备实施数据系统的灾难恢复和备份策略的能力。
• 了解和遵守数据隐私和法规合规标准以及安全协议。
解决问题和沟通能力：
• 积极解决问题，不断提升技能，增强数据平台能力。
• 表现出对持续学习的承诺，及时了解行业趋势和技术。
• 与跨职能团队、利益相关者和团队成员有效合作，优先考虑透明沟通和主动知识分享。
• 熟练撰写数据流程、工作流程和架构的文档，以供知识共享和将来参考。
• 独立完成任务，同时为改进整体数据系统做出重要贡献
最好有：
• 相关的亚马逊网络服务证书
• 使用数据流水线和治理工具的经验：NiFi、Atlan、Alation等
• 与NoSQL数据库（如Apache Solr、MongoDB）一起工作的经验
• 对SageMaker等数据科学AWS服务的了解
• 对HDFS、Flume、Hive、MapReduce的了解
• 曾使用过Google BigQuery、Snowflake等数据仓库工具
• 使用Tableau、Sigma Computing、Power BI等报告工具的经验
具体细节：
• 地点 = 好消息！这个职位是远程的，你可以选择在美国的任何地方工作！
• 经理 = 你将向高级数据工程总监汇报
• 薪酬 = 这个职位的基本薪资范围为10万美元至13万美元。每个职位发布中显示的范围反映了该职位在美国各地新员工薪资的最低和最高目标。在这个范围内，个人的薪酬由与工作相关的技能、经验和相关教育或培训决定。
• 福利 = 在Urgently，我们有很棒的福利！我们为您提供短期残疾保险、长期残疾保险和人寿保险 - 全免费！我们还提供三种不同的医疗计划可供选择，两种牙科计划，一个视觉计划和其他有价值的福利。您将有12个假期和无限带薪休假。我们将100%匹配您对我们的401(k)的前3%的贡献，然后再匹配您对下一个2%的贡献的50%。因此，如果您贡献了5%的薪水，我们将匹配其中的4%。免费的钱 
芝加哥