高级云数据平台工程师

圣弗朗西斯科 3天前全职 网络
面议
关于Shoreline AI: Shoreline AI是一家工业AI/IoT初创公司,提供基于云的订阅式SAAS解决方案,以优化在石油和天然气、制造业及其他行业中驱动关键操作的工业动力系统的资产性能和运营效率。Shoreline的产品已经在大型企业客户中部署,这些客户通过避免昂贵且计划外的停机时间并提高现场安全性,获得了显著的运营效益。 Shoreline平台包括一个工业无线传感器,可以在几分钟内轻松安装,并通过其内置传感器和外部端口捕获振动数据以及其他环境数据。数据在整个过程中被捕获并上传到Shoreline云平台,该平台为客户提供AI/ML驱动的洞察力以及强大的数据可视化工具供人类专家使用。 Shoreline AI的总部位于加利福尼亚州坎贝尔。欲了解更多信息,请访问https://shorelineai.us/。 关于职位: 我们正在寻找一位高级云数据平台工程师/架构师,在构建和维护支持Shoreline AI产品的数据基础设施和平台方面发挥关键作用。该职位位于我们在圣何塞/旧金山湾区坎贝尔办公室的美国总部。 职责: - 设计、实施和维护一个可扩展且安全的数据湖,以处理结构化和半结构化数据,实施灵活的数据治理,并为数据科学家和软件开发人员提供安全访问。 - 在数据湖平台之上设计和构建“数据API”,为开发人员提供对可用数据进行处理、分析和可视化的便捷编程访问。 - 创建数据管道以从多个来源摄取、清理和转换数据。 - 制定策略以便于创建和部署容器化应用程序。 - 使用Python和SQL开发和维护用于数据摄取的内部工具和框架。 - 监控数据管道和云基础设施的可用性、低延迟和数据正确性。 - 跨职能协作以定义数据模型、合同、模式、访问和保留策略。 - 采用软件开发和部署最佳实践,包括持续集成/持续部署(CI/CD),使用基础设施即代码(IaC),自动化测试等。 - 学习和适应新的云技术和开发最佳实践。 - 保持以客户为先的态度,确保所有技术解决方案都专注于提供客户满意度。 - 参与架构、设计和代码审查,并保持高标准的质量、测试、文档和安全标准合规性。 所需技能和资格: - 3年以上在AWS平台上架构、设计、开发和实施云解决方案的经验。 - 通过定义和构建API和工具帮助其他开发人员提高生产力的平台构建者心态。 - 展示了使用基于AI的编码工具(例如,Cursor、Claude Code、Gemini CLI)加速学习、定义架构和项目计划、实施代码和测试的能力。 - 深刻理解SQL和现代数据湖架构(例如,使用Parquet、Iceberg或Delta Lake)。 - 在大规模实时或批量数据摄取以及设计容错ETL/ELT管道方面的经验。 - 熟悉事件驱动架构和消息系统,如Kafka或Kinesis。 - 拥有AWS服务的实际操作经验,包括但不限于:S3、Lambda、API Gateway、Glue、Kinesis、Athena和RDS。 - 出色的协作和沟通能力,能够与远程团队合作。