职责
• 设计、开发和优化大规模数据管道和 ETL 过程，以高效地从各种来源提取、转换和加载数据，包括 AWS 和 Azure 数据湖等云平台。
• 构建和维护可扩展的数据仓库，利用 SQL Server、Oracle、Hadoop、Apache Hive、Spark 和大数据框架等技术，以支持分析和报告需求。
• 与跨职能团队合作，理解数据需求，并使用 Python、Java、Shell 脚本、Bash（Unix shell）、Talend、Informatica 和 RESTful API 将其转化为技术解决方案。
• 实施数据模型和数据库设计，确保企业数据系统的高性能、可靠性和安全性。
• 开发用于模型训练、分析任务和数据验证的自动化工作流，以简化操作。
• 集成关联数据源，以增强数据丰富性并实现跨不同数据集的全面分析。
• 利用 Looker 等分析工具进行可视化和报告，为利益相关者提供可操作的见解。
• 参与敏捷开发周期，不断改进数据基础设施，同时确保遵循数据库管理的最佳实践。
• 处理复杂数据问题的故障排除，并对大数据集进行性能调优。
• 详细记录流程，以确保可维护性和团队内部的知识共享。
资格
• 具备使用 Talend、Informatica 等工具或自定义脚本语言（如 Python 或 Shell 脚本）设计和实施 ETL 工作流的经验。
• 精通 SQL（Microsoft SQL Server、Oracle），并在构建高效数据仓库方面具备数据库设计原则的专业知识。
• 具备与大数据技术（包括 Hadoop 生态系统（HDFS）、Apache Hive、Spark 和 Azure 数据湖）合作的实践经验。
• 熟悉 AWS（亚马逊网络服务）和 Azure 等云平台，以部署可扩展的数据解决方案。
• 具备包括 Java 和 Python 在内的编程语言知识，用于开发强大的数据处理应用程序。
• 具备使用 RESTful API 将外部系统或服务集成到数据架构中的经验。
• 能够使用高级分析技能分析复杂数据集，以识别趋势或异常，从而为业务战略提供信息。
• 理解关联数据概念，以有效连接不同的数据集。
• 具备数据库建模、模式设计和优化技术的技能，以支持高性能环境。
• 具备使用 Looker 或类似 BI 平台进行分析的经验，以创建仪表板和报告。
• 熟悉 Shell 脚本（Bash）、VBA 等，能够自动化任务或集成遗留系统者优先。
• 了解敏捷方法论，以便在快速变化的项目团队中有效协作。 如果您渴望在创新与影响相结合的充满活力的环境中发挥您的技术专长，请加入我们！
工作类型：全职
薪资：每年 $67,850.26-$144,698.27 
