职责 利用在DataStage或Informatica、Korn Shell、Python和Perl脚本在Unix/Linux平台上的开发经验。能够设计、开发和实施ETL Glue PySpark流程，从各种来源提取、转换和加载数据到基于AWS云的数据仓库和数据湖，特别是Redshift和Aurora PostgreSQL。能够根据需要开发可扩展且高效的全栈应用程序，包括前端和后端组件或API。进行业务分析和数据分析/验证，以减少错误和不一致，提取有意义的见解，并在整个软件开发生命周期中支持业务决策。与数据分析师、数据架构师和其他团队成员密切合作，分析源数据，提高数据的准确性和完整性，实施数据报告，并理解数据和应用程序需求，以提供有效的解决方案。自动化和编排ETL流程、应用程序和API，以优化本地和云环境中的性能和可扩展性。主动提供生产支持，包括监控、故障排除和解决ETL流程、配置和数据完整性的问题。开发涵盖整体流程、数据映射、数据流、API、应用程序代码和支持程序的全面文档。进行影响分析，并有效地向更大范围的受众传达技术流程和概念。确保数据和应用程序的安全性，并遵守所有相关的数据保护法规。参与代码审查，遵循最佳实践，并为同事提供建设性的反馈。保持对ETL开发、全栈开发、数据分析和云技术领域的最新行业趋势和最佳实践的了解。
资格要求 计算机科学、信息技术或相关领域的学士学位。超过8年的ETL开发、数据仓库、AWS云服务和API开发经验。全面掌握所有AWS服务，并对数据集成、转换和加载流程有深入理解。精通脚本语言，包括DataStage或Informatica、Shell脚本、Perl和Python。具有API开发和框架（如REST和SOAP）的经验。高级技能利用AWS云平台和服务，包括AWS Glue、Step Functions、Airflow DAGS、Lambda、S3、EC2等。熟练掌握SQL，适用于本地关系数据库（如AIX上的DB2）和AWS数据库（如Amazon RDS、Amazon Aurora PostgreSQL和Redshift）。具有使用Git或Bitbucket等版本控制工具的经验。熟悉实施Jenkins管道和CI/CD流程。具备数据分析/验证经验，使用Excel、Python和Tableau等工具。AWS认证和AI/ML专业知识是优势。熟悉汽车行业知识、数据仓库概念，并遵循开发人员最佳实践。具有在敏捷开发方法中工作的经验。
