Dice是每个职业阶段的技术专家的首选职业目的地。我们的客户Dizer Corp正在寻找以下职位。立即通过Dice申请！
职位：具有机器学习的数据工程师
地点：远程
描述
• 利用Vector DB、Graph DB、Airflow、Spark、PySpark、Python、LangChain、AWS Functions、Redshift和SSIS等多种技术，设计和开发生成式AI项目的数据管道。这将涉及到将这些工具逻辑高效地集成在一起，创建无缝、高性能的数据流，以有效地支持我们尖端AI项目的数据需求。与数据科学家、AI研究人员和其他利益相关者合作，了解数据需求，并将其转化为有效的数据工程解决方案。
• 熟悉AWS Glue和Azure Data Factory等数据集成服务，展示在各种来源和目的地之间实现无缝数据摄取、转换和编排的能力。
• 熟练构建数据仓库和数据湖，展示在组织和 consololidating 大量结构化和非结构化数据以实现高效存储、检索和分析方面的扎实基础。
• 优化和维护数据管道，确保高性能、可靠和可扩展的数据处理。
• 开发和实施数据验证和质量保证程序，确保生成式AI项目中使用的数据的准确性和一致性。
• 了解数据工程、生成式AI和相关领域的新兴趋势和技术，以确保我们项目的持续成功。
• 与团队成员合作进行文档编写、知识共享和生成式AI环境下数据工程最佳实践。
• 根据行业标准和法规，确保数据隐私和安全合规性。
• 计算机科学、工程或相关领域的学士或硕士学位。
• 具有Vector DB、Graph DB、Airflow、Spark、PySpark、Python、LangChain、AWS Functions、Redshift和SSIS等数据工程技术的丰富经验。
• 熟悉生成式AI的概念和技术，如GPT-4、Transformers和其他自然语言处理技术。
• 对数据仓库概念、ETL流程和数据建模有深入理解。
• 具备使用AWS、Azure或Google Cloud Platform等云计算平台的知识优势。
• 具备使用Hadoop、Hive或Presto等大数据技术的经验优势。
• 熟悉TensorFlow或PyTorch等机器学习框架优势。
• 持续学习的心态和对数据工程和生成式AI最新进展的热情。
谢谢和问候
Satish Reddy |首席技术招聘顾问|Dizer Corp.
1912 Mentor Ave | Painesville | OH 44077
直线电话：|办公电话：分机：134 |
Linkedin: 
芝加哥