需要15年以上经验
AI ML架构师,具备AWS Databricks经验
主要职责
数据科学与机器学习
· 使用Databricks、Python、PySpark和MLflow开发、训练和优化机器学习和统计模型。
· 进行探索性数据分析(EDA),以识别大型数据集中的趋势、模式和见解。
· 使用Databricks MLflow、Delta Live Tables或其他MLOps管道将ML模型部署到生产环境中。
· 根据业务需求进行A/B测试、预测、分段、异常检测或推荐系统。
数据工程与Databricks平台
· 使用PySpark、SQL和Databricks工作流构建可扩展的高性能ETL/ELT管道。
· 使用Delta Lake确保高质量、可靠和高效的数据。
· 优化Databricks环境中的集群使用和作业性能。
· 与数据工程师合作,确保建模所需的高质量数据可用性。
业务协作
· 将业务问题转化为分析解决方案,并向非技术人员展示结果。
· 与产品、工程和业务团队合作,推动数据驱动的决策。
· 以清晰简明的方式传达复杂的统计概念。
技能与资格
必需
· 计算机科学、数据科学、数学、统计学、工程或相关领域的学士或更高学位。
· 3年以上数据科学或机器学习角色的经验。
· Databricks的高级知识,包括:
o PySpark / Spark SQL
o Databricks笔记本
o Delta Lake
o MLflow
o Databricks作业与工作流
· 精通Python编程(pandas、numpy、scikit-learn)。
· 具备大规模数据处理经验。
· 深刻理解机器学习算法和统计技术。
优先
· 使用MLOps框架在生产环境中部署模型的经验。
· 了解Azure Databricks或AWS Databricks环境。
· 理解CICD管道和DevOps概念(Azure DevOps、GitHub Actions等)。
· 熟悉深度学习框架(TensorFlow、PyTorch)者优先。
关键能力
· 强大的分析和问题解决能力
· 能够在快节奏的协作环境中工作
· 出色的沟通和演示技能
· 自我驱动,注重细节