前沿分享 | 人工智能开源开放平台:智能化时代的AI生产力工具


开源开放,是全球人工智能学界和产业界的共识。Google的TensorFlow,Facebook的PyTorch等深度学习框架通过建立开源社区,构建了强大的人工智能研发和应用生态。近年来,国内各大企业纷纷加大了对开源开放平台的投入,如百度推出了飞桨,旷视开源了天元,标志着中国AI框架从应用驱动向更内核的技术研究进发。本期“前沿分享”邀请到之江实验室副研究员单海军博士,为大家带来关于人工智能开源开放平台的科普解读。

1

什么是人工智能平台?

在过去60多年的发展史中,人工智能的研究领域不断扩大,与计算机科学、数学、物理学、生物学、逻辑学等学科紧密相连,研究范围包括机器学习、自然语言处理、语音识别、影像分析与理解、智能搜索、知识表示、知识推理与规划等诸多领域。

然而,现有人工智能算法存在问题专用性、场景不通用的问题,即学术界通常说的不鲁棒,泛化能力差。举例来说,不同的视觉任务,需要设计不同的人工智能算法来解决。下图中看似接近的视觉任务,分别代表图像识别/分类、物体识别、图像分割,需要设计三个不同的专属算法去完成识别任务,无法用一个算法同时完成三个任务。我们可以发现,不同场景对于算法有着不同的需求。而人工智能场景具有无限性,这就导致算法的需求量十分庞大。

如果面向无限场景的算法均由人工从头设计和开发,那工作量将十分庞大,效率也十分低下,因此要借助人工智能开源平台。平台是智能化时代的生产力工具,借助于平台提供的基础模块和工具包,能快速推动算法创新与应用落地。

用深度学习框架做开发就类似于搭积木,我们可以把具体模型或算法所对应的组件想象成积木的各种零件,通过组装这些零件就可以快速搭出我们想要的作品。深度学习框架的出现降低了入门的门槛,用户无需从复杂的神经网络开始编代码,可以依据需要,使用已有的组件构建目标AI算法,也可以在已有模型上进行核心模块和组件的修改。

总结来说,深度学习作为当前最行之有效的人工智能解决方案,已成为普适性工具,是新一代人工智能的核心支撑。处于硬件层和应用层之间的深度学习框架,实现对人工智能算法的封装、数据处理以及底层硬件的调度使用,堪称“智能时代的操作系统”。


2

我们需要什么样的人工智能平台?

以深度学习框架为核心的人工智能平台,是人工智能技术研发和产业化的关键基础设施。

首先,我们需要自主可控、开源开放的人工智能平台。目前,我国尚未形成具有国际影响力的人工智能开源开放平台,最为流行的TensorFlow、PyTorch、MxNet等深度学习框架基本源于国外。根本上发展人工智能需要建好人工智能基础设施深度学习框架是最关键的人工智能基础设施之一解决过渡依赖国外开源代码的问题,核心技术上实现自主可控

image.png

其次,我们需要性能更高、更便捷易用的人工智能平台。虽然人工智能技术发展迅速,但技术路线仍未收敛,框架还在衍变。现有开源平台仍存在一些技术缺陷,如分布式计算效率较低,模型编译层面还未形成标准,工程化特性缺失,数据安全和资源共享还存在技术局限性。因此,需要以动态发展的思维,去适应人工智能技术路线和框架的不断发展,打造以性能为核心的人工智能平台,通过开源开放的方式,赋能人工智能技术创新和产业发展。

基于上述思考,之江实验室启动了“之江天枢人工智能开源开放平台”的研发,立足于核心技术的创新,联合浙江大学、北京一流科技、中国信息通信研究院、阿里巴巴等顶尖创新力量,打造“极致性能、至快至简”的通用人工智能平台,形成与现有框架的差异化竞争优势,构建人工智能生态朋友圈,赋能产业发展。


天枢平台致力于构建四大核心优势:高性能分布式计算框架、高效易用的模型构建方式、先进的AI模型集成和端边云自由部署、智能化协同运行。其中,自研的高性能计算框架具备完整的并行模式、自动编排与执行、高运行效率和强稳定性等特点。


3

“之江天枢”人工智能开源平台期待你的加入

01

深度学习平台架构师

岗位职责:

1. 负责深度学习平台基础框架架构设计与核心模块开发;

2. 负责核心机器学习算法的研究、实现和优化 

3. 负责深度学习平台前瞻技术的跟踪调研和技术路线规划;

4. 负责一站式的端到端AI平台,包括智能标注、特征工程、模型开发、自动学习和训练、推理等。

岗位要求:

1. 了解深度学习模型,对机器学习有一定基础 

2. 优秀的分析问题和解决问题的能力,勇于解决难题 

3. 强烈的上进心和求知欲,较强的学习能力和沟通能力,具备良好的团队合作精神;

4. 计算机领域相关的编程大赛获奖、专业期刊发表文章或者有发明专利等优先考虑; 

5. 有一定大型C++项目经验,CUDA编程经验,熟悉软件工程开发流程的优先考虑;

6. 对深度学习框架PaddlePaddle,TensorFlow, PyTorch, MXNet, Caffe等其中一个或多个有开发/使用经验优先;

7. 对计算机体系结构,编译原理深入了解或有相关项目经验者优先。


02

分布式与并行计算研究员

岗位职责:

1. 负责大型分布式并行软件框架、资源管理调度系统、分布式系统监控分析系统的架构设计、关键技术研究和核心代码框架开发;

2. 主导关键技术领域开源软件的分析、研究、优化和改进;

3. 研发分布式文件系统、分布式并行计算服务;

4. 主导分布式并行计算领域的顶级会议,与业界专家探讨分布式并行计算技术的发展方向,承担国内外学术界和工业前沿的跟踪研究工作。

岗位要求:

1.对当今前沿的异构计算有深入理解,熟悉CPU/GPU/ARM等相关硬件架构原理;

2.熟悉Linux系统, 至少熟悉c/c++/golang/java/python中的一种,具备高并发、多进程、多线程服务端开发经验者优先;

3.熟悉MPI/OpenMP/TBB/CUDA/OpenCL/oneAPI等相关计算框架,有高性能计算开发、调优、算法设计开发经验者优先;

4.熟悉分布式系统原理,有大规模分布式系统研发、调度、调优经验优先;

5.掌握PaaS架构,熟悉Kubernetes、Docker、DevOps等PaaS相关技术;

6.有HPC算法并行优化、Spark/Hadoop/Flink等大数据框架开发经验者优先。




文字 | 陈航  王今燕

责任编辑 | 单海军



image.png