之江天枢正式开源!一文详解天枢核心优势

数据驱动的智能技术是智能化浪潮的核心引擎,其关键在于大数据和高算力支撑的深度学习机制。开发并开源高性能的人工智能平台,是推动新一轮人工智能跨越发展的核心和基础。

8月1日,由之江实验室联合北京一流科技、中国信通院、浙江大学等业内顶尖力量打造的之江天枢人工智能开源平台正式开源发布。之江天枢平台也成为了国内首个由新型研发机构牵头打造的国产自研人工智能开源平台,以至快至简为特点,在超大规模模型训练、模型炼知等技术上形成了独特的优势。

 

1596444803508366BEoM.jpg

四大核心优势 实现至快至简

之江实验室副主任、天枢平台总架构师鲍虎军在发布会上介绍了之江天枢人工智能开源平台的四大核心优势,分别是开发友好、训练高效、可视化分析和模型炼知。

(1)一站平台 开发友好

“之江实验室打造天枢平台的初衷就是希望给人工智能开发者提供完备的基础工具,以更先进的深度学习框架提升人工智能技术的研发效率。”鲍虎军说。

之江天枢平台秉持“开发友好” 的理念,打造了一站式AI开发平台,即使是“AI小白”也能迅速上手。天枢架构师单海军博士介绍说:“天枢第一个版本支持从数据管理、模型开发、训练管理到模型管理的全链路功能,数据管理还能实现数据的智能标注与数据增强。”

一站平台 开发友好.jpg

(2)超大规模 自动并行

深度学习领域,算力是最重要的推动力。如何在超大规模的场景下让模型训练更高效地跑起来?“天枢平台瞄准行业痛点,打造了全新的分布式计算引擎,使用多机多卡如同单卡一样简单自动并行,原生支持超大模型训练,实现出色的运行效率。”单海军介绍道。

之江天枢平台的分布式训练框架支持数据并行、模型并行、流水并行三种并行模式,能根据不同模型自动编排相适应的并行模式,同时具备出色的线性加速比,数据并行性能有了较大幅度的提升。

此外,天枢还自研了高效通信协议,原生支持RDMA;同时还支持多种深度学习编译器,多芯片轻松实现软件定义数据流,对AI芯片友好兼容。

超大规模 自动并行.jpg

(3)可视分析 高效调参

值得一提的是,天枢构建的可视化分析平台能提供高效的训练过程调参功能。“在模型训练过程当中,开发者能够直观、实时地洞察模型结构、参数趋势、降维分析等重要信息。通过可视化分析,辅助参数调整,从而改变训练路径。”单海军说道。

可视分析 自动调参.jpg

(4)模型重组 精炼知识

当前主流深度学习算法构建过程通常需要经过数据处理、模型开发和大规模训练计算等步骤来生产模型,而本次天枢推出了全新的模型生产方式“模型炼知”,通过领先的模型重组炼知技术,实现灵活按需定制模型。“天枢的深度模型炼知框架具备度量功能,能够自动度量多个视觉模型是否能够进行重组,并通过逐层重组、共同特征提取、多任务自适应分支解码等,将不同模型结构进行重组,直接生产出一个全新的模型,应用在新的场景。”鲍虎军详细介绍了模型炼知方面的技术创新。

计算机视觉任务中有两类比较常见的任务:一类是图像语义分割,也就是对图像中每一个像素点进行分类,确定每个点的类别(如属于行人或车等);另一类是图像深度估计,即对图像中的目标深度进行预测。目前主流的算法,需要利用两个单任务模型对两个视觉任务分别进行处理。单海军进一步解释说:“在天枢模型炼知框架上,只要输入两个预训练模型,框架能重组出一个新的多任务模型,该模型可以同时处理两个任务,不仅提升了计算效率,降低了能耗,还增强了模型的能力边界。”

微信截图_20200814095646.png 

揭秘天枢全景图

自2018年10月启动人工智能开源平台研发,到2019年1月获国家发改委项目支持,再到2020年8月开源上线,之江天枢团队近百名研发人员,历时650余天,成功完成平台第一个版本的研发。

在后续版本中,天枢将进一步丰富算法库,搭建面向视觉的AutoML平台,实现拖拽式模型开发。还将进一步优化分布式训练性能,不断提高训练规模与并行效率,最终形成去中心化式分布式训练。同时,高效的端侧推理平台在研发计划中,将完善部署环节,实现端侧推理功能。

“接下去,天枢将保持半年一个版本发布的迭代速度,不断完善性能,更好服务于人工智能开发者。”单海军表示。 天枢平台全景图.jpg


重磅打造AI新生态 代码托管平台首次亮相

“开放、协作、共赢”是天枢生态的关键词。在天枢开源发布会上,之江实验室重磅推出了天枢平台生态专项开放课题,联合学界、业界生态伙伴力量,以“基于卫星遥感数据的水环境立体化动态监测技术”“基于AI的医疗实体识别及异常预警”等课题为抓手,共同探索人工智能在智能视觉、智能交通、智能金融、智慧城市、智能医疗、智能机器人等六大产业领域的落地应用。

15964448266409519GsN.jpg

共建共享、聚力协作,开发者社区无疑是开源生态的重要一环。在天枢开源发布会上,由中国信通院、中国人工智能产业发展联盟和之江实验室共同建设和运营的聚码坊(CodeLab)开源社区也正式上线。聚码坊以代码托管为核心,以健全、实用的开源机制为基础,以企业级高效协同开发功能撬动更大开源贡献,推动开源生态建设,助力人工智能行业发展。

1596444821938048ijIz.jpg

截至目前,天枢平台已经汇聚了阿里云、蚂蚁金服、新华三、海康威视等66家生态伙伴。在智能视觉领域,天枢平台赋能海康威视“视频感知”国家新一代人工智能开放创新平台,提供智能设备操作系统全套工具链,让算法开发更便捷;在语言智能领域,浙江大学基于之江天枢平台打造人机混合阅读系统,以认知计算原理为基础,让机器变得更“聪明”;在智能金融领域,天枢与建信金融科技共同探索“AI+金融”新场景,通过感知与认知类技术进行智能化模型构建,让用户体验更友好。值得一提的是,为支持企业发展,有力扩展企业生态,天枢平台支持中小微企业免费使用,进一步推动人工智能技术向各行各业渗透应用。

 

天枢官方网站:

http://tianshu.org.cn/ 

代码托管平台“聚码坊(Codelab)人工智能开源社区”:

http://codelab.org.cn/


撰稿 | 盛汪淼芷 徐画

学术指导 | 单海军

责任编辑 | 陈航