自 2015 年底谷歌开源深度框架 TensorFlow 以来，越来越多的科技巨头、创业公司注重框架的投入与研发。而商汤科技作为国内 AI 创业公司的代表，自创办开始就走在自研深度学习框架的道路上。
过去几年，我们能够或多或少的听到商汤深度学习框架 SenseParrots 的信息，但因为该框架并未开源而无法有系统性的了解。在不久之前的 WAIC 2019 开发者日深度学习框架分论坛上，商汤科技联合创始人林达华教授首次对外系统性的介绍 SenseParrots，解读了该自研框架的核心技术模块。
以下是机器之心对林达华老师演讲内容的梳理：
各位朋友，非常感谢机器之心今天举办这个论坛，让对深度学习框架感兴趣的朋友能够汇聚在黄浦江边一起共论深度学习未来发展。今天我也非常有幸在这里跟大家分享商汤科技这方面的工作。
今天，我想利用这个机会跟大家讲一个故事，一个关于商汤原创的故事。
在这个故事里，我将向大家分享我们如何走上自己研发深度学习框架的道路，如何一步步地把这样一个技术框架发展成为一个工业级的算法生产平台，为商汤以 AI 技术赋能百业的愿景提供有力的支撑。
在过去的这几年，人工智能技术突飞猛进地发展，给我们的社会、生活带来了巨大的变化。但是人工智能的成功，在我看来不是单一要素的结果。在这个成功的背后，它是深度学习算法的改进、GPU 提供的高性能算力，以及大数据这三个重要的要素历史性的汇聚在一起，所产生的爆发。
如果我们回顾深度学习在过去七八年波澜壮阔的发展历史，我们会看到这背后有一系列的标志性事件。
在 2012 年的时候，AlexNet 获得了 ImageNet 比赛的冠军，震惊了整个计算机视觉。在此之后，很多的研究小组投入到深度学习模型结构的研发，一系列更加先进的模型结构涌现出来，把图像识别的准确率提高到一个历史性的高度。到了 2017 年，深度学习在自然语言领域取得了新的突破性的进展。到了 2019 年，从头开始训练的 AlphaGo Zero 横空出世。
如果我们从一个更长的时间尺度来看，我们会看到，这一系列成功故事的背后还蕴含着另外一层重要的趋势，就是它们所需要的计算能力的指数式的增长。从 AlexNet 到 AlphaGo Zero，在短短的五六年时间里面，对算力需求增长了超过三十万倍，可以说这几年深度学习的成功，人工智能的爆发，在一定程度上就是把算力连接到有价值的产业应用所促成的结果。
而深度学习框架就是这种连接最核心的枢纽。
商汤也在这一个人工智能浪潮里面，取得了巨大的成功。在过去几年走到今天，成为了人工智能领域领先的企业，而这背后最重要的核心，在我看来就是两个字，原创。
在 2012 年的时候，当时 CVPR 总共只有两篇是关于深度学习的，而这两篇都来自于我们实验室。到了 2013 年，ICCV 有八篇 paper 关于深度学习，其中六篇来自于我们实验室。正因为我们实验室把深度学习引入计算机视觉的先驱性，我们在 GTC 2016 年被评为全世界深度学习十大先驱的实验室之一。我想这段小历史，也能够很好的诠释了商汤人所说的原创精神。
原创之路风光无限，但是它的背后也蕴含了无限的艰辛，在我们一开始做深度学习的时候，那时候的环境和现在非常不一样，没有 TensorFlow、没有 PyTorch、连 GPU 都没有。在那个时候，我们是依靠着人工手写的一行行 C++代码，完成整个神经网络的计算。每一个模型的训练都需要一两个月的时间。
正是在这样一个艰辛的环境下面，我们打开了把深度学习应用于计算机视觉的道路。也正是在这样一个艰辛的环境里面，我们深切的体会到一个好的框架对于 AI 基础核心性的作用。于是 2014 年，从商汤科技创办的第一天开始，我们就下定了决心要走自研深度学习框架的道路。
SenseParrots 发展历程
我们把自己研发的深度学习框架，命名为 Parrots，这背后寄托了我们对它良好的祝愿，聪明、美丽而又能够自由的飞翔。
从那时候开始，Parrots 跟商汤共同成长，经历了五年的发展。2015 年的时候，几乎与 TensorFlow 同时，我们发布了第一版的 SenseParrots。那时候它已经具备了多机多卡联合训练和多路径执行的领先业界的特性。之后又经过了三年的发展，我们于去年内部发布了 SenseParrots 的第二代。在这一代它不但具有了一系列更加重要的特性，具备了更丰富的能力和更高的性能，而且也逐渐成为了商汤赋能 AI 产业的战略支撑。
首先，简单的回顾一下我们第一代（三年前）SenseParrots。SenseParrots 在 2015 年出来的时候，已经具备了超越当时开源框架的卓越性能，它在业界率先实现了在 64 个 GPU 上接近线性的拓展。而且它通过极致的内存优化，允许一个超大型的模型在单个 GPU 上进行训练。
正是在这样一个框架上面，我们训练出了 1207 层的超大型卷积神经网络，这个网络就叫 PolyNet，取得了当时图像识别性能的世界记录，并且把这个记录保持了一年时间。在这样强有力的网络支持下，我们在一系列的比赛，包括 ImageNet、ActivityNet，取得了一系列的冠军。
虽然我们取得了一些成绩，但是我们说，深度学习、人工智能这个领域是一个快速发展的领域，如果我们不能够有效的把握这个领域发展的趋势，有一天我们会落后于时代发展的潮流。从 2015 年开始，我们继续观察深度学习的发展，发现这个领域有一个根本性的重要的变化，就是深度学习技术已经走出了实验室，走向了更广泛的产业落地。
推荐阅读：叶紫