小鹏需要进入软件2.0时代

特斯拉目前是神经网络自己写代码了，小鹏还需要手写，差距还是很现实的。
1/软件2.0。概念的最早提出人是Andrej Karpathy，这位捷克移民天才少年在多伦多大学师从Geoffrey Hinton，在斯坦福李飞飞团队获得博士学位，主要研究 NLP 和计算机视觉，同时作为创始团队成员加入了OpenAI。深度学习的关键人物和历史节点都被他点亮。在2017 年被马斯克挖墙脚到了特斯拉负责自动驾驶研发重构FSD。“一个典型的神经网络可能有数百万个权重，用权重直接编码不是人类能干的事儿，软件2.0可以使用更抽象的语言生成”
2/范式转移。在深度学习兴起之前，大多数人工智能程序是用 Python和Java语言手写。人类编写了每一行代码，也决定了程序的所有规则。在创建深度神经网络时，程序员只写几行代码，让神经网络自己学习，计算权重，形成网络连接。这种软件开发的新范式始于第一个机器学习语言TensorFlow。这种新的编码方式被称为软件2.0。程序员利用深度学习技术，给程序指定目标。如赢得围棋比赛，或通过提供适当输入和输出的数据，如向算法提供具有 "SPAM” 特征的邮件和其他没有"SPAM” 特征的邮件。编写一个粗略的代码骨架（一个神经网络架构），确定一个程序空间的可搜索子集，并使用算力在这个空间中搜索，形成一个有效的程序路径。在神经网络里，我们一步步地限制搜索范围到连续的子集上，搜索过程通过反向传播和随机梯度下降而变得十分高效。
3/更少的代码。软件1.0人们编写代码，编译后生成可以执行的二进制文件；软件2.0人们提供数据和神经网络框架，通过训练将数据编译成二进制的神经网络。神经网络结构和训练系统正在日益标准化为一种商品，因此大多数软件2.0的开发都由模型设计实施和数据清理标记两部分组成。团队也分成了两个部分: 2.0程序员负责模型和数据，而1.0程序员则负责维护和迭代运转模型和数据的基础设施、分析工具以及可视化界面。
4/数据产品。顶级软件公司在了解大数据的商业潜力后，并开始使用机器学习构建数据产品时，就是所谓的大数据和算法推荐。他们基于传统机器学习实现，不是软件的主要功能，但增加了体验，达成更好的用户活跃以及销售目标，能够随着数据的增加而进化。
5/神经网络取代软件。码农不再编写明确的代码来解决复杂问题。比如语音识别曾经涉及大量的预处理、高斯混合模型和隐式Markov模型，但今天几乎完全被神经网络替代了。例如神经网络取代数据管理系统的核心组件，在速度上缓存优化达快70%，同时节省了一个数量级的内存。在图像语音识别、语音合成、机器翻译、游戏挑战等多个传统领域，范式转移都在发生。
6/软件2.0范式特征：深度学习是主体，所有的功能都是围绕神经网络的输入输出构建的，例如语音识别、自动驾驶；可解释性并不重要，一个好的大数据推荐广告可以告诉客户用户看到这条广告的理由，但你没法从神经网络中找到规则。
7/软件2.0更容易被写入芯片。由于神经网络的指令集相对较小，主要是矩阵乘法和阈值判断，因此把它们写入芯片要容易得多，例如使用定制的 ASIC、神经形态芯片等等。小而廉价的芯片可以带有一个预先训练好的卷积网络，它们可以识别语音、合成音频、处理视觉信号，而且能耗更低。
8/软件2.0开发速度更快。敏捷开发意味着灵活高效。如果是一段C++代码，速度提高一倍，需要系统性的调优甚至是重写。然而，在软件2.0中，在网络中删除一半的通道，重新训练就可以了。它的运行速度正好提升两倍，只是输出更差一些。相反，如果你有更多的数据或算力，通过添加更多的通道和再次训练，程序就能工作得更好。
8/软件2.0模块可以融合成一个最佳的整体。程序模块通常利用公共函数、API 或远程调用来通讯。如果让两个原本分开训练的软件2.0模块进行互动，我们可以很容易地通过整体进行反向传播来实现。
9/Bug 2.0。软件1.0大多数程序都通过源代码保存，这些代码可能少至数千行，多至上亿行。据说谷歌的整个代码库有20亿行。无论代码多少，传统软件工程使用封装和模块化设计，创建可维护的代码，很容易隔离Bug进行修改。在新的范式中，程序被存储在内存中，作为神经网络架构的权重，程序员编写的代码很少。软件2.0带来了两个新问题：不可解释 和 数据污染。
10/黑盒。因为训练完成的神经网络权重，工程师无法理解，所以我们无法知道正确的执行是为什么？错误又是因为什么？人类只拿到结果而看不到过程。
11/数据污染。在2.0的堆栈中，数据决定了神经网络的连接，所以不正确的数据集和标签，会混淆神经网络。错误的数据可能来自失误、也可能是人为设计，或者是针对性投喂混淆数据。例如 iOS 系统的自动拼写功能被意外的数据训练污染了，在输入某些字符的时候就永远得不到正确的结果。训练模型会认为污染数据是一个重要的修正，一但完成训练部署，这个错误就像病毒一样传播，到达了数百万部 苹果手机。