小镇的夕阳|CCF-GAIR 2020，周志华：“数据、算法、算力”人工智能三要素，在未来要加上“知识”|( 二 )
比方说 ， 最近大家谈到的当前最大人工智能模型——GPT3 。 它用到的训练数据是45TB ， 模型参数1750亿参数 ， 模型大小700G 。 基于这个模型 ， 很多困难的问题像自然语言处理里的许多问题都取得大幅度进展 。
我们来看看这篇关于GPT3的论文 。 和我们这个学科一般的论文不太一样 ， 作者非常多 ， 31位作者 。 文章后面有分工介绍 ， 有的作者是专门写代码、有的是专门调参数、有的专门做数据采样、有的专门写论文……流水线分工作业 ， 简直是工业化大生产的模式 。
再看看论文中的算法模型 ， 可以看到 ， 都是已有的技术 ， 里面每一部分都不是新的 。 但是 ， 基于强大的工程化组织 ， 让它发挥了巨大作用 。 核心要点就是做大、做大、再做大 。
做大就必然付出代价 。 读这篇文章可以注意到里面有一句话 ， 说作者发现这个工作中有一个Bug ， 但是由于成本太高 ， 就没有重新训练 。 据说训练一次的成本大约1300万美元 ， 所以即便发现有Bug ， 也就忍着算了 。
这样的模型能够解决很多问题 ， 带来很大的性能提升 。 但是如此高昂的成本 ， 也给我们从事人工智能研究的人带来了新的挑战 ， 特别值得让学术界从事人工智能研究的学者思考一个问题：昂贵的成本必须换来效益回报 ， 模型性能提升 ， 在工业界能提升经济效益 ， 有时哪怕性能提升一两个点 ， 带来的回报可能足以弥补投入 。 但学术界如果花这么大成本 ， 怎么能带来足够的回报？
“推理+学习”的难题开头我们说到 ， 人工智能技术发挥作用要有算法、算力和数据三大要素 ， 未来是不是还这样呢？要不要往里面加东西？这是我们现在要思考的 。
【小镇的夕阳|CCF-GAIR 2020，周志华：“数据、算法、算力”人工智能三要素，在未来要加上“知识”|】疫情期间我们跟合作者 ， 包括公司企业和医学专家 ， 一起做了一点事 ， 做的人工智能疫情分析推演模型为相关部门疫情防控决策做了一点微小的辅助 。 这个工作中大量使用了机器学习技术 ， 但是仅有机器学习够不够？不够！我们使用了很多高水平医学专家、病毒专家的知识 。 我们深深体会到 ， 如果机器学习技术能够跟专家知识很好地结合起来 ， 或许会发挥超出我们预想的作用 。
事实上 ， 在人工智能领域有一个长期存在的“圣杯”问题 ， 就是我们什么时候能够把机器学习和逻辑推理很好地融合起来？如果能够得到一个完整的框架 ， 能够让这二者同时在其中很好的发挥作用 ， 那这是我们非常希望达到的一个目标 。
为什么要考虑这件事？我们首先可以看一看 。 逻辑推理它非常容易来利用我们的知识 ， 而机器学习呢比较容易来利用数据、利用证据、事实 。 但是如果从人类决策来看 ， 很多决策的时候同时要使用知识以及证据 。 那么这两者能不能很好地弄到一起去呢？
推荐阅读
