2021年，ai大模型会给人们带来哪些惊喜？( 二 ) 蛋白质折叠问题被认为是人类

文章图片

文章图片

AI超大模型爆发的原因是什么？
中国软件网认为， AI超大模型爆发的原因有三：
一是需要且必要。AI对企业的渗透率逐年提升，正在加速进入不同的行业。但AI的短板如AI应用的碎片化等却越来越凸显。
具体而言，一个团队开发了一个AI模型，但在应用过程中，往往会因为场景的多样性、复杂性，无法达到“以一敌十”的效果。
强悍地自我学习、应万变的能力，正让大模型“需要且必要” 。
二是预训练模型技术问题被化解。2018年出现的预训练模型成功激活了深度神经网络，以及对大规模无标注数据的自监督学习能力，并在一定程度上打开了深度学习模型规模与性能齐飞的局面，尤其是自然语言处理。
同时，大模型对一些复杂性问题的解决带来了希望。国际巨头们在尝到预训练模型带来的“甜头”之后，开始展开了激烈的竞争，竞相追逐模型规模和性能的新高度。
三是更多示范应用案例出现。在商业落地方面成果丰硕的大模型GPT-3 ，已经有300多个衍生应用，其相关创业公司也有好几十个，有些公司还拿到了融资。
在“悟道2.0”的基础上， OPPO小布助手建设了直接给出开放域长尾问题答案的能力。
智源研究院院长、北京大学信息科学技术学院教授黄铁军表示，近年来人工智能的发展应该从家家户户“大炼模型”的状态，逐渐变为把资源汇聚起来，训练超大规模模型的阶段，通过设计先进的算法，整合尽可能多的数据，汇聚大量算力，集约化地训练大模型，供大量企业使用。
02预训练大模型技术与应用难题正在被破解
预训练大模型发展的首要特点就是降低了AI应用的门槛。
作为当前人工智能发展的重要方向，预训练大模型已成为AI领域的技术新高地。
据介绍，目前行业内的AI技术应用存在两大困难：一是数据标注非常昂贵，特定场景内无法完成大批量数据批注；二是行业自身的知识积累相对较弱。
预训练大模型降低了AI应用的门槛，解决了AI应用的数据和行业知识两个难题，既不需要大量的标注数据，又保障了基础底座。
预训练大模型的推出，则能够在不具备大量数据标注的同时保证了技术基础底座，叠加行业“基本功” ，便能够实现AI技术的快速落地。
AI预训练大模型的规模和性能不断推向新的高度，打开了深度学习模型规模与性能齐飞的局面。
在GPU多机多卡算力和海量无标注文本数据的双重支持下，预训练模型打开了深度学习模型规模与性能齐飞的局面，成为人工智能和深度学习领域的革命性突破，引发了国际著名互联网企业和研究机构的激烈竞争，将模型规模和性能不断推向新的高度。
预训练语言模型是让AI具备认知能力的关键技术，突破了传统深度学习方法的瓶颈，是一种新型AI训练思路。
预训练语言模型即首先自动学习大量语言文字和图像数据，记忆和理解人类丰富的先验知识，再进一步学习专业领域信息，从而让AI同时掌握常识和专业知识。
目前，谷歌、微软和Facebook等企业已投入该技术的研发。
与经典的机器学习流程相比，预训练语言模型具有参数规模大、模型通用能力强、模型综合性能好等优势。
因此，大规模预训练模型成为自然语言处理甚至整个人工智能领域的重要技术突破，有望将数据驱动的深度学习技术推向新的发展阶段。
AI预训练大模型的参数不断飙升，采用单体模型和混合模型两种技术路线。