做AI时代基础大模型难题不止于算力 ToB产业观察

做AI时代基础大模型难题不止于算力 ToB产业观察本站　　国内包括科研机构、企业在内并不缺乏对大模型的研究与实践，但在真实的应用落地过程中由于受限于算力成本、训练数据的有限等因素，业内一直在思考更多的解决路径

　　国内包括科研机构、企业在内并不缺乏对大模型的研究与实践，但在真实的应用落地过程中由于受限于算力成本、训练数据的有限等因素，业内一直在思考更多的解决路径。

　　越走向基础层（AI基础大模型），越需要对产业链上下游技术的整体能力、共性需求加强把控，某个企业/组织在市场环境中也会产生特别大的规模效应，以及一些阶段性的优势。

　　不久前，北京智源研究院公布了FlagOpen（飞智）大模型技术开源体系，其目标确立为大模型时代的“新Linux”。

　　对此，北京市副市长于英杰给出了非常高的期待：“一是要抓住大模型发展机会，保持定力，强化基础。要聚焦源头，创新底层技术，大力突破核心关键技术，抢占制高点。二是应用导向，推动大模型应用生态建设。要加快大模型创新应用开发及API服务开放，形成数据飞轮效应，发挥大模型的通用泛化能力，赋智经济社会发展。三是科研机构、企业等要围绕算法及技术研究、数据等加强协同创新，建立开源开放的合作生态。”

　　钛媒体对话了智源研究院院长黄铁军，开源体系项目负责人、智源研究院副院长兼总工程师林咏华，对大模型在当下国内遭遇的挑战瓶颈与解决之道进行了深入探讨。

　　近年来，在Transformer的推动下，语言模型进入“巨量”时代，AI大模型在经过一系列的探索与实践，已经在产业界带来了一系列连锁变化。从OpenAI、谷歌、微软、英伟达，到国内的百度、阿里巴巴、华为、浪潮等头部企业和研究机构，持续迭代手中的AI大模型，试图抢占成为大模型时代的AI基础底座。

　　从2022年6月开始，各种文生图模型的应用爆发，之后年底OpenAI公布ChatGPT，带给业界非常大的冲击。最近，包括中国在内，全球很多创新企业和团队都在尝试AIGC（AI Generated Content）文生图的模型构建。

　　但实现AIGC的能力，除了算力资源的限制外，仍存在诸多技术难点，包括在模型的训练、效果测评、落地场景应用方面兼具挑战性，对普通开发者和中小企业来说更是可望不可及。

　　对此，智源研究院院长黄铁军认为，深藏于“海平面以下”的大模型技术体系，才是更值得被关注的部分。从长远考虑，打好根基，形成完整的大模型技术体系及强大的资源能力，未来才能产生更多的“ChatGPT级”的现场级应用。

　　值得一提的是，在大模型时代到来之际，智源也在不断投入研发力量到大模型技术的研发。2021年3月智源发布了大模型项目“悟道1.0”，包括中文语言、图文多模态、认知和蛋白质序列预测的四个预训练模型。同年6月，智源推出“悟道2.0”，达到1.75万亿参数，成为当时全球最大的预训练模型。

　　不过，黄铁军在思考，大模型归根到底只是人工智能发展的三个途径之一，是现在做得比较成熟和现实的方向，但是不等于它是未来的一切。

　　那么作为一家非营利单位，智源希望以大模型为主导的方向来提供更基础的贡献，某种程度上讲是“我们后退一步”。FlagOpen的输出不是一款产品，也不是为了营利目标的输出，而是为社会、产业各方面有价值和益处的事情。

　　据介绍，FlagOpen（飞智）大模型技术开源体系从搭建之初就涵盖了模型算法、模型、数据、工具、评测等重要组成部分，项目开源后将通过Linux基金会、启智社区等开源组织进行持续运营。目前主要包括如下几个板块：

　　1个一站式大模型基座：FlagAI 集成全球各种主流大模型算法技术，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP，以及多种大模型并行处理和训练加速技术，支持高效训练和微调 2个测评工具：FlagPerf、FlagEval 面向AI异构芯片的一体化基准性能评测引擎FlagPerf，目前该项目已和天数智芯、百度PaddlePaddle、昆仑芯科技、中国移动等深度合作，推进AI硬件评测建设。 多领域、度的基础大模型评测平台FlagEval，涵盖多种模态领域、多种评测维度的统一化评测体系和项目，FlagEval首先开放近期备受关注的多模态领域-CLIP系列模型评测工具，支持多语言多任务、开箱即用。 1个数据处理工具包：FlagData 集成包含清洗、标注、压缩、统计分析等功能在内的多个数据处理工具与算法，为自然语言处理、计算机视觉等领域的模型训练与部署提供了数据层面的有力支撑。目前智源研究院已经构建了全球最大WuDaoCorpora语料库，同时开发了一批数据处理的高效工具。

　　此外，智源研究院还公布了FlagStudio（大模型艺术领域创作应用）和FlagBoot（基于Scala开发的轻量级高并发微服务框架）两个开源项目。

　　2022年11月，阿里达摩院与CCF联合推出了AI 模型社区魔搭ModelScope，涉及视觉、语音、自然语言处理、多模态等AI领域300多款开源模型。

　　如果将ModelScope与此次智源公布的FlagOpen相提并论，确实存在某些模块上的相似定位。

　　在林咏华看来，“ModelScope有点类似于Hugging Face，首先是聚集了许多模型，构建一个相当于Hugging Face的Transformers模型库，几行代码就可以实现模型从生产到最后部署的全过程，这个目前已经成为开源系统的范式。智源开源的FlagAI，用户能够在FlagAI的Example学到写几行代码很快地拉起一个模型，然后进行推理包括接入下游任务，或者写几行代码就可以对模型微调。”

　　不过两者也有不同，林咏华告诉钛媒体，“FlagAI不只是希望构建一个很多人使用的繁华社区，而是希望真正意义上推动大模型技术的发展，为此，智源也在开源模型的同时，配套了其他大模型相关的开源模块，包括此次亮相的FlagData（数据处理工具）、FlagEval（大模型评测工具）等等，这些都是大模型创新必不可少的。”

　　这恰恰也印证了FlagOpen会定位于大模型时代的Linux。狭义理解，Linux是一款操作系统内核，但广义上Liunx还包括配套的各项工具，它们共同组成了Linux。

　　不过，钛媒体还发现，FlagOpen当前公布出的开源项目，某些尚不完善，以FlagPerf在GitHub上公开的Git库来看，目前只有训练还没有完善推理评测能力，推理能力是不是未来会开放出来？

　　对此，林咏华告诉钛媒体，智源的开源策略并不是把技术做到完美之后再开源，而是通常把种子埋下了之后就开源，“这样能在开源之初就方便各个企业在没有商业合作协议的情况下就可以相互合作。”

　　“FlagPerf现在的确并不完备，只有初步的内容。但在训练和推理性能方面，会首先侧重于训练。一方面出于我们希望拉动产业生态的大背景，希望AI芯片尤其是云端芯片能够百花齐放，另一方面则在于推理端对工艺、技术的要求，以及在产业落地的情况要比训练端更好，而训练端才是我们真正最短缺的地方，我们一系列的出发点都是从最难的开始。”

　　在她看来，与市面上公认的AI芯片性能测评工具MLPerf不同，FlagPerf推出的主要目的是鉴于当前AI软硬件技术栈异构程度高、兼容性差，应用场景复杂多变，降低评测本身带来的人力成本。 商业公司提供测评工具的同时往往与其自身的商业诉求有关，比如在用户企业测评某款芯片时存在限制的可能性，而目前FlagPerf尚不存在以排名为核心目标的规划。

　　目前，FlagOpen大模型技术开源体系已与中国移动、浪潮信息、昆仑芯科技、天数等多家知名企业达成生态合作，并将FlagAI开源工具部署在中国移动九天毕昇教育平台、浪潮AI Station等平台。从FlagOpen的创新合作情况来看，或许尚未达到比较理想的阶段。但跳出大模型再看大模型，它或许也只是主导当下一段时间内人工智能演进的一种主要研究方向。

　　正如黄铁军在媒体采访中表示，“大模型是中间状态，它既不是最终的服务，也不是研发对象，它只是科研机构或企业实验室用特定技术、特定算法训练出来的结果，而这个结果不能当成特定技术进行使用。大模型代表了未来产业形态的一个最突出特征，即以大模型为技术手段，来服务于广大用户而形成的一两个运营体系（生态）。”

　　从趋势上看， 越来越多的产品不同程度上是建立在开源体系上，这也是减少重复研发投入和集约化，以及推动产业更快发展的一种方式。