△ 邬贺铨院士 （图源：网络）
中国现有算力总规模相比美国：
有差距但不大
问：有人说中国的大模型开发距离国外有 1—2 年的差距，您怎么看当前中国大模型的发展状况？
邬贺铨：
中国在大模型开发方面起步比美国晚，在 ChatGPT 出来后，国内不少单位纷纷表示在研发生成式大模型，与美国目前已知仅有微软与谷歌等几个企业在研究大模型相比，我国研制大模型的单位比美国多，但研究主体数量多并不意味中国在大模型上研发水平高。据称国内某一大模型的参数量高达 1.75 万亿，超过了 GPT-4，但尚未看到其应用的报道。虽然已有中国公司声称可推出类似 ChatGPT 的聊天机器人，但就支持多语种能力方面目前不如 ChatGPT，就中文对话能力方面就响应速度而言也还有差距。
我们现在只注意到 ChatGPT，它以生成式任务为目标，主要是完成如聊天和写作等语言生成，谷歌公司的 BERT 模型更注重判断决策，强调如问答和语义关系抽取等语言理解相关的任务，BERT 模型的技术也值得我们关注。评价大模型水平应该是多维度的，全面性、合理性、使用便捷性、响应速度、成本、能效等，笼统地说目前我国大模型开发与国外的差距为 1—2 年的依据还不清楚，现在下这一结论意义也不大。
中国企业在获得中文语料和对中国文化的理解方面比外国企业有天然的优势，中国制造业门类最全，具有面向实体产业训练产业 AIGC 的有利条件。在算力方面中国已具有较好的基础。据 OpenAI 报告，训练 GPT3 模型所需的算力高达 3.64EFlops/天，相当于 3—4 个鹏城云脑 Ⅱ（鹏城云脑 Ⅱ 为 1Eflops，即每秒百亿亿次浮点计算）。按 2022 年年底的数据，美国占全球算力 36%，中国占 31%，现有算力总规模与美国相比有差距但不大，而以 GPU 和 NPU 为主的智能算力规模中，中国明显高于美国（按 2021 年年底数据，美国智算规模占全球智算总规模 15%，中国占 26%），我国不仅是大型互联网企业具有相当规模的算力，国家实验室和一些城市政府支持的实验室也有大规模的算力资源，可以说在训练大模型所需算力支持方面中国也能做到。据了解，鹏城实验室正在设计鹏城云脑 Ⅲ，算力达到 16EFlops，比 GPT-3 所用算力高 3 倍，预计耗资 60 亿元，将为人工智能训练持续提供强有力的算力支持。
中国AIGC研发：需认清差距
重视挑战 实在创新
问：除了我们在算力方面有较好的基础之外，您认为在中国做大模型还面临哪些挑战？
邬贺铨：
仅有算力还是不够的，在以下几方面我们还面临不少挑战：
首先，大模型的基础是深度学习框架，美国的 Tensorflow 和 PyTorch 已经深耕深度学习框架生态多年，虽然国内企业也自主开发了深度学习框架，但市场考验还不够，生态还有待打造。
其次，将 AIGC 扩展到产业应用可能需要不止一个大模型，如何将多个大模型高效地整合，有标准化和数据融合的挑战。
第三，大模型需要海量数据训练，中国有数千年的文明，但丰富的文化沉淀绝大多数并未数字化，中文在 ChatGPT 训练所用到的语料中还不到 0.1%。虽然我国互联网企业拥有大量电商、社交、搜索等网络数据，但各自的数据类型不够全面，网上知识的可信性又缺乏严格保证，中文可供训练的语料还需要做大量的挖掘工作。
第四，大模型训练所依赖的 GPU 芯片以英伟达公司的 A100 芯片为代表，但该芯片已被美国限制向中国出口，国产 GPU 的性能还有待进一步考验，目前在算力的利用效率上还有差距。
第五，在中国从事 AI 研究的技术人员不算少，但具有架构设计能力和 AIGC 数据训练提示师水平的人才仍然短缺。在 ChatGPT 出现之前，有人认为中国在 AI 方面的论文与专利数与美国不相上下，ChatGPT 的上线使我们看到了在 AIGC 上中美的差距，现在是需要清楚认识和重视我们面对的挑战，做实实在在的创新，将挑战化为机遇，在新一轮的 AI 赛道上做出中国的贡献。
建议开放国家算力平台支持各类大模型训练
问：ChatGPT 无疑是一个巨大的创新，中国未来应如何鼓励类似这样的创新，应该多做哪些方面的工作？
邬贺铨：
人工智能从判别式发展到生成式是里程碑标志的创新，开始进入到走向通用人工智能的赛道。从 GPT-3 到 GPT-4 已经从文字输入发展到部分图形输入，即增加了对图形的理解能力，在此基础上向实现一个深度学习架构和通用模型支持多模态数据输入的时间不远了，不过大模型的任务通用化和大模型按需调用的精细化还需要更大的投入与创新，对图形和视频做数据无标注和无监督学习比语言和文字输入情况要难得多。
现在处于向通用人工智能发展的关键时期，对我国来说这是跨越发展的难得机遇也是严峻的挑战。算力、模型、数据是 ChatGPT 成功的必要条件也将是通用人工智能成功的在因素，除此之外，创新的生态、机制与人才更是关键。中国在算力总规模上可与美国相比，但跨数据中心的算力协同还面临体制机制的挑战，不少智算中心算力利用率和效率不高。不少单位各自独立研究大模型，难免低水平重复，建议在国家科技与产业计划的协调下合理分工形成合力。建议开放国家实验室的算力平台支持各类大模型训练，例如鹏城云脑现在对外开放的算力达到总能力 3/4，可支持规模与 GPT-3 相当的两千亿参数的开源中文预训练语言大模型。同时建议组建算力联盟，集中已有高档 GPU 的算力资源，提供大模型数据训练所需算力。现在以鹏城实验室为主建设的“中国算力网（C2NET）”已接入二十余个大型智算、超算、数据中心，汇聚异构算力达 3EFlops，其中自主研发的 AI 算力超 1.8EFlops。另外，聊天机器人的应用只是训练与检验 AIGC 的一种直观方式，但聊天不是刚需，需要基于大模型开发出各类面向行业应用的模型，尽快使大模型在产业上落地见效，在面向各行各业的应用中培养更多的人才。
大模型行业应用需要
既懂行业技术又懂 AI 训练的综合人才
问：目前我们已经看到了 ChatGPT 在某些领域的应用，比如聊天机器人、文本生成和语音识别等。未来在实体行业和领域，是否会有一些应用机会？大模型在实体行业应用还面临什么样的障碍？
邬贺铨：
在现有 ChatGPT 类聊天机器人基础上经补充相关行业和企业知识的训练，可以在企业承担智能客服工作，代替工人面向客户提供售前与售后服务。在需要软件编程的设计与制造环节，ChatGPT 可代替程序员完成编程任务和检验软件的 Bug。可以承担设计与生产过程所需文件资料的收集、翻译和整理工作。经过专业的训练，AIGC 类大模型可以用于设计 EDA 软件，例如 IC 设计用的工具软件。在动漫和游戏企业，基于 AIGC 类大模型训练的机器人可以按照提示编写剧本、创作游戏脚本并进行编程，完成 3D 动漫的渲染。
但 ChatGPT 不是通用模型，很难直接在实体产业的生产制造过程上应用，但可以基于训练 ChatGPT 的原理，利用行业与企业的知识图谱进行深度训练，有可能开发出企业专用的大模型，完成这一工作的挑战是需要既熟悉企业上传流程和关键环节技术又掌握人工智能大数据训练技术的人才。
从关注结果到关注过程，
融合技术与法制主导AIGC推理过程
问：ChatGPT 也会出现各种各样的错误，也会带来一些伦理、安全和隐私等方面的问题，未来在应用大模型的时候，如何才能营造一种既包容又兼顾安全和发展的环境？
邬贺铨：
生成式 AI 的出现将社会对人工智能的关注推到一个前所未有的高度，在引发科技界和产业界对 AI 的研究热潮同时，不少专家担心人工智能将毁灭人类，呼吁停止 GPT-5 的研究。一些专家的担忧并非杞人忧天，因为目前 ChatGPT 机器人的思考过程不透明，人类创造出 ChatGPT，但目前人类对它的推理过程并不完全掌握，推理结果知其然不知所以然，可解释性不足，不确定、不可知就会出现不可控，存在机器人变态和伦理失范及行为失控的风险。
解决办法不是停止对人工智能的研究，而是对 AIGC 的研究从关注结果到关注过程，设计和主导其推理过程，做到结果可预期和行为可控。未来对大模型的推广应用需要经有资质的机构做安全可信的评价，经检验该大模型的推理过程是可追溯的。同时需要建立相应的 AI 治理法规，防止对 AIGC 训练的误导，追究 AIGC 训练主体的责任，严惩教唆作恶犯罪行为。通过技术与法制相辅，使得人工智能成为人类真正忠诚的助手。
访谈者
王 强 腾讯研究院资深专家
