金融新基建丨AIGC时代遭遇资源瓶颈，金融机构如何破局？

2023-08-22 15:07:03 来源：21世纪经济报道小 中

21世纪经济报道记者李览青上海报道

每当谈及某项新兴技术在金融场景的落地应用时，CIO们都会告诉记者，投入是其面对的最首要问题。

【资料图】

所谓“投入”，并不仅仅是采购系统、服务的金额，还包括运维成本、人力成本、对已有资源的占用成本、业务系统升级改造带来的隐形成本，以及现有业务人员为学习适应新技术付出的成本等等。

在AIGC时代，提升资源利用效率更是成为金融行业大模型技术落地应用的必答题。有行业专家曾给记者算过一笔账，如果在金融垂直领域把所有公开数据都训练完，一次达标的预训练，以彭博旗下BloombergGPT的500亿参数计算，需要花费200张以上的英伟达A100显卡，仅一次训练支出在200万以上，低于这一体量的训练可能效果会不及预期。

显然不是所有金融机构都有财力和人力来支持这样大规模的训练，但即使是基于厂商已有大模型，金融机构在自有环境下进行精调，依然需要一定的资源支持。此前记者曾报道金融机构通过建立AI中台，将大模型作为所有应用的入口，有采访对象向记者直言精调时依然存在算力不够的问题。

在高昂的投入下，如何优化系统架构，降低业务人员使用门槛、提升资源利用率，实现降本增效？

算力瓶颈待解

在支撑大模型技术落地的“三驾马车”中，算力是不得不突破的基础设施，然而算力紧缩已是全球AI市场必须面对的现实。

与以往的AI训练模型方式不同，大模型的训练任务是“多机多卡”式的，在分布式任务训练下需要消耗大量的资源。微软在近期的财报中首次将GPU的可用性确定为风险因素，微软表示将继续寻找和评估扩大数据中心位置和增加服务器容量的机会，以满足客户不断变化的需求，特别是考虑到对人工智能服务不断增长的需求。

通用大模型训练对算力的要求惊人。据GPU Utils在今年8月公布的一组数据显示，OpenAI的GPT-4可能需要1万-2.5万张英伟达A100显卡。

而金融机构训练自己的大模型一般以二次训练精调（普遍指Fine-tune）为主，在已有预训练模型的基础上，在整个神经网络的最后一层进行修改，其他参数不变，尽管所需的算力要求相较预训练小很多，但一次训练也依然需要数十张A100显卡。

“巧妇难为无米之炊，底层算力是客户要解决的第一个问题。”腾讯云智能金融行业负责人汪凯峰告诉记者，特别是算力资源流通不畅的情况下，金融客户一般有两种选择，一是头部金融机构基于过去囤积的GPU进行探索，二是尝试将少量训练和精调挪到公有云上，解决一部分算力问题。

梳理AI资产迫在眉睫

有限的算力迫使金融机构降本增效，其中梳理AI资产就成为必经之路。

去年12月，财政部提出企业数据资源可作为资产列入财务报表，数据资产化探索进程已加速。在AIGC浪潮下的AI资产不仅包括可用数据集，还有AI模型、AI能力等等。

“在大模型出现之前，我们探索AI应用研发是烟囱式的，很多业务部门来找我要卡，一个系统两张卡，每次都买一堆卡，非常被动，使用效率也不高。”某基金公司科技部门负责人坦言。

在封闭的金融业务系统中，破解数据孤岛已经是行业老生常谈的话题，在不同的部门间，数据、算法、业务系统的隔离都将导致资源的重复利用与浪费。一方面，金融机构需要整合历史遗留的重复AI能力，另一方面，AI资产的管理与治理迫在眉睫。

“金融行业是数字化转型走得最快的行业，AI产品形态五花八门，从算法、业务系统到平台型产品，累积了大量烟囱式的AI资产。”汪凯峰提到，在帮助金融客户进行系统架构部署时发现，底层算力使用也较为混乱，对数据的可用程度、机器的利用率、业务侧调动算法的次数等等都没有充分了解。

对这一问题，汪凯峰表示，腾讯云TI平台在基础设施架构方面提供的解法是“上下统一、中间异构”，在上层做AI资产门户展示，在中间层沉淀AI通用能力整合进入中台。

由于大模型的分布式训练任务，以“多机多卡”形式推进，更需要对算力资源进行充分的感知与适配。记者了解到，用于大模型训练的机群下的算力节点在同一时间分配了不同程度的运行任务，提升AI中台的感知能力以灵活选择资源调度器更为重要。

“金融机构需要在厘清AI资产的基础上，沉淀通用数据能力与AI能力，对算法调用量等信息进行监控维护。”汪凯峰认为，AI资产梳理不仅仅是中台的建设，而是从数据、算力、算法、应用自下而上的治理。

譬如在助力中国金融期货交易所的数字化转型中，中金所技术公司通过腾讯云TI平台的能力，每天处理超过2000万条舆情数据、数亿次的调用次数，平台成功率超过99%。如果使用传统的方式处理这些数据量，需要构建统一的代码框架，通用的代码运行环境，部署维护反向代理工具等工作，将花费大量的人力和时间成本。

另外，模型开发速度提升方面，TI平台里面有150多种通用算法和算子能力，用户可以在工作流中直接训练模型，并将其放入模型仓库，形成从模型训练到发布再到服务的闭环，能够有效降低搭建成本和人力投入。之前需要花费一个月的工作，如今只需要2-3天就能完成。

降低模型开发门槛

“代码普惠”成为AIGC时代的另一个关键词。

据恒生研究院院长、首席科学家白硕介绍，基于Transformer架构，大模型目前分为两条技术路线，其中GPT的单向预测模型可以理解为“接龙”，而另一条路线类似于“填空”，前者通过一条示意可以容纳包括知识、推理、引导、详细说明，甚至代码的预测，后者需要两边文本的信息指示。

“GPT对AI行业的冲击非常大。”白硕告诉记者，在此之前机构部署的AI系统都是“烟囱式”的单个系统，“诸多小模型的训练使堂堂分析师沦为数据标注员，而模型的可用性也难以得到保障。”

事实上，在算力采购、算法优化、模型建立的背后，是大量的人力成本消耗。

在各金融机构的人员构成中，科技研发人员占比已在逐年增加。在2022年财报中公布相关数据的上市银行中，工商银行、农业银行、建设银行、招商银行科技人员数量都已破万，兴业银行与浦发银行两家银行科技人员占总员工的比重都超过10%。

对于金融机构而言，既期待大模型引领“低代码”时代的到来降低人力成本，又对大模型训练需要的人力成本保持谨慎观望。

猎聘数据显示，今年一季度AI大模型相关新发职位同比增长10.16%，算法工程师、机器学习相关职位的招聘年薪中位数均达到40万以上。

“我们曾经统计过建模过程中的时间消耗分布，”腾讯云智能-中金所项目技术负责人梁晨向记者提到，机器学习结构化数据的建模过程中，有50%的时间消耗在结构化数据的特征提取，即数据分析师根据建模目标对数据进行分析，再对特征进行提取，而这样的数据分析师必须熟悉原始数据表，对庞大的数据体量进行分析，并在金融机构跨部门协调获取数据，在提取特征后再使用这一特征进行建模。“这对数据分析师的要求非常高，既要熟悉原有的数据报表，又要理解业务模型构建。”梁晨告诉记者，通过平台沉淀相关能力后，可以将特征提取人员与建模人员分开，降低模型开发门槛，提升建模效率。

关键词：