区块见闻 区块见闻
Ctrl+D收藏区块见闻

ChatGPT带来的AI热潮: 区块链技术如何解决AI发展的挑战与瓶颈

作者:

时间:

过去两周,生成式人工智能 (AI) 领域是毫无疑问的热点,突破性的新版本和尖端集成不断涌现。 OpenAI 发布了备受期待的 GPT-4 模型,Midjourney 发布了最新的 V5 模型,Stanford 发布了 Alpaca 7B 语言模型。与此同时,谷歌在其整个 Workspace 套件中推出了生成式人工智能,Anthropic 推出了其人工智能助手 Claude,而微软则将其强大的生成式人工智能工具 Copilot 集成到了 Microsoft 365 套件中。

随着企业开始意识到人工智能和自动化的价值以及采用这些技术以保持市场竞争力的必要性,人工智能开发和采用的步伐愈发加快。

尽管人工智能发展看似进展顺利,但仍有一些潜在的挑战和瓶颈需要解决。随着越来越多的企业和消费者接受人工智能,计算能力方面的瓶颈正在出现。人工智能系统所需的计算量每隔几个月就会翻一番,而计算资源的供应却难以跟上步伐。此外,训练大规模人工智能模型的成本持续飙升,过去十年每年增长约 3100%。

开发和训练尖端人工智能系统所需的成本上升和资源需求增加的趋势正在导致集中化,只有拥有大量预算的实体才能进行研究和生产模型。然而,一些基于加密技术的项目正在构建去中心化解决方案,以使用开放计算和机器智能网络解决这些问题。

人工智能(AI)和机器学习(ML)基础

AI 领域可能令人望而生畏,深度学习、神经网络和基础模型等技术术语增加了其复杂性。现在,就让我们简化这些概念以便于理解。

人工智能是计算机科学的一个分支,涉及开发算法和模型,使计算机能够执行需要人类智能的任务,例如感知、推理和决策制定;

机器学习 (ML) 是 AI 的一个子集,它涉及训练算法以识别数据中的模式并根据这些模式进行预测;

链游项目BulletChain完成200万美元私募轮融资,拟于下周启动Beta测试:金色财经报道,链游项目BulletChain宣布完成200万美元私募轮融资,来自亚洲市场的一批游戏领域的投资人参投,该项目计划利用这笔资金在下周启动Beta测试(预计为9月11-18日)并加速其第三人称射击游戏在安卓和iOS应用商店发布,据悉BulletChain最初构建于币安智能链之上,后续或将拓展到其他区块链。(chainwire)[2023/9/7 13:25:08]

深度学习是一种涉及使用神经网络的 ML,神经网络由多层相互连接的节点组成,这些节点协同工作以分析输入数据并生成输出。

基础模型,例如 ChatGPT 和 Dall-E,是经过大量数据预训练的大规模深度学习模型。这些模型能够学习数据中的模式和关系,使它们能够生成与原始输入数据相似的新内容。 ChatGPT 是一种用于生成自然语言文本的语言模型,而 Dall-E 是一种用于生成新颖图像的图像模型。

AI和ML行业的问题

人工智能的进步主要由三个因素驱动:

算法创新:研究人员不断开发新的算法和技术,让人工智能模型能够更高效、更准确地处理和分析数据。

数据:人工智能模型依赖大型数据集作为训练的燃料,使它们能够从数据中的模式和关系中学习。

计算:训练 AI 模型所需的复杂计算需要大量的计算处理能力。

然而,有两个主要问题阻碍了人工智能的发展。回到2021年,获取数据是人工智能企业在人工智能发展过程中面临的首要挑战。去年,与计算相关的问题超越了数据成为挑战,特别是由于高需求驱动下无法按需访问计算资源。

第二个问题与算法创新效率低下有关。虽然研究人员通过在以前的模型的基础上继续对模型进行增量改进,但这些模型提取的智能或模式总是会丢失。

报告:ChatGPT每日烧钱约70万美元,OpenAI或已在破产边缘:金色财经报道,OpenAI可能正处于潜在的财务危机之中,印度新闻媒体平台Analytics India Magazine近日的一份报告称,该公司可能在2024年底破产。报告称,OpenAI仅运行其人工智能服务ChatGPT每天就要花费约70万美元(约合506.8万元人民币)。OpenAI目前正处于烧钱的状态,尽管该公司试图通过GPT-3.5和GPT-4来实现盈利,但该目前还没有能够产生足够的收入来实现收支平衡。报告称,自从其开始开发ChatGPT以来,其亏损额在5月份翻了一番,达到了5.4亿美元。微软对OpenAI投资了100亿美元,这可能是目前支撑该公司运行的原因。但该报告称,如果OpenAI不能很快获得更多资金,该公司可能不得不在2024年底之前申请破产。[2023/8/13 16:23:48]

让我们更深入地研究这些问题。

计算瓶颈

训练基础机器学习模型需要大量资源,通常需要长时间使用大量 GPU。例如,Stability.AI 需要在 AWS 的云中运行 4,000 个 Nvidia A100 GPU 来训练他们的 AI 模型,一个月花费超过 5000 万美元。另一方面,OpenAI 的 GPT-3 使用 1,000 个 Nvidia V100 GPU 进行训练,耗资 1,200 万美元。

人工智能公司通常面临两种选择:投资自己的硬件并牺牲可扩展性,或者选择云提供商并支付高价。虽然大公司有能力选择后者,但小公司可能没有那么奢侈。随着资本成本的上升,初创公司被迫削减云支出,即使大型云提供商扩展基础设施的成本基本保持不变。

人工智能的高昂计算成本给追求该领域进步的研究人员和组织造成了重大障碍。目前,迫切需要一种经济实惠的按需无服务器计算平台来进行 ML 工作,这在传统计算领域是不存在的。幸运的是,一些加密项目正在致力于开发可以满足这一需求的去中心化机器学习计算网络。

Arbitrum开发团队Offchain Labs将为Arbitrum推出性能超越EVM的编程环境Stylus:金色财经报道,Arbitrum 开发团队 Offchain Labs 宣布将于今年晚些时候为 Arbitrum One 和 Arbitrum Nova 推出下一代编程环境 Stylus,Stylus 通过 WebAssembly 智能合约功能,允许用户使用他们最喜欢的编程语言(包括 Rust、C 和 C++)部署应用程序,以便与 Arbitrum 上的 EVM 程序一起运行。Stylus 的速度快了一个数量级,并且能够降低费用,并且与以太坊虚拟机(EVM)完全互操作。Offchain Labs 将 Stylus 称之为 EVM+,Stylus 不会取代 EVM。[2023/2/8 11:53:07]

效率低下和缺乏协作

越来越多的人工智能开发是在大型科技公司秘密进行的,而不是在学术界。这种趋势导致该领域内的合作减少,例如微软的 OpenAI 和谷歌的 DeepMind 等公司相互竞争并保持其模型的私密性。

缺乏协作导致效率低下。例如,如果一个独立的研究团队想要开发一个更强大的 OpenAI 的 GPT-4 版本,他们将需要从头开始重新训练模型,基本上是重新学习 GPT-4 训练的所有内容。考虑到仅 GPT-3 的培训成本就高达 1200 万美元,这让规模较小的 ML 研究实验室处于劣势,并将人工智能发展的未来进一步推向大型科技公司的控制。

但是,如果研究人员可以在现有模型的基础上构建而不是从头开始,从而降低进入壁垒;如果有一个激励合作的开放网络,作为一个自由市场管理的模型协调层,研究人员可以在其中使用其他模型训练他们的模型,会怎么样呢?去中心化机器智能项目 Bittensor 就构建了这种类型的网络。

Multichain:现已与Step Network达成跨链合作:据官方消息,跨链路由协议Multichain宣布,集成Step Network已支持FITFI及另外7种资产(BNB,BUSD,DAI,ETH,USDC,USDT,WBTC)在Step Network和包括以太坊、币安智能链在内的7条区块链之间安全快速低手续费的跨链交易。

Step Network作为专注于体验生活的区块链,其上部署应用Step App为FitFi(Fitness Finance)的开发协议,致力于为健身经济创造游戏化的元宇宙。作为跨链基础设施,Multichain致力于推动多链生态的繁荣和发展,并已与60条主流公链合作,支持超过2500种资产跨链。[2022/8/17 12:31:06]

机器学习的分散式计算网络

去中心化计算网络通过激励 CPU 和 GPU 资源对网络的贡献,将寻求计算资源的实体连接到具有闲置计算能力的系统。由于个人或组织提供其闲置资源没有额外成本,因此与中心化提供商相比,去中心化网络可以提供更低的价格。

存在两种主要类型的分散式计算网络:通用型和专用型。通用计算网络像分散式云一样运行,为各种应用程序提供计算资源。另一方面,特定用途的计算网络是针对特定用例量身定制的。例如,渲染网络是一个专注于渲染工作负载的专用计算网络。

尽管大多数 ML 计算工作负载可以在分散的云上运行,但有些更适合特定用途的计算网络,如下所述。

机器学习计算工作负载

机器学习可以分为四种主要的计算工作负载:

数据预处理:准备原始数据并将其转换为 ML 模型可用的格式,这通常涉及数据清理和规范化等活动。

Synthetix将全面整合Chainlink预言机以提供所有合成资产喂价:金色财经报道,经过几个月的测试,DeFi交易所Synthetix今天宣布对其所有资产全面整合Chainlink价格预言机,包括其指数上所有合成资产的喂价。Synthetix此前在大宗商品和外汇Synths中实施了Chainlink价格预言机,但现在将从内部维护的预言机转向Chainlink解决方案,从而进一步实现全面去中心化治理。(Decrypt)[2020/9/2]

训练:机器学习模型在大型数据集上进行训练,以学习数据中的模式和关系。在训练期间,调整模型的参数和权重以最小化误差。

微调:可以使用较小的数据集进一步优化 ML 模型,以提高特定任务的性能。

推理:运行经过训练和微调的模型以响应用户查询进行预测。

数据预处理、微调和推理工作负载非常适合在 Akash、Cudos 或 iExec 等去中心化云平台上运行。然而,去中心化存储网络 Filecoin 由于其最近的升级而特别适合数据预处理,从而启用了 Filecoin 虚拟机(FVM)。 FVM 升级可以对存储在网络上的数据进行计算,为已经使用它进行数据存储的实体提供更高效的解决方案。

机器学习专用计算网络

由于围绕并行化和验证的两个挑战,训练部分需要一个特定用途的计算网络。

ML 模型的训练依赖于状态,这意味着计算的结果取决于计算的当前状态,这使得利用分布式 GPU 网络变得更加复杂。因此,需要一个专为 ML 模型并行训练而设计的特定网络。

更重要的问题与验证有关。要构建信任最小化的 ML 模型训练网络,网络必须有一种方法来验证计算工作,而无需重复整个计算,否则会浪费时间和资源。

Gensyn

Gensyn 是一种特定于 ML 的计算网络,它已经找到了以分散和分布式方式训练模型的并行化和验证问题的解决方案。该协议使用并行化将较大的计算工作负载拆分为任务,并将它们异步推送到网络。为了解决验证问题,Gensyn 使用概率学习证明、基于图形的精确定位协议以及基于抵押和削减的激励系统。

尽管 Gensyn 网络尚未上线,但该团队预测其网络上 V100 等效 GPU 的每小时成本约为 0.40 美元。这一估计是基于以太坊矿工在 Merge 之前使用类似 GPU 每小时赚取 0.20 至 0.35 美元。即使这个估计有 100% 的偏差,Gensyn 的计算成本仍将大大低于 AWS 和 GCP 提供的按需服务。

Together

Together 是另一个专注于构建专门用于机器学习的去中心化计算网络的早期项目。在项目启动之初,Together 开始整合来自斯坦福大学、苏黎世联邦理工学院、Open Science Grid、威斯康星大学麦迪逊分校和 CrusoeCloud 等不同机构未使用的学术计算资源,从而产生总计超过 200 PetaFLOP 的计算能力。他们的最终目标是通过汇集全球计算资源,创造一个任何人都可以为先进人工智能做出贡献并从中受益的世界。

Bittensor:去中心化机器智能

Bittensor 解决了机器学习中的低效率问题,同时通过使用标准化的输入和输出编码来激励开源网络上的知识生产,从而改变研究人员的协作方式,以实现模型互操作性。

在 Bittensor 上,矿工因通过独特的 ML 模型为网络提供智能服务而获得网络的本地资产 TAO 的奖励。在网络上训练他们的模型时,矿工与其他矿工交换信息,加速他们的学习。通过抵押 TAO,用户可以使用整个 Bittensor 网络的智能并根据他们的需要调整其活动,从而形成 P2P 智能市场。此外,应用程序可以通过网络的验证器构建在网络的智能层之上。

Bittensor 是如何工作的

Bittensor 是一种开源 P2P 协议,它实现了分散的专家混合 (MoE),这是一种 ML 技术,结合了专门针对不同问题的多个模型,以创建更准确的整体模型。这是通过训练称为门控层的路由模型来完成的,该模型在一组专家模型上进行训练,以学习如何智能地路由输入以产生最佳输出。为实现这一目标,验证器动态地在相互补充的模型之间形成联盟。稀疏计算用于解决延迟瓶颈。

Bittensor 的激励机制吸引了专门的模型加入混合体,并在解决利益相关者定义的更大问题中发挥利基作用。每个矿工代表一个独特的模型(神经网络),Bittensor 作为模型的自我协调模型运行,由未经许可的智能市场系统管理。

该协议与算法无关,验证者只定义锁并允许市场找到密钥。矿工的智能是唯一共享和衡量的组成部分,而模型本身仍然是私有的,从而消除了衡量中的任何潜在偏见。

验证者

在 Bittensor 上,验证器充当网络 MoE 模型的门控层,充当可训练的 API 并支持在网络之上开发应用程序。他们的质押支配着激励格局,并决定了矿工要解决的问题。验证者了解矿工提供的价值,以便相应地奖励他们并就他们的排名达成共识。排名较高的矿工获得更高份额的通货膨胀区块奖励。

验证者也被激励去诚实有效地发现和评估模型,因为他们获得了他们排名靠前的矿工的债券,并获得了他们未来奖励的一部分。这有效地创造了一种机制,矿工在经济上将自己“绑定”到他们的矿工排名。该协议的共识机制旨在抵制高达 50% 的网络股份的串通,这使得不诚实地对自己的矿工进行高度排名在财务上是不可行的。

矿工

网络上的矿工接受训练和推理,他们根据自己的专业知识有选择地与同行交换信息,并相应地更新模型的权重。在交换信息时,矿工根据他们的股份优先处理验证者请求。目前有3523名矿工在线。

矿工之间在 Bittensor 网络上的信息交换允许创建更强大的 AI 模型,因为矿工可以利用同行的专业知识来改进他们自己的模型。这实质上为 AI 空间带来了可组合性,不同的 ML 模型可以在其中连接以创建更复杂的 AI 系统。

复合智能

Bittensor 通过新市场解决激励低效问题,从而有效地实现机器智能的复合,从而提高 ML 培训的效率。该网络使个人能够为基础模型做出贡献并将他们的工作货币化,无论他们贡献的规模或利基如何。这类似于互联网如何使利基贡献在经济上可行,并在 YouTube 等内容平台上赋予个人权力。本质上,Bittensor 致力于将机器智能商品化,成为人工智能的互联网。

总结

随着去中心化机器学习生态系统的成熟,各种计算和智能网络之间很可能会产生协同效应。例如 Gensyn 和 Together 可以作为 AI 生态的硬件协调层,而 Bittensor 可以作为智能协调层。

在供应方面,以前开采 ETH 的大型公共加密矿工对为去中心化计算网络贡献资源表现出极大的兴趣。例如,在他们的网络 GPU 发布之前,Akash 已经从大型矿工那里获得了 100 万个 GPU 的承诺。此外,较大的私人比特币矿工之一的 Foundry 已经在 Bittensor 上进行挖矿。

本报告中讨论的项目背后的团队不仅仅是为了炒作而构建基于加密技术的网络,而是 AI 研究人员和工程师团队,他们已经意识到加密在解决其行业问题方面的潜力。

通过提高训练效率、实现资源池化并为更多人提供为大规模 AI 模型做出贡献的机会,去中心化 ML 网络可以加速 AI 发展,让我们在未来更快解锁通用人工智能。

原文作者:Messari - Sami Kassab

原创编译:BlockTurbo

区块引擎

个人专栏

阅读更多

金色财经 善欧巴

金色早8点

白话区块链

欧科云链

Odaily星球日报

Arcane Labs

MarsBit

深潮TechFlow

BTCStudy

链得得

标签:人工智能BITENSCHA人工智能对口的工作BITPAY币FRENS币blockchain钱包登录不了

抹茶交易所热门资讯
ETH:详解币安 Launchpad 项目 Space ID:经济模型、空投细则及如何获得后续空投_RXE

撰文:雾海 3 月 16 日币安官方宣布将上线第 30 个 Launchpad 项目 Space ID(ID),此次售卖将基于投入模式,为 BNB 专场.

EWS:Terra创始人Do Kwon黑山被捕 近10个月逃亡生活结束_terra币和luna币关系

韩美两国均要求引渡Do Kwon,这位昔日“加密之王”将面临牢狱之灾。北京时间 3 月 23 日晚 8 时 51 分,黑山内政部长 Filip Adzic 在推特表示:黑山拘留了一名疑似通缉.

Terra:GPT-4救了我狗的命_WEWON

这两天,一篇关于“GPT-4救了我狗的命”的帖子属实有点火: 短短一两天就有数千人转发,上万人点赞,网友在评论区讨论得热火朝天。 是真狗命,not人的“狗命”(Doge) 乍一听,大家想必很纳闷: 这俩能扯上什么关系?GPT-4还能长眼睛发现狗有什么危险吗? 真实的经过是这样子的: 当兽医说无能为力时,他问了GPT-4 发帖人名叫Cooper。

马斯克:马斯克将推特Logo改为狗狗币表情 意欲何为?_加密货币

作者:火火 / 来源:白话区块链 这是白话区块链的第1901期原创 作者 | 火火出品|白话区块链(ID:hellobtc)4月4日最新消息.

HAI:ChatGPT与教育的未来_X-GPT

作者:王鹏 腾讯研究院资深专家ChatGPT火爆以来,其对教育理念和方式的冲击引起广泛讨论,似乎也让人看到了人工智能影响下未来教育的一些走向.

区块链:2023年Web3领域将带来哪些新变化?_AIN

编译:Dali@Web3CN.Pro基于技术进步和有利的经济条件,区块链行业在2021年迎来大发展,但随后由于一系列毁灭性的金融事件,区块链市场在2022年遭受重创.