区块见闻 区块见闻
Ctrl+D收藏区块见闻
首页 > 火必APP > 正文

MAG:AI 3D创作来了?“抢饭碗”成真_NER

作者:

时间:

来源:VR陀螺

作者:元桥

图片来源:由无界AI工具生成

VR一直都以轻量化内容为主,缺重度内容已久。

重度内容相较于轻量化内容更能满足用户的沉浸式体验,以游戏为例,好的体验感需要大量高精度3D素材,丰富的游戏角色和精美的画面场景,在此基础上增加空间感知与交互、玩法等。

传统的建模方式不仅成本较高而且具备较高的门槛,同时人工建模领域优秀的建模师稀缺,这也使成本再次上升。因此,业内都在寻求高效且低成本的3D内容生成方式。

近期,生成式AI爆火,从AIGC到3D模型,各大公司都开始自研或发布AI3D创作解决方案。例如腾讯AILab提出自研3D虚拟场景自动生成解决方案,帮助游戏开发者以更低成本创造风格多样、贴近现实的虚拟城市,提升3D虚拟场景的生产效率。

生成式AI仅仅依靠一张图片或者输入关键文字就能转化成3D模型,这种惊人的创作很快就让人对这个领域产生了一连串的畅想:AI3D创作真的要来了吗?内容创作者的饭碗还稳吗?以下将从VR内容制作的两个重要环节:建模与渲染进行分析。

AI3D建模正加速到来?

3D素材是包括游戏、影视、社交等所有3D应用的基石,如果可以通过输入文本快速生成三维模型,3D建模师就可以结合这项技术提高工作的效率,达到降本增效的效果,而海量的3D素材无疑会进一步推动VR的发展。

AI Meta Club治理代币AMC首日交易量突破1500万美元:据官方消息,AI 元宇宙项目AI Meta Club 治理代币 AMC 于北京时间 5月26日15:00 在 Poloniex 上线,据Poloniex交易数据展示,AMC 首日交易量达1578万美元,占Poloniex交易量榜首。

据悉,AI Meta Club 是首个实现 AI 文字生成图片的 Web3 项目。之前因通过AI仿声,AI图片生成、AI作曲等多项技术结合,为马斯克前女友 Grimes 生成歌曲而知名。[2023/5/27 9:46:12]

前面也提到由于人工建模需要花费大量的时间和成本,因此很难满足AR/VR对3D素材的需求。若想推动元宇宙产业快速发展,海量的3D素材少不了,这也是为什么各大企业都在纷纷研发结合AI创建3D建模的技术。

2022年谷歌曾发表过一篇论文《DreamFusion:Text-To-3DUsing2DDiffusion》,详细概述了“DreamFusion”。简单来看,“DreamFusion”是先使用一个预训练2D扩散模型基于文本提示生成多个视角的3D视图,再依据NeRF重建。

NeRF与Imagen互相影响,没有一个训练得比较好的NeRF,Imagen很难生成连贯的多视角图;反之,就得不到好的NeRF。于是作者提出NeRF和Imagen来回迭代的方法。这种来回迭代有个缺陷是耗时,如来回迭代15000次,生成一个模型就需要在4块TPUv4上训练1.5小时。

OpenAI CEO旗下加密项目Worldcoin推出身份协议World ID及SDK:3月14日消息,OpenAI 首席执行官 Sam Altman 创立的加密货币公司 Worldcoin 推出身份协议 World ID 及相应 SDK(软件开发工具包)。World ID 定位为 Worldcoin 的底层身份协议,由零知识密码学提供支持,人们可以通过 World ID 来证明自己身份,同时保持匿名。

此前报道,2 月 10 日,知情人士称 Worldcoin 希望以 30 亿美元的估值融资至多 1.2 亿美元,且本轮融资包括股权和 Token 融资。[2023/3/14 13:03:16]

图:3DNeRF和2D生成模型来回迭代优化

目前很多三维方法都是基于NeRF所生成的,这种方式生成的三维物体在效率、渲染、质量上都有显著的提升,但现阶段还不能做结构数据,也就是Mesh,无法用来开发VR重度内容。关于NeRF详细介绍,可以参阅VR陀螺近期文章《高效低成本构建元宇宙场景:NeRF神经辐射场》

2022年,英伟达也发表了一篇关于《Magic3D:High-ResolutionText-to-3DContentCreation》的论文。文中阐述了生成式AI如何无需特殊培训也可创建3D模型的过程。

Hyundai Card副总裁: Crypto的“郁金香狂热”阶段正在结束:1月20日消息,Hyundai Card副总裁Chung Tae-young周三表示,NFT和元宇宙的兴起正在帮助Crypto度过郁金香狂热阶段。

韩国汽车制造商现代汽车(Hyundai)的信用卡部门Hyundai Card此前曾与互联网巨头Kakao的区块链子公司Ground X合作,开发用于信用卡和支付记录的NFT。

Chung表示,NFT和元宇宙已经为合理使用虚拟资产、将加密投资多样化应用到数字文化和房地产等领域打开了大门。(forkast)[2022/1/20 9:01:30]

随着近期AIGC的爆火,Magic3D在业内得到了极大的关注。也正因为看到Magic3D建模的效果,业内人士普遍认为AI3D创作真的要来了。

Magic3D将重建过程分成了两部分,一是先使用低分辨率创建粗略的模型,到第二阶段从粗神经表示初始化的纹理网格模型,使用与高分辨率潜在扩散模型交互的高效可微的光栅化渲染器进行优化。类似于DreamFusion使用文本到生成2D图像,然后基于NeRF创建3D模型一般。

Magic3D还可以根据给定主题实例输入图像,使用DreamBooth微调扩散模型,并使用给定的提示优化3D模型。

同时,只需要40分钟左右,Magic3D就可以创建一个带有彩色纹理的3D网格模型,相比DreamFusion快了2倍。

聚币平台TAI 近三日累计涨幅达162.14%:据Jubi行情数据显示,截止到7月6日19:00(UTC+8),聚币Jubi平台TAI自申购上线以来,累计涨幅达162.14%,今日最高价0.7340USDT,现价0.6859USDT。[2020/7/6]

目前DreamFusion和Magic3D尚未开源,同时也未达到商业化的成熟度。AI创作对数据、算法有着极高的要求,而3D数据又具有天然的稀缺性,难收集等特点,即便有了庞大的数据,AI如何从庞大的数据中学习创作也是一个问题;而从2D直接扩展到3D,也需要极大的计算量,如何加快优化速度,如何撰写正确的脚本都是需要解决的算法问题。

此外,AI3D创作在落地场景、可行性的商业化路径、技术风险等方面都尚无法达到工业化的生产标准,甚至还有很长一段路要走,据业内预估可能五年或长达十年之久。但可以看到的是ChatGPT已经可以根据一段文字描述进行编码生成脚本,而GPT-5大模型也在筹备中了,就像互相迭代一样,通过不断地反馈更改,AI会变得越来越智能,所生成的编码会逐步优化升级,达到初步使用的需求。

一旦生成式AI的3D创作技术成熟,就可以加速VR游戏、视频以及应用程序的开发。届时,或将会解决VR海量内容需求的一大痛点。

AI实时渲染:技术仍有限?

除了建模,VR内容制作另一个重要环节便是渲染了。渲染对用户体验有直接的影响,一般在AR/VR场景中,为了能够实现灵活的交互方式和丰富的感官体验,需要在内容生产中提升配套的实时渲染能力。

BitMax明日将启动xDai (STAKE) 竞拍:据官方消息,北京时间4月28日 (明日)21:00 - 23:00,BitMax用户将获得STAKE竞拍权。按竞价由高到低排名,前400名用户将以第400名用户给出的竞拍价为最终价获得拍卖品1000 STAKE(无锁定期)。本次竞拍起拍价格为400 USDT,上限为550 USDT。

BitMax (BTMX.com) 交易所将于北京时间4月29日 22:00开启独家上线xDai Chain (STAKE),并开放STAKE/USDT交易对。

更多活动和交易详情登录BitMax平台官网查看。[2020/4/27]

相对于传统的非实时渲染,实时渲染所见即所得,能够更加直观地看到输出效果,方便制作人员进行调整。目前,人工智能已经开始在实时运算渲染领域初显本领了。

近期,海外一款名为ArkoAI的人工智能渲染器在设计创作领域得到了极大关注,以插件形式安装在SketchUp、Rhino、Revit中。

使用者只需要输入关键词,仅几秒就可以渲染出较好的效果图;同时还可以将模型置于不同的场景中,即便是简单的几何形体也能渲染出效果图。

ArkoAI的初衷是简化设计师繁琐的工作流程,但目前还只是一个简单的AI生成器,生成的图片大部分是关于建筑和室内领域;同时,渲染水平也停留在比较初级的阶段,对建筑风格和结构的理解非常有限。前面也提到AI的核心是算法和数据,在渲染层面亦是如此。

目前AI渲染还达不到真正的使用需求,同时在多次输入相同关键词的情况下,渲染的图会逐渐变得模糊甚至走形,AI的“智能”程度仍然有限。

虽然还不能切入VR内容的创作层面,但是这个风向标却越来越清晰了。

在GTC2023大会上,英伟达也针对AI视频、图像生成、大型语言模型、图形渲染等推出了NVIDIAL40,旨在利用AI加速渲染,基于数据和神经网络训练方法形成的自动化的材质生产链路,具有高度还原离线材质、速度快、且能够快速迭代的优势。

此外,如前面提到的英伟达Magic3D也可以从文字描述中渲染出彩色纹理的3D网格模型,例如最近比较火的“一只坐在睡莲上的蓝色镖蛙”。

Meta、微软、谷歌等企业也都在投资实时3D渲染,在未来数年里,无论是AI渲染还是AI建模的技术都会比现在进化的更好,无疑会给3D创作带来巨大的进步,也将会使创作环节变得更快、制作成本更低。

AI的触角在3D创作设计领域延伸的越来越深,甚至日本已经有企业开始采用AI作画实现商业化运行了。从AI到AI3D建模再到实时渲染,我们正在经历“技术改变创作领域甚至一切设计工作”这一场景。随着研发深入,未来创作者直接输入会变得更少,3D素材呈现巨量增长的态势。

AI抢工作成定局?

在人工智能普遍成为各行各业的底层技术背景下,大家都在思考AI还能做什么?我们的工作是不是正在面临被淘汰的局面?不仅在科技领域,传统行业如律师、编辑等都发出了相似的感叹。甚至也有机构作出细化分析,哪些职位未来不会被取代。一夜之间,所有人对AI的恐慌好像都上了一个层次。

其实AI创作会不会真的抢人类的“饭碗”得就具体岗位而论,就像工业4.0大潮中替代一线工人的机器人一样,甚至有些工厂已经实现了全自动化运行,大量不需要创意、简单且重复性的劳动已经被替代。

本轮AI的大潮与工业4.0的本质区别在于“智能化”,AI已经展现出“创作”的能力,即使目前的创意还能看到诸多样本的痕迹,建模和渲染的AIGC能力也还处于早期,但AI在部分领域能提升生产力已经成为不争的事实。

与其担心自己的工作是否会被AI替代,不如思考如何结合AI将现有的工作更完美地完成,如何让AI变得更好,因为被错误的大数据喂养,扭曲AI的认知,那时AI做的事情可能会超越人类的底线。

《失控》的作者凯文·凯利认为“未来将有数以万计创业公司,他们会从事人工智能用于某一个领域的工作。使用者越来越多的话,机器会越来越聪明,这是一种滚雪球的方式。”

也就是说技术进步是必然的,同时由于基础数据不断扩大,机器的思维方式会变得越来越灵活。但技术给社会带来的变革,并不是以抢工作为最终目标,而是成为一种提升效率的生产方式。

凯文·凯利也曾在一次演讲中表示,每一项新技术的诞生都会引发一场恐慌周期,一般会经历7个阶段:

别让我看到这些垃圾,根本没用。

好吧,这东西确实发生了,但是很危险,因为效果并不好。

等等,它太好用了,我们必须得做点什么扰乱它!

这东西太强大了,对于那些无法触达它的人来说是不公平的。

现在它无处不在,无法逃离,这不公平。

我打算戒掉它,戒一个月。

让我们关注真正重要的问题ーー下一个会出现的技术是什么?

其实大多数人对新技术持负面态度多源于对技术的不了解,当人们不了解一样产品的时候,往往会持有不看好的态度。但细究下来会发现技术做的事情只是在让原有东西变得更加智能,例如AI辅助飞机驾驶,飞行员只要做好基础的操作,剩下的都是AI在驾驶飞机,可以有效缓解飞行员一路的疲劳与提高飞行安全程度。

因此,AI3D的创作也并不会真正取代建模师以及渲染师的工作,反而可以多维度地给建模师提供多重视角,也让建模师可以从繁琐的工作中简化出来,做更有意义的事情。但我们总会抱着戏谑的态度看待AI,以古怪刁钻的问题去调戏AI,从而给人工智能定义上“人工智障”的名号。

顺理成章的把AI看作人类的对立面,也理所应当的不会乐于接受新技术的到来。马斯克曾说过一句话,无论你接受与不接受,无论人类如何呼吁停止采用新技术,总会有企业在马不停蹄地研究,在你不知道的地方,不知道的领域,它会在某一天就来了。

与此同时,毋庸置疑的是人工智能在某一方面已经开始比人类聪明了,甚至可以跨专业地协同工作。但由于机器与人类的思考方式不同,机器变得越聪明时反而会推动人类工作的进步。此外,技术的进步也会创造出新的工作,改变就业的生态格局,人+AI将是未来任何工作领域的一个普遍现象。

参考文献

元宇宙时代超高清视音频技术白皮书

凯文凯利:AI将改变一切设计工作https://www.wired.com/story/picture-limitless-creativity-ai-image-generators/

https://research.nvidia.com/labs/dir/magic3d/

TaichiNeRF(下):关于3DAIGC的务实探讨

标签:MAGNERNERFMAGICmemag币团队CryptoEnergyNERF币MAGICK币

火必APP热门资讯
META:“少数人”的胜利 Midjourney走上AIGC神坛_ISC

Midjourney的风格是简单、直接、高效,所有精力集中在模型上,不做app,也不做网站。如今,不知道Midjourney这家公司,似乎就不配谈AIGC.

AGI:一文了解a16z的“L2野心”Magi_roll币怎么用

在Coinbase推出基于OPStack的全新以太坊L2网络Base之后,a16z也出手了。4月19日晚间,a16zCrypto宣布推出名为“Magi”的二层Rollup客户端解决方案,无独有偶.

Magi:Foresight Ventures市场周报:市场喘息向上 NFT接近触底_MAG

A.市场观点 一、宏观流动性 货币流动性改善。市场等待?5?月?4?日美联储议息会议,预计加息?25?个基点,大概率是最后一次加息。美国银行危机继续加剧,货币政策转向或加快,年内有望实现降息.

IGC:創業者:AIGC 很酷,投資人:我絕對不投_AIGO Protocol

只需要通过一张真人的照片,一段文本,就可以毫秒级生成属于你自己的三维的数字人。这种数字人,也可以叫做硅基劳动力,它们遵循人类指令,没有情绪、无限供给、永不离职,不参与分配.

LANA:金色Web3.0日報 | 香港將於5月發布加密貨幣交易平台許可指南_OLY

DeFi数据 1、DeFi代币总市值:494.94亿美元 DeFi总市值及前十代币数据来源:coingecko2、过去24小时去中心化交易所的交易量31.

OLA:Solana沉浮录:很多的偶然与少许的必然_MAG

本文转录自?STEPN首席营收官、?MulticoinCapital前合伙人Mable的播客HODLong后浪.