改名Meta之后,Facebook的元宇宙愿景正在一点点实现。这一次,Facebook把目光投在了元宇宙社交上。
Meta发布语音处理模型XLS-R
近日,Meta正式发布XLS-R——一套用于各类语音任务的新型自监督模型。据悉,XLS-R由海量公共数据训练而成(数据量是过去的十倍),能够将传统多语言模型的语言支持量增加两倍以上。目前,XLS-R共支持128种语言。
Meta认为,语音交流是人们最自然的一种交互形式。“随着语音技术的发展,我们已经能够通过对话同自己的设备及未来的虚拟世界直接互动,由此将虚拟体验与现实世界融为一体。”
香港科技大学拟在元宇宙建延展实境校园,建成后可以NFT形式发放文凭:金色财经消息,香港科技大学日前宣布,将在元宇宙中建立延展实境校园MetaHKUST,涵盖科大清水湾校园及9月开幕的科大广州校园,提供沉浸式学习体验。首阶段将建立主要基础设施,包括兴建延展实境教室,并邀请所有大学成员为两个实体校园进行众包扫描,为虚拟双子校园提供所需要的影像。
系统建成后,两所大学往后可以NFT形式,颁发加密文凭及成绩单,毕业礼和开放日亦可同时以虚拟及实体形式进行。(中新网)[2022/7/28 2:43:35]
这与扎克伯格此前宣称的“公司业务将以元宇宙优先”不谋而合。此前,扎克伯格曾概述了他建立“元世界”的计划:一个建立在我们自己的数字世界之上的数字世界,包括虚拟现实和增强现实。“我们相信元宇宙将会接替移动互联网”。
中文在线:公司与腾讯、百度在元宇宙业务进行探索合作:5月26日消息,上市公司中文在线表示,公司与腾讯、百度在元宇宙业务进行探索合作,公司基于腾讯平台的至信链开展数字商品销售服务,双方就文体领域数字商品制作、交易(不含二次交易)、转移等场景进行合作。基于百度的希壤元宇宙平台,百度为公司提供虚拟会场服务。[2022/5/26 3:43:19]
而XLS-R作为元宇宙社交中必不可少的一环,可以帮助母语不同的人在元宇宙无障碍对话。
值得一提的是,为了通过单一模型实现对多种语言的广泛语音理解能力,Meta对XLS-R进行了微调,使其获得语音识别、语音翻译及语言识别等功能。据介绍,XLS-R在BABEL、CommonVoice以及VoxPopuli语音识别基准测试,CoVoST-2的外语到英文翻译基准测试,以及VoxLingua107语言识别基准测试中都取得了不错的成绩。
时尚品牌Zara推出可在元宇宙穿戴的产品Lime Glam:4月12日消息,快时尚品牌Zara推出全新系列春夏款限量产品Lime Glam。这些服装和配饰可以在Zepeto元宇宙内穿戴,也可以在实体店购买。
如果买家选择实体版,也将获得数字版本,从而简化购买流程。Zara网站上专门展示了部分穿着Lime Glam系列产品的虚拟化身。Zepeto应用程序还为该特定系列提供照相亭、数字墙和地板。(Cryptoslate)[2022/4/12 14:19:13]
为了尽可能降低功能访问门槛,目前,Meta与HuggingFace联手发布了模型本体,并通过fairseqGitHubrepo全面开放。
试用地址:https://huggingface.co/spaces/facebook/XLS-R-2B-22-16
恒华科技:公司现有技术将来可在元宇宙中进行设计:1月7日消息,据恒华科技在互动平台表示,公司已经验证可在VR虚拟环境下组装或设计电力相关三维场景,现有技术将来可在元宇宙中进行设计。公司也将持续推进自主软件产品与“大云物移智链”等新一代信息技术相融合,加大研发力度,推动公司持续科技创新,满足电力、交通、水利等行业客户数字化的需求。[2022/1/7 8:31:06]
XLS-R工作原理
据介绍,XLS-R在wav2vec2.0训练集上接受了超过43万6千小时的公开语音录音训练,从而实现了对语音表达的自监督学习方法。这样的训练量已经达到去年发布的当时最强的模型XLSR-53的10倍。利用从会议记录到有声读物的多种语音数据来源,XLS-R的语言支持范围扩展到128种,涵盖的语种量达到前代模型的近2.5倍。
作为Meta打造的有史以来最大模型,XLS-R中包含超过20亿个参数,性能远高于其他同类模型。Meta表示,事实证明,更多参数能够更充分地体现、数据集中的各类语种。此外,Meta还发现,规模更大的模型在单一语言预训练方面的性能也同样优于其他较小模型。
Meta在四种主要多语言语音识别测试中对XLS-R做出评估,发现它在37种语言上获得了超越以往模型的效能。具体测试场景为:BABEL中选取5种语言,CommonVoice中选取10种语言,MLS中选取8种语言,以及VoxPopuli上选取14种语言。
BABEL上的单词错误率基准测试结果。XLS-R较前代模型实现了显著改进。
此外,Meta还评估了语音翻译模型,即将录音资料直接翻译成另一种语言。为了打造一套能够执行多种任务的模型,Meta同时在CoVoST-2基准测试的数个不同翻译方向上对XLS-R进行了微调,使其能够在英语与多达21种语言之间实现内容互译。
在使用XLS-R对英语以外的其他语言进行编码时,获得了显著的效能提升,这也是多语言语音表达领域的一次重大突破。据Meta介绍,XLS-R在低资源语言学习中实现了显著改进,例如印尼语到英语的翻译,其中BLEU准确率平均翻了一番。BLEU指标的提升是指模型给出的自动翻译结果与处理同一内容的人工翻译结果间重合度更高,代表着模型在改进口语翻译能力方面迈出了一大步。
以BLEU指标衡量的自动语音翻译准确率,其中较高值表示XLS-R从高资源语言(例如法语、德语)、中资源语言(例如俄语、葡萄牙语)或低资源语言(例如泰米尔语、土耳其语)语音记录翻译至英语时的准确率。
Meta认为,XLS-R证明扩大跨语言预训练规模可以进一步提高低资源语言的理解性能。它不仅提高了语音识别率,同时也将由外语到英语的语音翻译准确率提高了一倍以上。
“XLS-R是我们朝着以单一模型理解多种不同语言(语音)目标迈出的重要一步,也代表着我们在利用公共数据推进多语言预训练方面做出的最大努力。我们坚信这是一条正确的探索方向,将让机器学习应用更好地理解所有人类语音、并促进后续研究,大大降低语音技术在全球范围内、特别是服务匮乏社群中的使用门槛。我们将不断开发新方法,通过低监督学习拓展模型的语言理解能力、逐步使其覆盖全球7000多种语言,实现算法的持续更新。”Meta提到。
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/
加密分析平台Nansen的研究显示,从很多方面来看,2021年对于加密货币来说是重要的一年,并且?NFT?领域的增长为这一年奠定了基础.
NFT总销量连创新高,各大公链也由此收益。数据统计,截止到1月20日,NFT链上销售总额已突破250亿美元,总额排名前5的公链分别为:以太坊、Ronin、Solana、FLOW和WAX.
2022年伊始,一部分互联网巨头不约而同地以裁员这一动作拉开了虎年新年的序幕。在过去的一个月中,爱奇艺传出裁员20%至40%;蘑菇街传出整体裁员30%,其中技术部门裁60%;随后阿里巴巴、百度、.
一年一度的报税季又来啦,NFT的崛起催生了新一代投资者,对于当今的NFT投资者来说,牢记税收影响很重要。否则,他们可能会陷入税收噩梦。在2017年牛市之后,许多加密货币交易员发现自己陷入了困境.
本周技术周刊包含比特币、以太坊、波卡、Solana、Polygon、Kava、Fantom、Avalanche八个网络的技术类消息.
最近以比特币为代表的加密货币市场表现几乎与美股市场相同。高盛在周四的一份报告中表示,自11月以来,加密货币总市值下降了约40%。最近加密货币市场的回落表明,主流采用可能是一把“双刃剑”.