LAMA:两大可商用开源大模型同时发布！性能不输 LLaMA，羊驼家族名字都不够用了_Llama

作者：

时间：

来源：量子位

从Meta的LLaMA发展出的羊驼家族一系列大模型，已成为开源AI重要力量。

但LLamA开源了又没全开，只能用于研究用途，还得填申请表格等，也一直被业界诟病。

好消息是，两大对标LLaMA的完全开源项目同时有了新进展。

可商用开源大模型来了，还一下来了俩：

MosaicML推出MPT系列模型，其中70亿参数版在性能测试中与LLaMA打个平手。

Together的RedPajama系列模型，30亿参数版在RTX2070游戏显卡上就能跑。

区块链房地产公司Propy再获两大投资公司投资:11月16日消息，投资公司Mercuria Investment和ITOCHU Corporation旗下联合基金宣布投资区块链房地产公司Propy。具体投资金额暂未公布。（日经新闻）[2020/11/16 20:55:06]

对于这些进展，特斯拉前AI主管AndrejKarpathy认为，开源大模型生态有了寒武纪大爆发的早期迹象。

MPT，与LLaMA五五开

MPT系列模型，全称MosaicMLPretrainedTransformer，基础版本为70亿参数。

MPT在大量数据上训练，与LLaMA相当，高于StableLM，Pythia等其他开源模型。

动态 | 欧洲打击两大暗网市场缴获大量比特币及门罗币:据cointelegraph报道，欧洲刑警组织5月3日宣布，德国与欧洲刑警组织一起关闭了暗网市场Wall Street Market的服务器，并从被捕的嫌疑人手中查货550,000欧元（613,600美元）的现金、总额六位数的比特币和门罗币、几辆汽车、电脑和硬盘等。在同一份声明中，欧洲刑警组织还正式宣布，芬兰海关已捣毁黑网市场Valhalla（也称为Silkkitie）并扣押了大量的比特币。[2019/5/4]

支持84ktokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。

在各类性能评估中，与原版LLaMA不相上下。

动态 | 美国两大监管机构发布关于数字货币投资虚假声明的警告:据Bitcoinexchangeguide报道，美国证券交易委员会（SEC）和商品期货交易委员会（CFTC）近日发布了关于数字货币投资虚假声明的警告。根据该机构官方声明，欺诈者可能会使用虚假声明来诱投资者并购买数字货币和其他代币，例如ICO提供的代币。SEC通报称，“当有人声称于任何联邦政府机构有关联时，请不要相信此人提供的投资信息，并且在向任何你不认识的人提供个人信息时要保持谨慎”。[2018/10/15]

除了MPT-7BBase基础模型外还有三个变体。

MPT-7B-Instruct，用于遵循简短指令。

MPT-7B-Chat，用于多轮聊天对话。

MPT-7B-StoryWriter-65k+，用于阅读和编写故事，支持65ktokens的超长上下文，用小说数据集微调。

XRP Arrington创始人Michael Arrington谈2018年区块链发展两大趋势:今日，XRP Arrington创始人Michael Arrington谈到2018年区块链发展两大趋势时表示：现在的趋势就是看美国证券交易委员会（SEC）要做什么，他们会进一步毁掉美国的交易，会建立一些让我们能够依据的规则，还是会去阻击个体的交易，这是一个趋势。从功能性代币（Utility Token）完全转移到证券型代币（Security Toekn）也是一个趋势，对这点我很兴奋。我们会在证券型代币领域做更多。[2018/2/24]

MosaicML由前英特尔AI芯片项目Nervana负责人NaveenRao创办。