区块见闻 区块见闻
Ctrl+D收藏区块见闻
首页 > Bitcoin > 正文

TRA:火爆出圈的最强 AI GPT 是否可用于合约安全审计?_AIGPT价格

作者:

时间:

前言

近期 ChatGPT 爆火,其对传统文字工作的效率提高及总结能力让使用者惊艳。紧随其后 CodeGPT 这样基于 GPT 的插件出现,也充分体现了其对代码编写效率的提高。而最新 GPT-4 的发布,是否可以应用到对区块链 、Solidity 智能合约的审计中呢?

基于这样的疑问,我们进行了多种可行性测试。

测试使用的对比模型对象:GPT-3.5(Web), GPT-3.5-turbo-0301, GPT-4(Web)。

代码片段使用 Prompt:Help me discover vulnerabilities in this Solidity smart contract.

漏洞代码片段的检测对比

在此部分,我们分三次测试,使用历史上常见的漏洞代码作为测试一和测试二的用例,来验证其对基础漏洞的检测能力,测试三中使用中等难度的漏洞代码作为测试用例。

测试一

用例:《智能合约安全审计入门篇 —— Phishing with tx.origin》

漏洞代码:

(1)对 GPT 进行提问:

(2)GPT-3.5(Web) answer

(3)GPT-3.5-turbo-0301 answer

(4)GPT-4(Web) answer

可以看到结果:3 个测试版本都发现了关键的 tx.origin 相关问题。

测试二

用例:《智能合约安全审计入门篇 —— 溢出漏洞》

(1)对 GPT 进行提问:

可以看到 GPT-3.5(Web)、GPT-3.5-turbo-0301 都发现了关键的 Overflow 漏洞,出乎意料的是 GPT-4(Web) 居然没有相关提示。

测试三

用例:《空手套白狼 —— Popsicle 被黑分析》

对比结果,我们可以看到 3 个版本都未发现关键的漏洞点。

代码片段的检测总结

可以看到 GPT 模型对简单的漏洞代码块的检测能力还是不错的,但是对稍微复杂一点的漏洞代码暂时还无法检测,并且在测试中可以看到 GPT-4(Web) 的整体上下文可读性很高,输出格式清晰、舒服,但是其对代码的审计能力暂时没有远超 GPT-3.5(Web)、GPT-3.5-turbo-0301,甚至在部分测试中由于 Transformer 输出存在一定的不确定性反而导致 GPT-4(Web) 遗漏了一些关键问题。

为了更加契合普通项目方在合约审计中的简单操作需求,这里我们提高些难度,针对代码量大的合约进行全量导入上下文,让 GPT-4 模型进行审计(GPT-3 对上下文的字符总数限制更小这里就不做测试)。

用例:《千万美元被盗 —— DeFi 平台 MonoX Finance 被黑分析》

整份合约分批输入,在对话最后提出检测漏洞请求

这里使用 Prompt:

Here is a solidity smart contract 

Contract code

The above is the complete code,help me discover vulnerabilities in this smart contract.

可以看到,GPT-4 虽然在 OpenAI 公布的信息中其单次输入字符总数已经是当前最高,但还是会由于文本超长导致在最后提问时 GPT 会上下文缺失而只识别到部分内容,所以这样对大型合约而言就无法进行完整的上下文审计。

拆封整份合约,分批输入分批检测

对话 1:

Help me discover vulnerabilities in this solidity smart contract.

分段内容 1

对话 2:

分段内容 2

对话 3:

分段内容 3

(1)优点

GPT 对合约代码中基础的简单的漏洞具备部分检测能力,并且在检测出漏洞后会以很高的可读性来解释漏洞问题,这样的特性比较适合为初级合约审计工作者前期训练提供快速指导和简单答疑。

(2)存在的问题

a. 每次生成内容波动

GPT 对每次对话的输出存在一定的波动,可以通过 API 接口参数进行调整,但是依旧不是恒定的输出,虽然这样的波动性对语言对话来说是好的方式,大大提高了对话给人的真实感。但是这对代码分析类的工作来说是一个不好的问题。因为为了覆盖 AI 可能告知我的多种漏洞回答,我需要多次请求同一问题并进行对比筛选,这无形中又提高了工作量,违背了 AI 辅助人类提高效率的基准目标。

例如这里再次运行 "漏洞代码片段的检测对比测试二(其中简单改变函数名后再次生成):

可以看到其输出结果比之前测试又多了一些额外内容。

b. 漏洞分析能力依旧有很大的提高空间

对稍微复杂的漏洞进行检测即会发现当前的(2024.3.16)训练模型不能正确的分析并找到相关关键漏洞点。

GPT 辅助合约审计的可行性和潜力分析

虽然当前来看 GPT 对合约漏洞的分析及挖掘能力还处于相对较弱的状态,但它对普通漏洞小代码块的分析并生成报告文本的能力依旧让使用者兴奋,在可预见的未来几年伴随这 GPT 及其他 AI 模型的训练开发,相信对大型复杂合约的更快速,更智能,更全面的辅助审计一定会实现。当科技发展可指数级提高人工的效率时就会发生质变,我们非常期待 AI 对区块链安全的助力,我们会持续关注新 AI 产品对区块链安全的影响。最后可见的将来我们必将与 AI 在一定程度上进行融合,愿 AI 和区块链与你同在。

慢雾科技

个人专栏

阅读更多

金色财经 善欧巴

金色早8点

白话区块链

Odaily星球日报

MarsBit

欧科云链

深潮TechFlow

Arcane Labs

BTCStudy

标签:GPTWEBTRAMARAIGPT价格web3域名后缀DarexTravelMARE Coin

Bitcoin热门资讯
马斯克:马斯克将推特Logo改为狗狗币表情 意欲何为?_加密货币

作者:火火 / 来源:白话区块链 这是白话区块链的第1901期原创 作者 | 火火出品|白话区块链(ID:hellobtc)4月4日最新消息.

HAI:ChatGPT与教育的未来_X-GPT

作者:王鹏 腾讯研究院资深专家ChatGPT火爆以来,其对教育理念和方式的冲击引起广泛讨论,似乎也让人看到了人工智能影响下未来教育的一些走向.

区块链:2023年Web3领域将带来哪些新变化?_AIN

编译:Dali@Web3CN.Pro基于技术进步和有利的经济条件,区块链行业在2021年迎来大发展,但随后由于一系列毁灭性的金融事件,区块链市场在2022年遭受重创.

区块链:专访Seed Club创始人:Web 3.0消除拥有与消费界线_WEB

作者:Curiousjoe,澎湃科技特约撰稿人;来源:澎湃新闻成立一个拥有数千人参与的新唱片公司是个疯狂的想法;成为一个运动队的拥有者也是疯狂的.

区块链:漫谈人工智能与区块链结合的8种方式_WEB

原文:《AI和区块链可以有哪些结合?》 作者:jojonas 今天看到了孟岩老师的一篇文章 强人工智能时代,区块链还有戏吗? 主要提及对AGI的安全性的一些思考。想起我之前也思考过AI与区块链的一些联系,正好借此机会梳理一下。

COIN:金色早报 | Twitter将于3月31日开源所有用于推文推荐的代码_BASE

▌ 马斯克:Twitter将于3月31日开源所有用于推文推荐的代码金色财经报道,特斯拉 CEO 马斯克发布推特表示,Twitter 将于 3 月 31 日开源所有用于推文推荐的代码.