六问测评Dune AI:链上分析师会下岗吗?

avatar
南枳
1年前
本文约905字,阅读全文需要约2分钟
目前仅适合作为SQL编写助手。

原创 | Odaily星球日报

作者 | 南枳

六问测评Dune AI:链上分析师会下岗吗?

11 月初,Web3数据分析基础设施 Dune 宣布推出 DuneAI,用户可以使用其自然语言引擎以任何语言提出问题,无需了解 SQL 即可获得加密数据见解。Odaily 将通过从简单到复杂的多个问题,对 Dune AI 进行测试,验证其可用性和可靠性。

案例 1 ——特定协议交易量查询

问题:Blur 过去七天的日交易量(Find the Blur volume in the for last 7 days, by day)?

将 Dune AI 给出的答案与 Dune 上点赞最多的 Blur query(右下图),数据对比如下,二者有接近 1% 的差值。

六问测评Dune AI:链上分析师会下岗吗?

案例 2 ——特定网络交易量查询

问题:Arbitrum 网络今天执行了多少笔交易(How many transactions were processed today in arbitrum)?

左图为 Dune AI 给出的答案,右边为 Odaily 所编辑 query,二者结果基本一致(差异来自 query 执行时间不同)。

六问测评Dune AI:链上分析师会下岗吗?

案例 3 ——带有歧义的查询

问题:Uniswap 上周日交易总量(Total volume on Uniswap last week by day)?

在这里,出现了三个问题:

  • Dune AI 将查询范围限制在了以太坊上,而 Uniswap 部署于多个链上,并且原提问并没有这个要求。

  • DefiLlama 上的 Uniswap数据对比,差值较大, 24 日至 26 日为例,分别相差 6% 、 9% 和 11% 。

六问测评Dune AI:链上分析师会下岗吗?

  • 此处原本想要查询的是上一个星期周一至周日的数据,而此处的 last week 被解释为过去七日,为进一步验证,将查询语句修改为“上一个完整周的 Uniswap 日交易量(The total volume on Uniswap for the previous full week by day)”,结果如下图所示,仍然查询的是过去七日的数据。

六问测评Dune AI:链上分析师会下岗吗?

案例 4 ——多条件复杂查询

问题:过去一周使用 Stargate 在以太坊和 Arbitrum 之间跨链的每日金额(The daily amount bridged between Ethereum and Arbitrum using Stargate over the past week)?

六问测评Dune AI:链上分析师会下岗吗?

查询结果为空,Odaily 对 query 进行查验后,整体查询内容和语法都没有问题,查询出错的原因在于选择了错误的数据集“stargate_arbitrum.ProxyOFT_evt_SendToChain”,这是一个只有 12 条数据的数据集。

案例 5 ——模糊查询

问题:Uniswap 的收入、Unibot 的收入?

Dune AI 要求进一步明确问题,而不会自主给出总交易量/日交易量等不同的 query。

六问测评Dune AI:链上分析师会下岗吗?

而进一步明确问题“Uniswap 的日收入(daily revenue of Uniswap)”,Dune AI 开始查询,但最终给出了错误答案,将日交易量作为 Uniswap 的收入进行了计算。

六问测评Dune AI:链上分析师会下岗吗?

案例 6 ——新概念查询

问题:pols 的铭刻详情(the inscription process of pols)?

Dune AI 并不能理解铭刻(inscription)的概念,尽管站内已有人写过 pols 的相关 query。

六问测评Dune AI:链上分析师会下岗吗?

小结

Dune AI 的 SQL 基本功扎实,只要存在相应的数据能够正确写出对应的 query,但是还存在着自然语义处理能力不足、准确性不足、不存在抽象理解能力等问题。目前来看除了比较简单的问题外,Dune AI 仅能作为 query 的撰写助手,答案是否可靠还需要人工对 SQL 内容进行验证。

原创文章,作者:南枳。转载/内容合作/寻求报道请联系 report@odaily.email;违规转载法律必究。

ODAILY提醒,请广大读者树立正确的货币观念和投资理念,理性看待区块链,切实提高风险意识;对发现的违法犯罪线索,可积极向有关部门举报反映。

推荐阅读
星球精选