SevenX Ventures: Hiểu ZKML trong một bài viết, bằng chứng không kiến ​​thức và blockchain đóng vai trò như thế nào trong lĩnh vực trí tuệ nhân tạo và học máy?

Tác giả gốc: Grace Hill

Cảm ơn Brian Retford, SunYi, Jason Morton, Shumo, Feng Boyuan, Daniel, Aaron Greenblatt, Nick Matthew, Baz, Marcin và Brent vì những hiểu biết, phản hồi và đánh giá có giá trị của họ về bài viết này.

Đối với những người đam mê tiền điện tử như chúng tôi, trí tuệ nhân tạo đã trở thành cơn thịnh nộ trong một thời gian. Điều thú vị là không ai muốn thấy AI chạy điên cuồng. Mục đích ban đầu của việc phát minh ra blockchain là ngăn chặn việc đồng đô la vượt khỏi tầm kiểm soát, vì vậy chúng ta có thể cố gắng ngăn chặn trí tuệ nhân tạo vượt khỏi tầm kiểm soát. Ngoài ra, hiện tại chúng tôi có một công nghệ mới gọi là bằng chứng không có kiến ​​thức để đảm bảo mọi thứ không thể sai sót. Tuy nhiên, để khai thác được con quái vật AI, chúng ta phải hiểu cách thức hoạt động của nó.

Giới thiệu ngắn gọn về học máy

Trí tuệ nhân tạo đã trải qua nhiều lần thay đổi tên, từ hệ thống chuyên gia thành mạng lưới thần kinh, sau đó đến mô hình đồ họa và cuối cùng là học máy. Tất cả những thứ này đều là tập hợp con của “trí tuệ nhân tạo” được đặt những cái tên khác nhau và sự hiểu biết của chúng ta về AI tiếp tục phát triển. Hãy cùng tìm hiểu sâu hơn một chút về học máy và làm sáng tỏ nó.

Lưu ý: Ngày nay, hầu hết các mô hình học máy đều là mạng thần kinh do hiệu suất vượt trội trong nhiều tác vụ. Chúng tôi chủ yếu gọi học máy là học máy mạng lưới thần kinh.

Học máy hoạt động như thế nào?

Trước tiên, chúng ta hãy xem nhanh hoạt động bên trong của học máy:

• Tiền xử lý dữ liệu đầu vào:

  Dữ liệu đầu vào cần được xử lý thành định dạng có thể được sử dụng làm đầu vào cho mô hình. Điều này thường liên quan đến tiền xử lý và kỹ thuật tính năng để trích xuất thông tin hữu ích và chuyển đổi dữ liệu thành dạng phù hợp, chẳng hạn như ma trận đầu vào hoặc tensor (ma trận nhiều chiều). Đây là cách tiếp cận hệ thống chuyên gia. Với sự ra đời của deep learning, lớp xử lý sẽ tự động xử lý quá trình tiền xử lý.

• Đặt tham số mô hình ban đầu:

  Các tham số mô hình ban đầu bao gồm nhiều lớp, hàm kích hoạt, trọng số ban đầu, độ lệch, tốc độ học, v.v. Một số tham số có thể được điều chỉnh bằng thuật toán tối ưu hóa trong quá trình đào tạo để cải thiện độ chính xác của mô hình.

• Dữ liệu đào tạo:

  Dữ liệu đầu vào được đưa vào mạng thần kinh, thường bắt đầu bằng một hoặc nhiều lớp mô hình hóa mối quan hệ và trích xuất tính năng, chẳng hạn như lớp tích chập (CNN), lớp lặp lại (RNN) hoặc lớp tự chú ý. Các lớp này học cách trích xuất các tính năng có liên quan từ dữ liệu đầu vào và mô hình hóa mối quan hệ giữa các tính năng này.

  Đầu ra của các lớp này sau đó được chuyển đến một hoặc nhiều lớp bổ sung, thực hiện các phép tính và biến đổi khác nhau trên dữ liệu đầu vào. Các lớp này thường chủ yếu liên quan đến phép nhân ma trận của ma trận trọng số có thể học được và ứng dụng các hàm kích hoạt phi tuyến, nhưng cũng có thể bao gồm các hoạt động khác như tích chập và gộp trong mạng thần kinh tích chập hoặc lặp trong mạng thần kinh hồi quy. Đầu ra của các lớp này đóng vai trò là đầu vào cho lớp tiếp theo trong mô hình hoặc là đầu ra được dự đoán cuối cùng.

• Lấy đầu ra của mô hình:

  Đầu ra của phép tính mạng nơ-ron thường là một vectơ hoặc ma trận biểu thị xác suất phân loại hình ảnh, điểm phân tích tình cảm hoặc các kết quả khác, tùy thuộc vào ứng dụng của mạng. Thường cũng có một mô-đun đánh giá lỗi và cập nhật tham số tự động cập nhật các tham số theo mục đích của mô hình.

Nếu lời giải thích trên có vẻ quá mơ hồ, bạn có thể tham khảo ví dụ sau về việc sử dụng mô hình CNN để nhận dạng hình ảnh quả táo.

• Tải hình ảnh vào mô hình dưới dạng ma trận các giá trị pixel. Ma trận này có thể được biểu diễn dưới dạng tensor 3D với các kích thước (chiều cao, chiều rộng, kênh).

• Thiết lập các thông số ban đầu của mô hình CNN.

• Hình ảnh đầu vào được truyền qua nhiều lớp ẩn trong CNN, với mỗi lớp áp dụng các bộ lọc tích chập để trích xuất các đặc điểm ngày càng phức tạp từ hình ảnh. Đầu ra của mỗi lớp được chuyển qua hàm kích hoạt phi tuyến và sau đó được gộp lại để giảm tính chiều của bản đồ đặc trưng. Lớp cuối cùng thường là lớp được kết nối đầy đủ, tạo ra các dự đoán đầu ra dựa trên các tính năng được trích xuất.

• Đầu ra cuối cùng của CNN là lớp có xác suất cao nhất. Đây là nhãn dự đoán của hình ảnh đầu vào.

Khung tin cậy cho học máy

Chúng ta có thể tóm tắt những điều trên thành một khung tin cậy trong học máy, bao gồm bốn lớp cơ bản của học máy. Toàn bộ quá trình học máy cần các lớp này đáng tin cậy để có độ tin cậy:

• Đầu vào: Dữ liệu thô cần được xử lý trước và đôi khi được giữ bí mật.

  Tính toàn vẹn: Dữ liệu đầu vào không bị giả mạo, không bị ô nhiễm bởi đầu vào độc hại và đã được xử lý trước một cách chính xác.

  Quyền riêng tư: Dữ liệu đầu vào sẽ không được tiết lộ nếu cần thiết.

• Đầu ra: Cần được tạo và truyền chính xác

  Tính đầy đủ: Đầu ra được tạo chính xác.

  Quyền riêng tư: Đầu ra sẽ không bị rò rỉ nếu được yêu cầu.

• Loại mô hình/Thuật toán: Mô hình phải được tính toán chính xác

  Tính đầy đủ: Mô hình hoạt động chính xác.

  Quyền riêng tư: Bản thân mô hình hoặc các tính toán sẽ không bị rò rỉ nếu cần thiết.

  Các mô hình mạng nơ-ron khác nhau có các thuật toán và lớp khác nhau phù hợp với các trường hợp sử dụng và đầu vào khác nhau.

  Mạng thần kinh tích chập (CNN) thường được sử dụng cho các tác vụ liên quan đến dữ liệu dạng lưới, chẳng hạn như hình ảnh, trong đó các mẫu và tính năng cục bộ có thể được ghi lại bằng cách áp dụng các thao tác tích chập cho các vùng đầu vào nhỏ.

  Mặt khác, mạng thần kinh tái phát (RNN) rất phù hợp với dữ liệu tuần tự, chẳng hạn như chuỗi thời gian hoặc ngôn ngữ tự nhiên, trong đó các trạng thái ẩn có thể nắm bắt thông tin từ các bước thời gian trước đó và mô hình hóa sự phụ thuộc theo thời gian.

  Các lớp tự chú ý rất hữu ích trong việc nắm bắt mối quan hệ giữa các thành phần trong chuỗi đầu vào, giúp chúng hoạt động hiệu quả đối với các tác vụ như dịch máy hoặc tóm tắt trong đó các yếu tố phụ thuộc tầm xa là rất quan trọng.

  Các loại mô hình khác cũng tồn tại, bao gồm các tri giác đa lớp (MLP) và các loại khác.

• Tham số mô hình: Trong một số trường hợp, tham số phải minh bạch hoặc được tạo một cách dân chủ, nhưng trong mọi trường hợp không dễ bị giả mạo.

  Tính toàn vẹn: Các tham số được tạo, duy trì và quản lý theo cách chính xác.

  Quyền riêng tư: Chủ sở hữu mô hình thường giữ bí mật các thông số của mô hình học máy để bảo vệ quyền sở hữu trí tuệ và lợi thế cạnh tranh của tổ chức đã phát triển mô hình. Hiện tượng này chỉ phổ biến cho đến khi việc đào tạo các mô hình máy biến áp trở nên cực kỳ tốn kém, nhưng vẫn là một vấn đề lớn đối với ngành.

Vấn đề về niềm tin trong học máy

Với sự phát triển bùng nổ của các ứng dụng học máy (ML) (CAGR trên 20%) và khả năng tích hợp ngày càng tăng của chúng vào cuộc sống hàng ngày, chẳng hạn như sự phổ biến gần đây của ChatGPT, vấn đề về niềm tin vào ML ngày càng trở nên quan trọng, không thể bỏ qua. Do đó, điều quan trọng là phải xác định và giải quyết các vấn đề tin cậy này để đảm bảo việc sử dụng AI có trách nhiệm và ngăn chặn khả năng lạm dụng nó. Tuy nhiên, vấn đề là gì? Chúng ta hãy xem xét kỹ hơn.

Không đủ tính minh bạch hoặc khả năng chứng minh

Các vấn đề về độ tin cậy đã cản trở việc học máy từ lâu vì hai lý do chính:

• Bản chất quyền riêng tư: Như đã đề cập ở trên, các tham số của mô hình thường ở chế độ riêng tư và trong một số trường hợp, đầu vào của mô hình cũng cần được giữ riêng tư, điều này đương nhiên tạo ra một số vấn đề về niềm tin giữa chủ sở hữu mô hình và người dùng mô hình.

• Hộp đen thuật toán: Các mô hình học máy đôi khi được gọi là “hộp đen” vì chúng bao gồm nhiều bước tự động trong tính toán khó hiểu hoặc khó giải thích. Các bước này liên quan đến các thuật toán phức tạp và lượng dữ liệu lớn, dẫn đến kết quả đầu ra không chắc chắn và đôi khi ngẫu nhiên, khiến thuật toán dễ bị cáo buộc là thiên vị hoặc thậm chí phân biệt đối xử.

Trước khi đi xa hơn, một trong những giả định lớn hơn của bài viết này là mô hình sẵn sàng sử dụng, nghĩa là nó đã được đào tạo tốt và phù hợp với mục đích. Các mô hình có thể không phù hợp với mọi tình huống và các mô hình được cải thiện ở mức đáng báo động. Tuổi thọ thông thường của mô hình học máy là từ 2 đến 18 tháng, tùy thuộc vào tình huống ứng dụng.

Phân tích chi tiết các vấn đề về độ tin cậy trong học máy

Có một số vấn đề về độ tin cậy trong quá trình đào tạo mô hình và Gensyn hiện đang nỗ lực tạo ra các bằng chứng hợp lệ để tạo điều kiện thuận lợi cho quá trình này. Tuy nhiên, bài viết này chủ yếu tập trung vào quá trình suy luận mô hình. Bây giờ chúng ta hãy sử dụng bốn khối xây dựng của học máy để phát hiện các vấn đề tiềm ẩn về độ tin cậy:

• đi vào:

  Nguồn dữ liệu có khả năng chống giả mạo

  Dữ liệu đầu vào riêng tư không bị người vận hành mô hình đánh cắp (vấn đề về quyền riêng tư)

• Người mẫu:

  Bản thân mô hình này chính xác như quảng cáo

  Quá trình tính toán được hoàn thành chính xác

• tham số:

  Thông số model không hề bị thay đổi hoặc đúng như quảng cáo

  Trong quá trình này, các tham số mô hình có giá trị đối với chủ sở hữu mô hình không bị rò rỉ (vấn đề về quyền riêng tư)

• Đầu ra:

  Kết quả đầu ra được chứng minh là chính xác (có thể cải thiện khi tất cả các yếu tố trên được cải thiện)

Làm cách nào để áp dụng ZK vào khung tin cậy học máy?

Một số vấn đề về độ tin cậy ở trên có thể được giải quyết bằng cách đưa vào chuỗi; tải các thông số đầu vào và máy học lên chuỗi và tính toán các mô hình trên chuỗi, có thể đảm bảo tính chính xác của đầu vào, tham số và tính toán mô hình. Nhưng cách tiếp cận này có thể hy sinh khả năng mở rộng và quyền riêng tư. Giza đang thực hiện công việc này trên Starknet, nhưng do vấn đề chi phí nên nó chỉ hỗ trợ các mô hình học máy đơn giản như hồi quy chứ không hỗ trợ mạng lưới thần kinh. Công nghệ ZK có thể giải quyết các vấn đề về niềm tin trên một cách hiệu quả hơn. Hiện tại, ZK trong ZKML thường đề cập đến zkSNARK. Trước tiên, hãy xem nhanh một số khái niệm cơ bản về zkSNARK:

Bằng chứng zkSNARK là bằng chứng cho thấy tôi biết một số đầu vào bí mật w sao cho kết quả của phép tính f này là OUT mà không cho bạn biết w là gì. Quá trình tạo bằng chứng có thể được tóm tắt thành các bước sau:

• Lập biểu thức cần chứng minh: f(x, w)=true

  Tôi đã phân loại chính xác hình ảnh x này bằng mô hình học máy f với các tham số riêng w.

• Chuyển đổi các câu lệnh thành các mạch (số học): Các phương pháp xây dựng mạch khác nhau bao gồm R 1 CS, QAP, Plonkish, v.v.

  So với các trường hợp sử dụng khác, ZKML yêu cầu thêm một bước gọi là lượng tử hóa. Suy luận mạng thần kinh thường được thực hiện bằng cách sử dụng số học dấu phẩy động, rất tốn kém để mô phỏng trong miền chính của mạch số học. Các phương pháp định lượng khác nhau mang lại sự thỏa hiệp giữa độ chính xác và yêu cầu về thiết bị.

  Một số phương pháp xây dựng mạch như R 1 CS không hiệu quả đối với mạng nơ-ron. Phần này có thể được điều chỉnh để cải thiện hiệu suất.

• Tạo khóa chứng minh và khóa xác minh

• Tạo nhân chứng: khi w=w*, f(x, w)=true

• Tạo cam kết băm: Nhân chứng w* cam kết tạo giá trị băm bằng cách sử dụng hàm băm mật mã. Hàm băm này có thể được công khai.

  Điều này giúp đảm bảo rằng các thông số đầu vào hoặc tham số mô hình riêng tư không bị giả mạo hoặc sửa đổi trong quá trình tính toán. Bước này rất quan trọng vì ngay cả những sửa đổi nhỏ cũng có thể có tác động đáng kể đến hoạt động và đầu ra của mô hình.

• Tạo bằng chứng: Các hệ thống bằng chứng khác nhau sử dụng các thuật toán tạo bằng chứng khác nhau.

  Các quy tắc không có kiến ​​thức đặc biệt cần được thiết kế cho các hoạt động học máy, chẳng hạn như phép nhân ma trận và lớp tích chập, để triển khai các giao thức tuyến tính tiết kiệm thời gian cho các tính toán này.

  - Các hệ thống zkSNARK chung như groth 16 có thể không xử lý được mạng thần kinh một cách hiệu quả do tải tính toán quá mức.

  - Từ năm 2020, nhiều hệ thống chứng minh ZK mới ra đời nhằm tối ưu hóa chứng minh ZK cho quá trình suy luận mô hình, bao gồm vCNN, ZEN, ZKCNN và pvCNN. Tuy nhiên, hầu hết chúng đều được tối ưu hóa cho các mô hình CNN. Chúng chỉ có thể được áp dụng cho một số bộ dữ liệu chính, chẳng hạn như MNIST hoặc CIFAR-10.

  - Vào năm 2022, Daniel Kang Tatsunori Hashimoto, Ion Stoica và Yi Sun (người sáng lập Axiom) đã đề xuất một sơ đồ chứng minh mới dựa trên Halo 2, lần đầu tiên đạt được việc tạo bằng chứng ZK cho bộ dữ liệu ImageNet. Tối ưu hóa của họ tập trung vào phần số học, với các tham số tra cứu mới cho tính phi tuyến và tái sử dụng các mạch con trên các lớp.

  - Modulus Labs đang đo điểm chuẩn các hệ thống bằng chứng khác nhau để suy luận trên chuỗi và nhận thấy rằng về mặt thời gian chứng minh, ZKCNN và plonky 2 hoạt động tốt nhất; xét về mức sử dụng bộ nhớ của bộ chuẩn ở mức cao nhất, ZKCNN và halo 2 hoạt động tốt; tuy nhiên, trong khi plonky hoạt động tốt, nhưng phải trả giá bằng mức tiêu thụ bộ nhớ và ZKCNN chỉ phù hợp với các mô hình CNN. Nó cũng đang phát triển một hệ thống zkSNARK mới được thiết kế dành riêng cho ZKML, cũng như một máy ảo mới.

• Bằng chứng xác minh: Người xác minh sử dụng khóa xác minh để xác minh mà nhân chứng không hề biết.

Do đó, chúng tôi có thể chỉ ra rằng việc áp dụng các kỹ thuật không có kiến ​​thức vào các mô hình học máy có thể giải quyết được nhiều vấn đề về niềm tin. Các kỹ thuật tương tự sử dụng xác minh tương tác có thể đạt được kết quả tương tự nhưng sẽ yêu cầu nhiều tài nguyên hơn từ phía người xác minh và có thể gặp phải nhiều vấn đề về quyền riêng tư hơn. Điều đáng lưu ý là tùy thuộc vào mô hình cụ thể, việc tạo bằng chứng cho chúng có thể tốn thời gian và nguồn lực, do đó sẽ có sự đánh đổi khi áp dụng công nghệ này vào các trường hợp sử dụng trong thế giới thực.

Hiện trạng các giải pháp hiện tại

Tiếp theo, các giải pháp hiện có là gì? Lưu ý rằng nhà cung cấp mô hình có thể có nhiều lý do để không muốn tạo bằng chứng ZKML. Đối với những người đủ can đảm để thử ZKML và giải pháp này hợp lý, họ có thể chọn từ một số giải pháp khác nhau tùy thuộc vào mô hình và vị trí đầu vào:

• Nếu dữ liệu đầu vào nằm trên chuỗi, hãy cân nhắc sử dụng Axiom làm giải pháp:

  Axiom đang xây dựng bộ đồng xử lý không có kiến ​​thức cho Ethereum để cải thiện khả năng truy cập của người dùng vào dữ liệu chuỗi khối và cung cấp chế độ xem kỹ thuật số phức tạp hơn về dữ liệu trên chuỗi. Có thể tính toán máy học đáng tin cậy trên dữ liệu trên chuỗi:

  - Đầu tiên, Axiom nhập dữ liệu trên chuỗi bằng cách lưu trữ gốc Merkle của hàm băm khối Ethereum trong hợp đồng thông minh AxiomV 0, được xác minh một cách đáng tin cậy thông qua quy trình xác minh ZK-SNARK. Sau đó, hợp đồng AxiomV 0 StoragePf cho phép xác minh hàng loạt bằng chứng lưu trữ Ethereum lịch sử tùy ý dựa trên gốc rễ của sự tin cậy được cung cấp bởi các hàm băm khối được lưu trong bộ nhớ đệm trong AxiomV 0.

  - Tiếp theo, dữ liệu đầu vào của máy học có thể được trích xuất từ ​​dữ liệu lịch sử đã nhập.

  - Sau đó, Axiom có ​​thể áp dụng các hoạt động học máy đã được chứng minh lên trên; sử dụng quầng sáng 2 được tối ưu hóa làm phần phụ trợ để xác thực tính hợp lệ của từng phần tính toán.

  - Cuối cùng, Axiom sẽ đính kèm bằng chứng zk của từng kết quả truy vấn và hợp đồng thông minh Axiom sẽ xác minh bằng chứng zk. Bất kỳ bên quan tâm nào muốn chứng minh đều có thể truy cập nó từ hợp đồng thông minh.

• Nếu bạn đưa mô hình của mình vào chuỗi, hãy cân nhắc sử dụng RISCZero làm giải pháp:

  Bằng cách chạy mô hình học máy trong ZKVM của RISC Zero, bạn có thể chứng minh rằng các phép tính chính xác liên quan đến mô hình đã được thực hiện chính xác. Quá trình tính toán và xác minh có thể được thực hiện ngoại tuyến trong môi trường ưa thích của người dùng hoặc trong Bonsai Network, một mạng tổng hợp phổ quát.

  - Đầu tiên, mã nguồn của mô hình cần được biên dịch thành dạng nhị phân RISC-V. Khi nhị phân này được thực thi trong ZKVM, đầu ra được ghép nối với biên nhận được tính toán có chứa con dấu mật mã. Con dấu này đóng vai trò như một đối số không có kiến ​​thức về tính toàn vẹn trong tính toán, liên kết imageID được mã hóa (xác định tệp nhị phân RISC-V đang thực thi) với đầu ra mã được khai báo để bên thứ ba xác minh nhanh chóng.

  - Khi một mô hình được thực thi trong ZKVM, việc tính toán về các thay đổi trạng thái được thực hiện hoàn toàn bên trong VM. Nó không rò rỉ bất kỳ thông tin nào về trạng thái bên trong của mô hình ra thế giới bên ngoài.

  - Khi mô hình đã được thực thi, con dấu thu được sẽ trở thành bằng chứng không có kiến ​​thức về tính toàn vẹn trong tính toán. RISC ZeroZKVM là một máy ảo RISC-V có thể tạo ra các bằng chứng không có kiến ​​thức về mã mà nó thực thi. Sử dụng ZKVM, có thể tạo biên nhận được mã hóa mà bất kỳ ai cũng có thể xác minh được tạo bởi mã máy khách ZKVM. Khi biên nhận được phát hành, không có thông tin nào khác về việc thực thi mã (chẳng hạn như thông tin đầu vào được cung cấp) được tiết lộ.

  Quá trình tạo bằng chứng ZK cụ thể bao gồm một giao thức tương tác với một nhà tiên tri ngẫu nhiên làm người xác minh. Con dấu trên biên nhận RISC Zero về cơ bản là bản ghi của thỏa thuận tương tác này.

• Nếu bạn muốn nhập mô hình trực tiếp từ phần mềm machine learning thông dụng như Tensorflow hoặc Pytorch, hãy cân nhắc sử dụng ezkl như một giải pháp:

  Ezkl là một thư viện và công cụ dòng lệnh để suy luận các mô hình học sâu và các đồ thị tính toán khác trong zkSNARK.

  - Đầu tiên, xuất mô hình cuối cùng dưới dạng tệp .onnx và một số đầu vào mẫu dưới dạng tệp .json.

  - Sau đó trỏ ezkl vào file .onnx và .json để tạo ra các mạch ZK-SNARK có thể chứng minh các câu lệnh ZKML.

  Có vẻ đơn giản phải không? Mục tiêu của Ezkl là cung cấp một lớp trừu tượng cho phép gọi và trình bày các hoạt động cấp cao trong các mạch Halo 2. Ezkl loại bỏ rất nhiều sự phức tạp trong khi vẫn duy trì tính linh hoạt đáng kinh ngạc. Mô hình lượng tử hóa của họ có hệ số tỷ lệ lượng tử hóa tự động. Chúng hỗ trợ sự linh hoạt trong việc thay đổi sang các hệ thống chứng minh khác liên quan đến các giải pháp mới. Chúng cũng hỗ trợ nhiều loại máy ảo, bao gồm EVM và WASM.

  Về hệ thống chứng minh, ezkl tùy chỉnh mạch halo 2 bằng cách tổng hợp các bằng chứng (chuyển đổi các bằng chứng khó xác minh thành bằng chứng dễ xác minh thông qua trung gian) và đệ quy (có thể giải quyết các vấn đề về bộ nhớ, nhưng khó thích ứng với halo 2). Ezkl cũng tối ưu hóa toàn bộ quá trình thông qua phản ứng tổng hợp và trừu tượng hóa để có thể giảm chi phí hoạt động thông qua các bằng chứng nâng cao.

• Điều đáng chú ý là so với các dự án zkml chung khác, Accessor Labs tập trung vào việc cung cấp các công cụ zkml được thiết kế đặc biệt cho các trò chơi hoàn toàn trên chuỗi, có thể liên quan đến NPC AI, cập nhật tự động lối chơi, giao diện trò chơi liên quan đến ngôn ngữ tự nhiên, v.v.

Các trường hợp sử dụng ở đâu?

Giải quyết vấn đề tin cậy bằng học máy thông qua công nghệ ZK có nghĩa là giờ đây nó có thể được áp dụng cho các trường hợp sử dụng có “rủi ro cao” và “độ tin cậy cao” hơn là chỉ theo dõi cuộc trò chuyện của mọi người hoặc ghép hình ảnh mèo với hình ảnh chó để phân biệt. Web3 đã khám phá nhiều trường hợp sử dụng này. Đây không phải là sự trùng hợp ngẫu nhiên, vì hầu hết các ứng dụng Web3 đều chạy hoặc có ý định chạy trên chuỗi khối, vì chuỗi khối có các thuộc tính cụ thể để hoạt động an toàn, khó giả mạo và có các tính toán xác định. Một AI hoạt động tốt có thể xác minh phải là AI có thể hoạt động trong môi trường không cần sự tin cậy và phi tập trung, phải không?

Các trường hợp sử dụng có thể áp dụng ZK+ML trong Web3

Nhiều ứng dụng Web3 hy sinh trải nghiệm người dùng để bảo mật và phân quyền vì đó rõ ràng là ưu tiên của chúng và vẫn tồn tại những hạn chế về cơ sở hạ tầng. AI/ML có tiềm năng làm phong phú thêm trải nghiệm của người dùng, điều này chắc chắn là hữu ích nhưng trước đây dường như không thể thực hiện được nếu không có sự thỏa hiệp. Giờ đây, nhờ ZK, chúng ta có thể thoải mái thấy sự tích hợp AI/ML với các ứng dụng Web3 mà không phải hy sinh quá nhiều về mặt bảo mật và phân quyền.

Về cơ bản, đây sẽ là một ứng dụng Web3 (có thể tồn tại hoặc không tồn tại tại thời điểm viết bài) triển khai ML/AI theo cách không cần tin cậy. Khi nói đến không tin cậy, chúng tôi muốn nói đến việc liệu nó có chạy trên môi trường/nền tảng không đáng tin cậy hay liệu hoạt động của nó có thể được chứng minh là có thể kiểm chứng được hay không. Lưu ý rằng không phải tất cả các trường hợp sử dụng ML/AI (ngay cả trong Web3) đều yêu cầu hoặc muốn chạy theo cách không đáng tin cậy. Chúng tôi sẽ phân tích từng phần khả năng ML được sử dụng trong các miền Web3 khác nhau. Sau đó, chúng tôi sẽ xác định những phần yêu cầu ZKML, thường là những phần có giá trị cao mà mọi người sẵn sàng trả thêm tiền để có bằng chứng. Hầu hết các trường hợp sử dụng/ứng dụng được đề cập dưới đây vẫn đang trong giai đoạn nghiên cứu thử nghiệm. Vì vậy, chúng vẫn còn xa mới được áp dụng thực tế. Chúng ta sẽ thảo luận lý do tại sao sau.

Defi

Defi là một trong số ít bằng chứng về sự phù hợp với thị trường sản phẩm giữa các giao thức blockchain và ứng dụng Web3. Khả năng tạo, lưu trữ và quản lý của cải và vốn một cách không cần xin phép là điều chưa từng có trong lịch sử loài người. Chúng tôi đã xác định được một số trường hợp sử dụng yêu cầu các mô hình AI/ML chạy không cần cấp phép để đảm bảo tính bảo mật và phân quyền.

• Đánh giá rủi ro: Tài chính hiện đại yêu cầu các mô hình AI/ML để đánh giá rủi ro khác nhau, từ ngăn chặn gian lận và rửa tiền đến phát hành các khoản vay không có bảo đảm. Đảm bảo rằng các mô hình AI/ML như vậy hoạt động theo cách có thể xác minh được có nghĩa là chúng tôi có thể ngăn chúng bị thao túng để kích hoạt kiểm duyệt, do đó cản trở việc sử dụng bản chất không được cấp phép của các sản phẩm Defi.

• Quản lý tài sản: Chiến lược giao dịch tự động không phải là mới đối với tài chính truyền thống và Defi. Đã có những nỗ lực áp dụng các chiến lược giao dịch do AI/ML tạo ra, nhưng chỉ có một số chiến lược phi tập trung thành công. Các ứng dụng điển hình trong lĩnh vực Defi hiện bao gồm Rocky Bot do Modulus Labs thử nghiệm.

  - Rocky Bot: Modulus Labs đã tạo ra một bot giao dịch sử dụng AI để đưa ra quyết định trên StarkNet.

  -- Hợp đồng giữ tiền trên L1 và trao đổi WEth/USDC trên Uniswap.

  Điều này áp dụng cho phần đầu ra của khung tin cậy ML. Đầu ra được tạo trên L2, được chuyển đến L1 và được sử dụng để thực thi. Nó không thể bị giả mạo trong quá trình này.

  -- Hợp đồng L2 triển khai mạng thần kinh ba lớp đơn giản (nhưng linh hoạt) để dự đoán giá WEth trong tương lai. Hợp đồng sử dụng thông tin giá WETH lịch sử làm đầu vào.

  Điều này áp dụng cho cả phần Đầu vào và Mô hình. Thông tin giá cả lịch sử đầu vào đến từ blockchain. Việc thực thi mô hình được tính toán trong CairoVM (một loại ZKVM) và dấu vết thực thi của nó sẽ tạo ra bằng chứng ZK để xác minh.

  -- Một giao diện người dùng đơn giản để trực quan hóa và mã PyTorch để đào tạo các bộ hồi quy và bộ phân loại.

• Nhà tạo lập thị trường tự động và cung cấp thanh khoản: Về cơ bản, đây là sự kết hợp của những nỗ lực tương tự đang diễn ra trong đánh giá rủi ro và quản lý tài sản, chỉ khác về khối lượng, mốc thời gian và loại tài sản. Có rất nhiều tài liệu nghiên cứu về cách sử dụng ML để tạo lập thị trường trên thị trường chứng khoán. Có thể chỉ là vấn đề thời gian trước khi một số kết quả nghiên cứu được áp dụng cho các sản phẩm Defi.

  - Ví dụ: LyraFinance đang hợp tác với Modulus Labs để nâng cao AMM của mình bằng các tính năng thông minh nhằm giúp việc sử dụng vốn hiệu quả hơn.

• Những đề cập đáng trân trọng:

  - Nhóm Warp.cc đã phát triển một dự án hướng dẫn về cách triển khai hợp đồng thông minh chạy mạng thần kinh được đào tạo để dự đoán giá Bitcoin. Điều này phù hợp với các phần đầu vào và mô hình trong khung của chúng tôi, vì đầu vào sử dụng dữ liệu do RedStoneOracles cung cấp và mô hình được thực thi trên Arweave dưới dạng hợp đồng thông minh Warp.

  - Đây là lần lặp lại đầu tiên và liên quan đến ZK, vì vậy nó nằm trong số những đề cập danh dự của chúng tôi, nhưng trong tương lai, nhóm Warp đang xem xét triển khai phần ZK.

trò chơi

Trò chơi và học máy có nhiều điểm giao nhau:

Các vùng màu xám trong hình thể hiện đánh giá ban đầu của chúng tôi về việc liệu khả năng học máy trong phần trò chơi có cần được ghép nối với các bằng chứng ZKML tương ứng hay không. Leela Chess Zero là một ví dụ rất thú vị về việc áp dụng ZKML vào trò chơi:

• đặc vụ AI

  - Leela Chess Zero (LC 0): Một người chơi cờ AI hoàn toàn trên chuỗi do Modulus Labs xây dựng, thi đấu với một nhóm người chơi trong cộng đồng.

  -- LC 0 và tập thể con người thay phiên nhau chơi trò chơi (như trong cờ vua).

  --Chuyển động của LC 0 được tính toán từ mô hình lắp mạch đơn giản của LC 0 .

  - Các bước di chuyển LC 0 có bằng chứng chống giật Halo 2 để đảm bảo không có sự can thiệp từ sự tin tưởng của bộ não con người. Chỉ có mô hình LC 0 đơn giản hóa mới có thể đưa ra quyết định.

  - Điều này phù hợp với phần Mô hình. Việc thực thi mô hình có bằng chứng ZK để xác minh rằng các phép tính không bị giả mạo.

• Phân tích và dự đoán dữ liệu: Đây là cách sử dụng phổ biến của AI/ML trong thế giới trò chơi Web2. Tuy nhiên, chúng tôi tìm thấy rất ít lý do để triển khai ZK trong quy trình ML này. Có lẽ không đáng để nỗ lực không nhận được quá nhiều giá trị trực tiếp tham gia vào quá trình này. Tuy nhiên, nếu một số phân tích và dự đoán nhất định được sử dụng để xác định phần thưởng cho người dùng thì ZK có thể được triển khai để đảm bảo rằng kết quả là chính xác.

• Những đề cập đáng trân trọng:

  - AI Arena là một trò chơi có nguồn gốc từ Ethereum, nơi người chơi từ khắp nơi trên thế giới có thể thiết kế, huấn luyện và chiến đấu với các nhân vật NFT được hỗ trợ bởi mạng lưới thần kinh nhân tạo. Các nhà nghiên cứu tài năng từ khắp nơi trên thế giới cạnh tranh để tạo ra các mô hình học máy (ML) tốt nhất để tham gia vào các trận chiến trong trò chơi. AI Arena tập trung vào các mạng lưới thần kinh chuyển tiếp. Nhìn chung, chúng có chi phí tính toán thấp hơn so với mạng thần kinh tích chập (CNN) hoặc mạng thần kinh tái phát (RNN). Tuy nhiên, hiện tại các mô hình chỉ được tải lên nền tảng sau khi quá trình đào tạo hoàn tất, vì vậy điều đáng nói.

  - GiroGiro.AI đang xây dựng bộ công cụ AI cho phép mọi người tạo ra trí tuệ nhân tạo cho mục đích sử dụng cá nhân hoặc thương mại. Người dùng có thể tạo nhiều loại hệ thống AI khác nhau dựa trên nền tảng quy trình làm việc AI trực quan và tự động. Bằng cách chỉ nhập một lượng nhỏ dữ liệu và chọn thuật toán (hoặc mô hình để cải tiến), người dùng có thể tạo và sử dụng mô hình AI mà họ nghĩ đến. Mặc dù dự án đang ở giai đoạn đầu nhưng chúng tôi rất vui mừng muốn xem GiroGiro có thể mang lại những gì cho tài chính trò chơi và các sản phẩm tập trung vào metaverse, vì vậy chúng tôi đã đưa nó vào như một sự đề cập danh dự.

DID và xã hội

Trong DID và không gian xã hội, giao điểm của Web3 và ML hiện chủ yếu nằm trong lĩnh vực bằng chứng con người và bằng chứng xác thực; các phần khác có thể phát triển nhưng sẽ mất nhiều thời gian hơn.

• bằng chứng của con người

  - Worldcoin sử dụng một thiết bị có tên Orb để xác định xem ai đó có phải là người thật hay không, thay vì cố gắng xác minh một cách gian lận. Nó thực hiện điều này bằng cách phân tích các đặc điểm khuôn mặt và mống mắt thông qua các cảm biến camera và mô hình học máy khác nhau. Sau khi đưa ra quyết định này, Orb sẽ chụp ảnh mống mắt của một nhóm người và sử dụng nhiều mô hình học máy cũng như các kỹ thuật thị giác máy tính khác để tạo mã mống mắt, một bản trình bày kỹ thuật số về các đặc điểm quan trọng nhất của mẫu mống mắt của một cá nhân. Các bước đăng ký cụ thể như sau:

  -- Người dùng tạo cặp khóa Semaphore trên điện thoại di động và cung cấp khóa chung được băm cho Orb thông qua mã QR.

  -- Orb quét mống mắt của người dùng và tính toán IrisHash của người dùng cục bộ. Sau đó, nó sẽ gửi một tin nhắn đã ký chứa khóa công khai được băm và IrisHash đến nút đặt hàng đăng ký.

  -- Nút tuần tự xác minh chữ ký của Orb và sau đó kiểm tra xem IrisHash có khớp với chữ ký đã có trong cơ sở dữ liệu hay không. Nếu quá trình kiểm tra tính duy nhất vượt qua, IrisHash và khóa chung sẽ được lưu.

  - Worldcoin sử dụng hệ thống chứng minh không có kiến ​​thức Semaphore mã nguồn mở để chuyển đổi tính duy nhất của IrisHash thành tính duy nhất của tài khoản người dùng mà không cần liên kết chúng. Điều này đảm bảo rằng người dùng mới đăng ký có thể yêu cầu WorldCoin của mình thành công. Tiến hành như sau:

  -- Ứng dụng của người dùng tạo địa chỉ ví cục bộ.

  -- Ứng dụng sử dụng Semaphore để chứng minh rằng nó sở hữu khóa riêng của khóa chung đã đăng ký trước đó. Bởi vì đây là bằng chứng không có kiến ​​thức nên nó không tiết lộ đó là khóa công khai nào.

  -- Bằng chứng một lần nữa được gửi đến trình sắp xếp thứ tự, trình xác minh bằng chứng và bắt đầu quá trình gửi mã thông báo đến địa chỉ ví được cung cấp. Những phần được gọi là sẽ được gửi kèm theo bằng chứng, đảm bảo rằng người dùng không thể nhận phần thưởng của họ hai lần.

  

  - WorldCoin sử dụng công nghệ ZK để đảm bảo rằng đầu ra của mô hình ML không tiết lộ dữ liệu cá nhân của người dùng vì không có mối tương quan giữa chúng. Trong trường hợp này, nó thuộc phần đầu ra trong khuôn khổ tin cậy của chúng tôi, vì nó đảm bảo rằng đầu ra được truyền và sử dụng theo cách mong muốn, trong trường hợp này là riêng tư.

• Chứng minh bằng hành động

  - Astraly là nền tảng phát hành token dựa trên danh tiếng trên StarkNet, được sử dụng để tìm kiếm và hỗ trợ các dự án StarkNet mới nhất và lớn nhất. Đo lường danh tiếng là một nhiệm vụ đầy thách thức vì đây là một khái niệm trừu tượng không thể định lượng dễ dàng bằng các thước đo đơn giản. Khi xử lý các chỉ số phức tạp, đầu vào toàn diện và đa dạng hơn có xu hướng tạo ra kết quả tốt hơn. Đó là lý do tại sao Astraly tìm đến Modulus Labs để được trợ giúp sử dụng mô hình ML nhằm đưa ra xếp hạng danh tiếng chính xác hơn.

• Đề xuất được cá nhân hóa và lọc nội dung

  - Twitter gần đây đã trở thành nguồn mở"Cho bạn"(Dành cho bạn) Thuật toán của Dòng thời gian, nhưng người dùng không thể xác minh rằng thuật toán đó có hoạt động chính xác hay không vì trọng số của mô hình ML được sử dụng để xếp hạng các tweet được giữ bí mật. Điều này làm dấy lên mối lo ngại về sự thiên vị và kiểm duyệt.

  - Tuy nhiên, Daniel Kang, Edward Gan, Ion Stoica và Yi Sun đã sử dụng ezkl để cung cấp giải pháp giúp cân bằng quyền riêng tư và minh bạch bằng cách chứng minh hoạt động thực sự của thuật toán Twitter mà không tiết lộ trọng số mô hình. Bằng cách sử dụng khung ZKML, Twitter có thể cam kết tuân thủ một phiên bản cụ thể của mô hình xếp hạng của mình và công bố bằng chứng rằng nó tạo ra xếp hạng đầu ra cuối cùng cụ thể cho một người dùng và tweet nhất định. Giải pháp này cho phép người dùng xác minh rằng các phép tính là chính xác mà không cần tin tưởng vào hệ thống. Mặc dù vẫn còn rất nhiều việc phải làm để làm cho ZKML trở nên hữu dụng hơn nhưng đây là một bước tích cực hướng tới tính minh bạch cao hơn trên mạng xã hội. Vì vậy, điều này nằm trong khuôn khổ tin cậy ML của chúng tôi"Người mẫu"phần.

Xem lại khung tin cậy ML từ góc độ trường hợp sử dụng

Có thể thấy rằng các trường hợp sử dụng tiềm năng của ZKML trong Web3 vẫn còn ở giai đoạn sơ khai, nhưng không thể bỏ qua; trong tương lai, khi việc sử dụng ZKML tiếp tục mở rộng, có thể cần có các nhà cung cấp ZKML, tạo thành một mạng lưới khép kín vòng lặp trong hình dưới đây:

Các nhà cung cấp dịch vụ ZKML tập trung chủ yếu vào các phần mô hình và tham số của khung tin cậy ML. Mặc dù hầu hết những gì chúng ta thấy bây giờ có liên quan đến tham số thì liên quan đến mô hình hơn. Điều quan trọng cần lưu ý là phần “đầu vào” và “đầu ra” được giải quyết nhiều hơn bằng các giải pháp dựa trên blockchain, dưới dạng nguồn dữ liệu hoặc đích dữ liệu. Chỉ riêng ZK hoặc blockchain có thể không đạt được độ tin cậy hoàn toàn, nhưng kết hợp chúng thì có thể.

Nó cách ứng dụng quy mô lớn bao xa?

Cuối cùng, chúng ta có thể tập trung vào trạng thái khả thi hiện tại của ZKML và chúng ta còn cách ứng dụng ZKML quy mô lớn bao xa.

Bài viết của Modulus Labs cung cấp cho chúng tôi một số dữ liệu và hiểu biết sâu sắc về tính khả thi của các ứng dụng ZKML bằng cách thử nghiệm Worldcoin (với yêu cầu nghiêm ngặt về độ chính xác và bộ nhớ) và AI Arena (với yêu cầu về hiệu quả chi phí và thời gian):

Nếu Worldcon sử dụng ZKML, mức tiêu thụ bộ nhớ của bộ chuẩn sẽ vượt quá khả năng của bất kỳ phần cứng di động thương mại nào. Nếu cuộc thi AI Arena sử dụng ZKML thì việc sử dụng ZKCNN sẽ tăng thời gian và chi phí lên 100 lần (0,6 giây so với 0,008 giây ban đầu). Thật không may, cả hai đều không phù hợp để áp dụng trực tiếp các kỹ thuật ZKML để chứng minh thời gian và mức sử dụng bộ nhớ của bộ chuẩn.

Còn về kích thước bằng chứng và thời gian xác minh thì sao? Chúng ta có thể tham khảo các bài viết của Daniel Kang, Tatsunori Hashimoto, Ion Stoica và Yi Sun. Như hình bên dưới, giải pháp suy luận DNN của họ có thể đạt độ chính xác 79% trên ImageNet (loại mô hình: DCNN, 16 lớp, 3,4 triệu tham số), trong khi thời gian xác minh chỉ mất 10 giây và kích thước bằng chứng là 5952 byte. Ngoài ra, zkSNARK có thể được giảm độ chính xác xuống 59% với thời gian xác minh chỉ 0,7 giây. Những kết quả này cho thấy zkSNARKing trên các mô hình quy mô ImageNet là khả thi về kích thước bằng chứng và thời gian xác minh.

Các nút thắt kỹ thuật chính hiện nay là thời gian chứng minh và mức tiêu thụ bộ nhớ. Việc áp dụng ZKML trong trường hợp web3 vẫn chưa khả thi về mặt kỹ thuật. ZKML có tiềm năng bắt kịp sự phát triển của AI? Chúng ta có thể so sánh một số dữ liệu thực nghiệm:

• Tốc độ phát triển của các mô hình machine learning: Mẫu GPT-1 ra mắt năm 2019 có 150 triệu tham số, trong khi mẫu GPT-3 mới nhất ra mắt năm 2020 có 175 tỷ tham số, số lượng tham số tăng gấp 1.166 lần chỉ sau hai lần năm .

• Tốc độ tối ưu hóa của các hệ thống không có kiến ​​thức: Sự tăng trưởng hiệu suất của các hệ thống không có kiến ​​thức về cơ bản tuân theo tốc độ Định luật Moore. Các hệ thống không có kiến ​​thức mới xuất hiện gần như hàng năm và chúng tôi kỳ vọng sự tăng trưởng nhanh chóng về hiệu suất của người chứng minh sẽ tiếp tục trong một thời gian nữa.

Đánh giá từ dữ liệu này, mặc dù các mô hình học máy đang phát triển rất nhanh nhưng tốc độ tối ưu hóa của các hệ thống chứng minh không có kiến ​​thức cũng đang tăng lên đều đặn. Trong tương lai, ZKML có thể vẫn có cơ hội dần bắt kịp sự phát triển của AI, nhưng cần liên tục đổi mới và tối ưu hóa công nghệ để thu hẹp khoảng cách. Điều này có nghĩa là mặc dù ZKML hiện có các nút thắt kỹ thuật trong các ứng dụng web3, nhưng với sự phát triển liên tục của công nghệ chứng minh không có kiến ​​thức, chúng tôi vẫn có lý do để mong đợi ZKML sẽ đóng vai trò lớn hơn trong các kịch bản web3 trong tương lai. So sánh tốc độ cải thiện của ML và ZK tiên tiến, triển vọng không mấy lạc quan. Tuy nhiên, với sự cải tiến liên tục về hiệu suất tích chập, phần cứng ZK và hệ thống chứng minh ZK được điều chỉnh dựa trên các hoạt động mạng thần kinh có cấu trúc cao, người ta hy vọng rằng sự phát triển của ZKML có thể đáp ứng nhu cầu của web3, bắt đầu bằng việc cung cấp một số máy lỗi thời. Chức năng học tập bắt đầu.

Mặc dù chúng tôi có thể gặp khó khăn khi sử dụng blockchain + ZK để xác minh rằng thông tin mà ChatGPT cung cấp lại cho tôi là đáng tin cậy, nhưng chúng tôi có thể đưa một số mô hình ML nhỏ hơn và cũ hơn vào mạch ZK.

Tóm lại là

"Công suất có xu hướng tham nhũng, và quyền lực tuyệt đối hư hoàn toàn". Với sức mạnh đáng kinh ngạc của AI và ML, hiện tại không có cách nào dễ dàng để quản lý nó. Thực tế đã nhiều lần chứng minh rằng các chính phủ hoặc can thiệp muộn để giải quyết hậu quả hoặc thúc đẩy các lệnh cấm hoàn toàn. Blockchain+ZK cung cấp một trong số ít giải pháp có thể thuần hóa con quái vật theo cách có thể chứng minh và kiểm chứng được.

Chúng tôi mong muốn được thấy nhiều đổi mới sản phẩm hơn trong lĩnh vực ZKML. ZK và blockchain cung cấp một môi trường an toàn và đáng tin cậy cho hoạt động của AI/ML. Chúng tôi cũng kỳ vọng những cải tiến sản phẩm này sẽ tạo ra các mô hình kinh doanh hoàn toàn mới, bởi vì trong thế giới tiền điện tử không cần cấp phép, chúng tôi không bị giới hạn bởi mô hình thương mại hóa de-SaaS ở đây. Chúng tôi mong được hỗ trợ nhiều nhà xây dựng hơn trong việc này"tình trạng hỗn loạn ở phía Tây"Và"Tháp Ngà Elite"về sự chồng chéo hấp dẫn để xây dựng dựa trên những ý tưởng thú vị của họ. Chúng ta vẫn đang ở giai đoạn đầu, nhưng có thể chúng ta đã đang trên đường cứu thế giới.

Bài viết này là bản gốc của nhóm nghiên cứu SevenX và chỉ dành cho mục đích giao tiếp và học tập chứ không phải là bất kỳ tài liệu tham khảo đầu tư nào. Nếu cần trích dẫn xin vui lòng ghi nguồn.