원작자: Yuxing
이 기사는 의사소통 및 학습 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.
ChatGPT와 GPT-4의 인기는 우리에게 인공 지능의 힘을 보여주었습니다. 인공지능 뒤에는 알고리즘 외에 더 중요한 것은 방대한 데이터다. 우리는 데이터를 중심으로 대규모 복합 시스템을 구축했으며, 그 가치는 주로 비즈니스 인텔리전스(Business Intelligence, BI)와 인공지능(Artificial Intelligence, AI)에서 나옵니다. 인터넷 시대에 데이터 양이 급격히 증가함에 따라 데이터 인프라 노력과 모범 사례도 빠르게 발전하고 있습니다. 지난 2년 동안 데이터 인프라 기술 스택의 핵심 시스템은 매우 안정되었으며 지원 도구와 애플리케이션도 빠르게 성장했습니다.
Web2 데이터 인프라 아키텍처
클라우드 데이터 웨어하우스(Snowflake 등)는 주로 SQL 사용자와 비즈니스 인텔리전스 사용자 시나리오에 초점을 맞춰 빠르게 성장하고 있습니다. 다른 기술의 채택도 가속화되고 있으며 데이터 레이크(예: Databricks) 고객은 전례 없는 속도로 성장하고 있으며 데이터 기술 스택의 이질성이 공존할 것입니다.
데이터 수집 및 변환과 같은 다른 핵심 데이터 시스템도 마찬가지로 내구성이 입증되었습니다. 이는 현대 데이터 인텔리전스 세계에서 특히 두드러집니다. Fivetran과 dbt(또는 유사한 기술)의 조합은 거의 모든 곳에서 찾을 수 있습니다. 그러나 어느 정도 이는 비즈니스 시스템에서도 마찬가지입니다. Databricks/Spark, Confluent/Kafka 및 Astronomer/Airflow의 조합도 사실상의 표준이 되기 시작했습니다.
출처: a16z
안에,
데이터 소스단말기에서 관련 비즈니스 및 비즈니스 데이터를 생성합니다.
데이터 추출 및 변환비즈니스 시스템에서 데이터를 추출하고(E), 스토리지로 전송하고, 데이터 소스와 대상 간의 형식을 정렬하고(L), 분석된 데이터를 필요에 따라 비즈니스 시스템으로 다시 전송하는 일을 담당합니다.
데이터 저장고쿼리하고 처리할 수 있는 형식으로 데이터를 저장하는 것은 저비용, 높은 확장성 및 분석 워크로드에 맞게 최적화되어야 합니다.
쿼리 및 처리고급 프로그래밍 언어(일반적으로 SQL, Python 또는 Java/Scala)를 저급 데이터 처리 작업으로 변환합니다. 분산 컴퓨팅을 사용하여 기록 분석(과거에 발생한 이벤트 설명) 및 예측 분석(미래에 예상되는 이벤트 설명)을 포함하여 저장된 데이터를 기반으로 쿼리 및 데이터 모델을 실행합니다.
전환하다데이터를 분석에 사용할 수 있는 구조로 변환하고 프로세스와 리소스를 관리합니다.
분석 및 출력분석가와 데이터 과학자에게 통찰력을 추적하고 협업하고, 데이터 분석 결과를 내부 및 외부 사용자에게 표시하고, 데이터 모델을 사용자 중심 애플리케이션에 내장할 수 있는 인터페이스를 제공합니다.
데이터 생태계의 급속한 발전과 함께 데이터 플랫폼이라는 개념이 등장했습니다. 업계 관점에서 볼 때, 플랫폼의 정의적 특징은 영향력 있는 플랫폼 제공자와 수많은 제3자 개발자의 기술적, 경제적 상호의존성입니다. 플랫폼 관점에서 데이터 기술 스택은 프런트엔드와 백엔드로 구분됩니다.
백엔드에는 데이터 추출, 저장, 처리 및 변환이 광범위하게 포함됩니다., 소수의 클라우드 서비스 제공업체를 중심으로 통합되기 시작했습니다. 결과적으로 고객 데이터는 표준 시스템 세트에 수집되며 공급업체는 다른 개발자가 이 데이터에 쉽게 액세스할 수 있도록 하기 위해 막대한 투자를 하고 있습니다. 이는 Databricks와 같은 시스템의 기본 설계 원칙이기도 하며, SQL 표준 및 Snowflake와 같은 맞춤형 컴퓨팅 API와 같은 시스템을 통해 구현됩니다.
프런트 엔드 엔지니어는 이 단일 통합 지점을 활용하여 다양한 새로운 애플리케이션을 구축합니다.그들은 데이터가 생성된 방식에 대한 기본 세부 사항에 대해 걱정하지 않고 데이터 웨어하우스/레이크에서 정리되고 통합된 데이터에 의존합니다. 단일 고객은 핵심 데이터 시스템을 기반으로 많은 애플리케이션을 구축하고 구매할 수 있습니다. 재무 또는 제품 분석과 같은 기존 엔터프라이즈 시스템이 웨어하우스 기반 아키텍처를 사용하여 재구성되는 모습도 보이기 시작했습니다.
데이터 기술 스택이 점차 성숙해짐에 따라 데이터 플랫폼의 데이터 애플리케이션도 확산됩니다. 표준화의 결과로 새로운 데이터 플랫폼을 채택하는 것이 그 어느 때보다 중요해졌고, 이에 맞춰 플랫폼을 유지하는 것이 매우 중요해졌습니다. 대규모로 보면 플랫폼은 매우 가치가 있을 수 있습니다. 오늘날 핵심 데이터 시스템 공급업체 간에는 현재 비즈니스뿐만 아니라 장기적인 플랫폼 상태를 놓고 치열한 경쟁이 벌어지고 있습니다. 데이터 수집 및 변환 모듈이 신흥 데이터 플랫폼의 핵심 부분이라는 점을 고려하면 데이터 수집 및 변환 회사에 대한 엄청난 가치 평가를 더 쉽게 이해할 수 있습니다.
그러나 이러한 기술 스택은 대기업이 주도하는 데이터 활용 접근 방식 하에서 형성되었습니다. 데이터에 대한 사회의 이해가 깊어짐에 따라 사람들은 토지, 노동, 자본, 기술과 같은 데이터가 시장에서 할당될 수 있는 생산요소라고 믿게 됩니다. 데이터는 5대 생산요소 중 하나이며, 그 이면에 반영되는 것은 데이터의 자산가치입니다.
데이터 요소 시장의 구성을 실현하기 위한 현재 기술 스택은 요구 사항을 충족하지 못합니다. 블록체인 기술과 긴밀하게 융합된 Web3 분야에서는 새로운 데이터 인프라가 발전하고 진화하고 있습니다. 이러한 인프라는 현대 데이터 인프라 아키텍처에 내장되어 데이터 재산권 정의, 유통 거래, 소득 분배 및 요소 거버넌스를 실현합니다. 이 네 가지 영역은 정부 규제 관점에서 매우 중요하므로 특별한 주의가 필요합니다.
Web3 하이브리드 데이터 인프라 아키텍처
a16z 통합 데이터 인프라 아키텍처(2.0)에서 영감을 얻고 Web3 인프라 아키텍처에 대한 이해를 통합하여 다음과 같은 Web3 하이브리드 데이터 인프라 아키텍처를 제안합니다.
Orange는 Web3의 고유한 기술 스택 단위입니다. 분산형 기술은 아직 개발 초기 단계에 있기 때문에 Web3 분야의 대부분의 애플리케이션은 여전히 이 하이브리드 데이터 인프라 아키텍처를 사용합니다. 대다수의 애플리케이션은 진정한 상부 구조가 아닙니다. 상부구조는 멈출 수 없고, 자유롭고, 가치 있고, 확장 가능하고, 허가가 없으며, 긍정적인 외부 효과와 신뢰할 수 있는 중립성을 특징으로 합니다. 디지털 세계에서는 공공재로 존재하며 메타버스 세계의 공공 인프라입니다. 이를 지원하려면 완전히 분산된 기본 아키텍처가 필요합니다.
기존 데이터 인프라 아키텍처는 엔터프라이즈 비즈니스 개발을 기반으로 발전했습니다. a16z는 이를 두 가지 시스템(분석 시스템과 비즈니스 시스템)과 세 가지 시나리오(현대 비즈니스 인텔리전스, 다중 모델 데이터 처리, 인공 지능 및 기계 학습)로 요약합니다. 이는 기업의 관점에서 본 요약입니다. 데이터는 기업의 발전에 도움이 됩니다.
출처: a16z
그러나 기업, 사회, 개인만이 데이터 요소를 통해 얻을 수 있는 생산성 향상으로부터 혜택을 받아야 하는 것은 아닙니다. 세계 각국에서는 규제 차원에서 데이터 활용을 표준화하고 데이터 유통을 활성화하기 위해 정책과 규제를 잇달아 도입해 왔다. 여기에는 일본에서 흔히 볼 수 있는 다양한 데이터 뱅크와 최근 중국에서 등장한 데이터 거래소, BDEX(미국), Streamr(스위스), DAWEX(프랑스) 등 유럽과 미국에서 널리 사용되는 거래 플랫폼이 포함됩니다. , 카루소 등
데이터가 재산권, 흐름 거래, 소득 분배 및 거버넌스를 정의하기 시작하면 데이터의 시스템과 시나리오는 회사 자체의 의사 결정 및 비즈니스 개발에 힘을 실어줄 것입니다. 이러한 시스템과 시나리오는 블록체인 기술의 도움이 필요하거나 정책 감독에 크게 의존합니다.
Web3는 데이터 요소 시장의 자연스러운 토양으로, 기술적으로 부정 행위의 가능성을 제거하고 규제 압력을 크게 줄이며 데이터가 실제 생산 요소로 존재하고 시장 지향적으로 구성될 수 있도록 합니다.
Web3의 맥락에서 데이터 활용의 새로운 패러다임에는 흐르는 데이터 요소를 전달하는 시장 시스템과 공공 데이터 요소를 관리하는 공공 시스템이 포함됩니다. 여기에는 재산권 데이터 개발 통합, 구성 가능한 초기 데이터 계층, 공개 데이터 마이닝이라는 세 가지 새로운 데이터 비즈니스 시나리오가 포함됩니다.
이러한 시나리오 중 일부는 기존 데이터 인프라와 밀접하게 통합되어 Web3 하이브리드 데이터 인프라 아키텍처에 속하며, 일부는 기존 아키텍처와 분리되어 Web3 고유의 새로운 기술로 완벽하게 지원됩니다.
Web3와 데이터 경제
데이터 경제 시장은 제품 데이터의 개발 및 통합과 결합성을 갖춘 초기 데이터 레이어 시장을 포함하여 데이터 요소를 구성하는 핵심입니다. 효율적이고 규정을 준수하는 데이터 경제 시장에서는 다음 사항이 매우 중요합니다.
데이터 재산권이는 권리와 이익을 보호하고 규정에 맞게 사용하기 위한 핵심이며 구조적으로 할당 및 폐기되어야 하며 동시에 데이터 사용 시 권한 부여 메커니즘을 확인해야 합니다. 각 참가자는 관련 권리와 이익을 가져야 합니다.
유통거래이를 위해서는 규정 준수와 효율성뿐만 아니라 현장 내외 통합도 필요합니다. 이는 확인 가능한 데이터 소스, 정의 가능한 사용 범위, 추적 가능한 순환 프로세스, 예방 가능한 보안 위험이라는 4가지 원칙을 기반으로 해야 합니다.
소득 분배 시스템효율적이고 공정해야 합니다. 누가 투자하고, 누가 기여하고, 누가 혜택을 받는가라는 원칙에 따라 정부는 데이터 요소에서 얻은 소득 분배에 있어 지도 및 규제 역할을 수행할 수도 있습니다.
팩터 거버넌스는 안전하고, 통제 가능하며, 유연하고 포괄적입니다.이를 위해서는 정부의 데이터 거버넌스 메커니즘을 혁신하고, 데이터 요소 시장 신용 시스템을 구축하고, 기업이 데이터 요소 시장 구축에 적극적으로 참여하도록 장려해야 하며, 데이터 소스, 데이터 재산권, 데이터 품질, 데이터 사용 등에 중점을 두고, 데이터 공급업체 및 제3자 전문 서비스 조직을 홍보해야 합니다.데이터 순환 거래 명세서 및 약속 시스템.
위의 원칙은 규제 당국이 데이터 경제를 고려하는 기본 원칙입니다. 재산권 데이터 개발 및 통합, 구성 가능한 초기 데이터 계층 및 공개 데이터 마이닝의 세 가지 시나리오에서 우리는 이러한 원칙을 기반으로 생각할 수 있습니다. 이를 지원하려면 어떤 인프라가 필요합니까? 이러한 인프라는 어떤 단계에서 어떤 가치를 포착할 수 있습니까?
시나리오 1: 재산권 데이터 개발 및 통합
참고: 주황색은 Web2와 Web3가 교차하는 단위입니다.
재산권 데이터 개발 과정에서는 공공 데이터, 기업 데이터, 개인 데이터의 소유권, 사용권, 운영권을 결정하기 위해 분류되고 계층적인 권리 확인 및 승인 메커니즘을 구축해야 합니다. 데이터 소스 및 생성 특성에 따라 데이터의 재산권은 데이터 적응을 통해 정의됩니다. 그중 대표적인 프로젝트로는 Navigate, Streamr Network, KYVE 등이 있습니다. 이러한 프로젝트는 기술적 수단을 통해 데이터 품질 표준화, 데이터 수집 및 인터페이스 표준화를 달성하고, 어떤 형태로든 오프체인 데이터의 권리를 확인하며, 스마트 계약 또는 내부 논리 시스템을 통해 데이터 분류 및 계층적 인증을 수행합니다.
이 시나리오에 적용 가능한 데이터 유형은 비공개 데이터, 즉 기업 데이터와 개인 데이터입니다. 데이터 요소의 가치는 공용 및 혜택 공유를 통해 시장 지향적으로 활성화되어야 합니다.
기업 데이터에는 개인 정보 및 공익과 관련되지 않은 생산 및 비즈니스 활동에서 다양한 시장 주체가 수집하고 처리하는 데이터가 포함됩니다. 시장 주체는 법률 및 규정에 따라 소득을 보유, 사용 및 획득할 권리가 있으며 노동 및 기타 요소 기여에 대해 합리적인 수익을 받을 권리가 있습니다.
개인 데이터는 데이터 프로세서가 개인 승인 범위 내에서 법률 및 규정에 따라 데이터를 수집, 보유, 호스팅 및 사용하도록 요구합니다. 혁신적인 기술적 수단을 사용하여 개인정보의 익명화를 촉진하고 개인정보 사용 시 정보 보안과 개인정보 보호를 보장합니다. 수탁자가 개인의 이익을 대표하고 시장 주체의 개인 정보 데이터 수집, 처리 및 사용을 감독하는 메커니즘을 살펴보세요. 국가 안보와 관련된 특수한 개인 정보 데이터에 대해서는 관련 부서에서 법률 및 규정에 따라 사용 권한을 부여받을 수 있습니다.
시나리오 2: 구성 가능한 초기 데이터 계층
참고: 주황색은 Web2와 Web3가 교차하는 단위입니다.
구성 가능한 초기 데이터 레이어는 데이터 경제 시장에서 중요한 부분입니다. 일반적인 재산권 데이터와 달리 이 부분 데이터의 가장 두드러진 특징은 데이터 스키마 관리를 통해 데이터의 표준 형식을 정의해야 한다는 점입니다. 데이터 적응의 품질, 수집 및 인터페이스 표준화와 달리 여기서는 표준 데이터 형식 및 표준 데이터 모델을 포함한 데이터 패턴의 표준화에 중점을 둡니다. Ceramic과 Lens는 이 분야의 선구자로서, 각각 오프체인(분산형 저장소) 및 온체인 데이터에 대한 표준 모드를 보장하여 데이터를 구성 가능하게 만듭니다.
이러한 데이터 스키마 관리 도구 위에 구축된 것은 Cyberconnect, KNN 3 등과 같이 종종 데이터 계층이라고 불리는 구성 가능한 초기 데이터 계층입니다.
구성 가능한 초기 데이터 계층에는 Web2 기술 스택이 거의 포함되지 않지만 Ceramic 기반의 핫 데이터 읽기 도구는 이를 깨뜨려 매우 중요한 혁신이 될 것입니다. 많은 유사한 데이터는 블록체인에 저장할 필요가 없고 블록체인에 저장하기 어렵지만 사용자의 게시물, 좋아요, 댓글 등 빈도가 높고 낮은 분산 네트워크에 저장되어야 합니다. 가치 밀도 Data, Ceramic은 이러한 유형의 데이터에 대한 저장 패러다임을 제공합니다.
구성 가능한 초기 데이터는 새로운 시대의 혁신을 위한 핵심 시나리오이자 데이터 헤게모니와 데이터 독점의 종식을 나타내는 중요한 상징입니다. 이는 데이터 측면에서 스타트업의 콜드 스타트 문제를 해결하고 성숙한 데이터 세트와 새로운 데이터 세트를 결합함으로써 스타트업이 데이터 경쟁 우위를 더 빠르게 구축할 수 있도록 해줍니다. 동시에 스타트업은 점진적인 데이터 가치와 데이터 신선도에 집중할 수 있어 혁신적인 아이디어에 대한 지속적인 경쟁력을 확보할 수 있습니다. 이렇게 하면 대량의 데이터가 대기업에 해자가 되지 않습니다.
시나리오 3: 공개 데이터 마이닝
참고: 주황색은 다중 카테고리 교차 단위입니다.
공개 데이터 마이닝은 새로운 애플리케이션 시나리오는 아니지만 Web3 기술 스택에서는 이전과는 전혀 다른 방식으로 강조되었습니다.
전통적 공공데이터에는 당, 정부 기관, 기업, 기관이 법에 따라 직무를 수행하거나 공공 서비스를 제공할 때 생성한 공공 데이터가 포함됩니다. 규제 기관은 다음을 전제로 원본 데이터가 도메인을 벗어나지 않으며 데이터가 사용 가능하고 보이지 않음이라는 요구 사항에 따라 모델, 검증 및 기타 제품 및 서비스의 형태로 이러한 데이터를 사회에 제공하도록 권장합니다. 개인의 사생활을 보호하고 공공의 안전을 보장합니다. 이들은 전통적인 기술 스택을 사용합니다(파란색과 일부 주황색, 주황색은 여러 유형의 기술 스택의 교차점을 나타냄, 아래와 같음).
Web3에서 블록체인의 거래 데이터 및 활동 데이터는 사용 가능 및 가시성을 특징으로 하는 또 다른 유형의 공개 데이터입니다. 따라서 데이터 프라이버시, 데이터 보안 및 데이터 사용에 대한 승인 확인 기능이 부족합니다. 공공재. 이들은 블록체인과 스마트 계약을 핵심으로 하는 기술 스택(노란색 및 부분적으로 주황색)을 채택합니다.
탈중앙화 저장소의 데이터는 트랜잭션을 제외한 대부분 Web3 애플리케이션 데이터이며, 현재는 주로 파일 및 개체 저장소이며 해당 기술 스택은 아직 미성숙합니다(녹색 및 일부 주황색). 이러한 공공 데이터의 생산 및 마이닝에서 흔히 발생하는 문제에는 핫 및 콜드 스토리지, 인덱싱, 상태 동기화, 권한 관리 및 계산 등이 포함됩니다.
이 시나리오에서는 데이터 인프라가 아니라 Nansen, Dune, NFTScan, 0x Scope 등을 포함한 더 많은 데이터 도구인 많은 데이터 애플리케이션이 등장했습니다.
사례: 데이터 교환
데이터 교환은 데이터를 상품으로 거래하는 플랫폼을 의미합니다. 거래 대상, 가격 책정 메커니즘, 품질 보증 등에 따라 분류하고 비교할 수 있습니다. DataStreamX, Dawex 및 Ocean Protocol은 시장에 나와 있는 몇 가지 일반적인 데이터 교환입니다.
Ocean Protocol(2억 시가총액)은 기업과 개인이 데이터 및 데이터 기반 서비스를 교환하고 수익화할 수 있도록 설계된 오픈 소스 프로토콜입니다. 이 프로토콜은 이더리움 블록체인을 기반으로 하며 데이터 토큰을 사용하여 데이터 세트에 대한 액세스를 제어합니다. 데이터 토큰은 데이터 세트 또는 데이터 서비스의 소유권 또는 사용 권한을 나타내는 특수 ERC 20 토큰입니다. 사용자는 필요한 정보를 얻기 위해 데이터 토큰을 구매하거나 얻을 수 있습니다.
Ocean Protocol의 기술 아키텍처는 주로 다음 부분을 포함합니다.
공급자: 데이터 또는 데이터 서비스를 제공하는 공급자를 말하며, 오션 프로토콜을 통해 자체 데이터 토큰을 발행 및 판매하여 수익을 얻을 수 있습니다.
소비자: 데이터 또는 데이터 서비스를 구매하고 이용하는 수요자를 말하며, 오션 프로토콜을 통해 필요한 데이터 토큰을 구매하거나 획득하여 접근 권한을 얻을 수 있습니다.
마켓플레이스(Marketplaces): 오션 프로토콜(Ocean Protocol) 또는 제3자가 제공하는 개방적이고 투명하며 공정한 데이터 거래 시장을 말하며 전 세계의 공급자와 소비자를 연결하고 다양한 유형과 분야의 데이터 토큰을 제공할 수 있습니다. 시장은 조직이 새로운 비즈니스 기회를 발견하고, 수익원을 늘리고, 운영 효율성을 최적화하고, 더 많은 가치를 창출하도록 도울 수 있습니다.
네트워크: Ocean Protocol이 제공하는 분산형 네트워크 계층을 말하며, 다양한 유형과 규모의 데이터 교환을 지원하고 데이터 거래 과정에서 보안, 신뢰성 및 투명성을 보장할 수 있습니다. 네트워크 계층은 데이터 등록, 소유권 정보 기록, 안전한 데이터 교환 촉진 등에 사용되는 일련의 스마트 계약입니다.
큐레이터(Curator): 데이터 세트의 심사, 관리, 검토를 담당하는 생태계 내 역할을 말하며, 데이터 세트가 표준을 충족하는지 확인하기 위해 데이터 세트의 소스, 콘텐츠, 형식, 라이센스 정보를 검토하는 역할을 담당하며, 다른 사용자가 신뢰하고 사용할 수 있습니다.
검증자(Verifier): 데이터 거래 및 데이터 서비스 검증 및 검토를 담당하는 생태계 내 역할을 말하며, 데이터 서비스 제공자와 소비자 간의 거래를 검토 및 검증하여 데이터 서비스의 품질, 가용성 및 품질 정확성을 보장합니다.
출처: 오션 프로토콜
데이터 제공자가 생성하는 데이터 서비스에는 데이터, 알고리즘, 계산, 저장, 분석 및 큐레이션이 포함됩니다. 이러한 구성 요소는 서비스 실행 계약(예: 서비스 수준 계약), 보안 계산, 액세스 제어 및 권한과 연결되어 있습니다. 본질적으로 이는 스마트 계약을 통해 클라우드 서비스 제품군에 대한 액세스를 제어하는 것입니다.
출처: 오션 프로토콜
장점은,
유연하고 확장 가능한 오픈 소스 프로토콜은 조직과 개인이 고유한 데이터 생태계를 구축하는 데 도움이 됩니다.
블록체인 기술을 기반으로 하는 분산형 네트워크 계층은 데이터 거래 프로세스의 보안, 신뢰성 및 투명성을 보장하는 동시에 공급자와 소비자의 개인 정보 및 권리를 보호할 수 있습니다.
개방적이고 투명하며 공정한 데이터 시장은 전 세계 공급자와 소비자를 연결하고 다양한 유형과 분야의 데이터 토큰을 제공할 수 있습니다.
Ocean Protocol은 하이브리드 아키텍처의 전형적인 예입니다. 해당 데이터는 기존 클라우드 스토리지 서비스, 분산형 스토리지 네트워크 또는 데이터 제공업체의 자체 서버를 포함한 다양한 장소에 저장될 수 있습니다. 프로토콜은 데이터 토큰과 데이터 NFT를 통해 데이터 소유권과 액세스 권한을 식별하고 관리합니다. 또한 이 프로토콜은 데이터 소비자가 원본 데이터를 노출하지 않고도 데이터를 분석하고 처리할 수 있도록 데이터 계산 기능도 제공합니다.
출처: 오션 프로토콜
Ocean Protocol은 현 단계에서 시장에서 가장 완벽한 데이터 거래 플랫폼 중 하나이지만 여전히 많은 과제에 직면해 있습니다.
효과적인 신뢰 메커니즘 구축, 데이터 제공자와 수요자 간의 신뢰를 높이고 거래 위험을 줄이기 위해. 예를 들어, 데이터 거래에서 신뢰할 수 없는 행동 식별, 신뢰할 수 있는 인센티브, 신뢰할 수 없는 처벌, 신용 회복, 이의 처리 등을 위해 블록체인을 통해 인증서를 유지하고 검증하는 데이터 요소 시장 신용 시스템을 구축합니다.
합리적인 가격 책정 메커니즘 확립, 데이터 상품의 진정한 가치를 반영하기 위해 데이터 제공업체가 고품질 데이터를 제공하도록 동기를 부여하고 더 많은 수요자를 유치합니다.
통일된 표준사양 확립, 다양한 형식, 유형, 소스 및 용도의 데이터 간의 상호 운용성과 호환성을 촉진합니다.
사례: 데이터 모델 시장
Data Universe에서 Ceramic은 자신들이 만들고자 하는 개방형 데이터 모델 시장을 언급합니다. 이는 데이터에 상호 운용성이 필요하기 때문에 생산성을 크게 높일 수 있습니다. 이러한 데이터 모델 시장은 개발자가 해당 데이터 모델의 모든 데이터를 준수하는 애플리케이션을 갖기 위해 기능 템플릿으로 선택할 수 있는 이더리움의 ERC 계약 표준과 유사한 데이터 모델에 대한 새로운 합의에 의해 활성화됩니다. 현 단계에서 그러한 시장은 거래 시장이 아닙니다.
데이터 모델과 관련하여 간단한 예는 분산형 소셜 네트워크에서 데이터 모델을 다음과 같은 4가지 매개변수로 단순화할 수 있다는 것입니다.
PostList: 사용자 게시물의 색인을 저장합니다.
게시물: 단일 게시물을 저장합니다.
프로필: 사용자 정보를 저장합니다.
FollowList: 사용자의 팔로우 목록을 저장합니다.
그렇다면 어떻게 데이터 모델을 Ceramic에서 생성, 공유, 재사용하여 애플리케이션 간 데이터 상호 운용성을 활성화할 수 있을까요?
Ceramic은 Ceramic용 재사용 가능한 애플리케이션 데이터 모델의 커뮤니티 기반 오픈 소스 저장소인 DataModels Registry를 제공합니다. 여기에서 개발자는 공유 데이터 모델을 기반으로 구축된 고객 운영 애플리케이션의 기반인 기존 데이터 모델을 공개적으로 등록, 검색 및 재사용할 수 있습니다. 현재는 Github 스토리지를 기반으로 하고 있으며, 향후 Ceramic 기반으로 탈중앙화될 예정입니다.
레지스트리에 추가된 모든 데이터 모델은 @datamodels의 npm 플러그인 패키지에 자동으로 게시됩니다. 모든 개발자는 @datamodels/model-name을 사용하여 하나 이상의 데이터 모델을 설치할 수 있으며, 이를 통해 DID DataStore 또는 Self.ID를 포함한 모든 IDX 클라이언트를 사용하여 런타임에 데이터를 저장하거나 검색할 수 있습니다.
또한 Ceramic은 Github를 기반으로 DataModels 포럼을 구축했으며, 데이터 모델 레지스트리의 각 모델에는 포럼에 자체 토론 스레드가 있어 커뮤니티가 의견을 제시하고 토론할 수 있습니다. 또한 개발자가 데이터 모델을 레지스트리에 추가하기 전에 커뮤니티로부터 의견을 얻기 위해 데이터 모델에 대한 아이디어를 게시할 수 있는 장소이기도 합니다. 현재 모든 것이 초기 단계에 있으며 레지스트리에 데이터 모델이 많지 않습니다. 레지스트리에 포함된 데이터 모델은 커뮤니티의 평가를 받아야 하며 데이터 결합성을 제공하는 이더리움의 스마트 계약 표준과 마찬가지로 CIP 표준이라고 합니다.
사례: 분산형 데이터 웨어하우스
Space and Time은 차세대 스마트 계약 사용 사례를 지원하기 위해 온체인 및 오프체인 데이터를 연결하는 최초의 분산형 데이터 웨어하우스입니다. Space and Time(SxT)은 업계에서 가장 성숙한 블록체인 인덱싱 서비스를 보유하고 있습니다. SxT 데이터 웨어하우스는 또한 Proof of SQL™이라는 새로운 암호화를 사용하여 검증 가능한 변조 방지 결과를 생성하므로 개발자는 체인 및 오프체인 데이터를 처리하고 결과를 스마트 계약에 직접 로드하여 완전 변조 방지 및 블록체인 기반 방식으로 1초 미만의 쿼리와 엔터프라이즈급 분석을 지원합니다.
Space and Time은 검증자 계층과 데이터 웨어하우스로 구성된 2계층 네트워크입니다. SxT 플랫폼의 성공은 온체인 및 오프체인 데이터에 대한 간단하고 안전한 쿼리를 용이하게 하는 유효성 검사기와 데이터 웨어하우스의 원활한 상호 작용에 달려 있습니다.
데이터 웨어하우스는 공간 및 시간 검증기에 의해 제어되고 라우팅되는 데이터베이스 네트워크와 컴퓨팅 클러스터로 구성됩니다. Space and time은 매우 유연한 웨어하우징 솔루션인 HTAP(하이브리드 트랜잭션/분석 처리)를 사용합니다.
유효성 검사기는 이러한 클러스터가 제공하는 서비스를 모니터링하고 명령하고 유효성을 검사한 다음 최종 사용자와 데이터 웨어하우스 클러스터 간의 데이터 및 쿼리 흐름을 조정합니다. 유효성 검사기는 데이터가 시스템에 들어가고(예: 블록체인 인덱스) 데이터가 시스템에서 나가는 수단(예: 스마트 계약)을 제공합니다.
라우팅 - 분산형 데이터 웨어하우스 네트워크와의 트랜잭션 및 쿼리 상호 작용을 가능하게 합니다.
스트리밍 – 대용량 고객 스트리밍(이벤트 중심) 워크로드를 위한 싱크 역할을 합니다.
합의 - 플랫폼에 들어오고 나가는 데이터에 대한 고성능 비잔틴 내결함성을 제공합니다.
쿼리 증명 – 플랫폼에 SQL 증명 제공
테이블 앵커 - 체인에 테이블을 고정하여 플랫폼에 보관 증거를 제공합니다.
Oracle - 스마트 계약 이벤트 수신 및 크로스체인 메시징/중계를 포함한 Web3 상호 작용을 지원합니다.
보안 – 플랫폼에 대한 인증되지 않은 액세스와 무단 액세스를 방지합니다.
플랫폼으로서의 Space and Time은 세계 최초의 분산형 데이터 구조로, 강력하지만 서비스가 부족한 시장인 데이터 공유를 열어줍니다. Space and Time 플랫폼 내에서 기업은 데이터를 자유롭게 공유하고 스마트 계약을 통해 공유된 데이터를 거래할 수 있습니다. 또한 소비자에게 원시 데이터에 대한 액세스 권한을 부여하지 않고도 SQL 증명을 통해 데이터 세트를 집계하여 수익을 창출할 수 있습니다. 데이터 소비자는 데이터 자체를 보지 않고도 집계가 정확하다고 신뢰할 수 있으므로 데이터 공급자는 더 이상 데이터 소비자가 될 필요가 없습니다. 이러한 이유로 SQL 증명과 데이터 구조 스키마의 조합은 누구나 데이터 세트를 수집, 변환 및 제공하는 데 기여할 수 있으므로 데이터 작업을 민주화할 수 있는 잠재력을 가지고 있습니다.
Web3 데이터 거버넌스 및 검색
현재 Web3 데이터 인프라 아키텍처에는 실용적이고 효율적인 데이터 거버넌스 구조가 부족합니다. 그러나 각 참가자의 관련 관심 사항에 대한 데이터 요소를 구성하려면 실용적이고 효율적인 데이터 거버넌스 인프라가 중요합니다.
데이터 소스의 경우 사전 동의와 데이터 자체를 자유롭게 획득, 복사 및 전송할 수 있는 권리가 필요합니다.
데이터 프로세서의 경우 데이터를 자율적으로 제어하고 사용하며 이익을 얻을 수 있는 권한이 필요합니다.
데이터 파생물의 경우 운영 권한이 필요합니다.
현재 Web3 데이터 거버넌스 기능은 단일이며 계층적 분류 구성 기능이 거의 없이 개인 키 제어를 통해서만 자산과 데이터(Ceramic 포함)를 제어할 수 있는 경우가 많습니다. 최근 Tableland, FEVM 및 Greenfield의 혁신적인 메커니즘은 어느 정도 데이터에 대한 무신뢰 거버넌스를 달성할 수 있습니다. Collibra와 같은 전통적인 데이터 거버넌스 도구는 일반적으로 기업 내에서만 사용할 수 있으며 플랫폼 수준의 신뢰만 가질 수 있습니다.동시에 비중앙화 기술로 인해 개인의 악과 단일 실패 지점을 예방할 수 없습니다. Tableland와 같은 데이터 거버넌스 도구를 통해 데이터 순환 프로세스에 필요한 보안 기술, 표준 및 솔루션을 보장할 수 있습니다.
케이스: 테이블랜드
Tableland Network는 Ethereum(EVM) 및 EVM 호환 L2로 시작하여 구조화된 관계형 데이터를 위한 분산형 web3 프로토콜입니다. Tableland를 사용하면 이제 액세스 제어를 위해 블록체인 레이어를 활용하여 기존 web2 관계형 데이터베이스 기능을 구현할 수 있습니다. 그러나 Tableland는 새로운 데이터베이스가 아니며 단지 web3 기본 관계형 테이블일 뿐입니다.
Tableland는 이러한 절충 사항 없이 dapp이 web3 기반 네트워크에 관계형 데이터를 저장할 수 있는 새로운 방법을 제공합니다.
해결책
Tableland를 사용하면 메타데이터를 변경(필요한 경우 액세스 제어 사용), 쿼리(익숙한 SQL 사용), 구성 가능(Tableland의 다른 테이블 사용) 등 모두 완전히 분산된 방식으로 수행할 수 있습니다.
Tableland는 기존 관계형 데이터베이스를 액세스 제어 논리(ACL)가 있는 온체인 레지스트리와 오프체인(분산형) 테이블이라는 두 가지 주요 구성 요소로 분류합니다. Tableland의 모든 테이블은 처음에 기본 EVM 호환성 계층에서 ERC 721 토큰으로 생성됩니다. 따라서 온체인 테이블 소유자는 테이블에 ACL 권한을 설정할 수 있으며, 오프체인 Tableland 네트워크는 테이블 자체에 대한 생성 및 후속 변경을 관리합니다. 온체인과 오프체인 간의 링크는 모두 계약 수준에서 처리되며, 이는 단순히 Tableland 네트워크를 가리킵니다(메타데이터용 IPFS 게이트웨이 또는 호스팅 서버를 사용하는 많은 기존 ERC 721 토큰과 마찬가지로 baseURI + tokenURI 사용).
적절한 온체인 권한을 가진 사람만이 특정 테이블에 쓸 수 있습니다. 그러나 테이블 읽기는 반드시 온체인 작업이 아니며 Tableland 게이트웨이를 사용할 수 있습니다. 따라서 읽기 쿼리는 무료이며 간단한 프런트 엔드 요청이나 EVM이 아닌 다른 블록체인에서도 발생할 수 있습니다. 이제 Tableland를 사용하려면 먼저 테이블을 생성해야 합니다(즉, ERC 721로 온체인으로 발행). 배포 주소는 처음에 테이블 소유자로 설정되며, 이 소유자는 테이블과 상호 작용하여 변경을 시도하는 다른 사용자에 대한 권한을 설정할 수 있습니다. 예를 들어, 소유자는 값을 업데이트/삽입/삭제할 수 있는 사람, 변경할 수 있는 데이터에 대한 규칙을 설정할 수 있으며, 테이블의 소유권을 다른 당사자에게 양도할 의사가 있는지도 결정할 수 있습니다. 또한 더 복잡한 쿼리는 여러 테이블(소유 또는 비소유)의 데이터를 결합하여 완전히 동적이고 구성 가능한 관계형 데이터 계층을 생성할 수 있습니다.
일부 dapp에 의해 Tableland에 배포된 테이블과 새로운 사용자의 상호 작용을 요약한 다음 다이어그램을 고려하십시오.
전반적인 정보 흐름은 다음과 같습니다.
1. 새로운 사용자가 dapp의 UI와 상호 작용하고 Tableland 테이블에 저장된 일부 정보를 업데이트하려고 시도합니다.
2. dapp은 Tableland 등록 스마트 계약을 호출하여 이 SQL 문을 실행하고, 이 계약은 이 새 사용자의 권한을 정의하는 사용자 지정 ACL이 포함된 dapp의 스마트 계약을 확인합니다. 참고할 몇 가지 사항이 있습니다.
dapp의 별도 스마트 계약에 있는 사용자 정의 ACL은 완전히 선택 사항이지만 고급 사용 사례입니다. 개발자는 사용자 정의 ACL을 구현할 필요가 없으며 Tableland 레지스트리 스마트 계약의 기본 정책을 사용할 수 있습니다(소유자만이 전체 권한을 갖습니다).
Tableland 스마트 계약을 직접 호출하는 대신 게이트웨이를 사용하여 쿼리를 작성할 수도 있습니다. dapp이 Tableland 스마트 계약을 직접 호출할 수 있는 옵션은 항상 있지만, 모든 쿼리는 보조금을 받는 방식으로 스마트 계약 자체에 쿼리를 전달하는 게이트웨이를 통해 전송될 수 있습니다.
3. Tableland 스마트 계약은 사용자의 SQL 문과 권한을 획득하고 이를 SQL 기반 조치를 설명하는 생성된 이벤트에 통합합니다.
4. Tableland Validator 노드는 이러한 이벤트를 수신한 후 다음 작업 중 하나를 수행합니다.
사용자에게 테이블에 쓸 수 있는 올바른 권한이 있는 경우 유효성 검사기는 그에 따라 SQL 명령을 실행하고(예: 테이블에 새 행을 삽입하거나 기존 값을 업데이트) 확인 데이터를 Tableland 네트워크에 브로드캐스트합니다.
사용자에게 올바른 권한이 없으면 유효성 검사기는 테이블에 대해 어떤 작업도 수행하지 않습니다.
요청이 단순 읽기 쿼리인 경우 적절한 데이터가 반환됩니다. Tableland는 누구나 모든 테이블에 대해 읽기 전용 쿼리를 수행할 수 있는 완전 개방형 관계형 데이터 네트워크입니다.
5. dapp은 게이트웨이를 통해 Tableland 네트워크에서 발생하는 모든 업데이트를 반영할 수 있습니다.
(사용 시나리오) 피해야 할 사항
개인 식별 데이터 - Tableland는 개방형 네트워크이며 누구나 모든 테이블의 데이터를 읽을 수 있습니다. 따라서 개인 데이터를 Tableland에 저장해서는 안 됩니다.
고주파수 거래 봇과 같은 고주파수, 1초 미만 쓰기.
모든 사용자 상호 작용을 애플리케이션에 저장합니다. 키 입력이나 클릭과 같은 이 데이터를 web3 테이블에 저장하는 것은 의미가 없을 수 있습니다. 쓰기 빈도가 높으면 비용이 높아집니다.
매우 큰 데이터 세트 - 이러한 데이터 세트는 피해야 하며 IPFS, Filecoin 또는 Arweave와 같은 솔루션을 사용하여 파일 저장소를 통해 처리하는 것이 가장 좋습니다. 그러나 이러한 위치에 대한 포인터와 관련 메타데이터는 실제로 Tableland 테이블의 좋은 사용 사례입니다.
가치 포착에 대한 생각
다양한 단위는 전체 데이터 인프라 아키텍처에서 대체할 수 없는 역할을 합니다. 포착된 가치는 주로 시장 가치/가치 평가 및 추정 수입에 반영됩니다. 다음 결론을 도출할 수 있습니다.
데이터 소스는 전체 아키텍처에서 가장 큰 가치를 포착하는 모듈입니다.
그 다음은 데이터 복제, 변환, 스트리밍 및 데이터 웨어하우징입니다.
분석 계층은 현금 흐름이 양호할 수 있지만 평가에는 한도가 있습니다.
간단히 말해서, 전체 구조 다이어그램의 왼쪽에 있는 회사/프로젝트의 가치 포착이 더 큰 경향이 있습니다.
산업 집중
불완전한 통계분석에 따르면 산업집중도는 다음과 같이 판단할 수 있다.
업계에서 가장 집중도가 높은 두 가지 모듈은 데이터 저장과 데이터 쿼리 및 처리입니다.
중견 산업 집중은 데이터 추출 및 변환입니다.
산업 집중도가 낮은 두 모듈은 데이터 소스, 분석 및 출력입니다.
데이터 소스, 분석 및 출력 산업의 집중도가 낮으며, 초기 판단에서는 서로 다른 비즈니스 시나리오로 인해 데이터베이스 분야의 Oracle, 타사 서비스의 Stripe 및 엔터프라이즈 서비스: Salesforce, 대시보드 분석을 위한 Tableau, 내장된 분석을 위한 Sisense 등.
중공업 집중형 데이터 추출 및 변환 모듈의 경우, 그 이유는 사업 속성의 기술 지향적 성격에 기인한다고 초기에 판단된다. 또한 모듈식 미들웨어 형태로 인해 전환 비용이 상대적으로 낮아집니다.
데이터 저장 및 데이터 쿼리 및 처리 모듈은 업계에서 가장 집중도가 높습니다. 예비 판단에 따르면 단일 비즈니스 시나리오, 높은 기술 콘텐츠, 높은 시작 비용 및 후속 전환 비용으로 인해 회사/프로젝트는 강력한 선점자 역할을 합니다. 장점이 있고 네트워크 효과가 있습니다.
데이터 프로토콜 비즈니스 모델 및 출구 경로
설립시기와 상장으로 보아,
2010년 이전에 설립된 기업/프로젝트는 대부분 데이터 소스 기업/프로젝트였으며, 모바일 인터넷이 아직 등장하지 않았고 데이터의 양도 그리 많지 않았으며, 대시보드를 중심으로 한 데이터 저장 및 분석 출력 프로젝트도 일부 있었습니다.
2010년부터 2014년까지 모바일 인터넷이 부상하기 직전에 Snowflake, Databricks와 같은 데이터 저장 및 쿼리 프로젝트가 탄생했으며 데이터 추출 및 변환 프로젝트도 나타나기 시작했으며 일련의 성숙한 빅 데이터 관리 기술 솔루션이 점차 향상되었습니다. 이 기간에는 주로 대시보드 형태를 중심으로 분석 출력 형태의 프로젝트가 많이 존재합니다.
2015년부터 2020년까지 쿼리 및 처리 프로젝트가 급증하고 데이터 추출 및 변환 프로젝트도 많이 등장하여 사람들이 빅데이터의 힘을 더 잘 활용할 수 있게 되었습니다.
2020년부터 Clickhouse 및 Tabular와 같은 최신 실시간 분석 데이터베이스 및 데이터 레이크 솔루션이 등장했습니다.
소위 대량 채택을 위해서는 인프라 개선이 전제 조건입니다. 대규모 적용 기간 동안에는 여전히 새로운 기회가 있지만 이러한 기회는 거의 미들웨어에만 속하며 기본 데이터 웨어하우스, 데이터 소스 및 기타 솔루션은 특별한 경우가 아닌 한 거의 승자 독식 상황입니다. 기술적인 물질... 성적인 돌파구가 없으면 성장하기 어려울 것입니다.
분석 결과 프로젝트는 어느 기간에나 기업가적 프로젝트를 위한 기회입니다. 하지만 또한 끊임없이 반복하고 혁신하며 새로운 시나리오를 기반으로 새로운 일을 하고 있습니다. 2010년 이전에 등장한 Tableau는 데스크톱 대시보드 분석 도구의 대부분을 차지했으며 이후에는 보다 전문적인 DS/ML 도구, 보다 포괄적인 데이터 워크스테이션과 보다 SaaS 지향적인 임베디드 분석 등
이 관점에서 Web3의 현재 데이터 프로토콜을 살펴보십시오.
데이터 소스 및 스토리지 프로젝트의 현황은 불확실하지만, 선두주자가 등장하기 시작하고 있습니다.온체인 상태 스토리지는 이더리움(시장 가치 2,200억)이 주도하고, 분산형 스토리지는 파일코인(시장 가치 23억)이 주도하고 있습니다. Arweave(시장가치 2억 8천만), Greenfield의 급작스런 출현 가능성도 있습니다. ——최고 가치 포착
데이터 추출 및 변환 프로젝트에는 아직 혁신의 여지가 있습니다. 데이터 오라클 체인링크(시장 가치 38억)는 시작일 뿐입니다. 세라믹, 이벤트 스트림 및 스트림 처리 인프라 등 더 많은 프로젝트가 등장할 것이지만 많지는 않습니다. 방. - 적당한 가치 포착
쿼리 및 처리 프로젝트의 경우 그래프(시장 가치 12억 달러)는 대부분의 요구를 충족할 수 있었으며 프로젝트 유형과 수는 아직 폭발적인 단계에 도달하지 않았습니다. - 적당한 가치 포착
Nansen과 Dune(10억 가치 평가)을 중심으로 한 데이터 분석 프로젝트는 새로운 기회를 갖기 위해 새로운 시나리오가 필요합니다.NFTScan과 NFTGo는 새로운 시나리오와 다소 유사하지만 컨텐츠 업데이트일 뿐 분석 로직/패러다임 수준이 아닙니다. . ——보통의 가치 획득 및 상당한 현금 흐름.
그러나 Web3는 Web2의 복제품도 아니고 Web2의 완전한 진화도 아닙니다. Web3는 매우 고유한 임무와 시나리오를 가지고 있으므로 이전과 완전히 다른 비즈니스 시나리오를 탄생시킵니다(처음 세 가지 시나리오는 모두 현재 만들 수 있는 추상화입니다).
