Что такое доступность данных?

Доступность данных — это гарантия того, что полные данные предлагаемого блока опубликованы в сети, так что любой участник может скачать их и самостоятельно проверить или восстановить состояние цепочки. Эта концепция особенно важна для роллапов, которые выполняют транзакции вне родительской цепочки и должны публиковать исходные данные в проверяемом месте.

Проблема, которую решает DA, — сокрытие данных. Производитель блока может опубликовать правдоподобный заголовок, скрыв транзакции внутри него, и сеть не сможет доказать наличие нарушения из-за отсутствия доказательств. Гарантия того, что данные были опубликованы, пусть даже ненадолго, закрывает такую атаку и позволяет работать доказательствам мошенничества и восстановлению состояния.

DA намеренно носит временный характер. Сетям нужно хранить данные лишь столько, сколько требуется для проверки и завершения периодов оспаривания, после чего их можно удалить. Эфириум удаляет данные blob примерно через 18 дней, а Celestia сократила минимальное окно удаления до чуть более 7 дней, благодаря чему требования к хранилищу узлов не растут вместе с пропускной способностью.

Публикация данных — крупнейшая статья операционных расходов для большинства сетей уровня 2, поэтому цена и ёмкость DA напрямую определяют комиссии роллапов. Это превратило DA в конкурентный рынок, где Эфириум, Celestia, EigenDA и Avail продают блобспейс одним и тем же клиентам.

Как работает доступность данных?

Современные системы DA сочетают стирающее кодирование, криптографические обязательства и случайную выборку, чтобы небольшие и недорогие узлы могли проверять существование огромных объёмов данных, не загружая их.

1. Стирающее кодирование

Erasure coding расширяет данные блока до большего набора избыточных фрагментов, как правило с помощью кодирования Рида — Соломона, так что оригинал можно восстановить лишь из части фрагментов. Если уцелеет половина расширенных данных, уцелеет и весь набор данных.

Это свойство меняет проблему сокрытия данных. Без кодирования скрыть одну транзакцию означает подавить один крошечный фрагмент, который случайные проверки почти никогда не обнаружат. При кодировании скрыть что-либо означает подавить столь большую часть расширенных данных, что несколько выборок почти наверняка обнаружат пропуск.

Обязательства привязывают фрагменты к заголовку блока, чтобы узлы могли проверять каждую выборку по отпечатку. Celestia упорядочивает свои закодированные данные в двумерный квадрат с помощью деревьев Меркла с пространствами имён, а Эфириум и Avail фиксируют данные блобов с помощью полиномиальных обязательств KZG, которые доказывают принадлежность фрагмента набору, не раскрывая остальное.

2. Выборочная проверка доступности данных (DAS)

Сэмплирование — это метод проверки, построенный на основе кодирования. Вместо загрузки блока лёгкий узел запрашивает несколько случайных фрагментов и сверяет их с обязательствами. Каждая успешная выборка резко повышает вероятность того, что все данные доступны, а несколько десятков выборок поднимают уверенность выше 99,99 %.

Безопасность растёт вместе с участием. Каждый дополнительный узел выборки запрашивает другие случайные координаты, поэтому тысячи лёгких клиентов совместно охватывают весь набор данных, даже если ни у одной машины его нет целиком. Скрытые данные быстро не проходят проверку выборкой, и честные узлы отклоняют блок до его финализации.

Большие блоки становятся безопасными благодаря выборочной проверке. Сеть может увеличить ёмкость данных на порядок, не заставляя каждый узел покупать больше пропускной способности, потому что стоимость проверки остаётся примерно постоянной. Именно этот механизм лежит в основе PeerDAS в Эфириуме и сети лёгких узлов Celestia.

3. Полные узлы, лёгкие узлы и реконструкция

Сети DA распределяют обязанности по проверке между разными типами узлов. Полные узлы загружают и хранят блоки целиком или назначенные их части, передают выборки остальной сети и восстанавливают недостающие данные из фрагментов с кодированием со стиранием, если производитель блока скрывает его часть.

Выборку выполняют лёгкие узлы. Они хранят только заголовки и обязательства, работают на ноутбуках или телефонах и всё равно получают надёжные гарантии существования данных. По конструкции PeerDAS в Эфириум даже валидаторы больше не хранят каждый блоб: каждый узел хранит назначенную часть кодированных данных, а остальное проверяет выборочно у других узлов.

Реконструкция — это страховочная сетка, связывающая обе части. Если достаточное число честных узлов вместе хранит достаточно фрагментов, полный набор данных всегда можно восстановить и опубликовать заново, поэтому сетям с выборочной проверкой нужно минимальное число честных участников, а большее их число укрепляет сеть, а не нагружает её.

4. Комитеты по доступности данных (DAC)

Не каждый блокчейн платит за полные гарантии DA. Комитет доступности данных — это фиксированная группа известных операторов, которые хранят данные роллапа вне родительской сети и подписывают подтверждения того, что они существуют. Validiums и optimiums используют эту модель, чтобы снизить издержки почти до нуля, принимая, что пользователям приходится доверять комитету, а не открытой проверке.

Если комитет вступит в сговор или откажет, пользователи могут оказаться не в состоянии подтвердить свои балансы или выйти из сети; системы на основе выборки устраняют этот риск, позволяя любому напрямую проверять данные. L2BEAT отслеживает, какие сети полагаются на комитеты, а какие — на проверяемые уровни DA, и значительная доля специализированных чейнов всё ещё выбирает модель комитета из-за её стоимости.

Гибридные решения пытаются сократить разрыв. Некоторые комитеты публикуют криптографические обязательства в родительском блокчейне, добавляют стейкинг и слэшинг для наказания за недобросовестное поведение или переходят к полной ончейн-публикации, если подтверждения перестают поступать.

Доступность данных в Эфириум: blobs и PeerDAS

Эфириум превратил DA в полноценный продукт с обновлением Dencun в марте 2024 года, которое ввело blobs через EIP-4844. Blobs — это пакеты данных размером 128 КБ, которые роллапы прикрепляют к блокам; они оцениваются на отдельном рынке комиссий и удаляются примерно через 18 дней.

С момента запуска ёмкость росла ступенчато. Dencun начал с целевого значения 3 blobs на блок, обновление Pectra удвоило его до 6, а обновление Fusaka затем активировало PeerDAS — протокол выборочной проверки, позволяющий узлам проверять blobs, не загружая их все. Fusaka также добавило форки Blob Parameter Only — небольшие заранее запланированные обновления, повышающие лимиты blobs без полноценного хардфорка.

В течение нескольких недель последовали ещё два форка BPO. Второй форк BPO поднял целевое значение до 14 blobs на блок при максимуме 21, то есть примерно 2,7 МБ данных на блок, а ключевые разработчики придержали дальнейшее увеличение, пока спрос не заполнит новое пространство. Дорожная карта ведёт к полноценному данкшардингу, где двумерная выборка поддерживает значительно большее число blobs, а предстоящее обновление Glamsterdam перестраивает распространение блоков, чтобы открыть следующий шаг.

Цена важна не меньше, чем объём. Комиссии за блобы определяются отдельным аукционом, поэтому роллапы платят очень мало, когда блобспейс свободен, и одновременно сталкиваются с ростом комиссий, когда он заполняется. Такой цикл проявился, когда спрос достиг лимитов Pectra, прежде чем Fusaka вернул запас ёмкости.

Блобы Эфириум против Celestia, EigenDA и Avail

Роллапы теперь выбирают между собственным блобпространством Эфириума и специализированными сетями DA, и это решение определяет их структуру затрат, потолок пропускной способности и допущения о доверии. Эфириум предлагает наиболее глубокую безопасность и оставляет проверку данных внутри того же набора валидаторов, который проводит расчёты роллапа, тогда как альтернативы предлагают значительно больше сырой пропускной способности дешевле.

Celestia — крупнейшая специализированная сеть DA, блокчейн на основе proof-of-stake, который занимается только упорядочиванием и публикацией данных blobs, проверяемых выборочной проверкой лёгкими узлами. Обновление Matcha увеличило максимальный размер блоков с 8 МБ до 128 МБ и вдвое снизило инфляцию; это часть дорожной карты с целевой пропускной способностью 1 ГБ в секунду. Суверенные роллапы и высоконагруженные блокчейны, такие как Eclipse, публикуют данные там из-за цены и запаса мощности.

EigenDA идёт другим путём: это сервис, защищённый ETH, restaked через EigenLayer, а не отдельный блокчейн. Его вторая версия достигла 100 МБ в секунду в основной сети — самой высокой действующей пропускной способности среди систем DA, поэтому на ней строятся ориентированные на производительность сети, например MegaETH. Компромисс в том, что модель рассылки данных ближе к децентрализованному комитету, чем к открыто проверяемому выборкой блокчейну.

Avail находится между ними: это суверенная DA-цепочка с теми же обязательствами KZG и схемой семплирования, что и в дорожной карте danksharding Эфириума. Сегодня она обрабатывает блоки по 4 МБ с заявленным путём к ёмкости в несколько гигабайт и сочетает уровень DA с Nexus, кроссчейн-системой координации, уже работающей в основной сети.

Вот как сравниваются основные варианты:

Доступность данных и хранение данных

DA и хранение данных отвечают на разные вопросы. Доступность подтверждает, что данные были опубликованы и доступны для проверки в момент создания блока, и именно это требуется для консенсуса и доказательств мошенничества. Хранение обеспечивает возможность получить данные спустя долгое время, и именно это нужно обозревателям, индексаторам и пользователям, воспроизводящим историю.

Блокчейны гарантируют только первое. Когда проходит примерно 18-дневное окно хранения блобов в Эфириум или окно прунинга в Celestia, протокол больше не обещает, что данные по-прежнему существуют, а стимул хранить их смещается к сторонам, которым нужна история: командам роллапов, архивным узлам, обозревателям и индексаторам.

Вторую роль выполняют сети постоянного хранения. Такие системы, как Arweave и Filecoin, платят узлам за бессрочное хранение данных, и некоторые роллапы архивируют там свою урезанную историю блобов. Смешение этих двух ролей приводит к распространённому заблуждению, что урезание делает роллапы небезопасными, хотя значимое для безопасности окно к моменту истечения срока данных уже закрыто.

Почему доступность данных важна для роллапов

Безопасность любого роллапа сводится к утверждению, что посторонние могут проверить его состояние, а без опубликованных данных это утверждение не работает. Оптимистичным роллапам данные нужны, чтобы оспаривающие участники могли обнаружить недопустимый корень состояния и подать доказательство мошенничества в течение окна оспаривания. Если бы секвенсор мог скрывать транзакции, никто не смог бы построить доказательство, и кража была бы подтверждена без оспаривания.

ZK-роллапам это нужно по другой причине. Доказательство валидности уже гарантирует правильное вычисление перехода состояния, но пользователям всё равно нужны исходные данные, чтобы знать свои балансы и выйти из роллапа, если его операторы исчезнут. Доказательства без данных оставляют цепочку корректной, но непригодной для использования, поэтому оба типа роллапов считают DA обязательной, тогда как validium допускают более слабые гарантии комитета ради снижения затрат.

Пропускная способность DA также ограничивает производительность роллапов. Сеть может обрабатывать транзакции лишь так быстро, как публикует лежащие в их основе данные, поэтому лимиты блобов и пропускная способность DA задают потолок пропускной способности и уровень комиссий во всей экосистеме Layer 2. Именно поэтому каждое крупное обновление масштабирования за последние два года, от Dencun через Fusaka до Matcha от Celestia, прежде всего было обновлением DA.

Сложности обеспечения доступности данных

Удержание данных остаётся основной атакой. Выборочная проверка статистически её нейтрализует, но гарантии зависят от допущений, которые должны выполняться на практике, включая достаточное число честных узлов, проводящих выборку, непредсказуемые запросы выборки и работающее восстановление при потере фрагментов. Протокол восстановления блоков Celestia для минимальных популяций лёгких узлов всё ещё активно разрабатывается, а PeerDAS был запущен в основной сети Эфириума всего около полугода назад.

Экономика создаёт второй набор давлений. Выделенные уровни DA оценивают блобспейс так дёшево, что доход от комиссий остаётся скудным, и возникают вопросы о долгосрочном финансировании их наборов валидаторов, тогда как Эфириум сталкивается с обратным напряжением: вынос данных на внешние уровни уводит комиссионный доход от его собственных валидаторов. Системы на основе комитетов наследуют привычные риски централизации, поскольку небольшой набор операторов может цензурировать, вступать в сговор или просто уйти в офлайн.

Масштаб добавляет и собственные инженерные риски. Передача блоков по 128 МБ или 100 МБ в секунду распределённых данных подходит к пределам сети, и каждое увеличение мощности должно сохранять возможность проверять цепочку при скромном домашнем подключении. Целевые показатели дорожной карты сектора, гигабайтные блоки и более, зависят от того, что выборка будет работать и при росте наборов данных на порядки.

Выводы

Доступность данных начиналась как малозаметный элемент проектирования роллапов, а стала осью, вокруг которой вращается вся дискуссия о масштабировании. Тот, кто публикует данные, определяет безопасность построенной поверх них сети, а тот, кто устанавливает на них цену, определяет комиссии пользователей.

Отрасль сошлась на выборочной проверке. PeerDAS в Эфириум, лёгкие узлы Celestia и дизайн KZG в Avail опираются на одну и ту же идею: случайные проверки данных с избыточным кодированием позволяют небольшим машинам верифицировать огромные блоки, а EigenDA показывает, какую необработанную пропускную способность сегодня может обеспечить набор операторов restaked.

Мы ожидаем, что следующий этап определит спрос. Ёмкость блобов в Эфириум превышает использование, у Celestia запас в 16x относительно прежних лимитов, и открытым остаётся вопрос, какие приложения, от сетей для высокочастотной торговли до ончейн-игр, вырастут в созданном для них пространстве.