Что такое Data Availability?

Data availability — это уверенность в том, что полные данные, лежащие в основе предлагаемого блока, были опубликованы в сети, поэтому любой участник может загрузить их и самостоятельно проверить или восстановить состояние цепи. Эта концепция наиболее важна для rollup, которые выполняют транзакции в стороне от родительской цепи и должны публиковать базовые данные в каком-либо проверяемом месте.

Проблема, которую решает data availability, — это утаивание. Производитель блоков может опубликовать заголовок с правдоподобным видом, скрывая при этом находящиеся внутри него транзакции, в результате чего сеть не сможет доказать, что что-то не так, поскольку доказательства отсутствуют. Гарантия того, что данные были опубликованы, пусть даже на короткое время, пресекает эту атаку и позволяет работать доказательствам мошенничества и восстановлению состояния.

Data availability намеренно носит временный характер. Сетям необходимо хранить данные лишь до тех пор, пока не пройдут окна проверки и споров, после чего их можно удалить. Ethereum удаляет blob-данные примерно через 18 дней, а Celestia сократила минимальное окно удаления чуть более чем до 7 дней, сохраняя требования к хранилищу нод неизменными по мере роста пропускной способности.

Публикация данных является крупнейшей операционной затратой для большинства Layer 2 сетей, поэтому цена и емкость data availability напрямую определяют комиссии rollup. Это превратило data availability в конкурентный рынок, где Ethereum, Celestia, EigenDA и Avail продают пространство для blobs одним и тем же клиентам.

Как работает Data Availability?

Современные системы data availability сочетают в себе стирающее кодирование, криптографические коммитменты и случайную выборку, чтобы позволить небольшим дешевым нодам проверять существование огромных объемов данных без загрузки каких-либо из них.

1. Стирающее кодирование

Стирающее кодирование расширяет данные блока в больший набор избыточных фрагментов, обычно с использованием кодирования Рида-Соломона, так что оригинал может быть восстановлен только из части этих кусочков. Если выживает половина расширенных данных, выживает весь набор данных.

Это свойство преобразует проблему утаивания. Без кодирования сокрытие одной транзакции означает подавление одного крошечного фрагмента, который случайные проверки почти никогда не поймают. С кодированием сокрытие чего-либо означает подавление столь значительной части расширенных данных, что горстка выборок обнаруживает пробел с практически абсолютной уверенностью.

Коммитменты привязывают фрагменты к заголовку блока, чтобы ноды могли сверять каждую выборку с отпечатком пальца. Celestia организует свои закодированные данные в виде двумерного квадрата с деревами Меркле с поддержкой пространств имен, в то время как Ethereum и Avail используют полиномиальные коммитменты KZG для данных blobs, которые доказывают принадлежность фрагмента набору без раскрытия остальных данных.

2. Выборка доступности данных (DAS)

Выборка — это метод проверки, построенный поверх кодирования. Вместо загрузки блока легкая нода запрашивает несколько случайных фрагментов и проверяет их по коммитментам. Каждая успешная выборка резко повышает вероятность того, что все данные на месте, а несколько дюжин выборок поднимают уверенность выше 99,99%.

Безопасность масштабируется за счет участия. Каждая дополнительная нода выборки запрашивает разные случайные координаты, поэтому тысячи легких клиентов коллективно охватывают весь набор данных, даже если ни одна машина не хранит его целиком. Утаиваемые данные быстро не проходят выборку, и честные ноды отвергают блок до его финализации.

Большие блоки становятся безопасными благодаря выборке. Цепь может увеличить емкость данных на порядок, не заставляя каждую ноду покупать большую пропускную способность, поскольку стоимость проверки остается примерно постоянной. Это механизм, лежащий в основе как PeerDAS в Ethereum, так и сети легких нод в Celestia.

3. Полные узлы, легкие узлы и реконструкция

Сети data availability распределяют функции верификации между типами узлов. Полные узлы скачивают и сохраняют полные блоки или назначенные им части, предоставляют сэмплы остальной сети и восстанавливают недостающие данные из фрагментов с кодом стирания, когда производитель задерживает часть блока.

Легкие узлы выполняют самплинг. Они хранят только заголовки и обязательства, работают на ноутбуках или телефонах и при этом получают надежные гарантии существования данных. Согласно концепции PeerDAS в Ethereum, даже валидаторы больше не хранят каждый blobs, поскольку каждый узел сохраняет назначенный фрагмент закодированных данных и выполняет самплинг остальных у участников.

Реконструкция — это страховочная сетка, связывающая их воедино. Если достаточное количество честных узлов хранит между собой достаточно фрагментов, весь набор данных всегда может быть восстановлен и опубликован повторно, поэтому сетям самплинга требуется минимальное количество честных участников, а большее их число укрепляет сеть, а не создает для нее нагрузку.

4. Комитеты доступности данных (DAC)

Не каждая сеть платит за полные гарантии data availability. Комитет доступности данных — это фиксированная группа известных операторов, которые хранят данные роллапа вне родительской сети и подписывают аттестации об их существовании. Validiums и optimiums используют эту модель, чтобы снизить затраты почти до нуля, допуская, что пользователи должны доверять комитету, а не открытой верификации.

Если комитет вступает в сговор или дает сбой, пользователи могут не суметь доказать свои балансы или выйти из сети — этот риск устраняют системы на основе самплинга, позволяя любому напрямую проверять данные. L2BEAT отслеживает, какие сети полагаются на комитеты, а какие — на проверяемые слои data availability, и значительная доля приложений со специфическими сетями по-прежнему выбирает модель комитета из-за ее цены.

Гибридные разработки пытаются сократить этот разрыв. Некоторые комитеты публикуют криптографические обязательства в родительской сети, добавляют staking и slashing в качестве наказания за ненадлежащее поведение или возвращаются к полной публикации ончейн, если аттестации перестают поступать.

Доступность данных в Ethereum: Blobs и PeerDAS

Ethereum превратил data availability в первоклассный продукт с обновлением Dencun в марте 2024 года, которое представило blobs с помощью EIP-4844. Blobs — это пакеты данных размером 128 КБ, которые роллапы прикрепляют к блокам, оцениваемые отдельным рынком комиссий и очищаемые примерно через 18 дней.

С момента запуска пропускная способность росла поэтапно. Dencun начинался с целевого показателя в 3 blobs на блок, обновление Pectra удвоило этот показатель до 6, а обновление Fusaka затем активировало PeerDAS — протокол самплинга, позволяющий узлам проверять blobs без их полной загрузки. Fusaka также добавила форки Blob Parameter Only (BPO) — небольшие заранее запланированные обновления, которые повышают лимиты blobs без полноценного хардфорка.

За ними последовало два форка BPO в течение нескольких недель. Второй форк BPO увеличил целевой показатель до 14 blobs на блок при максимуме в 21, что составляет примерно 2,7 МБ данных на блок, а основные разработчики оставили дальнейшие увеличения в резерве до тех пор, пока спрос не заполнит новое пространство. Дорожная карта ведет к полноценному danksharding, где двухмерный самплинг поддерживает гораздо большее количество blobs, а предстоящее обновление Glamsterdam реструктурирует распространение блоков для реализации следующего шага.

Ценообразование имеет такое же значение, как и емкость. Комиссии за blobs формируются на их собственном аукционе, поэтому роллапы платят очень мало, когда пространство blobs свободно, и резко поднимают цены вместе с его насыщением — цикл, который повторился, когда спрос догнал лимиты Pectra до того, как Fusaka сбросила запас прочности.

Ethereum Blobs против Celestia против EigenDA против Avail

Теперь роллапы выбирают между нативным пространством blobs в Ethereum и специализированными сетями data availability, и это решение определяет их базу затрат, пределы пропускной способности и предположения о доверии. Ethereum предлагает самую надежную безопасность и сохраняет верификацию данных в том же наборе валидаторов, который осуществляет расчеты для роллапа, в то время как альтернативы продают гораздо больше сырой пропускной способности за меньшие деньги.

Celestia — крупнейшая специализированная сеть data availability, PoS-сеть, которая не делает ничего, кроме упорядочивания и публикации blobs данных, проверяемых с помощью самплинга легких узлов. Ее обновление Matcha увеличило максимальный размер блоков с 8 МБ до 128 МБ и сократило инфляцию вдвое в рамках дорожной карты, нацеленной на пропускную способность 1 ГБ в секунду. Суверенные роллапы и высокообъемные сети, такие как Eclipse, публикуют данные там из-за цены и запаса пространства.

EigenDA идет по другому пути, работая в качестве сервиса, защищенного с помощью ETH, restaked через EigenLayer вместо работы собственной сети. Ее вторая версия достигла 100 МБ в секунду в mainnet, что является самой высокой рабочей пропускной способностью среди всех систем data availability, поэтому ориентированные на производительность сети, такие как MegaETH, строятся на ее базе. Компромисс заключается в модели распределения, которая ближе к децентрализованному комитету, чем к сети с открытым самплингом.

Avail находится между ними — это суверенная сеть data availability, использующая те же обязательства KZG и дизайн самплинга, что и дорожная карта danksharding Ethereum. Сегодня она поддерживает блоки по 4 МБ с заявленным путем к многогигабайтной емкости, а также объединяет слой data availability с Nexus — системой кроссчейн-координации, которая уже работает в mainnet.

Вот как соотносятся основные варианты:

data availability против хранения данных

DA и хранилище отвечают на разные вопросы. Доступность подтверждает, что данные были опубликованы и доступны для проверки в момент создания блока, что требуется для консенсуса и доказательств мошенничества. Хранение обеспечивает возможность извлечения данных долгое время спустя, что необходимо эксплорерам, индексаторам и пользователям, восстанавливающим историю.

Блокчейны обеспечивают выполнение только первого пункта. Как только проходит окно блобов Ethereum (примерно 18 дней) или окно очистки Celestia, протокол больше не гарантирует существование данных, а стимулы для их хранения переходят к сторонам, которым требуется история, включая команды роллапов, архивные ноды, эксплореры и индексаторы.

Сети постоянного хранения выполняют вторую роль. Такие системы, как Arweave и Filecoin, платят нодам за бессрочное хранение данных, а некоторые роллапы архивируют там историю удаленных блобов. Смешение этих двух понятий приводит к распространенному заблуждению о том, что очистка делает роллапы небезопасными, хотя окно, имеющее отношение к безопасности, закрывается задолго до того, как истекает срок действия данных.

Почему data availability важна для роллапов

Безопасность каждого роллапа сводится к утверждению, что посторонние лица могут проверить его состояние, и это утверждение теряет силу без опубликованных данных. Оптимистичным роллапам данные нужны для того, чтобы участники могли обнаружить недействительный корень состояния и отправить доказательство мошенничества в течение периода спора. Если бы секвенсор мог скрывать транзакции, никто не смог бы сформировать доказательство, и кража была бы завершена без сопротивления.

ZK rollups нуждаются в этом по другой причине. Доказательство достоверности уже гарантирует правильность вычисления перехода состояния, но пользователям все равно нужны базовые данные, чтобы знать свои балансы и выйти из роллапа в случае исчезновения его операторов. Доказательства без данных оставляют сеть корректной, но непригодной для использования, поэтому оба семейства rollup рассматривают DA как обязательное условие, в то время как валидиумы идут на более слабые гарантии комитетов ради снижения затрат.

Пропускная способность DA также ограничивает производительность роллапов. Сеть может обрабатывать транзакции только с той скоростью, с которой способна публиковать лежащие в их основе данные, поэтому лимиты blobs и ширина полосы пропускания DA определяют верхние пределы пропускной способности и уровни комиссий во всей экосистеме Layer 2. Эта связь объясняет, почему каждое крупное обновление масштабирования за последние два года, от Dencun и до Fusaka с Matcha от Celestia, в первую очередь было связано с DA.

Проблемы обеспечения data availability

Сокрытие данных остается главной угрозой. Выборочная проверка статистически нейтрализует её, но гарантии опираются на допущения, которые должны выполняться на практике, включая достаточное количество честных узлов выборки, непредсказуемость запросов на проверку и корректную реконструкцию в случае утери фрагментов. Протокол реконструкции блоков Celestia для минимальной популяции легких узлов все еще находится в активной разработке, а PeerDAS была запущена в основная сеть Ethereum едва ли полгода назад.

Экономика порождает вторую волну давления. Выделенные уровни DA устанавливают настолько низкие цены на пространство blobs, что доходы от комиссий остаются скромными, что вызывает вопросы о долгосрочном финансировании их валидаторов, в то время как Ethereum сталкивается с противоположной проблемой, поскольку перенос данных на внешние уровни лишает доходов от комиссий его собственные валидаторы. Системы на основе комитетов наследуют привычные риски централизации, так как небольшой набор операторов может подвергать цензуре, вступать в сговор или просто отключаться.

Масштабирование добавляет собственные инженерные риски. Распространение блоков размером 128 МБ или 100 МБ рассеянных данных в секунду испытывает на прочность сетевые ограничения, и каждый скачок емкости должен сохранять условие, при котором скромное домашнее подключение способно проверять сеть. Целевые показатели дорожной карты сектора — гигабайтные блоки и выше — полностью зависят от того, продолжит ли выборка работать по мере роста наборов данных на порядки величин.

Заключение

Data availability начинала как малоизвестный элемент архитектуры роллапов и превратилась в ось, вокруг которой вращаются все дебаты о масштабировании. Тот, кто публикует данные, определяет безопасность построенной поверх сети, а тот, кто устанавливает цены, определяет комиссии, которые платят пользователи.

Индустрия консолидировалась вокруг выборки. PeerDAS в Ethereum, легкие узлы в Celestia и дизайн KZG в Avail сходятся в одном: случайные проверки закодированных с исправлением ошибок данных позволяют небольшим устройствам верифицировать огромные блоки, в то время как EigenDA демонстрирует, какой объем сырой пропускной способности набор рестейкинг-операторов способен обеспечить уже сегодня.

Мы ожидаем, что именно спрос определит следующую фазу. Емкость blobs на Ethereum опережает использование, Celestia обладает 16-кратным запасом прочности по сравнению со своими старыми лимитами, и открытым остается вопрос о том, какие приложения — от высокочастотных торговых сетей до ончейн-игр — заполнят пространство, созданное для них.