[Перевод] При работе с Delta Lake оптимизируем через кластеризацию, а не через сегментирование
Habr ·
![[Перевод] При работе с Delta Lake оптимизируем через кластеризацию, а не через сегментирование](https://habrastorage.org/extt/27/9e/10/279e10ba903739ce9db6bdab1d3b6bcc.jpg)
Сегментирование в стиле Hive применяется для оптимизации физического диска и более качественной компоновки данных, о чём подробнее рассказано в статье Organizing Data: Partition by Disk to Hive-style Partitioning . Но при работе с облачными объектными хранилищами сегментирование — не лучшая стратегия, и нам следует переосмыслить наш подход к организации данных. В этой статье обсудим, как путём пропуска данных (data skipping) и использования Z-порядка сократить объём тех данных, которые приходится просматривать. В результате можно значительно повысить производительность при обработке запросов и удешевить эти операции за счёт использования приёмов кластеризации. Читать далее