Gestión de Archivos en el Espacio de Trabajo

Una de las primeras cosas que debes aprender es que Databricks tiene "dos lados de la casa". Un lado es para tu trabajo: tus scripts y notebooks. El otro lado es para los datos reales que estás analizando. Comprender dónde se encuentra cada uno te ahorrará mucha frustración cuando empieces a escribir código.

Archivos del Espacio de Trabajo: Donde vive tu código

Cuando haces clic en la pestaña Workspace en la barra lateral, estás viendo un sistema de archivos para tu lógica.

• Aquí es donde creas carpetas, subcarpetas y notebooks.
• También puedes almacenar archivos que no sean notebooks, como pequeños scripts de Python o archivos de requerimientos.
• Importante: estos no son "data tables". No almacenes aquí un archivo CSV de 100GB. Esta área es para tu propiedad intelectual: el código que le indica a Databricks qué hacer.

El Catálogo: Dónde reside tu información

Para visualizar tus datos, accede a la pestaña Catalog. Anteriormente, Databricks dependía en gran medida de DBFS (Databricks File System). Aunque aún puedes encontrar referencias a DBFS en documentación antigua, actualmente se considera un enfoque heredado.

Hoy en día, se utiliza el Catalog (impulsado por Unity Catalog). Esto proporciona una forma estructurada, similar a SQL, de visualizar los datos:

• Unity Catalogs: agrupación lógica (por ejemplo, production_data o marketing_data) de esquemas;
• Schemas (o Databases): método para organizar tablas dentro de un catálogo, así como Volumes (ver más abajo), modelos de ML y funciones;
• Tables: filas y columnas reales que consultarás.

Volúmenes: gestión de archivos sin procesar

A veces tienes datos que aún no son una tabla, como un archivo CSV sin procesar o una imagen. En la interfaz moderna de Databricks, estos se almacenan en Volúmenes. Piensa en un Volumen como un puente entre la antigua forma de pensar en "carpetas" y la nueva, segura, forma de "Catálogo". Puedes explorar estos volúmenes directamente dentro de la interfaz de Catálogo para ver tus archivos sin procesar antes de cargarlos en tablas.

¿Por qué es importante la distinción?

Todo se reduce a la Seguridad y el Rendimiento. Al mantener el código en el Workspace y los datos en el Catalog, Databricks permite a los administradores otorgar permiso a un usuario para editar un notebook sin necesariamente darle permiso para ver los datos sensibles dentro de una tabla. Esta "separación de responsabilidades" es lo que convierte a Databricks en una plataforma de nivel empresarial.