Seguridad, acceso y operaciones para migraciones de Netezza

Este artículo es la tercera parte de una serie de siete partes que proporciona instrucciones sobre cómo migrar de Netezza a Azure Synapse Analytics. Este artículo se centra en los procedimientos recomendados para las operaciones de acceso de seguridad.

Consideraciones sobre la seguridad

En este artículo se describen los métodos de conexión para entornos heredados de Netezza existentes e indica cómo se pueden migrar a Azure Synapse Analytics con un riesgo y un impacto mínimo para el usuario.

Este artículo asume que hay un requisito dedicado a migrar los métodos existentes de conexión y usuario, de rol y de estructura de permisos tal cual. Si no es así, use Azure Portal para crear y administrar un nuevo régimen de seguridad.

Para obtener más información sobre las opciones de seguridad de Azure Synapse, consulte Notas del producto seguridad.

Conexión y autenticación

Opciones de autorización de Netezza

El sistema IBM Netezza ofrece varios métodos de autenticación para los usuarios de base de datos de Netezza:

• Autenticación local: los administradores de Netezza definen los usuarios de la base de datos y sus contraseñas mediante el comando CREATE USER o mediante interfaces administrativas de Netezza. En la autenticación local, use el sistema Netezza para administrar las cuentas de base de datos y las contraseñas, y para agregar y quitar usuarios de la base de datos del sistema. Este método es el método de autenticación predeterminado.

• Autenticación LDAP: use un servidor de nombres LDAP para autenticar a los usuarios de la base de datos, administrar contraseñas y activar y desactivar cuentas de base de datos. El sistema Netezza usa un módulo de autenticación conectable (PAM) para autenticar a los usuarios en el servidor de nombres LDAP. Microsoft Active Directory se ajusta al protocolo LDAP, por lo que se puede tratar como un servidor LDAP con fines de autenticación LDAP.

• Autenticación Kerberos: use un servidor de distribución Kerberos para autenticar a los usuarios de la base de datos, administrar contraseñas y activar y desactivar cuentas de base de datos.

La autenticación es la configuración de todo el sistema. Los usuarios deben autenticarse localmente o mediante el método LDAP o Kerberos. Si elige la autenticación LDAP o Kerberos, cree usuarios con autenticación local por usuario. Recuerde que LDAP y Kerberos no se pueden usar al mismo tiempo para autenticar a los usuarios. El host de Netezza solo admite la autenticación LDAP o Kerberos para inicios de sesión del usuario de base de datos, no para los inicios de sesión del sistema operativo en el host.

Opciones de autorización de Azure Synapse

Azure Synapse admite dos opciones básicas para la conexión y la autorización:

• Autenticación de SQL: la autenticación de SQL se realiza a través de una conexión de base de datos que incluye un identificador de base de datos, un id. de usuario y una contraseña más otros parámetros opcionales. Básicamente, esto equivale a las conexiones locales de Netezza.

• Autenticación de Microsoft Entra: con la autenticación de Microsoft Entra, puede administrar centralmente las identidades de los usuarios de la base de datos y otros servicios de Microsoft en una ubicación central. La administración central de identificadores ofrece una ubicación única para administrar usuarios de Azure Synapse y simplifica la administración de permisos. Microsoft Entra ID también puede admitir conexiones a los servicios LDAP y Kerberos; por ejemplo, Microsoft Entra ID se puede usar para conectarse a los directorios LDAP existentes si estos deben permanecer en vigor después de la migración de la base de datos.

Usuarios, roles y permisos

Información general

Tanto Netezza como Azure Synapse implementan el control de acceso a la base de datos a través de una combinación de usuarios, roles (grupos en Netezza) y permisos. Usan las instrucciones SQL estándar CREATE USER y CREATE ROLE/GROUP para definir usuarios y roles, así como instrucciones GRANT y REVOKE para asignar o quitar permisos a esos usuarios o roles.

Conceptualmente, las dos bases de datos son similares y es posible automatizar la migración de identificadores de usuario, grupos y permisos existentes hasta cierto punto. Para migrar estos datos, extraiga la información del grupo y el usuario heredados existente de las tablas del catálogo del sistema de Netezza y genere las instrucciones equivalentes CREATE USER y CREATE ROLE que se ejecutarán en Azure Synapse para volver a crear la misma jerarquía de roles y usuarios.

Después de extraer los datos, use las tablas del catálogo del sistema de Netezza para generar instrucciones GRANT equivalentes para asignar permisos (donde exista una instrucción equivalente). En el diagrama siguiente se muestra cómo usar los metadatos existentes para generar la instancia de SQL necesaria.

Para obtener más detalles, consulte las secciones siguientes.

Usuarios y roles

La información sobre los usuarios y grupos actuales de un sistema Netezza se mantiene en las vistas de catálogo del sistema _v_users y _v_groupusers. Use la utilidad nzsql o herramientas como Netezza Performance, NzAdmin o los scripts de la utilidad de Netezza para enumerar los privilegios de usuario. Por ejemplo, use los comandos dpu y dpgu en nzsql para mostrar usuarios o grupos con sus permisos.

Use o edite los scripts de utilidad nz_get_users y nz_get_user_groups para recuperar la misma información en el formato necesario.

Consulte directamente las vistas de catálogo del sistema (si el usuario tiene acceso SELECT a esas vistas) para obtener las listas actuales de usuarios y roles definidos en el sistema. Consulte ejemplos para enumerar usuarios, grupos o usuarios y sus grupos asociados:

-- List of users
SELECT USERNAME FROM _V_USER;

--List of groups
SELECT DISTINCT(GROUPNAME) FROM _V_USERGROUPS;

--List of users and their associated groups
SELECT USERNAME, GROUPNAME FROM _V_GROUPUSERS;

Modifique las instrucciones SELECT de ejemplo para generar un conjunto de resultados, que sea una serie de instrucciones CREATE USER y CREATE GROUP, incluyendo el texto literal adecuado de la instrucción SELECT.

No hay ninguna manera de recuperar las contraseñas existentes, por lo que debe implementar un esquema para asignar nuevas contraseñas iniciales en Azure Synapse.

Permisos

En un sistema Netezza, la tabla del sistema _t_usrobj_priv contiene los derechos de acceso para los usuarios y los roles. Consulte estas tablas (si el usuario tiene acceso de tipo SELECT a esas tablas) para obtener las listas actuales de acceso definidas en el sistema.

En Netezza, los permisos individuales se representan como bits individuales dentro de privilegios de campo o g_privileges. Consulte la instrucción SQL de ejemplo en los permisos de grupo de usuarios.

La manera más sencilla de obtener un script DDL que contiene los comandos GRANT para replicar los privilegios actuales de los usuarios y grupos, es usar los scripts de utilidad de Netezza adecuados:

--List of group privileges
nz_ddl_grant_group -usrobj dbname > output_file_dbname;

--List of user privileges
nz_ddl_grant_user -usrobj dbname > output_file_dbname;

El archivo de salida se puede modificar para generar un script que sea una serie de instrucciones GRANT para Azure Synapse.

Netezza admite dos clases de derechos de acceso: Administrador y Objeto. Consulte la tabla siguiente para obtener una lista de los derechos de acceso de Netezza y su equivalente en Azure Synapse.

Notas de la tabla:

1. No hay ningún equivalente directo a esta función en Azure Synapse.

2. Estas funciones de Netezza se controlan automáticamente en Azure Synapse.

3. La característica CREATE FUNCTION de Azure Synapse incorpora la funcionalidad de agregado de Netezza.

4. El sistema o Azure Portal administran automáticamente estas características en Azure Synapse. Consulte la sección siguiente sobre consideraciones operativas.

Consulte Permisos de seguridad de Azure Synapse Analytics.

Consideraciones acerca de las operaciones

En esta sección se describe cómo implementar tareas operativas típicas de Netezza en Azure Synapse con un riesgo y un impacto mínimos para los usuarios.

Igual que sucede con todos los productos de almacenamiento de datos, una vez en producción, hay tareas de administración continuas que son necesarias para mantener el sistema funcionando de forma eficaz y así poder proporcionar datos para la supervisión y auditoría. El uso de recursos y el planeamiento de la capacidad para el crecimiento futuro también entran en esta categoría, igual que la copia de seguridad o la restauración de los datos.

Las tareas de administración de Netezza normalmente se dividen en dos categorías:

• La administración del sistema, que administra el hardware, las opciones de configuración, el estado del sistema, el acceso, el espacio en disco, el uso, las actualizaciones y otras tareas.

• La administración de bases de datos, que administra las bases de datos de usuario y su contenido, la carga de datos, las copias de seguridad, la restauración de datos y el control del acceso a los datos y permisos.

IBM Netezza ofrece varias maneras o interfaces que puede usar para realizar las diversas tareas de administración del sistema y de bases de datos:

• Los comandos de Netezza (comandos nz*) se instalan en el directorio /nz/kit/bin en el host de Netezza. En muchos de los comandos nz*, puede iniciar sesión en el sistema Netezza para acceder a esos comandos y ejecutarlos. En la mayoría de los casos, los usuarios inician sesión como la cuenta de usuario nz predeterminada, pero puede crear otras cuentas de usuario de Linux en el sistema. Algunos comandos requieren que especifique una cuenta de usuario de base de datos, una contraseña y una base de datos para asegurarse de que tiene permiso para realizar la tarea.

• Los kits de cliente de la CLI de Netezza empaquetan un subconjunto de los comandos nz* que se pueden ejecutar desde los sistemas cliente de Windows y UNIX. Los comandos de cliente también pueden requerir que especifique una cuenta de usuario de base de datos, una contraseña y una base de datos para asegurarse de que tiene permisos administrativos y de objetos de base de datos para realizar la tarea.

• Los comandos SQL admiten tareas y consultas de administración en una sesión de base de datos de SQL. Puede ejecutar los comandos de SQL desde el intérprete de comandos de Netezza nzsql o a través de las API de SQL como ODBC, JDBC y el proveedor OLE DB. Debe tener una cuenta de usuario de base de datos para ejecutar los comandos de SQL con los permisos adecuados para las consultas y tareas que realice.

• La herramienta NzAdmin es una interfaz de Netezza que se ejecuta en estaciones de trabajo del cliente de Windows para administrar sistemas de Netezza.

Aunque conceptualmente las tareas de administración y operaciones de diferentes almacenes de datos son similares, las implementaciones individuales pueden tener puntos diferentes. En general, los productos modernos basados en la nube, como Azure Synapse, tienden a incorporar un enfoque más automatizado y "administrado por el sistema" (en lugar de un enfoque más manual en almacenes de datos heredados, como Netezza).

En las secciones siguientes se comparan las opciones de Netezza y Azure Synapse para diversas tareas operativas.

Tareas de limpieza

En la mayoría de los entornos de almacenamiento de datos heredados, las tareas normales de "limpieza" consumen mucho tiempo. Para recuperar el espacio de almacenamiento en disco, quite versiones anteriores de filas actualizadas o eliminadas o reorganice los datos, archivos de registro o bloques de índice para mejorar la eficacia (GROOM y VACUUM en Netezza). La recopilación de estadísticas también es una tarea potencialmente lenta, pero es necesaria después de una ingesta masiva de datos, ya que proporciona al optimizador de consultas datos actualizados en los que basar los planes de ejecución de consultas.

Netezza recomienda recopilar estadísticas de la siguiente manera:

• Recopile estadísticas en tablas no rellenadas para configurar el histograma de intervalo que se usa en el procesamiento interno. Esta colección inicial hace que las recopilaciones de estadísticas posteriores sean más rápidas. Asegúrese de volver a recopilar las estadísticas después de agregar los datos.

• Recopile estadísticas de la fase de prototipo para las tablas rellenadas por primera vez.

• Recopile estadísticas de la fase de producción después de un porcentaje significativo de cambio en la tabla o partición (~10 % de filas). Para grandes volúmenes de valores no únicos, como fechas o marcas de tiempo, puede ser ventajoso realizar una recoleción al 7 %.

• Recopile estadísticas de la fase de producción después de crear usuarios y aplicar cargas de consultas reales a la base de datos (hasta tres meses de consulta).

• Recopile estadísticas en las primeras semanas después de realizar una actualización o migración durante períodos de bajo uso de CPU.

La base de datos de Netezza contiene muchas tablas de registro en el diccionario de datos que acumulan datos, ya sea automáticamente o después de habilitar determinadas características. Dado que los datos de registro crecen con el tiempo, purgue la información anterior para evitar el uso de espacio permanente. Hay opciones para automatizar el mantenimiento de estos registros disponibles.

Azure Synapse tiene una opción para crear automáticamente estadísticas que puede usar según sea necesario. Realice la desfragmentación de índices y bloques de datos manualmente, de forma programada o automática. Aproveche las funcionalidades nativas integradas de Azure y reduzca el esfuerzo necesario en un ejercicio de migración.

Supervisión y auditoría

Netezza proporciona el Portal de rendimiento de Netezza para supervisar varios aspectos de uno o varios sistemas de Netezza, como la actividad, el rendimiento, la puesta en cola y el uso de recursos. El Portal de rendimiento de Netezza es una GUI interactiva que permite a los usuarios explorar en profundidad los detalles de bajo nivel de cualquier gráfico.

Igualmente, Azure Synapse proporciona una experiencia de supervisión enriquecida en Azure Portal que proporciona detalles a la carga de trabajo del almacenamiento de datos. Azure Portal es la herramienta recomendada al supervisar el almacenamiento de datos, ya que proporciona períodos de retención configurables, alertas, recomendaciones, y gráficos y paneles personalizables para métricas y registros.

El portal también le permite integrarse con otros servicios de supervisión de Azure, tales como Operations Management Suite (OMS) y Azure Monitor (registros) para ofrecer una experiencia de supervisión holística no solo para el almacenamiento de datos sino también para toda la plataforma Azure Analytics como experiencia de supervisión integrada.

Las estadísticas de uso de recursos para Azure Synapse se registran automáticamente en el sistema. Las métricas de cada consulta incluyen estadísticas de uso de CPU, memoria, caché, E/S y área de trabajo temporal, así como información de conectividad, como intentos de conexión con error.

Azure Synapse proporciona un conjunto de vistas de administración dinámica (DMV). Estas vistas resultan útiles para la solución de problemas y la identificación activas de cuellos de botella de rendimiento con la carga de trabajo.

Para obtener más información, consulte Operaciones y opciones de administración de Azure Synapse.

Alta disponibilidad (HA) y recuperación ante desastres (DR)

Los dispositivos de Netezza son sistemas redundantes, tolerantes a errores, y hay diversas opciones en un sistema de Netezza para habilitar la alta disponibilidad y la recuperación ante desastres.

La adición de IBM Netezza Replication Services para la recuperación ante desastres mejora la tolerancia a errores al extender la redundancia entre redes locales y de área extensa.

IBM Netezza Replication Services protege contra la pérdida de datos mediante la sincronización de datos en un sistema principal (el nodo principal) con datos en uno o varios nodos de destino (subordinados). Estos nodos componen un conjunto de replicación.

Linux de alta disponibilidad (también denominado Linux-HA) proporciona las funcionalidades de conmutación por error de un host de Netezza principal o activo a un host de Netezza secundario o en espera. El demonio principal de administración de clústeres en la solución Linux-HA se denomina Latido. El Latido supervisa los hosts y administra las comprobaciones de comunicación y estado de los servicios.

Cada servicio es un recurso.

Netezza agrupa los servicios específicos de Netezza en el grupo de recursos nps. Cuando el Latido detecta problemas que implican una condición de error de host o la pérdida de servicio en los usuarios de Netezza, el Latido puede iniciar una conmutación por error en el host en espera.

Distributed Replicated Block Device (DRBD) es un controlador de dispositivos de bloque que refleja el contenido de los dispositivos de bloque (discos duros, particiones y volúmenes lógicos) entre los hosts. Netezza usa la replicación DRBD solo en las particiones /nz y /export/home. A medida que se escriben nuevos datos en la partición /nz y la partición /export/home en el host principal, el software DRBD realiza automáticamente los mismos cambios en la partición /nz y /export/home del host en espera.

Azure Synapse usa instantáneas de base de datos para proporcionar una alta disponibilidad del almacén. Una instantánea de almacenamiento de datos crea un punto de restauración que se puede usar para copiar el almacenamiento de datos o recuperarlo a un estado anterior. Dado que Azure Synapse es un sistema distribuido, una instantánea de almacenamiento de datos consta de muchos archivos que se almacenan en Azure Storage. Las instantáneas capturan los cambios incrementales de los datos almacenados en el almacenamiento de datos.

Azure Synapse toma automáticamente instantáneas a lo largo del día y crea puntos de restauración que están disponibles durante siete días. No se puede cambiar este período de retención. Azure Synapse admite un objetivo de punto de recuperación (RPO) de ocho horas. Un almacenamiento de datos se puede restaurar en la región primaria a partir de cualquiera de las instantáneas tomadas en los últimos siete días.

También se admiten puntos de restauración definidos por el usuario, lo que permite el desencadenamiento manual de instantáneas para crear puntos de restauración de un almacenamiento de datos antes y después de modificaciones de gran tamaño. Esta funcionalidad garantiza que los puntos de restauración sean lógicamente coherentes, lo que proporciona una protección de datos adicional en caso de interrupciones de la carga de trabajo o de errores del usuario para un tiempo de recuperación rápido o de menos de 8 horas.

Además de las instantáneas descritas anteriormente, Azure Synapse también realiza de forma predeterminada una copia de seguridad geográfica una vez al día en un centro de datos emparejado. El RPO para una restauración geográfica es de 24 horas. Puede restaurar la copia de seguridad geográfica en un servidor de cualquier otra región donde se admita Azure Synapse. Una copia de seguridad geográfica garantiza que se pueda restaurar un almacenamiento de datos en caso de que los puntos de restauración de la región primaria no estén disponibles.

Administración de cargas de trabajo

Netezza incorpora varias características para administrar cargas de trabajo:

Azure Synapse registra automáticamente las estadísticas de uso de recursos. Las métricas incluyen estadísticas de uso para CPU, memoria, caché, E/S y área de trabajo temporal para cada consulta. Azure Synapse también registra información de conectividad, como los intentos de conexión con error.

En Azur Synapse, las clases de recursos son límites de recursos predeterminados que rigen los recursos de proceso y la simultaneidad de la ejecución de las consultas. Las clases de recursos pueden ayudarle a administrar la carga de trabajo mediante el establecimiento de límites en el número de consultas que se ejecutan simultáneamente y en los recursos de proceso que se asignan a cada consulta. Gracias a esto, la memoria y la simultaneidad se compensan.

Azure Synapse admite estos conceptos básicos de administración de cargas de trabajo:

• Clasificación de cargas de trabajo: puede asignar una solicitud a un grupo de cargas de trabajo para establecer niveles de importancia.

• Importancia de la carga de trabajo: puede influir en el orden en el que una solicitud obtiene acceso a los recursos. De manera predeterminada, las consultas se liberan desde la cola sobre la base primero en entrar, primero en salir, a medida que los recursos están disponibles. La importancia de las cargas de trabajo permite que las consultas de prioridad más alta reciban recursos de inmediato, independientemente de la cola.

• Aislamiento de la carga de trabajo: puede reservar recursos para un grupo de cargas de trabajo, asignar un uso máximo y mínimo para distintos recursos, limitar los recursos que puede consumir un grupo de solicitudes y establecer un valor de tiempo de espera para terminar automáticamente las consultas descontroladas.

La ejecución de cargas de trabajo mixtas puede suponer desafíos de recursos en sistemas ocupados. Un esquema de administración de cargas de trabajo correcto administra los recursos de manera eficaz, garantiza un uso de recursos muy eficaz y maximiza la rentabilidad de la inversión (ROI). La clasificación de la carga de trabajo, la importancia de la carga de trabajo y el aislamiento de la carga de trabajo proporcionan más control sobre cómo la carga de trabajo utiliza los recursos del sistema.

En la guía de administración de cargas de trabajo se describen las técnicas para analizar la carga de trabajo, administrar y supervisar la importancia de la carga de trabajo](../../sql-data-warehouse/sql-data-warehouse-how-to-manage-and-monitor-workload-importance.md) y los pasos para convertir una clase de recurso en un grupo de cargas de trabajo. Use Azure Portal y las consultas de T-SQL en DMV para supervisar la carga de trabajo para asegurarse de que los recursos aplicables se usan de forma eficaz. Azure Synapse proporciona un conjunto de vistas de administración dinámica (DMV) para supervisar todos los aspectos de la administración de cargas de trabajo. Estas vistas resultan útiles para la solución de problemas y la identificación activas de cuellos de botella de rendimiento en la carga de trabajo.

Esta información también se puede usar para planear la capacidad, determinar los recursos necesarios para usuarios adicionales o para cargas de trabajo de la aplicación. Esto también se aplica a la planificación de escalado y reducción verticales de los recursos de ejecución para la compatibilidad rentable de cargas de trabajo "con picos", como las cargas de trabajo con ráfagas temporales e intensas de actividad rodeadas de períodos de actividad poco frecuente.

Para más información sobre la administración de cargas de trabajo en Azure Synapse, consulte Administración de cargas de trabajo con clases de recursos.

Escalado de los recursos de proceso

La arquitectura de Azure Synapse separa el proceso y el almacenamiento, lo que permite que cada uno se escale de forma independiente. Por consiguiente, los recursos de proceso se puede escalar para satisfacer las demandas de rendimiento independientemente del almacenamiento de datos. También puede pausar y reanudar los recursos de proceso. Un beneficio natural de esta arquitectura es que la facturación por proceso y almacenamiento está separada. Si un almacenamiento de datos no está en uso, puede ahorrar en los costos pausando el proceso.

Los recursos de proceso se pueden escalar o reducir verticalmente ajustando la configuración de unidades de almacenamiento de datos para el almacenamiento de datos. La carga y el rendimiento de las consultas pueden aumentar linealmente a medida que agrega más unidades de almacenamiento de datos.

Agregar más nodos de proceso incrementa la capacidad del proceso y la facultad para aprovechar más procesamiento paralelo. A medida que aumenta el número de nodos de proceso, se reduce el número de distribuciones por nodo de proceso, de forma que hay más capacidad de proceso y procesamiento paralelo para las consultas. De forma similar, al reducir las unidades de almacenamiento de datos se reduce el número de nodos de proceso, de forma que se reducen los recursos de proceso para las consultas.

Pasos siguientes

Para obtener más información sobre la visualización y los informes, consulte el siguiente artículo de esta serie: Visualización e informes para migraciones de Netezza.