Заметки о выпуске Кластеров больших данных SQL Server с накопительным пакетом обновления 12

Область применения: SQL Server 2019 (15.x)

Следующие заметки о выпуске применяются к SQL Server 2019 Кластеры больших данных накопительным обновлением 12 (CU12).

Проверенные конфигурации для CU12

Кластеры больших данных SQL Server с CU12 были протестированы в приведенных ниже сочетаниях компонентов среды.

ОС контейнера API Kubernetes Параметры выполнения Хранилище данных Хранилище журналов
Ubuntu 20.04 LTS 1,20 containerd 1.4.3
docker 20.10.2
CRI-O 1.20.0
Только блочное Только блочное

Технические документы по эталонной архитектуре для Кластеров больших данных SQL Server можно найти на следующих страницах:

Системная среда

  • Операционная система: Ubuntu 20.04.2 LTS
  • SQL Server: 15.0.4153.13
    • Java: Azul Zulu JRE 11.0.9.1
    • Python: 3.7.2 (miniconda 4.5.12)
    • R: Microsoft R 3.5.2
  • Spark: 2.4
    • Java: Azul Zulu JRE 1.8.0_275
    • Scala: 2.11
    • Python: 3.7.2 (miniconda 4.5.12)
    • R: Microsoft R 3.5.2
    • Соединитель SQL Spark: 1.0.2

Версии внедренных компонентов OSS

Компонент Версия
collectd 5.12
InfluxDB 1.8.3
Elasticsearch 7.9.1
opendistro-elasticsearch-security 1.10.1.0
Fluent Bit 1.6.3
Grafana 7.3.6
Hadoop
HDFS DataNode
HDFS NameNode
3.1
Hive (хранилище метаданных) 2.3
Kibana 7.9.1
Knox 1.4.0
Livy 0,6
Openresty (Nginx) 1.17.8-2
Spark 2.4
Telegraf 1.16.1
ZooKeeper 3.5.8

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
revoscalepy 9.4.7 pycurl 7.43.0.2 jupyter-client 5.2.4
microsoftml 9.4.7 pycrypto 2.6.1 jsonschema 2.6.0
zipp 0.5.2 pycparser 2,19 Jinja2 2.10.1
zict 1.0.0 pycosat 0.6.3 jedi 0.15.1
xlwt 1.3.0 py 1.8.0 jdcal 1.4
XlsxWriter 1.1.2 ptyprocess 0.6.0 itsdangerous 1.1.0
xlrd 1.2.0 psutil 5.4.8 ipywidgets 7.4.2
wrapt 1.11.2 prompt-toolkit 2.0.7 ipython 7.2.0
widgetsnbextension 3.4.2 prometheus-client 0.7.1 ipython-genutils 0.2.0
wheel 0.33.4 pluggy 0.12.0 ipykernel 4.9.0
Werkzeug 0.15.5 график 4.0.0 importlib-metadata 0,19
webencodings 0.5.1 pkginfo 1.5.0.1 imagesize 1.1.0
wcwidth 0.1.7 pip 18.1 imageio 2.5.0
urllib3 1.24.2 Pillow 6.1.0 idna 2.8
unicodecsv 0.14.1 pickleshare 0.7.5 heapdict 1.0.0
traitlets 4.3.2 pexpect 4.7.0 hdijupyterutils 0.12.9
tornado 6.0.3 patsy 0.5.1 h5py 2.9.0
toolz 0.9.0 pathlib2 2.3.3 gmpy2 2.0.8
testpath 0.4.2 path.py 11.5.0 Flask 1.1.1
terminado 0.8.2 partd 0.3.9 Flask-Cors 3.0.8
tblib 1.4.0 parso 0.5.1 fastcache 1.1.0
В таблицах 3.5.2 pandocfilters 1.4.2 et-xmlfile 1.0.1
sympy 1,3 pandasql 0.7.3 entrypoints 0,3
statsmodels 0.9.0 pandas 0.23.4 docutils 0.15.2
sqlparse 0.2.4 pandas-datareader 0.7.0 распределенный 1.28.1
SQLAlchemy 1.2.15 во внешнем виде 19.1 dill 0.2.8.2
sphinxcontrib-websupport 1.1.2 openpyxl 2.5.12 defusedxml 0.6.0
Sphinx 1.8.2 olefile 0,46 decorator 4.4.0
sparkmagic 0.12.6 - 0.5.1 datashape 0.5.4
sortedcontainers 2.1.0 numpydoc 0.8.0 dask 1.2.2
snowballstemmer 1.9.0 numpy 1.15.4 cytoolz 0.9.0.1
six 1.12.0 numexpr 2.6.9 Cython 0.29.2
setuptools 41.0.1 numba 0.42.0 cycler 0.10.0
Send2Trash 1.5.0 записная книжка 5.7.8 криптография 2.5
мореборн 0.9.0 nltk 3,4 configobj 5.0.6
scipy 1.1.0 networkx 2,2 conda 4.5.12
scikit-learn 0.20.2 nbformat 4.4.0 cloudpickle 0.6.1
scikit-image 0.14.1 nbconvert 5.5.0 Щелчок 7.0
ruamel-yaml 0.15.46 multipledispatch 0.6.0 chest 0.2.3
retrying 1.3.3 msgpack 0.6.1 chardet 3.0.4
requests 2.21.0 mpmath 1.1.0 cffi 1.12.3
requests-kerberos 0.12.0 more-itertools 7.2.0 certifi 2019.6.16
qtconsole 4.5.3 mock 3.0.5 Bottleneck 1.2.1
pyzmq 18.1.0 mkl-random 1.0.2 bokeh 1.0.3
PyYAML 5.1.2 mkl-fft 1.0.10 bleach 3.1.0
PyWavelets 1.0.3 mistune 0.8.4 blaze 0.11.3
pytz 2019.2 matplotlib 3.0.2 backports.os 0.1.1
python-dateutil 2.8.0 MarkupSafe 1.1.0 backcall 0.1.0
pytest 4.0.2 lxml 4.3.0 Babel 2.7.0
PySocks 1.7.0 locket 0.2.0 azureml-model-management-sdk 1.0.1b10
pyparsing 2.4.2 llvmlite 0.27.0 autovizwidget 0.12.9
pyOpenSSL 19.0.0 liac-arff 2.4.0 attrs 19.1.0
pyodbc 4.0.25 kiwisolver 1.1.0 atomicwrites 1.3.0
pykerberos 1.2.1 jupyter 1.0.0 asn1crypto 0.24.0
PyJWT 1.7.1 jupyter-core 4.5.0 alabaster 0.7.12
Pygments 2.4.2 jupyter-console 6.0.0 adal 1.2.2

Установленные библиотеки R

Библиотека Версия Библиотека Версия Библиотека Версия
CompatibilityAPI 1.1.0 карандаш 1.3.4 plogr 0.2.0
MicrosoftML 9.4.7 curl 3,3 plyr 1.8.4
RevoPemaR 10.0.0 наборы данных 3.5.2 PNG. 0.1-7
RevoScaleR 9.4.7 dbplyr 1.2.2 promises 1.0.1
RevoTreeView 10.0.0 deployrRserve 9.0.0 Псих 1.8.10
doRSR 10.0.0 digest 0.6.18 purrr 0.2.5
mrsdeploy 1.1.3 doParallel 1.0.14 r2d3 0.2.3
sqlrutils 1.0.0 dplyr 0.7.8 rappdirs 0.3.1
BH 1.69.0-1 вентиляторы 0.4.0 readr 1.3.1
DBI 1.0.0 foreach 1.5.1 reshape2 1.4.3
KernSmooth 2.23-15 иностранный 0.8-71 rlang 0.3.1
МАССАЧУСЕТС 7.3-51.1 forge 0.1.0 rpart 4.1-13
«Матрица» 1.2-15 Универсальные шаблоны 0.0.2 rprojroot 1.3-2
MicrosoftR 3.5.2 клей 1.3.0 rstudioapi 0.9.0
R6 2.3.0 grDevices 3.5.2 блестящий 1.2.0
RUnit 0.4.26 графика 3.5.2 sourcetools 0.1.7
Rcpp 1.0.0 grid 3.5.2 sparklyr 0.9.4
RevoIOQ 10.0.1 hms 0.4.2 пространственный 7.3-11
RevoMods 11.0.1 htmltools 0.3.6 Сплайны 3.5.2
RevoUtils 11.0.2 htmlwidgets 1,3 stats 3.5.2
RevoUtilsMath 11.0.0 httpuv 1.4.5.1 статистика4 3.5.2
askpass 1,1 httr 1.4.0 stringi 1.2.4
assertthat 0.2.0 Итераторы 1.0.11 stringr 1.3.1
внутренние порты 1.1.3 jsonlite 1.5 выживание 2.43-3
base 3.5.2 later 0.7.5 sys 2.1
base64enc 0.1-3 решётка 0.20-38 tcltk 3.5.2
bindr 0.1.1 lazoval 0.2.1 tibble 2.0.1
bindrcpp 0.2.2 magrittr 1.5 tidyr 0.8.2
загрузка 1.3-20 оплаты 3.5.2 tidyselect 0.2.5
метла 0.5.1 mgcv 1.8-26 средства 3.5.2
checkpoint 0.4.4 мим 0,6 utf8 1.1.4
class 7.3-14 mnormt 1.5-5 служебные программы 3.5.2
cli 1.0.1 nlme 3.1-137 withr 2.1.2
clipr 0.5.0 nnet 7.3-12 xml2 1.2.0
cluster 2.0.7-1 openssl 1.2.1 xtable 1.8-3
codetools 0.2-15 parallel 3.5.2 yaml 2.2.0
компилятор 3.5.2 столб 1.3.1
config 0,3 pkgconfig 2.0.2

Следующие шаги

Дополнительные сведения о Кластеры больших данных SQL Server см. в статье "Знакомство с SQL Server 2019 Кластеры больших данных