Installera Azure Mašinsko učenje SDK för Python
Den här artikeln är en guide för olika installationsalternativ för SDK.
Förutsättningar
- Python-installerad version 3.7 eller senare. För azureml-automl-paket använder du endast version 3.7 eller 3.8.
- pip installerad
Standardinstallation
Använd azureml-core
.
pip install azureml-core
Installera sedan alla andra paket som krävs för ditt specifika jobb.
Uppgraderingsinstallation
Dricks
Vi rekommenderar att du alltid håller azureml-core uppdaterat till den senaste versionen.
Uppgradera en tidigare version:
pip install --upgrade azureml-core
Kontrollera version
Verifiera din SDK-version:
pip show azureml-core
Så här ser du alla paket i din miljö:
pip list
Du kan också visa SDK-versionen i Python, men den här versionen innehåller inte delversionen.
import azureml.core
print(azureml.core.VERSION)
Mer information om hur du konfigurerar utvecklingsmiljön för Azure Mašinsko učenje-tjänsten finns i Konfigurera utvecklingsmiljön.
Andra azureml-paket
SDK innehåller många andra valfria paket som du kan installera. Dessa inkluderar beroenden som inte krävs för alla användningsfall, så de ingår inte i standardinstallationen för att undvika att miljön svälls upp. I följande tabell beskrivs paketen ,deras användningsfall och kommando för att installera, uppdatera och versionskontroll.
Ytterligare paket | Användningsfall | Installera/uppgradera/visa version |
---|---|---|
azureml-automl-core |
Innehåller grundläggande automatiserade maskininlärningsklasser för Azure Mašinsko učenje. Det här paketet används av azureml-train-automl-client och azureml-train-automl-runtime. |
pip install azureml-automl-core pip install --upgrade azureml-automl-core pip show azureml-automl-core |
azureml-accel-models |
Accelererar djupa neurala nätverk på FPGA:er med Azure ML Hardware Accelerated Models Service. | pip install azureml-accel-models pip install --upgrade azureml-accel-models pip show azureml-accel-models |
azureml-train-automl |
Innehåller klasser för att skapa och köra automatiserade maskininlärningsexperiment. Installerar även vanliga data science-paket som pandas , numpy och scikit-learn . Om du vill skicka automatiserade ML-körningar på en fjärrberäkning och inte behöver utföra någon ML lokalt rekommenderar vi att du använder den tunna klienten, azureml-train-automl-client , paketet som är en del av azureml-sdk . Mer information om hur du installerar och arbetar med den fullständiga automl SDK:t eller dess tunna klient finns i ytterligare vägledning för användningsfall. azureml-train-automl-client På samma sätt som Python-standarden stöds en version bakåt och en version framåtkompatibilitet, men endast för hela azureml-train-automl paketet. Om en modell till exempel tränas med SDK version 1.29.0 kan du dra slutsatser med SDK-versioner mellan 1.28.0 och 1.30.0. |
För lokal conda-miljö: pip install azureml-train-automl pip install --upgrade azureml-train-automl pip install show azureml-train-automl Tunn klient för fjärrberäkning: pip install azureml-train-automl-client pip install --upgrade azureml-train-automl-client pip install show azureml-train-automl-client |
azureml-contrib |
Installerar azureml-contrib-* -paket, som innehåller experimentella funktioner eller förhandsversionsfunktioner. | pip install azureml-contrib pip install --upgrade azureml-contrib pip show azureml-contrib |
azureml-datadrift |
Innehåller funktioner för att identifiera när modellträningsdata har drivits från dess bedömningsdata. | pip install azureml-datadrift pip install --upgrade azureml-datadrift pip show azureml-datadrift |
azureml-interpret |
Används för modelltolkning, inklusive funktions- och klassvikt för blackbox- och whitebox-modeller. | pip azureml-interpret pip install --upgrade azureml-interpret pip show azureml-interpret |
azureml-widgets |
Innehåller kärnpaket, moduler och klasser för Azure Mašinsko učenje. | pip install azureml-widgets pip install --upgrade azureml-widgets pip show azureml-widgets |
azureml-contrib-services |
Tillhandahåller funktioner för bedömning av skript för att begära rå HTTP-åtkomst. | pip install azureml-contrib-services pip install --upgrade azureml-contrib-services pip show azureml-contrib-services |
azureml-tensorboard |
Innehåller klasser och metoder för att exportera experimentkörningshistorik och starta TensorBoard för visualisering av experimentprestanda och struktur. | pip install azureml-tensorboard pip install --upgrade azureml-tensorboard pip show azureml-tensorboard |
azureml-mlflow |
Innehåller funktioner som integrerar Azure Mašinsko učenje med MLFlow. | pip install azureml-mlflow pip install --upgrade azureml-mlflow pip show azureml-mlflow |
azureml-automl-runtime |
Innehåller automatiserade maskininlärningsklasser för körning av körningar i Azure Mašinsko učenje. | pip install azureml-automl-runtime pip install --upgrade azureml-automl-runtime pip show azureml-automl-runtime |
azureml-widgets |
Innehåller funktioner för att visa förloppet för maskininlärningsträningskörningar i Jupyter Notebooks. | pip install azureml-widgets pip install --upgrade azureml-widgets pip show azureml-widgets |
azureml-train-restclients-hyperdrive |
Innehåller klasser som behövs för att skapa HyperDriveRuns med azureml-train-core. | pip install azureml-train-restclients-hyperdrive pip install --upgrade azureml-train-restclients-hyperdrive pip show azureml-train-restclients-hyperdrive |
azureml-train-core |
Innehåller basestimatorklasser och den generiska beräkningsklassen ,estimatorer som används i DNN-träning (Deep Neural Network), skattare som används i Scikit-Learn-träning, moduler och klasser som stöder hyperparameterjustering. | pip install azureml-core pip install --upgrade azureml-core pip show azureml-core |
azureml-train-automl-runtime |
Innehåller funktioner som representerar centrala automatiserade ML- och körningskomponenter i Azure Mašinsko učenje. | pip install azureml-train-automl-runtime pip install --upgrade azureml-train-automl-runtime pip show azureml-train-automl-runtime |
azureml-train-automl-client |
Innehåller kärnpaket, moduler och klasser för Azure Mašinsko učenje. | pip install azureml-train-automl-client pip install --upgrade azureml-train-automl-client pip show azureml-train-automl-client |
azureml-telemetry |
Det här paketet används för att samla in telemetridata som loggmeddelanden, mått, händelser och aktivitetsmeddelanden. | pip install azureml-telemetry pip install --upgrade azureml-telemetry pip show azureml-telemetry |
azureml-synapse |
Innehåller Magic-kommandot för att hantera Synapse-sessionen och skicka kod och SparkMonitor-widgeten för att övervaka spark-jobbets förlopp, för både Jupyter och JupyterLab | pip install azureml-synapse pip install --upgrade azureml-synapse pip show azureml-synapse |
azureml-sdk |
Thos-paketet används för att skapa och köra maskininlärningsarbetsflöden på Azure Mašinsko učenje-tjänsten | pip install azureml-sdk pip install --upgrade azureml-sdk pip show azureml-sdk |
azureml-pipeline-steps |
Innehåller fördefinierade steg som kan köras i en Azure Mašinsko učenje Pipeline. | pip install azureml-pipeline-steps pip install --upgrade azureml-pipeline-steps pip show azureml-pipeline-steps |
azureml-pipeline-core |
Innehåller kärnfunktioner för Azure Mašinsko učenje pipelines, som är konfigurerbara arbetsflöden för maskininlärning. | pip install azureml-pipeline-core pip install --upgrade azureml-pipeline-core pip show azureml-pipeline-core |
azureml-pipeline |
Det här paketet används för att skapa, optimera och hantera arbetsflöden för maskininlärning | pip install azureml-pipeline pip install --upgrade azureml-pipeline pip show azureml-pipeline |
azureml-opendatasets |
Innehåller kärnfunktioner för Azure Mašinsko učenje pipelines, som är konfigurerbara arbetsflöden för maskininlärning. | pip install azureml-opendatasets pip install --upgrade azureml-opendatasets pip show azureml-opendatasets |
azureml-interpret |
Innehåller funktioner för att arbeta med modelltolkning i Azure Mašinsko učenje. | pip install azureml-interpret pip install --upgrade azureml-interpret pip show azureml-interpret |
azureml-defaults |
Det här paketet är ett metapaket som används internt av Azure Mašinsko učenje. | pip install azureml-defaults pip install --upgrade azureml-defaults pip show azureml-defaults |
azureml-dataset-runtime |
Syftet med det här paketet är att samordna beroenden i AzureML-paket. Det här paketet är internt och är inte avsett att användas direkt. | pip install azureml-dataset-runtime pip install --upgrade azureml-dataset-runtime pip show azureml-dataset-runtime |
azureml-datadrift |
Innehåller funktioner för att identifiera när modellträningsdata har drivits från dess bedömningsdata. | pip install azureml-datadrift pip install --upgrade azureml-datadrift pip show azureml-datadrift |
azureml-contrib-server |
Det här paketet är en lokal HTTP-tjänst som används för att exponera en delmängd av funktionerna som tillhandahålls av AzureML SDK för VS Tools för AI-tillägg (VSCode och Visual Studio) | pip install azureml-contrib-server pip install --upgrade azureml-contrib-server pip show azureml-contrib-server |
azureml-contrib-run |
Det här paketet används för att innehålla integreringskoden för AzureML med Mlflow. | pip install azureml-core pip install --upgrade azureml-core pip show azureml-core |
azureml-contrib-reinforcementlearning |
Innehåller funktioner för att skapa ett Windows-beräkningsmål i Azure Mašinsko učenje. | pip install azureml-contrib-reinforcementlearning pip install --upgrade azureml-contrib-reinforcementlearning pip show azureml-contrib-reinforcementlearning |
azureml-contrib-pipeline-steps |
Innehåller moduler och klasser för specialiserade Azure Mašinsko učenje Pipeline-steg och tillhörande konfiguration. | pip install azureml-contrib-pipeline-steps pip install --upgrade azureml-contrib-pipeline-steps pip show azureml-contrib-pipeline-steps |
azureml-contrib-notebook |
Innehåller tillägg för att arbeta med Jupyter Notebooks i Azure Mašinsko učenje. | pip install azureml-contrib-notebook pip install --upgrade azureml-contrib-notebook pip show azureml-contrib-notebook |
azureml-contrib-gbdt |
Det här paketet innehåller LightGBM-skattare. | pip install azureml-contrib-gbdt pip install --upgrade azureml-contrib-gbdt pip show azureml-contrib-gbdt |
azureml-contrib-functions |
Innehåller funktioner för att paketera Azure Mašinsko učenje-modeller för distribution till Azure Functions. | pip install azureml-contrib-functions pip install --upgrade azureml-contrib-functions pip show azureml-contrib-functions |
azureml-contrib-fairness |
Det här paketet stöder användning av instrumentpaneler för rättvisebedömning i Azure Mašinsko učenje Studio | pip install azureml-contrib-fairness pip install --upgrade azureml-contrib-fairness pip show azureml-contrib-fairness |
azureml-contrib-dataset |
Innehåller specialiserade funktioner för att arbeta med datauppsättningsobjekt i Azure Mašinsko učenje. | pip install azureml-contrib-dataset pip install --upgrade azureml-contrib-dataset pip show azureml-contrib-dataset |
azureml-contrib-automl-pipeline-steps |
Innehåller fördefinierade steg som kan köras i en Azure Mašinsko učenje Pipeline. | pip install azureml-contrib-automl-pipeline-steps pip install --upgrade azureml-contrib-automl-pipeline-steps pip show azureml-contrib-automl-pipeline-steps |
azureml-contrib-automl-dnn-vision |
Det här paketet är endast avsett att användas av autoML-systemgenererade skript. Om du vill installera i Windows måste paketen "torch" och "torchvision" installeras separat före det här paketet. | pip install azureml-contrib-automl-dnn-vision pip install --upgrade azureml-contrib-automl-dnn-vision pip show azureml-contrib-automl-dnn-vision |
azureml-contrib-automl-dnn-forecasting |
Vanliga paket för Azure ML CLI-tillägget. Vanliga i azure-cli-ml och azure-cli-ml-preview. | pip install azureml-contrib-automl-dnn-forecasting pip install --upgrade azureml-contrib-automl-dnn-forecasting pip show azureml-contrib-automl-dnn-forecasting |
azureml-contrib-aisc |
Beräkningsmål för AzureML Contrib för AzureML AI Super Computer. AISCCompute är en hanterad AI-beräkningsinfrastruktur som kan kopplas till en arbetsyta av klusteradministratör. | pip install azureml-contrib-aisc pip install --upgrade azureml-contrib-aisc pip show azureml-contrib-aisc |
azureml-cli-common |
Vanliga paket för Azure ML CLI-tillägget. Vanliga i azure-cli-ml och azure-cli-ml-preview. | pip install azureml-cli-common pip install --upgrade azureml-cli-common pip show azureml-cli-common |
azureml-automl-dnn-nlp |
Det här paketet är endast avsett att användas av autoML-systemgenererade skript. | pip install azureml-automl-dnn-nlp pip install --upgrade azureml-automl-dnn-nlp pip show azureml-automl-dnn-nlp |
azureml-accel-models |
Påskynda djupa neurala nätverk på FPGA:er med Azure ML Hardware Accelerated Models Service. | pip install azureml-accel-models pip install --upgrade azureml-accel-models pip show azureml-accel-models |
azureml-inference-server-http |
Det här paketet aktiverar lokal utveckling, CI/CD-integrering, servervägar. | pip install azureml-inference-server-http pip install --upgrade azureml-inference-server-http pip show azureml-inference-server-http |
azure-ml-component |
Det här paketet innehåller funktioner för redigering och hantering av Azure Mašinsko učenje-komponenter som redigerar och skickar pipelines med hjälp av komponenter | pip install azure-ml-component pip install --upgrade azure-ml-component pip show azure-ml-component |
azureml-pipeline-wrapper |
Det här paketet innehåller funktioner för redigering och hantering av Azure Mašinsko učenje-moduler, redigering och sändning av pipelines med hjälp av moduler | pip install azureml-pipeline-wrapper pip install --upgrade azureml-pipeline-wrapper pip show azureml-pipeline-wrapper |
azureml-designer-cv-modules |
Moduler för att förbearbeta och transformera bilder som att beskära, fylla på eller ändra storlek. | pip install azureml-designer-cv-modules pip install --upgrade azureml-designer-cv-modules pip show azureml-designer-cv-modules |
azureml-designer-pytorch-modules |
Moduler för att träna och härleda bildklassificeringsmodeller baserat på pytorch-ramverk. | pip install azureml-designer-pytorch-modules pip install --upgrade azureml-designer-pytorch-modules pip show azureml-designer-pytorch-modules |
azureml-designer-vowpal-wabbit-modules |
Moduler för att träna och dra slutsatsdragningsmodeller baserade på Vowpal Wabbit-ramverk. | pip install azureml-designer-vowpal-wabbit-modules pip install --upgrade azureml-designer-vowpal-wabbit-modules pip show azureml-designer-vowpal-wabbit-modules |
azureml-designer-classic-modules |
En mängd olika moduler för databehandling, modellträning, slutsatsdragning och utvärdering. | pip install azureml-designer-classic-modules pip install --upgrade azureml-designer-classic-modules pip show azureml-designer-classic-modules |
azureml-designer-recommender-modules |
Moduler för att träna och dra slutsatsdragningsrekommendationsmodeller baserade på djupa neurala nätverk. | pip install azureml-designer-recommender-modules pip install --upgrade azureml-designer-recommender-modules pip show azureml-designer-recommender-modules |
azureml-designer-internal |
Interna funktioner som tillhandahålls för inbyggda moduler. | pip install azureml-designer-internal pip install --upgrade azureml-designer-internal pip show azureml-designer-internal |
azureml-designer-core |
Grundläggande funktioner för definition av datatyp, data-io och funktioner som används ofta. | pip install azureml-designer-core pip install --upgrade azureml-designer-core pip show azureml-designer-core |
azureml-designer-datatransform-modules |
Moduler för att transformera datamängd, till exempel genom att tillämpa matematiska åtgärder, sql-frågor, klippa ut avvikande värden eller generera en statistikrapport. | pip install azureml-designer-datatransform-modules pip install --upgrade azureml-designer-datatransform-modules pip show azureml-designer-datatransform-modules |
azureml-designer-dataio-modules |
Moduler för att läsa in data i Azure Machine Learning Designer och skriva data till molnbaserad lagring. | pip install azureml-designer-dataio-modules pip install --upgrade azureml-designer-dataio-modules pip show azureml-designer-dataio-modules |
azureml-designer-serving |
Ange funktioner för att anropa inbyggda moduler i distributionstjänsten. | pip install azureml-designer-serving pip install --upgrade azureml-designer-serving pip show azureml-designer-serving |
azureml-contrib-datadrift |
Innehåller funktioner för identifiering av dataavvikelser för olika datauppsättningar som används i maskininlärning, inklusive träningsdatauppsättningar och bedömningsdatauppsättning. | pip install azureml-contrib-datadrift pip install --upgrade azureml-contrib-datadrift pip show azureml-contrib-datadrift |
azureml-contrib-explain-model |
Innehåller experimentella funktioner för azureml-explain-model-paketet, som erbjuder en mängd olika tjänster för maskininlärningsmodelltolkning. | pip install azureml-contrib-explain-model pip install --upgrade azureml-contrib-explain-model pip show azureml-contrib-explain-model |
azureml-contrib-opendatasets |
Det här paketet innehåller en uppsättning API:er för att använda Azure Open Datasets. | pip install azureml-contrib-opendatasets pip install --upgrade azureml-contrib-opendatasets pip show azureml-contrib-opendatasets |
azureml-train-widgets |
Innehåller widgetar för Jupyter Notebooks för att visuellt spåra dina körningar. | pip install azureml-train-widgets pip install --upgrade azureml-train-widgets pip show azureml-train-widgets |
Mer information om paketen ovan finns i AzureML på pypi.
Ytterligare vägledning för användningsfall
Om ditt användningsfall beskrivs nedan bör du notera vägledningen och eventuella rekommenderade åtgärder.
Användningsfall | Vägledning |
---|---|
Använda automl |
Installera hela azureml-train-automl SDK:n i en ny 64-bitars Python-miljö. En ny 64-bitarsmiljö krävs på grund av ett beroende av LightGBM-ramverket . Det här paketet installerar och fäster specifika versioner av data science-paket för kompatibilitet, vilket kräver en ren miljö. Den tunna klienten , azureml-train-automl-client , -paketet installerar inte ytterligare data science-paket eller kräver en ren Python-miljö. Vi rekommenderar att azureml-train-automl-client du bara behöver skicka automatiserade ML-körningar till en fjärrberäkning och inte behöver skicka lokala körningar eller ladda ned din modell lokalt. En version bakåt och en version framåtkompatibilitet stöds endast för modeller som tränats med hela azureml-train-automl paketet. Om en modell till exempel tränas med SDK version 1.29.0 kan du dra slutsatser med SDK-versioner mellan 1.28.0 och 1.30.0. |
Använda Azure Databricks | I Azure Databricks-miljön använder du bibliotekskällorna som beskrivs i den här guiden för att installera SDK:t. Mer information om hur du arbetar med Azure Mašinsko učenje SDK för Python på Azure Databricks finns i de här tipsen. |
Använda Azure Data Science Virtual Machine | Azure Data Science Virtual Machines som skapats efter det den 27 september 2018 levereras förinstallerade med Python-SDK:n. |
Köra Azure Mašinsko učenje självstudier eller notebook-filer | Om du använder en äldre version av SDK:t än den som nämns i självstudien eller notebook-filen bör du uppgradera SDK:t. Vissa funktioner i självstudierna och notebook-filerna kan kräva ytterligare Python-paket som matplotlib , scikit-learn eller pandas . Instruktioner i varje självstudie och notebook-fil visar vilka paket som krävs. |
Felsökning
Pip-installation: Beroenden är inte garanterade att vara konsekventa med enkelradsinstallation:
Detta är en känd begränsning för pip eftersom den inte har någon fungerande beroendelösare när du installerar som en enda rad. Det första unika beroendet är det enda som det tittar på.
I följande kod
azureml-datadrift
ochazureml-train-automl
installeras båda med en enda rad pip installation.pip install azureml-datadrift, azureml-train-automl
I det här exemplet ska vi säga kräver
azureml-datadrift
version > 1.0 ochazureml-train-automl
kräver version < 1.2. Om den senaste versionen avazureml-datadrift
är 1.3 uppgraderas båda paketen till 1.3, oavsett paketkravetazureml-train-automl
för en äldre version.För att säkerställa att lämpliga versioner är installerade för dina paket installerar du med flera rader som i följande kod. Order är inte ett problem här, eftersom pip uttryckligen nedgraderas som en del av nästa linjeanrop. Därför tillämpas lämpliga versionsberoenden.
pip install azureml-datadrift pip install azureml-train-automl
Förklaringspaketet är inte garanterat installerat när du installerar azureml-train-automl-client:
När du kör en autoML-fjärrkörning med modellförklaring aktiverad visas ett felmeddelande om att installera azureml-explain-model-package för modellförklaringar. Det här är ett känt problem. Som en lösning följer du något av stegen nedan:
- Installera azureml-explain-model lokalt.
pip install azureml-explain-model
- Inaktivera förklaringsfunktionen helt genom att skicka model_explainability=False i AutoML-konfigurationen.
automl_config = AutoMLConfig(task = 'classification', path = '.', debug_log = 'automated_ml_errors.log', compute_target = compute_target, run_configuration = aml_run_config, featurization = 'auto', model_explainability=False, training_data = prepped_data, label_column_name = 'Survived', **automl_settings)
Panda-fel: Visas vanligtvis under AutoML-experiment:
När du konfigurerar din miljö manuellt med pip kan du märka fel (särskilt från Pandas) på grund av att paketversioner som inte stöds har installerats.
Till exempel:
ModuleNotFoundError: No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package
För att förhindra sådana fel installerar du AutoML SDK med hjälp av automl_setup.cmd:
- Öppna en Anaconda-prompt och klona GitHub-lagringsplatsen för en uppsättning notebook-exempelanteckningsböcker.
git clone https://github.com/Azure/MachineLearningNotebooks.git
- cd till mappen how-to-use-azureml/automated-machine-learning där exempelanteckningsböckerna extraherades och sedan kördes:
automl_setup
KeyError: "brand" när du kör AutoML på lokalt beräknings- eller Azure Databricks-kluster
Om en ny miljö skapades efter den 10 juni 2020 med hjälp av SDK 1.7.0 eller tidigare kan träningen misslyckas med det här felet på grund av en uppdatering i py-cpuinfo-paketet. (Miljöer som skapats den 10 juni 2020 eller före den 10 juni 2020 påverkas inte, liksom experiment som körs på fjärrberäkning eftersom cachelagrade träningsbilder används.) Du kan lösa det här problemet genom att utföra något av följande två steg:
Uppdatera SDK-versionen till 1.8.0 eller senare (detta nedgraderar även py-cpuinfo till 5.0.0):
pip install --upgrade azureml-sdk[automl]
Nedgradera den installerade versionen av py-cpuinfo till 5.0.0:
pip install py-cpuinfo==5.0.0
Felmeddelande: Det går inte att avinstallera "PyYAML"
Azure Mašinsko učenje SDK för Python: PyYAML är ett
distutils
installerat projekt. Därför kan vi inte exakt avgöra vilka filer som tillhör den om det finns en partiell avinstallation. Om du vill fortsätta att installera SDK:et medan du ignorerar det här felet använder du:pip install --upgrade azureml-sdk[notebooks,automl] --ignore-installed PyYAML
Azure Mašinsko učenje SDK-installationen misslyckas med ett undantag: ModuleNotFoundError: Ingen modul med namnet "ruamel" eller "ImportError: Ingen modul med namnet ruamel.yaml"
Det här problemet uppstår vid installationen av Azure Mašinsko učenje SDK för Python på den senaste pipen (>20.1.1) i conda-basmiljön för alla versioner av Azure Mašinsko učenje SDK för Python. Se följande lösningar:
Undvik att installera Python SDK i conda-basmiljön, snarare skapa din conda-miljö och installera SDK i den nyligen skapade användarmiljön. Den senaste pipen bör fungera med den nya conda-miljön.
Om du vill skapa avbildningar i docker, där du inte kan växla bort från conda-basmiljön, fäster du pip<=20.1.1 i docker-filen.
conda install -c r -y conda python=3.8 pip=20.1.1
Nästa steg
Prova följande steg för att lära dig hur du använder Azure Mašinsko učenje service SDK för Python:
- Läs översikten över Azure Machine Learnin Python SDK för att lära dig mer om nyckelklasser och designmönster med kodexempel.
- Följ självstudien Azure Mašinsko učenje Komma igång med Python för att börja skapa experiment och modeller.