Configuración de pruebas unitarias con un archivo .runsettings

Se puede usar un archivo .runsettings para configurar cómo se ejecutan las pruebas unitarias. Por ejemplo, se puede usar para cambiar la versión de .NET en la que se ejecutan las pruebas, el directorio de los resultados de las pruebas o los datos recopilados durante una serie de pruebas. Un uso común de un archivo .runsettings es para personalizar el análisis de cobertura de código.

Los archivos de parámetros de ejecución se pueden usar para configurar pruebas que se ejecuten desde la línea de comandos, el IDE o un flujo de trabajo de compilación mediante Azure Test Plans o Azure DevOps Server (anteriormente conocido como Team Foundation Server [TFS]).

Los archivos runsettings son opcionales. Si no es necesaria una configuración especial, no se necesita un archivo .runsettings.

Creación y personalización de un archivo de parámetros de ejecución

1. Agregue un archivo de parámetros de ejecución a la solución. En el Explorador de soluciones, en el menú contextual de la solución, seleccione Agregar>Nuevo elemento y seleccione Archivo XML. Guarde el archivo con un nombre como test.runsettings.

   Si no ve todas las plantillas de elemento, seleccione Mostrar todas las plantillas y elija la plantilla de elemento.

   Sugerencia

   El nombre de archivo no importa, siempre que use la extensión .runsettings.

2. Agregue el contenido que se muestra en el archivo de ejemplo *.runsettings y, después, personalícelo de acuerdo con sus necesidades tal como se describe en las secciones siguientes.

3. Especifique el archivo *.runsettings que quiera mediante uno de los métodos siguientes:

   • IDE de Visual Studio
   • Línea de comandos
   • Cree un flujo de trabajo mediante Azure Test Plans o Azure DevOps Server (anteriormente conocido como Team Foundation Server [TFS]).

4. Ejecute las pruebas unitarias para usar los parámetros de ejecución personalizados.

Si quiere desactivar y activar los parámetros personalizados en el IDE, anule la selección del archivo o selecciónelo en el menú Prueba.

Especificar un archivo de parámetros de ejecución en el IDE

Los métodos disponibles dependerán de la versión de Visual Studio.

Visual Studio 2019, versión 16.4 y posteriores

Hay tres formas de especificar un archivo de parámetros de ejecución en la versión 16.4 de Visual Studio 2019 y posteriores.

• Detección automática de los parámetros de ejecución
• Establecimiento manual de los parámetros de ejecución
• Establecimiento de una propiedad de compilación

Detección automática del archivo de parámetros de ejecución

Para detectar automáticamente el archivo de parámetros de ejecución, colóquelo en la raíz de la solución.

Si está habilitada la detección automática de archivos de parámetros de ejecución, la configuración de este archivo se aplica a todas las pruebas ejecutadas. Puede activar la detección automática de los archivos runsettings siguiendo uno de estos dos métodos:

• Seleccione Herramientas>Opciones>Prueba>Detectar archivos runsettings automáticamente

  

• Seleccione Prueba>Configurar parámetros de ejecución>Detectar archivos runsettings automáticamente

  

Selección manual del archivo de parámetros de ejecución

En el IDE, seleccione Test>Configure Run Settings>Select Solution Wide runsettings File (Probar > Configurar parámetros de ejecución > Seleccionar archivo runsettings en toda la solución) y, después, seleccione el archivo .runsettings.

• Este archivo reemplaza .runsettings en la raíz de la solución, si hay alguno, y se aplica a todas las pruebas ejecutadas.
• Esta selección del archivo solo se conserva localmente.

Establecimiento de una propiedad de compilación

Agregue una propiedad de compilación a un proyecto mediante el archivo de proyecto o un archivo Directory.Build.props. El archivo de parámetros de ejecución de un proyecto se especifica mediante la propiedad RunSettingsFilePath.

• Los parámetros de ejecución de nivel de proyecto se admiten actualmente en proyectos C#, VB, C++ y F#.
• Un archivo especificado para un proyecto invalida cualquier otro archivo de parámetros de ejecución especificado en la solución.
• Estas propiedades de MSBuild se pueden usar para especificar la ruta de acceso al archivo "runsettings".

Ejemplo de cómo especificar un archivo .runsettings para un proyecto:

<Project Sdk="Microsoft.NET.Sdk">
  <PropertyGroup>
    <RunSettingsFilePath>$(MSBuildProjectDirectory)\example.runsettings</RunSettingsFilePath>
  </PropertyGroup>
  ...
</Project>

Visual Studio 2019, versión 16.3 y anteriores

Para especificar un archivo de parámetros de ejecución en el IDE, seleccione Prueba>Seleccionar archivo de configuración. Busque y seleccione el archivo .runsettings.

El archivo aparece en el menú Prueba, y puede seleccionarlo o anular su selección. Mientras está seleccionado, el archivo de parámetros de ejecución se aplica siempre que seleccione Analizar cobertura de código.

Especificación de un archivo de parámetros de ejecución desde la línea de comandos

Para ejecutar pruebas desde la línea de comandos, utilice vstest.console.exe y especifique el archivo de configuración mediante el parámetro /Settings.

1. Abra Símbolo del sistema para desarrolladores de Visual Studio.

2. Escriba un comando similar a:

   vstest.console.exe MyTestAssembly.dll /EnableCodeCoverage /Settings:CodeCoverage.runsettings
   

   o

   vstest.console.exe --settings:test.runsettings test.dll
   

Para obtener más información, vea Opciones de la línea de comandos para VSTest.Console.exe.

Archivo *.runsettings

El archivo *.runsettings es un archivo XML que contiene distintos elementos de configuración dentro del elemento RunSettings. En las secciones siguientes se detallan los distintos elementos. Para obtener un ejemplo completo, vea Archivo de ejemplo *.runsettings.

<?xml version="1.0" encoding="utf-8"?>
<RunSettings>
  <!-- configuration elements -->
</RunSettings>

Cada elemento de configuración es opcional porque tiene su valor predeterminado.

Elemento RunConfiguration

<RunConfiguration>
    <MaxCpuCount>1</MaxCpuCount>
    <ResultsDirectory>.\TestResults</ResultsDirectory>
    <TargetPlatform>x86</TargetPlatform>
    <TargetFrameworkVersion>net6.0</TargetFrameworkVersion>
    <TestAdaptersPaths>%SystemDrive%\Temp\foo;%SystemDrive%\Temp\bar</TestAdaptersPaths>
    <TestCaseFilter>(TestCategory != Integration) &amp; (TestCategory != UnfinishedFeature)</TestCaseFilter>
    <TestSessionTimeout>10000</TestSessionTimeout>
    <TreatNoTestsAsError>true</TreatNoTestsAsError>
</RunConfiguration>

El elemento RunConfiguration puede incluir los siguientes elementos:

Elemento DataCollectors (adaptadores de datos de diagnóstico)

El elemento DataCollectors especifica la configuración de los adaptadores de datos de diagnóstico. Los adaptadores de datos de diagnóstico recopilan información adicional sobre el entorno y la aplicación en pruebas. Cada adaptador tiene una configuración predeterminada, por lo que solo tiene que proporcionar valores si no quiere usar los predeterminados.

<DataCollectionRunSettings>
  <DataCollectors>
    <!-- data collectors -->
  </DataCollectors>
</DataCollectionRunSettings>

Recopilador de datos CodeCoverage

El recopilador de datos de cobertura de código crea un registro de las partes del código de aplicación que se han empleado en las pruebas. Para obtener información detallada sobre la personalización de los valores de cobertura de código, vea Personalizar el análisis de cobertura de código.

<DataCollector friendlyName="Code Coverage" uri="datacollector://Microsoft/CodeCoverage/2.0" assemblyQualifiedName="Microsoft.VisualStudio.Coverage.DynamicCoverageDataCollector, Microsoft.VisualStudio.TraceCollector, Version=11.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a">
  <Configuration>
    <CodeCoverage>
      <ModulePaths>
        <Exclude>
          <ModulePath>.*CPPUnitTestFramework.*</ModulePath>
        </Exclude>
      </ModulePaths>

      <UseVerifiableInstrumentation>True</UseVerifiableInstrumentation>
      <AllowLowIntegrityProcesses>True</AllowLowIntegrityProcesses>
      <CollectFromChildProcesses>True</CollectFromChildProcesses>
      <CollectAspDotNet>False</CollectAspDotNet>
    </CodeCoverage>
  </Configuration>
</DataCollector>

Recopilador de datos VideoRecorder

El recopilador de datos de vídeo captura una grabación de pantalla cuando se ejecutan las pruebas. Esta grabación es útil para solucionar problemas de pruebas de interfaz de usuario. El recopilador de datos de vídeo está disponible en Visual Studio 2017, versión 15.5 y posteriores. Para obtener un ejemplo de la configuración de este recopilador de datos, vea Archivo de ejemplo *.runsettings.

Para personalizar cualquier otro tipo de adaptador de datos de diagnóstico, use un archivo de configuración de pruebas.

Recopilador de datos de Blame

Esta opción puede ayudarle a aislar una prueba problemática que hace que el host de prueba se bloquee. Al ejecutar el recopilador, se crea un archivo de salida (Sequence.xml) en TestResults, donde se captura el orden de ejecución de la prueba antes del bloqueo.

Puede ejecutar Blame en tres modos diferentes:

• Modo de archivo de secuencia: para crear un archivo con la lista de pruebas hasta el bloqueo
• Modo de volcado de memoria: para crear un volcado de memoria cuando testhost se bloquea
• Modo de volcado de bloqueo: para crear un volcado cuando la prueba no finalice antes de un tiempo de espera determinado

La configuración XML debe colocarse directamente en el nodo <RunSettings>:

<RunSettings>
  <RunConfiguration>
  </RunConfiguration>
  <LoggerRunSettings>
    <Loggers>
      <Logger friendlyName="blame" enabled="True" />
    </Loggers>
  </LoggerRunSettings>
  <DataCollectionRunSettings>
    <DataCollectors>
      <!-- Enables blame -->
      <DataCollector friendlyName="blame" enabled="True">
        <Configuration>
          <!-- Enables crash dump, with dump type "Full" or "Mini".
          Requires ProcDump in PATH for .NET Framework. -->
          <CollectDump DumpType="Full" />
          <!-- Enables hang dump or testhost and its child processes 
          when a test hangs for more than 10 minutes. 
          Dump type "Full", "Mini" or "None" (just kill the processes). -->
          <CollectDumpOnTestSessionHang TestTimeout="10min" HangDumpType="Full" />
        </Configuration>
      </DataCollector>
    </DataCollectors>
  </DataCollectionRunSettings>
</RunSettings>

TestRunParameters

<TestRunParameters>
    <Parameter name="webAppUrl" value="http://localhost" />
    <Parameter name="docsUrl" value="https://video2.skills-academy.com" />
</TestRunParameters>

Los parámetros de la serie de pruebas proporcionan una manera de definir las variables y los valores que están disponibles para las pruebas en tiempo de ejecución. Acceda a los parámetros mediante la propiedad TestContext.Properties de MSTest (o TestContext de NUnit):

private string _appUrl;
public TestContext TestContext { get; set; }

[TestMethod] // [Test] for NUnit
public void HomePageTest()
{
    string _appUrl = TestContext.Properties["webAppUrl"];
}

Para usar parámetros de serie de pruebas, agregue una propiedad TestContext pública a la clase de prueba.

Elemento LoggerRunSettings

En la sección LoggerRunSettings se definen uno o varios registradores para la ejecución de pruebas. Los registradores más comunes son la consola, el archivo de resultados de pruebas de Visual Studio (TRX) y HTML.

<LoggerRunSettings>
    <Loggers>
      <Logger friendlyName="console" enabled="True">
        <Configuration>
            <Verbosity>quiet</Verbosity>
        </Configuration>
      </Logger>
      <Logger friendlyName="trx" enabled="True">
        <Configuration>
          <LogFileName>foo.trx</LogFileName>
        </Configuration>
      </Logger>
      <Logger friendlyName="html" enabled="True">
        <Configuration>
          <LogFileName>foo.html</LogFileName>
        </Configuration>
      </Logger>
    </Loggers>
  </LoggerRunSettings>

Elemento MSTest

Estos valores son específicos del adaptador de pruebas que ejecuta métodos de prueba con el atributo TestMethodAttribute .

<MSTest>
    <MapInconclusiveToFailed>True</MapInconclusiveToFailed>
    <CaptureTraceOutput>false</CaptureTraceOutput>
    <DeleteDeploymentDirectoryAfterTestRunIsComplete>False</DeleteDeploymentDirectoryAfterTestRunIsComplete>
    <DeploymentEnabled>False</DeploymentEnabled>
    <ConsiderFixturesAsSpecialTests>False</ConsiderFixturesAsSpecialTests>
    <AssemblyResolution>
      <Directory path="D:\myfolder\bin\" includeSubDirectories="false"/>
    </AssemblyResolution>
</MSTest>

Archivo de ejemplo .runsettings

El siguiente XML muestra el contenido de un archivo .runsettings típico. Copie el código y edítelo para satisfacer sus necesidades.

Cada elemento del archivo es opcional, porque cada valor tiene un valor predeterminado.

<?xml version="1.0" encoding="utf-8"?>
<RunSettings>
  <!-- Configurations that affect the Test Framework -->
  <RunConfiguration>
    <!-- Use 0 for maximum process-level parallelization. This does not force parallelization within the test DLL (on the thread-level). You can also change it from the Test menu; choose "Run tests in parallel". Unchecked = 1 (only 1), checked = 0 (max). -->
    <MaxCpuCount>1</MaxCpuCount>
    <!-- Path relative to directory that contains .runsettings file-->
    <ResultsDirectory>.\TestResults</ResultsDirectory>

    <!-- Omit the whole tag for auto-detection. -->
    <!-- [x86] or x64, ARM, ARM64, s390x  -->
    <!-- You can also change it from the Test menu; choose "Processor Architecture for AnyCPU Projects" -->
    <TargetPlatform>x86</TargetPlatform>

    <!-- Any TargetFramework moniker or omit the whole tag for auto-detection. -->
    <!-- net48, [net40], net6.0, net5.0, netcoreapp3.1, uap10.0 etc. -->
    <TargetFrameworkVersion>net40</TargetFrameworkVersion>

    <!-- Path to Test Adapters -->
    <TestAdaptersPaths>%SystemDrive%\Temp\foo;%SystemDrive%\Temp\bar</TestAdaptersPaths>

    <!-- TestCaseFilter expression -->
    <TestCaseFilter>(TestCategory != Integration) &amp; (TestCategory != UnfinishedFeature)</TestCaseFilter>

    <!-- TestSessionTimeout was introduced in Visual Studio 2017 version 15.5 -->
    <!-- Specify timeout in milliseconds. A valid value should be greater than 0 -->
    <TestSessionTimeout>10000</TestSessionTimeout>

    <!-- true or false -->
    <!-- Value that specifies the exit code when no tests are discovered -->
    <TreatNoTestsAsError>true</TreatNoTestsAsError>
  </RunConfiguration>

  <!-- Configurations for data collectors -->
  <DataCollectionRunSettings>
    <DataCollectors>
      <DataCollector friendlyName="Code Coverage" uri="datacollector://Microsoft/CodeCoverage/2.0" assemblyQualifiedName="Microsoft.VisualStudio.Coverage.DynamicCoverageDataCollector, Microsoft.VisualStudio.TraceCollector, Version=11.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a">
        <Configuration>
          <CodeCoverage>
            <ModulePaths>
              <Exclude>
                <ModulePath>.*CPPUnitTestFramework.*</ModulePath>
              </Exclude>
            </ModulePaths>

            <!-- We recommend you do not change the following values: -->
            <UseVerifiableInstrumentation>True</UseVerifiableInstrumentation>
            <AllowLowIntegrityProcesses>True</AllowLowIntegrityProcesses>
            <CollectFromChildProcesses>True</CollectFromChildProcesses>
            <CollectAspDotNet>False</CollectAspDotNet>

          </CodeCoverage>
        </Configuration>
      </DataCollector>

      <DataCollector uri="datacollector://microsoft/VideoRecorder/1.0" assemblyQualifiedName="Microsoft.VisualStudio.TestTools.DataCollection.VideoRecorder.VideoRecorderDataCollector, Microsoft.VisualStudio.TestTools.DataCollection.VideoRecorder, Version=15.0.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a" friendlyName="Screen and Voice Recorder">
        <!--Video data collector was introduced in Visual Studio 2017 version 15.5 -->
        <Configuration>
          <!-- Set "sendRecordedMediaForPassedTestCase" to "false" to add video attachments to failed tests only -->
          <MediaRecorder sendRecordedMediaForPassedTestCase="true"  xmlns="">           ​
            <ScreenCaptureVideo bitRate="512" frameRate="2" quality="20" />​
          </MediaRecorder>​
        </Configuration>
      </DataCollector>

      <!-- Configuration for blame data collector -->
      <DataCollector friendlyName="blame" enabled="True">
      </DataCollector>

    </DataCollectors>
  </DataCollectionRunSettings>

  <!-- Parameters used by tests at run time -->
  <TestRunParameters>
    <Parameter name="webAppUrl" value="http://localhost" />
    <Parameter name="webAppUserName" value="Admin" />
    <Parameter name="webAppPassword" value="Password" />
  </TestRunParameters>

  <!-- Configuration for loggers -->
  <LoggerRunSettings>
    <Loggers>
      <Logger friendlyName="console" enabled="True">
        <Configuration>
            <Verbosity>quiet</Verbosity>
        </Configuration>
      </Logger>
      <Logger friendlyName="trx" enabled="True">
        <Configuration>
          <LogFileName>foo.trx</LogFileName>
        </Configuration>
      </Logger>
      <Logger friendlyName="html" enabled="True">
        <Configuration>
          <LogFileName>foo.html</LogFileName>
        </Configuration>
      </Logger>
      <Logger friendlyName="blame" enabled="True" />
    </Loggers>
  </LoggerRunSettings>

  <!-- Adapter Specific sections -->

  <!-- MSTest adapter -->
  <MSTest>
    <MapInconclusiveToFailed>True</MapInconclusiveToFailed>
    <CaptureTraceOutput>false</CaptureTraceOutput>
    <DeleteDeploymentDirectoryAfterTestRunIsComplete>False</DeleteDeploymentDirectoryAfterTestRunIsComplete>
    <DeploymentEnabled>False</DeploymentEnabled>
    <AssemblyResolution>
      <Directory path="D:\myfolder\bin\" includeSubDirectories="false"/>
    </AssemblyResolution>
  </MSTest>

</RunSettings>

Especificación de variables de entorno en el archivo .runsettings

Las variables de entorno se pueden establecer en el archivo .runsettings, que puede interactuar directamente con el host de prueba. Especificar variables de entorno en el archivo .runsettings es necesario para admitir proyectos no triviales que requieren configurar variables de entorno como, por ejemplo, DOTNET_ROOT. Estas variables se establecen al generar el proceso del host de prueba y están disponibles en el host.

Ejemplo

El siguiente código es un archivo .runsettings de ejemplo que pasa variables de entorno:

<?xml version="1.0" encoding="utf-8"?>
<!-- File name extension must be .runsettings -->
<RunSettings>
  <RunConfiguration>
    <EnvironmentVariables>
      <!-- List of environment variables we want to set-->
      <DOTNET_ROOT>C:\ProgramFiles\dotnet</DOTNET_ROOT>
      <SDK_PATH>C:\Codebase\Sdk</SDK_PATH>
    </EnvironmentVariables>
  </RunConfiguration>
</RunSettings>

El nodo RunConfiguration debe contener un nodo EnvironmentVariables. Una variable de entorno se puede especificar como un nombre de elemento y su valor.

Contenido relacionado

• Configuración de una serie de pruebas
• Personalizar el análisis de cobertura de código
• Visual Studio test task (Azure Test Plans) [Tarea de prueba de Visual Studio (Azure Test Plans)]