Wykrywanie języków

Wykrywa język każdego wiersza w pliku wejściowym

Kategoria: analiza tekstu

Omówienie modułu

W tym artykule opisano sposób używania modułu Detect Languages w programie Machine Learning Studio (wersja klasyczna) do analizowania danych wejściowych tekstu i identyfikowania języka skojarzonego z każdym rekordem w danych wejściowych.

Algorytm wykrywania języka może identyfikować wiele różnych języków. Wystarczy określić kolumnę ciągu do przeanalizowania oraz łączną liczbę języków do wykrycia. Algorytm przeanalizuje każdy wiersz tekstu i przypisze wynik prawdopodobieństwa dla każdego języka. Język w pierwszej kolumnie wyników to język, który uzyskał najwyższą ocenę.

Jak skonfigurować wykrywanie języków

1. Dodaj zestaw danych zawierający tekst, który chcesz przeanalizować, do eksperymentu w programie Machine Learning Studio (wersja klasyczna). Kolumna zawierająca tekst do przeanalizowania musi być typem danych ciągu.

   Zestaw dat nie musi zawierać kolumny etykiety; Algorytm wykrywania języka działa wyłącznie na funkcjach językowych obsługiwanych języków.

   Jeśli importujesz nowe dane, upewnij się, że dane zostały zapisane w formacie UTF-8. Inne formaty Unicode nie są obsługiwane.

2. Dodaj moduł Detect Languages (Wykrywanie języków ) do eksperymentu i połącz zestaw danych z tekstem do wykrywania języka.

3. W polu Kolumna tekstowa wybierz kolumnę, którą chcesz przeanalizować.

4. W przypadku górnej granicy liczby języków do wykrycia wskaż maksymalną liczbę języków do wykrycia.

   Ustawienie górnej granicy liczby języków może zwiększyć wydajność.

5. Uruchom eksperyment.

Wyniki

Moduł Detect Languages (Wykrywanie języków) wyprowadza identyfikator języka i ocenę dla każdego wiersza.

Na przykład następująca tabela zawiera przykładową analizę danych testowych.

• Dwie pierwsze kolumny col1 i etykieta języka to kolumny przekazane z wejściowego zestawu danych. Ponieważ w tym przykładzie wejściowy zestaw danych został zaprojektowany do testowania modułu, oczekiwany język był już znany i znajduje się w kolumnie etykiet.

• Pozostałe kolumny są generowane przez moduł Detect Languages (Wykrywanie języków ). Jeśli istnieją równoważnie prawdopodobne dopasowania języków, na liście może być kilka języków z wynikiem dla każdego z nich. W tym przypadku moduł przewiduje tylko jeden język dla każdego wiersza wraz z wynikiem prawdopodobieństwa dla tego języka.

  Jeśli moduł nie wykryje żadnego języka z wystarczająco wysokim wynikiem, wynikiem jest (Nieznany) z wynikiem 0. Jednak języki obsługiwane przez moduł mogą zmieniać się wraz z czasem, gdy interfejs API jest aktualizowany.

Przykłady

Aby uzyskać przykłady dotyczące sposobu, w jaki moduł Detect Languages jest używany w eksperymencie, zobacz Azure AI Gallery:

• Filtruj tytuły filmów według języka: wykrywa język używany w nazwach filmów, a następnie używa identyfikatora języka, aby podzielić zestaw danych na filmy w języku angielskim lub innym niż angielski.

Uwagi techniczne

Ogólne informacje na temat języków, które mogą zostać wykryte, można znaleźć w Translator Bing.

Można wykryć o wiele więcej języków, niż Machine Learning obecnie obsługuje zaawansowaną analizę tekstu. Zalecamy użycie wyników polecenia Wykryj języki do filtrowania wyników, które są wysyłana do innych modułów wymagających przetwarzania specyficznego dla języka.

Podstawowe usługi językowe są również używane przez usługę analiza tekstu w Azure Cognitive Services.

Oczekiwane dane wejściowe

Parametry modułu

Dane wyjściowe

Wyjątki

Aby uzyskać listę błędów specyficznych dla modułów programu Studio (wersja klasyczna), zobacz Machine Learning Kodów błędów.

Aby uzyskać listę wyjątków interfejsu API, zobacz Machine Learning API REST Error Codes (Kody błędów interfejsu API REST).

Zobacz też

Analiza tekstu
Lista modułów A–Z