Obsługa wielojęzycznych i emoji w funkcjach usługi językowej

  • Artykuł

Obsługa wielojęzycznych i emoji doprowadziła do kodowania Unicode, które używają więcej niż jednego punktu kodu do reprezentowania pojedynczego wyświetlanego znaku nazywanego grafemem. Na przykład emoji, takie jak 🌷 i 👍 mogą używać kilku znaków do tworzenia kształtu z dodatkowymi znakami dla atrybutów wizualnych, takich jak odcienie skóry. Podobnie słowo अनुच्छेद hindi jest kodowane jako pięć liter i trzy znaki łączące.

Ze względu na różne długości możliwych kodowań wielojęzycznych i emoji funkcje usługi językowej mogą zwracać przesunięcia w odpowiedzi.

Przesunięcia w odpowiedzi interfejsu API

Zawsze, gdy przesunięcia są zwracane odpowiedzi interfejsu API, pamiętaj:

  • Elementy w odpowiedzi mogą być specyficzne dla wywoływanego punktu końcowego.
  • Ładunki HTTP POST/GET są kodowane w formacie UTF-8, co może być lub nie jest domyślnym kodowaniem znaków w kompilatorze po stronie klienta lub systemie operacyjnym.
  • Przesunięcia odnoszą się do liczb grafu na podstawie standardu Unicode 8.0.0 , a nie liczby znaków.

Wyodrębnianie podciągów z tekstu z przesunięciami

Przesunięcia mogą powodować problemy podczas korzystania z metod podciągów opartych na znakach, na przykład metody .NET substring(). Jednym z problemów jest to, że przesunięcie może spowodować zakończenie metody podciągnięcia w środku kodowania grafu wieloznakowego zamiast końca.

Na platformie .NET rozważ użycie klasy StringInfo , która umożliwia pracę z ciągiem jako serią elementów tekstowych, a nie pojedynczych obiektów znaków. Możesz również wyszukać biblioteki rozdzielacze grafu w preferowanym środowisku oprogramowania.

Funkcje usługi językowej również zwracają te elementy tekstowe dla wygody.

Punkty końcowe, które zwracają przesunięcie, będą obsługiwać stringIndexType parametr . Ten parametr dostosowuje offset atrybuty i length w danych wyjściowych interfejsu API w celu dopasowania do żądanego schematu iteracji ciągów. Obecnie obsługujemy trzy typy:

  • textElement_v8(wartość domyślna): iteruje grafy zgodnie ze standardem Unicode 8.0.0
  • unicodeCodePoint: iteruje punkty kodu Unicode, domyślny schemat dla języka Python 3
  • utf16CodeUnit: iteruje jednostki kodu UTF-16, schemat domyślny dla języków JavaScript, Java i .NET

stringIndexType Jeśli żądane jest zgodne z wybranym środowiskiem programowania, wyodrębnianie podciągów można wykonać przy użyciu standardowych metod podciągów lub wycinków.

Zobacz też