Usuwanie zduplikowanych wierszy

Usuwa zduplikowane wiersze z zestawu danych

Kategoria: Przekształcanie/manipulowanie danymi

Omówienie modułu

W tym artykule opisano sposób usuwania zduplikowanych wierszy w programie Machine Learning Studio (wersja klasyczna) w celu usunięcia potencjalnych duplikatów z zestawu danych.

Załóżmy na przykład, że dane wyglądają podobnie do następujących i reprezentują wiele rekordów pacjentów.

Ten przykład ma wiele kolumn z potencjalnie zduplikowanymi danymi. To, czy są one duplikatami, zależy od twojej wiedzy na temat danych.

• Możesz na przykład wiedzieć, że wielu pacjentów ma taką samą nazwę. Duplikatów nie można wyeliminować przy użyciu żadnych kolumn nazw, a tylko kolumn identyfikatorów . Dzięki temu odfiltrowane są tylko wiersze ze zduplikowanymi wartościami identyfikatorów, niezależnie od tego, czy pacjenci mają taką samą nazwę, czy nie.

• Alternatywnie można zezwolić na duplikaty w polu Identyfikator i użyć innej kombinacji plików w celu znalezienia unikatowych rekordów, takich jak imię, nazwisko, wiek i płeć.

Aby ustawić kryteria dotyczące tego, czy wiersz jest zduplikowany, należy określić pojedynczą kolumnę lub zestaw kolumn do użycia jako klucze. Dwa wiersze są traktowane jako duplikaty tylko wtedy, gdy wartości we wszystkich kolumnach klucza są równe.

Uruchomienie modułu powoduje utworzenie kandydowania zestawu danych i zwraca zestaw wierszy, które nie mają duplikatów we wskazanym zestawie kolumn.

Jak usunąć zduplikowane wiersze

1. Dodaj moduł do eksperymentu. Moduł Remove Duplicate Rows (Usuwanie zduplikowanych wierszy) można znaleźć w obszarze Przekształcanie danych, Manipulowanie.

2. Połączenie zestawu danych, który chcesz sprawdzić pod czy są zduplikowane wiersze.

3. W okienku Właściwości w obszarze Wyrażenie filtru wyboru kolumny klucza kliknij pozycję Uruchom selektor kolumn, aby wybrać kolumny do użycia w identyfikowaniu duplikatów.

   W tym kontekście klucz nie oznacza unikatowego identyfikatora. Wszystkie kolumny wybrane przy użyciu selektora kolumn są oznaczone jako kolumny klucza. Wszystkie niewybrane kolumny są traktowane jako kolumny bez klucza. Kombinacja kolumn wybranych jako klucze określa unikatowość rekordów. (Pomyśl o tym jak o SQL, która używa wielu sprzężenia równości).

   Przykłady:

   • "Chcę mieć pewność, że identyfikatory są unikatowe": wybierz tylko kolumnę Identyfikator.
   • "Chcę mieć pewność, że kombinacja imienia, nazwiska i identyfikatora jest unikatowa": wybierz wszystkie trzy kolumny.

4. Użyj Zachowaj pierwszy zduplikowany wiersz pole wyboru , aby wskazać, który wiersz ma być zwracany po znaleziono duplikaty:

   • Jeśli ta opcja jest zaznaczona, zwracany jest pierwszy wiersz, a inne są odrzucane.
   • Jeśli ta opcja nie zostanie zaznaczona, ostatni zduplikowany wiersz będzie przechowywany w wynikach, a inne zostaną odrzucone.

   Zobacz sekcję Uwagi techniczne , aby uzyskać informacje na temat sposobu obsługi pomijanych wartości.

5. Uruchom eksperyment lub kliknij moduł i wybierz pozycję Uruchom wybrane.

6. Aby przejrzeć wyniki, kliknij prawym przyciskiem myszy moduł, wybierz pozycję Zestaw danych wyników, a następnie kliknij pozycję Visualize (Wizualizacja).

Przykłady

Aby zobaczyć przykłady sposobu, w jaki ten moduł jest używany, zobacz Azure AI Gallery:

• Wykrywanie raka choroby: funkcja Usuń zduplikowane wiersze służy do konsolidowania treningowych i testowych zestawów danych po dodaniu kolumn funkcji.

• Rekomendacja filmu: używa polecenia Usuń zduplikowane wiersze , aby upewnić się, że na film jest tylko jedna ocena użytkownika.

• Analiza tonacji w serwisie Twitter : usuwanie zduplikowanych wierszy jest stosowane tylko do kolumn identyfikatorów i popularności, aby upewnić się, że istnieje tylko jedna wartość klasyfikacji porządkowej na film. Innymi słowy, film nie może być pierwszy ani trzeci, więc używana jest pojedyncza wartość, nawet jeśli użytkownicy sklasyfikowali film w inny sposób.

Uwagi techniczne

Ta sekcja zawiera szczegóły implementacji, porady i odpowiedzi na często zadawane pytania.

Szczegóły implementacji

Moduł działa przez zapętlenie wszystkich wierszy wejściowego zestawu danych. Zbiera ona do wyjściowego zestawu danych wszystkie wiersze, w których po raz pierwszy pojawia się unikatowa kombinacja wartości kolumny klucza.

Typ tablicy kolumn jest zachowywany niezależnie od wyników filtrowania wierszy. Nie można wymusić na tablicy określonego typu danych przez odfiltrowanie nieprawidłowych wartości; Typ tablicy kolumn jest oparty na wszystkich wartościach w kolumnie. To ograniczenie ma również zastosowanie w przypadku filtrowania brakujących wartości.

Algorytm używany do porównywania wartości danych jest wymuszany przy wyznaczaniu wartości skrótu.

Brakujące wartości

W wejściowym zestawie danych mogą brakować wartości w kolumnach bez klucza i kluczach. Te reguły dotyczą brakujących wartości:

• Brakująca wartość jest uznawana za prawidłową wartość w kluczach kolumn. W obu kluczach mogą być obecne brakujące wartości.

• W rozrzednionym zestawie danych brakująca wartość jest uznawana za równą tylko wtedy, gdy jest równa domyślnej reprezentacji wartości rozrzedzionej.

• W kolumnach kluczy brakująca wartość jest uznawana za równą innym brakującym wartościom, ale nie równa się brakujących wartościom.

Oczekiwane dane wejściowe

Parametry modułu

Dane wyjściowe

Wyjątki

Aby uzyskać listę błędów specyficznych dla modułów programu Studio (wersja klasyczna), zobacz Machine Learning Kodów błędów.

Aby uzyskać listę wyjątków interfejsu API, zobacz Machine Learning API REST Error Codes (Kody błędów interfejsu API REST).

Zobacz też

Manipulacji
Lista modułów A–Z