Hugging Face Transformers nedir?
Bu makale, Azure Databricks'te Yüz Dönüştürücülerini Kucaklama konusuna giriş niteliğindedir. Hugging Face Transformers'ın neden kullanılacağına ve kümenize nasıl yükleneceğine ilişkin yönergeler içerir.
Yüz Transformatörlerini Kucaklama Arka Planı
Face Transformers'ı Kucaklama, Yüz Tanıma tarafından oluşturulan derin öğrenme için açık kaynak bir çerçevedir. En son model önceden eğitilmiş modelleri indirmek ve performansı en üst düzeye çıkarmak için bunları daha fazla ayarlamak için API'ler ve araçlar sağlar. Bu modeller doğal dil işleme, görüntü işleme, ses ve çok modali uygulamalar gibi farklı modalitelerdeki yaygın görevleri destekler.
Not
Machine Learning için Databricks Runtime, Databricks Runtime 10.4 LTS ML ve üzeri sürümleriyle Yüz Tanıma özelliğini içerir transformers ve Databricks Runtime 13.0 ML ve üzeri modellerde Yüz Tanıma veri kümelerini kucaklama, hızlandırma ve değerlendirme içerir.
Yapılandırılan Databricks Runtime ML sürümünüze hangi Hugging Face sürümünün dahil olduğunu denetlemek için ilgili sürüm notlarındaki Python kitaplıkları bölümüne bakın.
Neden Hugging Face Transformers kullanmalısınız?
Yaklaşım analizi ve metin özetleme gibi birçok uygulama için önceden eğitilmiş modeller ek model eğitimi olmadan iyi çalışır.
Face Transformers işlem hatlarını kucaklama en iyi yöntemleri kodlar ve farklı görevler için varsayılan modellerin seçilmesini sağlayarak kullanmaya başlamayı kolaylaştırır. İşlem hatları, kullanılabilir olduğunda GPU'ların kullanımını kolaylaştırır ve daha iyi aktarım hızı performansı için GPU'ya gönderilen öğelerin toplu işlenmesine izin verir.
Yüz TanımaYazma şu bilgileri sağlar:
- Önceden eğitilmiş birçok modeli içeren bir model hub'ı.
- 🤗 NLP uygulamaları ve ince ayarlama için bu modellerin indirilmesini ve kullanılmasını destekleyen Transformers kitaplığı. Doğal dil işleme görevleri için hem belirteç oluşturucuya hem de modele ihtiyaç duyulmak yaygındır.
- 🤗 Çoğu doğal dil işleme görevi için basit bir arabirime sahip transformers işlem hatları .
Yüklemek transformers
Kümenizdeki Databricks Runtime sürümü Sarılma Yüzü transformersiçermiyorsa, en son Hugging Face transformers kitaplığını Databricks PyPI kitaplığı olarak yükleyebilirsiniz.
%pip install transformers
Model bağımlılıklarını yükleme
Farklı modellerin farklı bağımlılıkları olabilir. Databricks, gerektiğinde bu bağımlılıkları yüklemek için %pip magic komutlarını kullanmanızı önerir.
Yaygın bağımlılıklar şunlardır:
librosa: ses dosyalarının kodunu çözmeyi destekler.soundfile: bazı ses veri kümeleri oluşturulurken gereklidir.bitsandbytes: kullanılırkenload_in_8bit=Truegereklidir.SentencePiece: NLP modelleri için belirteç oluşturucu olarak kullanılır.timm: DetrForSegmentation tarafından gereklidir.
Tek düğümlü eğitim
Tek makineli iş akışlarını test etmek ve geçirmek için Tek Düğümlü küme kullanın.
Ek kaynaklar
Aşağıdaki makaleler örnek not defterlerini ve Azure Databricks'te büyük dil modeli (LLM) ince ayarı ve model çıkarımı için Yüz Tanıma transformers özelliğini kullanma yönergelerini içerir.