Azure Machine Learning tarafından seçilen Açık Kaynak temel modellerini kullanma

  • Makale

Bu makalede, Model Kataloğu'nda temel modellerde ince ayar yapmayı, değerlendirmeyi ve dağıtmayı öğreneceksiniz.

Model kartındaki Örnek Çıkarım formunu kullanarak önceden eğitilmiş herhangi bir modeli hızla test edebilir ve sonucu test etmek için kendi örnek girişinizi sağlayabilirsiniz. Ayrıca, her modelin model kartında modelin kısa bir açıklaması ve modelin kod tabanlı çıkarım, ince ayar ve değerlendirme için örneklere bağlantıları bulunur.

Kendi test verilerinizi kullanarak temel modelleri değerlendirme

Kullanıcı arabirimini değerlendir formunu kullanarak veya model kartından bağlantılı kod tabanlı örnekleri kullanarak test veri kümenize göre bir Temel Modeli değerlendirebilirsiniz.

Stüdyo kullanarak değerlendirme

Herhangi bir temel modelin model kartındaki Değerlendir düğmesini seçerek Modeli değerlendir formunu çağırabilirsiniz.

Kullanıcı bir temel model için model kartındaki değerlendir düğmesini seçtikten sonra değerlendirme ayarları formunu gösteren ekran görüntüsü.

Her model, modelin kullanılacağı belirli çıkarım görevi için değerlendirilebilir.

Test Verileri:

  1. Modelinizi değerlendirmek için kullanmak istediğiniz test verilerini geçirin. Yerel bir dosyayı (JSONL biçiminde) karşıya yüklemeyi veya çalışma alanınızdan mevcut kayıtlı veri kümesini seçebilirsiniz.
  2. Veri kümesini seçtikten sonra, görev için gereken şemaya göre giriş verilerinizden sütunları eşlemeniz gerekir. Örneğin, Metin Sınıflandırması için 'cümle' ve 'etiket' anahtarlarına karşılık gelen sütun adlarını eşleyin

Temel model değerlendirme formundaki değerlendirme haritasını gösteren ekran görüntüsü.

Bilgi İşlem:

  1. Modelde ince ayar yapmak için kullanmak istediğiniz Azure Machine Learning İşlem kümesini sağlayın. Değerlendirmenin GPU işlemi üzerinde çalışması gerekir. Kullanmak istediğiniz işlem SKU'ları için yeterli işlem kotanıza sahip olduğunuzdan emin olun.

  2. Değerlendirme işinizi göndermek için Değerlendirme formunda Son'u seçin. İş tamamlandıktan sonra modelin değerlendirme ölçümlerini görüntüleyebilirsiniz. Değerlendirme ölçümlerine bağlı olarak, kendi eğitim verilerinizi kullanarak modelde ince ayar yapmak isteyip istediğinize karar vekleyebilirsiniz. Ayrıca modeli kaydetmek ve bir uç noktaya dağıtmak isteyip istediğinize de karar vekleyebilirsiniz.

Kod tabanlı örnekleri kullanarak değerlendirme

Kullanıcıların model değerlendirmesini kullanmaya başlamasını sağlamak için azureml-examples git deposundaki değerlendirme örnekleri bölümünde örnekler (hem Python not defterleri hem de CLI örnekleri) yayımladık. Her model kartı, ilgili görevler için değerlendirme örneklerine de bağlantı sağlar

Kendi eğitim verilerinizi kullanarak temel modellerde ince ayar yapma

İş yükünüzdeki model performansını geliştirmek için kendi eğitim verilerinizi kullanarak temel modelde ince ayarlamalar yapmak isteyebilirsiniz. Stüdyodaki ince ayarları kullanarak veya model kartından bağlantılı kod tabanlı örnekleri kullanarak bu temel modellerde kolayca ince ayar yapabilirsiniz.

Stüdyoyu kullanarak ince ayar yapma

Herhangi bir temel model için model kartındaki İnce ayar düğmesini seçerek ince ayar ayarları formunu çağırabilirsiniz.

Ayarlar'a ince ayar yapın:

Temel modellerde ayar ayarları formundaki ince ayar seçeneklerini gösteren ekran görüntüsü.

Görev türüne ince ayar

  • Model kataloğundan önceden eğitilen her model belirli bir görev kümesi için ince ayar yapılabilir (Örneğin: Metin sınıflandırması, Belirteç sınıflandırması, Soru yanıtlama). Açılan listeden kullanmak istediğiniz görevi seçin.

Eğitim Verileri

  1. Modelinize ince ayar yapmak için kullanmak istediğiniz eğitim verilerini geçirin. Yerel bir dosyayı (JSONL, CSV veya TSV biçiminde) karşıya yüklemeyi veya çalışma alanınızdan mevcut kayıtlı veri kümesini seçebilirsiniz.

  2. Veri kümesini seçtikten sonra, görev için gereken şemaya göre giriş verilerinizden sütunları eşlemeniz gerekir. Örneğin: Metin Sınıflandırması için 'cümle' ve 'etiket' anahtarlarına karşılık gelen sütun adlarını eşleme

Temel model değerlendirme sihirbazındaki ince ayar haritasını gösteren ekran görüntüsü.

  • Doğrulama verileri: Modelinizi doğrulamak için kullanmak istediğiniz verileri geçirin. Otomatik bölme seçildiğinde, doğrulama için eğitim verilerinin otomatik bir bölümü ayrılır. Alternatif olarak, farklı bir doğrulama veri kümesi sağlayabilirsiniz.
  • Test verileri: Hassas modelinizi değerlendirmek için kullanmak istediğiniz test verilerini geçirin. Otomatik bölme seçildiğinde test için eğitim verilerinin otomatik bir bölümü ayrılır.
  • İşlem: Modelde ince ayar yapmak için kullanmak istediğiniz Azure Machine Learning İşlem kümesini sağlayın. GPU işlemlerinde ince ayarlamanın çalışması gerekir. İnce ayar yaparken A100 / V100 GPU'ları ile işlem SKU'larını kullanmanızı öneririz. Kullanmak istediğiniz işlem SKU'ları için yeterli işlem kotanıza sahip olduğunuzdan emin olun.
  1. hassas ayarlama işinizi göndermek için ince ayar formunda Son'u seçin. İş tamamlandıktan sonra ince ayarlı modelin değerlendirme ölçümlerini görüntüleyebilirsiniz. Daha sonra ince ayar işiyle ince ayarlı model çıkışını kaydedebilir ve bu modeli çıkarım için bir uç noktaya dağıtabilirsiniz.

Kod tabanlı örnekleri kullanarak ince ayar

Şu anda Azure Machine Learning, aşağıdaki dil görevleri için ince ayar modellerini destekler:

  • Metin sınıflandırması
  • Belirteç sınıflandırması
  • Soru cevaplama
  • Özetleme
  • Çeviri

Kullanıcıların hızlı bir şekilde ince ayarlamaya başlamasını sağlamak için azureml-examples git deposu Finetune örneklerinde her görev için örnekler (hem Python not defterleri hem de CLI örnekleri) yayımladık. Her model kartı, desteklenen ince ayar görevleri için ince ayar örneklerine de bağlantı sağlar.

Çıkarım için uç noktalara temel model dağıtma

Temel modelleri (hem model kataloğundan önceden eğitilmiş modeller hem de çalışma alanınıza kaydedildikten sonra ince ayarlanmış modeller) çıkarım için kullanılabilecek bir uç noktaya dağıtabilirsiniz. Hem sunucusuz API'lere hem de yönetilen işleme dağıtım desteklenir. Bu modelleri, Kullanıcı arabirimi dağıtma sihirbazını veya model kartından bağlı kod tabanlı örnekleri kullanarak dağıtabilirsiniz.

Stüdyo kullanarak dağıtma

Herhangi bir temel model için model kartında Dağıt düğmesini seçerek ve Azure AI İçerik Güvenliği ile Sunucusuz API'yi veya Azure AI İçerik Güvenliği olmadan Yönetilen İşlem'i seçerek Kullanıcı ArabirimiNi Dağıt formunu çağırabilirsiniz

Temel model kartındaki dağıt düğmesini gösteren ekran görüntüsü.

Dağıtım ayarları

Puanlama betiği ve ortamı temel modele otomatik olarak eklendiğinden, yalnızca kullanılacak Sanal makine SKU'sunu, örnek sayısını ve dağıtım için kullanılacak uç nokta adını belirtmeniz gerekir.

Kullanıcı dağıt düğmesini seçtikten sonra temel model kartındaki dağıtım seçeneklerini gösteren ekran görüntüsü.

Paylaşılan kota

Model kataloğundan bir Llama-2, Phi, Nemotron, Mistral, Dolly veya Deci-DeciLM modeli dağıtıyorsanız ancak dağıtım için yeterli kotanız yoksa, Azure Machine Learning paylaşılan kota havuzundan kotayı sınırlı bir süre kullanmanıza olanak tanır. Paylaşılan kota hakkında daha fazla bilgi için Azure Machine Learning paylaşılan kotası bölümüne bakın.

Paylaşılan kota kullanarak bir Lama modelini geçici olarak dağıtma seçeneğini gösteren ekran görüntüsü.

Kod tabanlı örnekler kullanarak dağıtma

Kullanıcıların dağıtım ve çıkarıma hızlı bir şekilde başlamasını sağlamak için azureml-examples git deposundaki Çıkarım örneklerinde örnekler yayımladık. Yayımlanan örnekler Python not defterlerini ve CLI örneklerini içerir. Her model kartı, Gerçek zamanlı çıkarım örneklerine ve Batch çıkarımlarına da bağlanır.

Temel modelleri içeri aktarma

Model kataloğuna dahil olmayan bir açık kaynak modeli kullanmak istiyorsanız Modeli Hugging Face'ten Azure Machine Learning çalışma alanınıza aktarabilirsiniz. Hugging Face, popüler NLP görevleri için önceden eğitilmiş modeller sağlayan, doğal dil işlemeye (NLP) yönelik açık kaynaklı bir kitaplıktır. Şu anda model içeri aktarma, Model İçe Aktarma Not Defterinde listelenen gereksinimler karşılandığı sürece aşağıdaki görevler için modellerin içe aktarılmasını destekler:

  • fill-mask
  • token-classification
  • question-answering
  • summarization
  • text-generation
  • text-classification
  • çeviri
  • image-classification
  • text-to-image

Not

YüzLeri Kucaklama modelleri, Yüz Tanıma modeli ayrıntıları sayfasında sağlanan üçüncü taraf lisans koşullarına tabidir. Modelin lisans koşullarına uymak sizin sorumluluğunuzdadır.

Model İçeri Aktarma Not Defteri'ni kullanmak için model kataloğunun sağ üst kısmındaki İçeri Aktar düğmesini seçebilirsiniz.

Temel model kataloğunun sağ üst köşesinde görüntülenen model içeri aktarma düğmesini gösteren ekran görüntüsü.

Model içeri aktarma not defteri buradaki azureml-examples git deposuna da dahildir.

Modeli içeri aktarmak için, Yüz Tanıma'dan içeri aktarmak istediğiniz modeli geçirmeniz MODEL_ID gerekir. Yüz Tanıma Hub'ına Sarılan modellere göz atın ve içeri aktaracak modeli belirleyin. Modelin görev türünün desteklenen görev türleri arasında olduğundan emin olun. Sayfanın URI'sinde bulunan veya model adının yanındaki kopyala simgesi kullanılarak kopyalanabilen model kimliğini kopyalayın. Bunu Model içeri aktarma not defterindeki 'MODEL_ID' değişkenine atayın. Örneğin:

Sarılan yüz modeli belgeleri sayfasında gösterildiği gibi, bir sarılma yüz modeli kimliğinin ('bert-base-uncased') bir örneğini gösteren ekran görüntüsü.

Model içeri aktarma işleminin çalışması için işlem sağlamanız gerekir. Model İçeri Aktarma'nın çalıştırılması, belirtilen modelin Hugging Face'den içeri aktarılmasına ve Azure Machine Learning çalışma alanınıza kaydedilmesine neden olur. Daha sonra bu modelde ince ayar yapabilir veya çıkarım için bir uç noktaya dağıtabilirsiniz.

Daha fazla bilgi edinin