Azure Open AI – İçerik Filtreleme
Azure OpenAI Hizmeti, ana modellerle birlikte çalışan bir içerik filtreleme mekanizmasına sahiptir. Bu sistem, istenmeyen içeriğin üretimini belirlemek ve azaltmak için tasarlanmış bir dizi sınıflandırma modelini kullanarak hem girdi uyarılarını hem de oluşturulan yanıtları değerlendirir. Hem girdilerde hem de çıktılarda potansiyel olarak zararlı içeriğin çeşitli türlerini aktif olarak tanımlar ve ele alır. Bu içerik filtrelemenin etkinliği, API ayarlarına ve uygulamanın tasarımına bağlı olarak değişiklik gösterebilir ve bu durum, oluşturulan içeriği ve dolayısıyla filtreleme sürecini etkileyebilir.
Nefret söylemi, cinsel içerik, şiddet ve kendine zarar verme ile ilgili içerikleri filtreleyen modeller titizlikle eğitilmiş ve İngilizce, Almanca, Japonca, İspanyolca, Fransızca, İtalyanca, Portekizce ve Çince gibi dillerde yeterlilik açısından değerlendirilmiştir. Hizmet çok sayıda başka dilde çalışabilse de performans düzeyi farklılık gösterebilir. Özel uygulamanıza uygunluğunu doğrulamak için kendi testinizi yapmanız tavsiye edilir.
Azure OpenAI Hizmeti, içerik filtrelemenin ötesinde, hizmet koşullarını ihlal etme olasılığı bulunan kullanım kalıplarını veya içerikleri belirlemek için izleme protokolleri uygular.
Azure OpenAI Hizmeti’ne yerleşik içerik filtreleme sistemi şunları kapsar:
- Zararlı içeriği tanımlama ve azaltma amacına hizmet eden, çok sınıflı sınıflandırma için tasarlanmış gelişmiş sinir ağı modelleri. Bu modeller dört farklı kategoride uzmanlaşmıştır: nefret söylemi, cinsel içerik, şiddet ve kendine zarar verme ve içeriği “güvenli” ile “yüksek” arasında değişen dört önem düzeyinde değerlendirir. ‘Güvenli’ düzeyi altında sınıflandırılan içerik, ek açıklamalarda buna göre işaretlenir ancak filtrelenmez veya yapılandırma değişikliklerine tabi tutulmaz.
- Potansiyel jailbreak risklerini tanımlamak ve bilinen metin veya kod örneklerini tanımak için ek özel modeller mevcuttur. Bu modeller, ikili sınıflandırıcılar olarak işlev görerek kullanıcıların eylemlerinin veya modelin kendisinin bir jailbreak girişimi oluşturup oluşturmayacağını veya tanınan metin veya kaynak koduyla bir eşleşme olup olmadığını belirler. Bu modellerin dağıtımı kullanıcının takdirinde olsa da, Müşteri Telif Hakkı Taahhüdü kapsamında sunulan korumalara hak kazanmak için korunan materyali tanımlamaya yönelik modelin kullanılması gerekli olabilir.
