Herramientas de moderación de contenido nuevas y mejoradas

Presentamos una herramienta de moderación de contenido nueva y mejorada: el punto final de moderación mejora nuestro filtro de contenido anterior y está disponible de forma gratuita hoy para los desarrolladores de la API de OpenAI.

Para ayudar a los desarrolladores a proteger sus aplicaciones contra posibles usos indebidos, presentamos el extremo de moderación más rápido y preciso. Este punto final proporciona a los desarrolladores de API de OpenAI acceso gratuito a clasificadores basados ​​en GPT que detectan contenido no deseado, una instancia del uso de sistemas de IA para ayudar con la supervisión humana de estos sistemas. También hemos lanzado un documento técnico describiendo nuestra metodología y el conjunto de datos utilizado para la evaluación.

Cuando se le da una entrada de texto, el punto final de moderación evalúa si el contenido es sexual, de odio, violento o promueve la autolesión, contenido prohibido por nuestra política de contenido. El endpoint ha sido entrenado para ser rápido, preciso y para funcionar de manera robusta en una variedad de aplicaciones. Es importante destacar que esto reduce las posibilidades de que los productos «digan» algo incorrecto, incluso cuando se implementan para los usuarios a escala. Como consecuencia, la IA puede desbloquear beneficios en entornos sensibles, como la educación, donde de otro modo no podría usarse con confianza.

Violencia

Autolesiones

Odio

Sexual

Punto final de moderación

El punto final de moderación ayuda a los desarrolladores a beneficiarse de nuestras inversiones en infraestructura. En lugar de construir y mantener sus propios clasificadores, un proceso extenso, como documentamos en nuestro papelEn cambio, pueden acceder a clasificadores precisos a través de una sola llamada a la API.

Como parte del compromiso de OpenAI de hacer que el ecosistema de IA sea más seguro, proporcionamos este punto final para permitir la moderación gratuita de todo el contenido generado por la API de OpenAI. Por ejemplo, En el mundo, un cliente de la API de OpenAI, utiliza el punto final de moderación para ayudar a sus personajes virtuales basados ​​en IA a «permanecer en el guión». Al aprovechar la tecnología de OpenAI, Inworld puede concentrarse en su producto principal: crear personajes memorables.

Además, agradecemos el uso del punto final para moderar el contenido. no generado con la API de OpenAI. En un caso, la empresa LGN – una plataforma de mensajería anónima, con un enfoque en la seguridad – utiliza el punto final de moderación para detectar lenguaje de odio e intimidación en su aplicación. NGL encuentra que estos clasificadores son capaces de generalizar a la jerga más reciente, lo que les permite tener más confianza con el tiempo. El uso del extremo de Moderación para monitorear el tráfico que no es de API está en versión beta privada y estará sujeto a una tarifa. Si está interesado, comuníquese con nosotros a support@openai.com.


Comience con el punto final de moderación consultando la documentación. Más detalles sobre el proceso de entrenamiento y el rendimiento del modelo están disponibles en nuestro papel. También hemos lanzado un conjunto de datos de evaluaciónque presenta datos de Common Crawl etiquetados dentro de estas categorías, lo que esperamos estimule más investigaciones en esta área.

¿Que te ha parecido?

Deja un comentario