Stanford acaba de lanzar la herramienta DetectGPT, la cual está diseñada para ayudar a los profesores a detectar el contenido generado por el chatbot, ChatGPT. El funcionamiento de está nueva herramienta se basa en la idea de que el texto generado por los LLM normalmente se mueve alrededor de regiones específicas, a este método los investigadores lo han denominado «regiones de curvatura negativa» y utiliza la probabilidad logarítmica del modelo.
La nueva herramienta determinará si un texto es generado por una máquina o no, sin basarse en el entrenamiento de IA o la recopilación de grandes conjuntos de datos para comparación. También utilizará una especie de marcadores y clasificadores de entrenamiento para llevar a cabo la identificación del contenido.
DetectGPT detectará el contenido generado por la IA
En el proceso de avaluación, el equipo utilizo la herramienta en un grupo de noticias falsas y superó a otros sistemas en la detección de texto generado por máquina, según los informes. La fuente específica de estos artículos falsos es presumiblemente todo lo publicado por CNET durante el último año.
El equipo descubrió que DetectGPT aumentó la capacidad de detección de noticias falsas generadas por el parámetro 20B GPT-NeoX, elevando el AUROC de 0.81 en la línea base más fuerte de tiro cero a 0.95 para DetectGPT.
Siendo sincero, lo mencionado anteriormente es árabe para mi, sin embargo, implica una mejora bastante importante en el rendimiento y funcionamiento de la herramienta.
En resumen, DetectGPT es un nuevo método para detectar texto generado por máquina que aprovecha las características únicas de LLM. No requiere datos ni capacitación adicional, lo que lo hace eficiente y efectivo.
Con el aumento del uso de LLM, la importancia de detectar texto generado por máquina será cada vez más crítica, y DetectGPT es un enfoque prometedor con un potencial impacto significativo en muchas áreas.
