Interpretación de nuestras puntuaciones de detección de IA
Metodología
Winston AI es el detector de contenidos generados por IA más potente del mundo. Nuestro software está entrenado con enormes cantidades de datos generados por las herramientas de generación de texto de IA más utilizadas, como GPT-4, GPT-3, ChatGPT, Jasper, Copy AI, Open Assistant y muchas más. Paralelamente, hemos entrenado nuestro software en contenidos generados por humanos.
Además, Winston utiliza varios algoritmos de reconocimiento de patrones para detectar contenidos generados por IA.
Basándonos en estos elementos y en nuestras pruebas, nuestra herramienta fue capaz de predecir con una precisión del 99,6% si un texto dado había sido generado por una herramienta de escritura de IA como ChatGPT, GPT4, Bard, Bing Chat, Jasper, Claude2 y muchas más.
Una vez que nuestra herramienta procesa el contenido, devolverá una probabilidad (0-100%) de que el texto haya sido generado por inteligencia artificial.
Es importante señalar que se trata de un enfoque probabilístico.
Nuestro equipo se mantiene siempre al día de los nuevos modelos de generación de idiomas, por lo que puede estar seguro de que nuestra herramienta está y seguirá estando al día de los últimos avances e innovaciones.
Métodos utilizados por Winston:
Estas herramientas utilizan varios métodos para identificar si un texto ha sido creado por inteligencia artificial (IA) o no.
Las dos categorías principales para detectar estos textos son el análisis lingüístico y la comparación con textos generados por IA previamente conocidos.
- Análisis lingüístico: Consiste en analizar las características del texto, como el significado semántico y la repetitividad, que pueden indicar si está generado por IA.
- Entrenamiento de datos: Del mismo modo, si un texto se parece a un texto conocido generado por IA, también puede sugerir que es generado por IA.
Dentro del análisis lingüístico, hay 2 elementos importantes que son reveladores de si un contenido dado está generado por IA o por humanos: Perplejidad y Ráfaga.
–Perplejidad: La perplejidad es una métrica que mide la eficacia de una distribución de probabilidad o de un modelo lingüístico para predecir una muestra determinada. En el ámbito de la detección de contenidos generados por IA, la perplejidad puede servir como herramienta para evaluar la competencia de un modelo lingüístico de IA y determinar si un texto ha sido generado por una máquina o por un ser humano.
Si el texto es generado por la IA, el valor de perplejidad será menor, ya que el modelo ya habrá encontrado patrones similares en los datos utilizados para su entrenamiento. Por el contrario, si el texto es más intrincado, es más probable que lo haya escrito un humano. En pocas palabras, cuanto menor sea la puntuación de perplejidad, mayor será la probabilidad de que el texto haya sido generado por IA.
–Rotundidad: el texto generado por IA tiene un estilo distintivo que difiere del de los humanos. Como estos modelos se entrenan con un conjunto de datos, tienden a emplear palabras y frases específicas con más frecuencia que los humanos. Este patrón puede utilizarse para identificar si un texto ha sido creado por una IA.
Cuando un texto presenta un conjunto de palabras y frases que se repiten en un breve espacio de tiempo, hay muchas probabilidades de que haya sido generado por una IA. Por ejemplo, el texto generado por la IA puede mostrar una falta de variación o un uso excesivo de determinados términos. Esto puede atribuirse a la tendencia del modelo a repetir las palabras y frases más utilizadas de sus datos de entrenamiento.
Por lo tanto, analizando el estilo lingüístico del texto, es posible discernir si está generado por la IA o escrito por un humano.
En conclusión, aunque nuestra evaluación del contenido no es ejecutable, Winston sigue siendo la solución líder para detectar contenidos de IA entrenando siempre sus datos en nuevos LLM. Recomendamos a escritores, estudiantes y creadores de contenidos que sigan mejorando su «reventón», originalidad y perplejidad a la hora de escribir.
Valoración humana
La puntuación humana es una métrica utilizada por Winston AI para estimar la probabilidad de que un contenido determinado haya sido generado por una herramienta de IA o por un ser humano.
Es importante señalar que una puntuación de 80% humano y 20% IA no significa que sólo el 20% del contenido haya sido generado por IA, sino que Winston tiene un nivel de confianza del 80% en que el contenido haya sido creado por un humano.
Nuestro algoritmo tiene en cuenta todos los elementos mencionados: Entrenamiento de datos en todas las herramientas de IA generativa, Análisis lingüístico, Perplejidad y Ráfaga para procesar su texto y devolver un análisis predictivo de gran precisión.
Mapa de predicción de IA
Winston ayuda a detectar texto generado por ordenador analizando su previsibilidad y resaltando las palabras en función de la probabilidad de que aparezcan. No se tienen en cuenta las frases de menos de 60 caracteres. Predecimos la clasificación de las palabras y las codificamos por colores de más a menos predecibles. Es importante señalar que nuestro software seleccionará el texto que una herramienta de generación de texto por IA habría escrito si se le hubiera pedido.
Este mapa de predicción funciona independientemente de nuestro puntaje humano para ayudar a obtener información y evaluaciones adicionales sobre su texto. El mapa de predicción puede resaltar texto humano, pero esto no significa necesariamente que esté generado por IA, sino que está escrito de la forma que lo haría cualquier herramienta de generación de texto. El mapa de predicción debe utilizarse en combinación con nuestra Puntuación Humana para obtener más claridad sobre una evaluación.
Puntuación de legibilidad
La puntuación de legibilidad de Flesch-Kincaid se compone en realidad de dos pruebas: la facilidad de lectura de Flesch y el nivel de grado de Flesch-Kincaid. Ambas pruebas sirven para evaluar la legibilidad de un texto, pero lo hacen de formas ligeramente distintas.
1. Facilidad de lectura de Flesch: Esta prueba calcula una puntuación basada en la longitud media de las frases y el número medio de sílabas por palabra en un texto. El resultado es un número que suele oscilar entre 0 y 100. Las puntuaciones más altas indican que el texto es más fácil de leer. Por ejemplo, una puntuación de 90-100 sugiere que el contenido es fácilmente comprensible para un niño de 11 años, mientras que una puntuación de 0-30 significa que es más adecuado para titulados universitarios.
2. Nivel Flesch-Kincaid: Esta prueba también tiene en cuenta la longitud media de las frases y el número de sílabas, pero traduce el resultado a un nivel de grado escolar estadounidense. Por ejemplo, una puntuación de 8,0 significa que el texto es adecuado para alguien de 8º curso.
Entonces, ¿por qué es importante la puntuación de legibilidad de Flesch-Kincaid? Conocer el grado de accesibilidad de sus escritos puede ayudarle a adaptar sus contenidos a su público objetivo. Por ejemplo, si estás escribiendo una entrada de blog para un público general, querrás una puntuación de Facilidad de lectura más alta y una puntuación de Nivel de grado más baja para asegurarte de que es fácil de entender. Por otro lado, si está escribiendo un documento técnico para expertos en su campo, una puntuación más baja de Facilidad de Lectura y una puntuación más alta de Nivel de Grado podrían ser más apropiadas.
En resumen, la puntuación de legibilidad de Flesch-Kincaid es una valiosa herramienta para que los redactores evalúen la accesibilidad de sus contenidos. Si tiene en cuenta la legibilidad, podrá crear textos atractivos y eficaces que lleguen a un público más amplio y comuniquen sus ideas con mayor claridad. ¡Feliz escritura!
