¿Cómo detectar que ChatGPT es quien escribió un trabajo?
Mark Massaro ha enseñado Composición en Inglés durante años en el Florida Southwestern State College pero en 2023 su tarea se hizo bastante más difícil. Poco después de que aparecieran y estuviesen disponibles las apps de IA como ChatGPT, la educación superior en EE.UU. se vio arrasada por un tsunami de engaños automatizados. Los estudiantes han estado usando la IA para escribir sus trabajos, y la tendencia parece empeorar con el paso del tiempo. Massaro dijo que de 25 estudiantes en sus clases, no es inusual que haya al menos cinco que entreguen trabajos que parecen escritos con IA.
Cuando se lanzó ChatGPT y se hizo aparente que los estudiantes la usaban para hacer trampa, Massaro dice que solía usar diferentes escáneres de IA por día para muchos de los trabajos. Si la mayoría indicaba que se había utilizado IA, lo creía. Pero ahora no se permite que se escaneen de esa manera los trabajos de los estudiantes bajo el argumento de que se está violando su privacidad. Además, la precisión de los detectores de IA no es confiable.
Massaro dice que más bien tiene que depender de su propio ingenio para evaluar si el trabajo es legítimo o no. Y para hacerlo, confeccionó una lista de señales que delatan si el trabajo es de IA. Cuando le entregan un trabajo, consulta esa lista. Compartió con Gizmodo algunas de las señales, creando una imagen más clara de las infernales condiciones que la IA les ha impuesto a los educadores de EE.UU.
Demasiados guiones del medio
Un indicio de que un trabajo podría ser generado por IA es que tenga muchos guiones del medio. Las apps como ChatGPT incluyen muchos, aunque no está claro el motivo. Massaro tiene una forma de probar, si sospecha que un estudiante generó su trabajo con IA. Lo llama para que se acerque a su escritorio y le pide que use el guión medio en la computadora. Con frecuencia, el estudiante ni siquiera sabe cómo hacerlo, dice. “Tu trabajo está repleto de guiones del medio. Solo muéstrame cómo lo hiciste”. Si el estudiante muestra dificultades, es obvio lo sucedido.
Sin sangría
Massaro dice que, en oposición a las estipulaciones del tradicional trabajo para pre-universitarios, es común que el texto copiado y pegado de un chatbot no tenga sangrías. Lo que produce ChatGPT y otras apps similares, no presenta sangrías. Si el trabajo del estudiante no es más que largos bloques de texto, lo más probable es que lo haya escrito un robot.
Gramática perfecta, contenido poco profundo
Si un estudiante entrega un trabajo con redacción perfecta, pero sin mucho para decir, allí hay otra señal de que lo generó el algoritmo, dice Massaro. Si bien hay muchos estudiantes que podrán escribir bien pero no tienen muchas ideas originales, la escritura auto-generada tiene cosas que la delatan. Massaro dice que el estilo de la IA tiene “oraciones y párrafos uniformes, todos del mismo tamaño, que se sienten rítmicos, mecánicos”. Además, la escritura suele tener un “tono hiper formal”, dijo, que muchas veces se caracteriza por una “voz académica demasiado pulida que no es típica del trabajo de un estudiante”.
No hay borradores
Otra de las señales es que no se ve participación en el proceso de borradores que se hacen en clase, dijo Massaro. Como parte de sus clases de composición Massaro conduce revisiones y conferencias de expertos. El estudiante puede decir que fue al Centro de Escritura de la escuela para escribir su trabajo, pero en realidad tampoco lo ha hecho. Cuando entregan estos trabajos, suele haber “vocabulario inusual para el estudiante, con saltos repentinos de sofisticación que no se ven en sus trabajos anteriores o cuando habla en clase”.
Escritura impersonal
Massaro dice que ocasionalmente pide trabajos de reflexión personal. El estudiante que escribe por sí mismo el trabajo basándose, por ejemplo, en su experiencia trabajando en un 7-Eleven de su localidad, incluirá todo tipo de detalles personales que una IA no podría inventar, dice Massaro. Por otra parte, si el trabajo fue generado automáticamente, es probable que se refiera muy abstracta a la importancia de la “amistad” para la humanidad, afirmó en tono divertido.
Datos que sobran
Lo sorprendente es que hay estudiantes tan desprolijos en su engaño que dejan datos que sobran, como su interacción con el chatbot, en el trabajo que entregan al profesor.
Tonterías como citas
Es sabido que la IA tiene el hábito de “alucinar” información. En un trabajo entregado por estudiantes esas referencias “alucinadas” por la IA se manifestarán de diferentes formas, que incluyen información directamente incorrecta o inventada, y citas falsas. Eso puede crear horas de trabajo adicional para Massaro, que se ve obligado a salir de cacería para ver si algún dato poco claro es real o no. A veces tiene que buscar en publicaciones académicas y libros que cita el trabajo, pero que no presentan las citas que incluyó el estudiante en la bibliografía (porque no existen).
Puede ser incómodo y difícil confrontar a un estudiante porque ha engañado, dice Massaro, aunque también resulta inusualmente fácil detectar lo que ha sucedido. Con frecuencia, el estudiante culpable admitirá que utilizó la IA, o simplemente no responde al e-mail de Massaro (muchos estudian en forma remota). Los estudiantes inocentes suelen protestar y Massaro dice que suele creerles.
Lo más desalentador sobre el aumento de escritura utilizando la IA es que les roba a los estudiantes su capacidad de cultivar su propia identidad intelectual y creativa. “Es ahora cuando se supone que pueden encontrar su voz”, comentó. En cambio, la IA es la que habla (y piensa) por ellos.