Reducir el número de errores de redacción, gramaticales y ortográficos es una de las nuevas tareas encomendadas a ChatGPT, la herramienta de IA de OpenAI, que puede resultar de gran utilidad para periodistas y editores. Como explica Karen De la Hoz, investigadora y periodista digital, en un artículo de Generative AI Newsroom.

Esta autora apunta que el objetivo a medio plazo es generar un “círculo virtuoso”: periodistas más conscientes de sus errores, que se corrigen a sí mismos en tiempo real y transmiten menos errores a sus redactores, que a su vez pasan menos horas corrigiendo errores simples y tienen más tiempo para centrarse en tareas más relevantes para la audiencia.

En este sentido, De la Hoz comenta que los resultados de las pruebas realizadas “son agridulces”, puesto que el sistema tiene algunos errores. Identifica y corrige la mayoría de las incorrecciones pero, a veces, indica una frase como "corregida" cuando es exactamente igual a la original. Además, algunas de sus sugerencias, aunque gramaticalmente correctas, pueden no ser relevantes para un sitio web sitio concreto.

Además, la autora comenta que la creación de sugerencias lleva más tiempo del calculado inicialmente.

“A pesar de lo anterior, confío en que podamos llegar a un punto en el que el sistema nos permita revisar la correcta aplicación de nuestra guía de estilo. La colaboración y el intercambio de documentación y experiencias son fundamentales en este proceso. Por el momento, no contemplamos un escenario en el que publiquemos un texto corregido por ChatGPT sin que estas correcciones hayan sido aprobadas por un periodista o editor humano”, señala.

Aleatoriedad, indicaciones del sistema e indicaciones del usuario

La autora pasa a continuación a explicar su experimento: “Cuando empecé este experimento quería conseguir dos cosas: que el sistema corrigiera un texto y que me dijera en forma de viñetas qué había corregido y por qué. Obtener una lista de errores y sugerencias me pareció la forma más óptima y rápida de integrar las sugerencias de ChatGPT en un texto”.

Una de las primeras sugerencias que utilizó para probar la herramienta fue: “Identifica e indícame errores gramaticales como redundancias, errores de concordancia en género y número o errores en los usos de los signos de puntuación. También indícame palabras mal escritas e identifica cualquier incoherencia en el estilo del texto. Al mostrarme los resultados indícame la frase original, el error y la nueva redacción que me propones”.

“Empecé a darme cuenta de que, aunque le daba al sistema las mismas instrucciones, éste hacía cosas diferentes cada vez que interactuaba con él”, continúa. Se dispuso después a probar OpenAI Playground, una interfaz diferente de la anterior. “Comprendí que había una variable llamada temperatura a la que podía asignar un valor entre 0 y 2, y que cuanto más se acercara ese valor a 0, más coherentes y predecibles serían las respuestas del sistema. Decidí fijar el parámetro de temperatura en 0 en este experimento”, dice.

En GPT-4 también empezó a distinguir entre las indicaciones del sistema y las indicaciones del usuario. La indicación del sistema es el texto inicial que se da al modelo para establecer el contexto de la conversación. La indicación al usuario se utiliza para orientar al modelo hacia el objetivo específico de la conversación, según explica.

Estas son algunas de las instrucciones que la autora le indicó a ChatGPT:

• Actúa como un editor de estilo.

• Actúa como un editor de estilo en un medio de comunicación. Eres un experto en gramática española y un editor en un medio de comunicación.

• Eres un experto en gramática española y un periodista y editor con amplia experiencia. Tienes habilidad para editar noticias, garantizar el uso correcto y preciso del lenguaje, la redacción y la ortografía.

• Eres un experto en gramática y un periodista y editor con amplia experiencia. Tienes excelente redacción y ortografía.

Para crear las normas de estilo, creó un prompt para cada norma, y después prompts que integraran instrucciones que habían funcionado por separado. En la mayoría de los casos, utilicé avisos de cero, aquellos en los que doy al sistema una descripción o una indicación de lo que espero que sea capaz de hacer, sin introducir ejemplos concretos.

Para probar las instrucciones, preparó cinco textos de prueba y añadió intencionadamente los errores que quería que el sistema corrigiera. Si el sistema no corregía los errores, ajustaba el mensaje y volvía a intentarlo una y otra vez, prosigue.

“En ninguno de los casos le dije al sistema qué estaba haciendo mal, simplemente seguí intentándolo. Cuando lo conseguí, realicé una prueba en tiempo real con 15 artículos. Por prueba en tiempo real me refiero a que cuando un artículo estaba listo para ser publicado lo comprobaba con ChatGPT y tomaba las sugerencias que eran relevantes”, cuenta.

Como mi objetivo era tener las correcciones en formato de lista, utilicé un segundo prompt para conseguirlo. Mi primera intuición fue crear un único prompt para el usuario, pero como no obtuve buenos resultados, decidí utilizar prompts separados. Así es como evolucionó este segundo prompt:

• Indícame qué correcciones realizaste.

• Indícame todos los cambios que realizaste en el texto.

• Lista, uno a uno, todos los cambios que realizaste en el texto

• Lista, uno a uno, todos los cambios que realizaste en el texto anterior.

Resultados

METER FOTOS

• Correcciones de estilo inútiles: La autora, profesional de un medio colombiano, recalaca que ChatGPT-4 no fue entrenado con el estilo de redacción del país, y en cada prueba obtuvo sugerencias que, aunque gramaticalmente correctas, eran útiles para su caso.

• No correcciones: En algunos casos, el sistema presentó como correcciones algunas frases a las que no se había hecho ninguna modificación, es decir, la versión anterior y posterior a la "corrección" eran exactamente iguales.

• Tratamiento de las citas directas: El sistema realizaba cambios no esenciales en las citas directas que estaban entrecomilladas.

• Sin información adicional: En ninguna de las 20 pruebas (ni las de errores introducidos ni las de tiempo real) el sistema añadió u omitió información distinta de la proporcionada, cuenta la periodista.

• Gramática inglesa en las correcciones: La gramática española indica que el punto, la coma y el punto y coma se escriben siempre después de las comillas de cierre, en la gramática inglesa se escriben antes. Aunque todo este ejercicio se hizo en español (textos e indicaciones), al enumerar las correcciones del sistema, en algunos casos, utiliza reglas gramaticales inglesas.

“Este experimento me hizo darme cuenta de la importancia de ser consciente de los cambios de versión en ChatGPT. Como usuarios, no tenemos ningún control sobre el sistema subyacente y éste podría cambiar de versión sin que nos diéramos cuenta, lo que podría afectar al rendimiento de los avisos”, reconoce.

En resumen, cuenta la autora, las pruebas permitieron corregir errores en el uso de comas, errores en el uso de mayúsculas, errores de conjugación, errores tipográficos, eliminar palabras repetidas y aclarar algunas frases. También recibió sugerencias de estilo que no eran relevantes para su caso. Estos resultados se basan en pruebas con GPT-4 en modo chat en OpenAI Playground; los parámetros utilizados fueron Temperatura 0, Top 1, Frecuencia penalización 0 y Presencia penalización 0. La prueba se realizó entre abril y mediados de mayo de 2023, finaliza.

Fuente: Generative AI Newsroom