Los modelos de lenguaje con inteligencia artificial que están proliferando requieren de unas enormes bases de datos que frecuentemente obtienen de la web. Por esta razón, Google está haciendo un llamamiento para crear páginas que puedan leer las máquinas.
Un modernizado robots.txt
La idea que promueve Google es otorgar a los editores web la posibilidad de tener control y poder de decisión sobre su contenido. Mediante los archivos robots.txt los editores pueden determinar si los motores de búsqueda pueden rastrear e indexar su contenido. Las arañas de Google lo tienen más fácil de esta forma para entender el tema y relevancia del contenido, algo esencial a la hora de conseguir un buen posicionamiento. Sin embargo, el llamamiento de Google en su blog se centra en enfatizar que los controles actuales de los editores web se desarrollaron antes de la IA. También mencionan que no estaban condicionados para los usos de investigación académica .
Para poder adaptarse a las circunstancias actuales y la llegada de la IA, Google propone crear un sistema de robots.txt modernizado. Para ello, pretende convocar a los editores web, sociedad civil, académicos y demás sectores afectados de todo el mundo. De esta manera busca encontrar un consenso para lograr entrenar a la IA de la manera más constructiva posible. Afirman que esta misma comunidad logró desarrollar el estándar web que lleva en vigor casi 30 años. El objetivo es hacerlo siguiendo ese mismo proceso de transparencia y cooperación.
Cómo afecta a los editores web
Google asegura que para ellos es de vital importancia el poder de los editores web sobre su contenido para tener un ecosistema funcional y positivo. Vemos como el gigante de Silicon Valley está simultáneamente desarrollando múltiples herramientas con IA: la Search Generative Experience, Bard, y el modelo next-gen desarrollado por Deep Mind que se llama Gemini. Es lógico que Google se preocupe por lograr enseñar a sus propias máquinas con IA de una manera poco disruptiva para la comunidad. Para ello quieren generar un debate público mediante una encuesta que se puede rellenar aquí. Pretenden tener en cuenta la opinión de todos los grupos de interés antes de lanzar nada definitivo. Además, te puedes apuntar a una lista de correos donde recibir actualizaciones sobre el proceso de desarrollo de herramientas para facilitar la lectura del contenido por máquinas. Google aspira a contar con los miembros de la web que tienen un particular interés en la IA.
