Publicado por Matthew Burgess y Natasha Noy (Google IA)

A comienzos de este mes, lanzamos Google Dataset Search, una herramienta diseñada para que los investigadores descubran con mayor facilidad conjuntos de datos que puedan ayudarlos en sus trabajos. Google Dataset Search, al que coloquialmente llamamos "Google Académico para datos", es un motor de búsqueda que reúne metadatos de millones de conjuntos de datos disponibles en repositorios de toda la Web. En esta publicación, detallaremos la creación de Dataset Search, describiremos lo que creemos que ayudará a desarrollar un ecosistema de datos abiertos y abordaremos una pregunta que nos hacen con frecuencia desde el lanzamiento de Dataset Search: "¿Por qué mi conjunto de datos no aparece en Google Dataset Search?".

Descripción general
A grandes rasgos, Google Dataset Search depende de que los proveedores de conjuntos de datos, tanto grandes como pequeños, agreguen metadatos estructurados a sus sitios utilizando el estándar abierto schema.org/Dataset. Los metadatos especifican las propiedades destacadas de cada conjunto de datos: el nombre y la descripción, la cobertura espacial y temporal, la información de origen, etc. Dataset Search usa estos metadatos, los vincula con otros recursos disponibles en Google (abarcaremos este punto más adelante) y crea un índice de este corpus enriquecido de metadatos. Una vez que creamos el índice, podemos comenzar a responder las consultas de los usuarios y establecer qué resultados son más adecuados para ellas.
Descripción general de la tecnología detrás de Google Dataset Search
Uso de metadatos estructurados de los proveedores de datos
Cuando el motor de búsqueda de Google procesa una página web con el lenguaje de marcado schema.org/Dataset, entiende que hay metadatos de conjuntos y procesa esos metadatos estructurados para crear "registros" que describan cada conjunto incluido en una página. El uso de schema.org permite que los desarrolladores incorporen esta información estructurada en HTML sin que esto afecte la apariencia de la página al mismo tiempo que se visibiliza la semántica de la información para todos los motores de búsqueda.

No obstante, sin importar qué tan precisas sean las definiciones o los lineamientos de schema.org, algunos de los metadatos inevitablemente estarán incompletos, serán erróneos o no estarán incluidos. Además, las distinciones entre algunos campos pueden ser imprecisas: ¿el repositorio del conjunto de datos es un editor o un proveedor? ¿Cómo podemos distinguir entre las citas a una publicación científica que describe la creación del conjunto de datos y las publicaciones que detallan su uso? De hecho, muchas de estas preguntas suelen generar debates académicos activos.

A pesar de estas variaciones, Dataset Search debe proporcionar una experiencia del usuario uniforme y predecible en la interfaz frontend. Por lo tanto, en algunos casos sustituimos un nombre de campo más general (p. ej., "proporcionado por") para mostrar los valores provenientes de otros campos (p. ej., "editor", "creador", etc.). En otros casos, directamente no podemos usar algunos de los campos. Por lo general, esto ocurre cuando proveedores de conjuntos de datos interpretan un campo específico de diferentes formas. A modo de solución, evitamos ese campo y trabajamos con la comunidad para que aclarar los lineamientos con mayor precisión. En cada decisión, hubo una pregunta específica que nos ayudó a afrontar los casos difíciles: "¿Qué será más útil para el descubrimiento de datos?". Este enfoque sobre la tarea que estábamos abordando hizo que algunos de los problemas fueran más fáciles de resolver de lo que parecía al principio.

Conexión de réplicas de conjuntos de datos
Es muy común que un conjunto de datos, en especial uno popular, esté presente en más de un repositorio. Usamos varios indicadores para determinar los casos en que un conjunto de datos es una réplica de otro. Por ejemplo, en schema.org se puede especificar la conexión de forma explícita mediante schema.org/sameAs, que es la mejor manera de vincular diferentes réplicas y de dirigir al origen canónico de un conjunto de datos. Otros indicadores incluyen dos descripciones de conjuntos de datos que dirigen a la misma página canónica, que poseen el mismo identificador de objeto digital (DOI), que comparten vínculos para descargar el conjunto de datos o que tienen una gran superposición en otros campos de metadatos. Dado que ninguno de estos indicadores son perfectos por sí solos, cuando hay dos conjuntos de datos iguales, los combinamos a fin de obtener la indicación más fuerte posible.

Conciliación con el Gráfico de conocimiento de Google
El Gráfico de conocimiento de Google es una plataforma potente que describe y vincula información sobre muchas entidades, incluidas las que aparecen en los metadatos de los conjuntos de datos: organizaciones que proporcionan conjuntos de datos, ubicaciones para cobertura espacial de los datos, agencias de financiamiento, etc. Por lo tanto, tratamos de conciliar la información mencionada en los campos de metadatos con los elementos del Gráfico de conocimiento. Llevamos a cabo esta conciliación con una precisión alta por dos motivos. En primer lugar, conocemos los tipos de elementos que se incluyen en el Gráfico de conocimiento y las clases de entidades que esperamos encontrar en los campos de metadatos. Por tal motivo, podemos limitar los tipos de entidades del Gráfico de conocimiento que hacemos coincidir con valores de un campo de metadatos específico. Por ejemplo, un proveedor de un conjunto de datos debería coincidir con la entidad de una organización en el Gráfico de conocimiento y no con una ubicación. En segundo lugar, el contexto de la página web en sí permite reducir la cantidad de opciones, lo que es especialmente útil para distinguir entre organizaciones que comparten la misma sigla. Por ejemplo, "CAMRA" puede hacer referencia a "Chilbolton Advanced Meteorological Radar" (el radar meteorológico avanzado de Chilbolton) o a "Campaign for Real Ale" (una campaña de promoción de la verdadera cerveza). Si usamos los términos de la página web, podemos determinar con mayor facilidad que "CAMRA" es, de hecho, el radar de Chilbolton, ya que en la página aparecen términos como "nubes", "vapor" y "agua".

Este tipo de conciliación abre la puerta a muchísimas posibilidades para mejorar la experiencia de búsqueda de los usuarios. Por ejemplo, Dataset Search puede localizar resultados y mostrar valores conciliados de metadatos en el mismo idioma que el resto de la página. Además, puede usar sinónimos, errores ortográficos típicos, siglas expandidas o bien otras relaciones en el Gráfico de conocimiento para ampliar las consultas.

Vínculo con otros recursos de Google
Google posee varios recursos, como Google Académico, que permiten aumentar los metadatos de los conjuntos de datos. Conocer a qué conjuntos se hace referencia y se cita en las publicaciones es útil por dos motivos:
  1. Permite saber qué tan importante y relevante es un conjunto de datos.
  2. Permite a los autores de los conjuntos acceder a citas de sus datos y recibir el crédito correspondiente con facilidad.
De hecho, esperamos que destacar las publicaciones que usan datos genere un ecosistema de citas más beneficioso. Por el momento, nuestros vínculos a Google Académico son muy aproximados, ya que no contamos con un buen modelo sobre cómo los usuarios citan los datos. Tratamos de ir más allá de los identificadores de objetos digitales para brindar una mejor cobertura, pero la cantidad de artículos que citan un conjunto de datos termina siendo un número aproximado. Esperamos progresar más en esta área para poder obtener un nivel de precisión más alto.

Búsqueda y clasificación de resultados
Cuando un usuario realiza una consulta, buscamos en el corpus de conjuntos de datos de forma similar a como trabaja la Búsqueda de Google con las páginas web. Al igual que con cualquier búsqueda, necesitamos determinar si un documento es relevante para la consulta y, luego, clasificar el grado de relevancia. Debido a que no hay estudios a gran escala sobre la manera en que los usuarios buscan conjuntos de datos, como primera aproximación, nos basamos en la clasificación web de Google. Sin embargo, dado que existe una diferencia entre clasificar conjuntos de datos y páginas web, agregamos algunos indicadores adicionales que tienen en cuenta la calidad de los metadatos, las citas, etc. A medida que más usuarios usen Dataset Search y entendamos mejor cómo buscan conjuntos de datos, esperamos que la clasificación mejore significativamente.

Un mejor ecosistema de datos abiertos
Desarrollamos Dataset Search con la intención de crear una herramienta que impacte de forma positiva en la visibilidad de los datos. La decisión de basarnos en estándares abiertos (schema.org, W3C DCAT, JSON-LD, etc.) para el lenguaje de marcado es intencional, ya que Dataset Search solo puede ser tan efectivo como el ecosistema de datos abiertos que admita. Por lo tanto, el objetivo de Google Dataset Search es admitir un ecosistema de datos abiertos mediante la promoción de lo siguiente:
  1. La adopción generalizada de formatos de metadatos para describir los datos publicados
  2. El desarrollo continuo de formatos de metadatos abiertos para describir más tipos de datos en mayor profundidad
  3. La cultura de citar datos de la misma forma en que se citan las publicaciones de investigación para darles a quienes crean y publican datos el crédito que se merecen
  4. El desarrollo de herramientas que aprovechan estos metadatos para permitir más visualizaciones y mejorar el uso de datos 
La mayor adopción de estándares de metadatos abiertos en conjunto con el desarrollo continuo de Dataset Search (y, esperamos, de otras herramientas) debería fomentar un ecosistema de datos abiertos más saludable en el que los datos se conviertan en objetos fundamentales de las investigaciones.

Entonces, ¿dónde está tu conjunto de datos?
Es probable que a esta altura ya esté claro que Dataset Search es tan efectivo como los metadatos de las páginas web para conjuntos de datos. La respuesta más común a la pregunta de por qué un conjunto de datos específico no aparece en nuestros resultados es que la página web de ese conjunto de datos no incluye lenguaje de marcado. Con solo ingresar la página en la Herramienta de pruebas de datos estructurados, podrás ver si incluye este lenguaje. Si el sitio no incluye lenguaje de marcado y eres su propietario, puedes agregarlo. Si la página no te pertenece, puedes pedirles a sus propietarios que lo agreguen para que aumente su visibilidad.

Esperamos que Dataset Search sea útil para la comunidad, que los usuarios realicen descubrimientos fascinantes más rápido, y que los científicos y periodistas puedan aprovechar de forma productiva el tiempo que se ahorran buscando datos.

Agradecimientos
Queremos agradecer a Xiaomeng Ban, Dan Brickley, Lee Butler, Thomas Chen, Corinna Cortes, Kevin Espinoza, Archana Jain, Mike Jones, Kishore Papineni, Chris Sater, Gokhan Turhan, Shubin Zhao y Andi Vajda por su trabajo en este proyecto. También queremos destacar a todos nuestros compañeros, colaboradores y usuarios pioneros por su ayuda.