Google представляет поисковую систему для открытых данных

1. Секретный поиск
2. Агентство партнерства

Предоставлено: Роберт Гамперт / Redux / eyevine

Google представил поисковую систему, чтобы помочь исследователям находить онлайн-данные, которые свободно доступны для использования. Компания запустила сервис 5 сентября, заявив, что он предназначен для «ученых, журналистов данных, фанатов данных или кого-либо еще».

Поиск набора данных теперь доступна вместе с другими специализированными поисковыми системами Google, такими как службы новостей и изображений, а также Google Scholar и Google Books, находит файлы и базы данных на основе классификации их владельцев. Он не читает содержимое файлов, как это делают поисковые системы для веб-страниц.

Эксперты говорят, что он заполняет пробел и может внести существенный вклад в успех движения открытых данных, цель которого - сделать данные открытыми для использования и повторного использования.

Правительственные агентства, научные издательства, исследовательские институты и даже отдельные исследователи поддерживают тысячи хранилищ открытых данных по всему миру, содержащих миллионы наборов данных.

Но исследователи, которые хотят знать, какие типы данных доступны, или которые надеются найти данные, которые, как они знают, уже существуют, часто вынуждены полагаться на слова из уст в уста, говорит Наташа Ной, ученый из Google AI в Маунтин-Вью, Калифорния.

По словам Ноя, эта проблема особенно серьезна для исследователей ранней карьеры, которые еще не «подключены» к сети профессиональных связей. Это также является недостатком для тех, кто проводит междисциплинарные исследования - например, эпидемиолог, которому нужен доступ к климатическим данным, которые могут иметь отношение к распространению вируса.

Секретный поиск

Ной и ее коллега из Google Дэн Брикли впервые описали стратегию решения этой проблемы в блоге сообщение в январе 2017 года.

Типичные поисковые системы работают в два основных этапа. Первый заключается в индексации доступных страниц путем постоянного обхода Интернета. Второе - ранжировать эти проиндексированные страницы, чтобы, когда пользователь вводит поисковые термины, механизм мог предоставлять результаты в порядке релевантности.

По словам Ноя и Брикли, чтобы помочь поисковым системам в индексации существующих наборов данных, те, кто владеет этими наборами данных, должны «пометить» их, используя стандартизированный словарь Schema.org, инициативу, основанную Google и тремя другими гигантами поисковых систем (Microsoft , Yahoo и Yandex), и которой руководит Брикли. Команда Google также разработала специальный алгоритм ранжирования наборов данных в результатах поиска.

Учитывая доминирующее положение Google в поиске в Интернете, новость о том, что компания движется в экосистему данных, быстро подтолкнула крупных игроков к согласованию и стандартизации своих метаданных, говорит Марк Хэнел, исполнительный директор компании по обмену данными Figshare в Лондоне. (Figshare управляется издательской группой Holtzbrinck, которая также имеет контрольный пакет акций издательства Nature .)

«К ноябрю все университеты, в которых мы работаем, были отмечены», - говорит Ханель. «Я думаю, что это изменит правила игры для открытых данных в академических кругах».

По его словам, финансирующие агентства иногда требуют, чтобы данные исследований были доступны, и они достигнут своих конечных целей только в том случае, если информация будет эффективно извлекаема. «Это узаконивает то, что пытались сделать спонсоры».

Агентство партнерства

Первым сторонником эксперимента Google была Национальная администрация США по океану и атмосфере (NOAA). Сфера деятельности агентства варьируется от рыболовства до солнечной короны, а его архивы содержат почти 70 000 наборов данных, включая судовые журналы 1800-х годов. Размер накопителя составляет более 35 петабайт, что сопоставимо с содержанием 35 000 типичных жестких дисков.

«Инструмент Google поможет NOAA выполнить свою миссию в области открытых данных», - говорит руководитель отдела данных NOAA Эдвард Кернс в Эшвилле, штат Северная Каролина. «Мы хотим найти новые способы сделать эти данные доступными для других», - добавляет Кернс.

Для поиска в наборе данных работа с владельцами данных была решающим шагом. Хотя в будущем система может стать более сложной, в настоящее время Google не планирует фактически читать данные или анализировать их, как это происходит с веб-страницами или изображениями. «Такой инструмент поиска хорош только в той мере, в которой метаданные готовы предоставить издатели данных», - говорит Ной.

Как и Google Scholar, Dataset Search в настоящее время не предоставляет доступа к автоматическим запросам или интерфейсу прикладного программирования (API), хотя компания заявляет, что может добавить эту функцию в будущем.

Ной говорит, что когда исследователи начнут использовать Поиск по наборам данных, Google будет следить за тем, как они взаимодействуют с ним, и использовать эту информацию для улучшения результатов поиска. У компании нет текущих планов по монетизации сервиса, говорит она.

По мере развития поиска в наборе данных он может также интегрироваться с Google Scholar, чтобы результаты поиска по конкретному исследованию могли связываться с соответствующими наборами данных.

Похожие

Комментарии