Сбор данных¶
Сбор данных о биоразнообразии представляет собой регистрацию встречаемости, численности, состояния или других характеристик живых организмов вместе с контекстом, в котором была получена эта информация. Такой контекст обычно включает место и время сбора, наблюдателя или источник данных, метод отбора проб и объём усилий по отбору проб.
Схема процесса сбора данных определяет, для ответа на какие научные вопросы можно использовать полученные данные. Запись о встречаемости вида может подтвердить, что вид был обнаружен в определённом месте и в определённое время, однако для оценки отсутствия, численности, распространения или временных изменений обычно требуются структурированная схема отбора проб и информация об усилиях по отбору проб [MacKenzie2002] [Isaac2014].
OpenBioMaps не предписывает использование единой модели данных или протокола отбора проб. Вместо этого он предоставляет настраиваемые таблицы базы данных, формы ввода данных, правила проверки, пространственные поля и средства контроля доступа, которые можно адаптировать к различным проектам по биоразнообразию. Поэтому схема отбора проб и смысл регистрируемых полей должны быть определены в проекте до настройки базы данных и форм.
На этой странице приведены общие рекомендации по согласованию схемы сбора данных о биоразнообразии с проектом OpenBioMaps. Подробные инструкции по настройке форм приведены в разделе Управление формами загрузки.
Планирование сбора данных¶
Перед созданием таблиц базы данных или форм ввода данных определите цель сбора и вопросы, для ответа на которые предназначены данные. К важным проектным решениям относятся:
какие организмы, таксономические группы, местообитания или переменные среды будут регистрироваться;
будут ли наблюдения собираться эпизодически или в соответствии с заранее определённым протоколом;
необходимо ли сохранять события необнаружения или события с нулевым количеством наблюдений;
какие пространственные и временные единицы будут использоваться;
необходимо ли регистрировать усилия по отбору проб, методику и условия окружающей среды;
будет ли отбор проб повторяться в одних и тех же местах;
кто будет собирать, проверять, обрабатывать и использовать данные;
какие контролируемые словари и таксономические справочники будут использоваться; и
какие метаданные и сведения о происхождении необходимо сохранять.
Эти решения следует принять до окончательного определения технической структуры базы данных. Последующее добавление отсутствующего поля может позволить собирать новую информацию, но не сможет восстановить контекстную информацию, которая не была зарегистрирована во время предыдущих обследований.
В проектах, данные которых предполагается использовать в более широких оценках биоразнообразия, также следует учитывать, как наблюдения соотносятся с устоявшимися понятиями и стандартами. Essential Biodiversity Variables предоставляют одну из систем для связи локальных наблюдений с более широким мониторингом биоразнообразия [Pereira2013]. Darwin Core предоставляет широко используемый словарь для обмена информацией о таксонах, встречаемости, событиях, местоположениях и связанных данных о биоразнообразии [Wieczorek2012].
Основные подходы к сбору данных¶
Наблюдения за биоразнообразием можно собирать несколькими способами. Следующие категории не являются взаимоисключающими: в одном проекте OpenBioMaps для нескольких подходов могут использоваться разные формы и таблицы.
Эпизодические наблюдения¶
Эпизодическое, случайное или нерегулярное наблюдение регистрирует организм, встреченный без применения заранее определённой схемы отбора проб. Примерами могут служить редкая птица, замеченная во время прогулки, фотография незнакомого растения или сообщение участника общественного проекта о погибшем на дороге животном.
Полезное эпизодическое наблюдение обычно должно содержать:
наблюдаемый таксон;
дату и, если доступно, время наблюдения;
местоположение;
наблюдателя или источник записи;
сведения о численности или количестве особей, если это уместно; и
подтверждающие материалы, например фотографию, звукозапись, ссылку на образец или комментарий, если они доступны.
Эпизодические записи могут документировать встречаемость, расширять знания о местах обнаружения вида и служить основанием для последующих обследований. Они также могут использоваться при моделировании распространения или анализе тенденций, если явно учитываются систематические смещения при отборе проб.
Однако совокупность сообщений о встречаемости обычно не показывает, где наблюдатели проводили поиск, но не обнаружили вид. На неё также могут влиять неравномерность усилий по регистрации, доступность местности, предпочтения наблюдателей и различия в навыках определения. Поэтому необработанные эпизодические записи сами по себе обычно не следует интерпретировать как несмещённые оценки заселённости, численности, размера популяции, распространения или временных изменений [Isaac2014].
Протокол может повысить согласованность эпизодических наблюдений, определяя обязательные поля, допустимые подтверждающие материалы, таксономическую проверку и пространственную или временную точность. Такие требования улучшают записи, но сами по себе не превращают эпизодический сбор в вероятностное или систематическое обследование.
События отбора проб и наблюдений¶
Событие отбора проб или наблюдений представляет собой определённую деятельность по сбору данных в конкретном месте и в конкретное время. Событие также может содержать метод, продолжительность, обследованную площадь, длину трансекты, количество ловушек, количество наблюдателей или другую меру усилий по отбору проб.
Одно событие может содержать:
ни одного наблюдения организмов, если обследование было завершено, но ни один из целевых организмов не был обнаружен;
одно наблюдение; или
несколько наблюдений, связанных с одной и той же деятельностью по отбору проб.
Сохранение событий без обнаружений важно, когда отсутствие записи имеет определённый смысл. Документированное необнаружение показывает, что отбор проб проводился в соответствии с определённым протоколом, тогда как отсутствие эпизодической записи не свидетельствует о том, что кто-либо проводил поиск в этом месте. Повторные данные об обнаружении и необнаружении могут использоваться для моделирования заселённости и оценки неполной обнаруживаемости, если схема исследования и допущения модели являются подходящими [MacKenzie2002].
В OpenBioMaps общая информация о событии может быть сохранена один раз в записи события или списка наблюдений, а отдельные наблюдения таксонов связываются с этой записью посредством общего идентификатора. Это позволяет избежать ненужного повторения и сохранить событие даже в том случае, если оно не содержит наблюдений организмов.
Более подробное объяснение различий см. в разделе События наблюдений и эпизодические наблюдения.
Повторный мониторинг¶
Мониторинг включает наблюдения, которые собираются повторно для оценки состояния или изменений. Обычно при этом используются постоянные или выбранные места отбора проб, документированный метод, определённое расписание и сопоставимые меры усилий.
При разработке схемы мониторинга может потребоваться регистрировать:
идентификатор и местоположение места отбора проб;
время начала и окончания каждого события отбора проб;
использованные протокол и оборудование;
продолжительность, площадь, расстояние или другую меру усилий;
обнаружения и явно зарегистрированные необнаружения;
количество, покрытие, биомассу, состояние или другую зависимую переменную;
условия окружающей среды и факторы, влияющие на обнаруживаемость;
изменения протокола или места отбора проб; и
информацию о контроле качества и проверке.
В базе данных следует отличать стабильные сущности, такие как места отбора проб и протоколы, от повторяющихся событий и наблюдений, сделанных во время этих событий. Обычно для этого требуются связанные таблицы, а не одна таблица, содержащая все виды информации.
OpenBioMaps может представлять такие связи посредством относящихся к проекту таблиц, идентификаторов, форм загрузки, запросов и процессов обработки данных. Подходящая структура зависит от схемы мониторинга и должна быть проверена специалистами, знакомыми как с научным методом, так и с реляционным моделированием данных.
Другие источники данных о биоразнообразии¶
Проекты также могут управлять данными, полученными из образцов, лабораторных анализов, акустических регистраторов, фотоловушек, устройств слежения, дистанционного зондирования, внешних баз данных или других автоматизированных систем.
Для таких источников могут потребоваться дополнительные сущности и метаданные, например:
идентификаторы образца, пробы или медиафайла;
события установки и извлечения;
идентификатор и конфигурация устройства;
информация о калибровке и обработке;
лабораторные методы и производные измерения;
связи между исходным материалом и производными записями;
результаты автоматического определения и значения достоверности; и
версия программного обеспечения, модели или справочной базы данных, использованных для обработки.
OpenBioMaps может хранить такую информацию или ссылки на неё, однако проект должен определить необходимую модель данных, стратегию хранения файлов, процесс проверки и правила происхождения данных.
Представление сбора данных в OpenBioMaps¶
Реализация OpenBioMaps должна сохранять понятия и связи, определённые схемой сбора данных. Удобство базы данных не должно подменять научное различие между деятельностью по отбору проб, наблюдением, таксоном, местоположением, человеком и этапом обработки.
Таблицы и связи¶
Простой сбор эпизодических данных может быть представлен одной основной таблицей наблюдений. Для более структурированного сбора могут потребоваться отдельные таблицы для:
мест отбора проб;
событий отбора проб или наблюдений;
отдельных наблюдений организмов;
таксонов или концепций таксонов;
протоколов;
наблюдателей и организаций;
образцов, проб или медиафайлов;
устройств или их установок; и
результатов проверки и обработки.
Для соединения связанных записей следует использовать стабильные идентификаторы. Их не следует определять только на основании названий, координат или отображаемых подписей, поскольку эти значения могут изменяться или не быть уникальными.
В описаниях таблиц и полей должны быть указаны смысл, единица измерения, словарь и ожидаемое содержимое данных. Эти описания являются частью метаданных проекта и помогают пользователям интерпретировать и повторно использовать набор данных.
Формы и рабочие процессы¶
В проекте можно определить несколько форм загрузки для одной таблицы. Отдельные формы могут быть полезны для:
эпизодических наблюдений;
структурированных полевых обследований;
наблюдений, относящихся к событию отбора проб;
импорта исторических наборов данных;
общедоступных материалов или материалов гражданской науки;
экспертной проверки; и
мобильного сбора данных.
В каждой форме должны отображаться только поля, относящиеся к её рабочему процессу. Обязательные поля, контролируемые списки, значения по умолчанию, правила проверки и справочный текст должны соответствовать протоколу сбора.
Для форм и полей следует предоставлять описания. Эти описания могут помочь пользователям понять, что следует вводить, а также могут быть доступны совместимым мобильным клиентам.
Рекомендуемая основная информация¶
Точный набор полей, необходимых проекту, зависит от его цели, однако в большинстве наборов наблюдений следует учитывать следующие категории.
Информация о таксоне¶
Названия таксонов предпочтительно выбирать из контролируемого и документированного таксономического списка. Поле автодополнения может помочь пользователям находить принятые научные названия и, если это настроено, общеупотребительные или национальные названия.
В проекте следует указывать используемый таксономический справочник или контрольный список и, по возможности, сохранять стабильный идентификатор концепции таксона. Хранение только строки с названием может привести к неоднозначности, когда названия изменяются или одно и то же название по-разному интерпретируется различными авторитетными источниками.
Проекты могут разрешать пользователям отправлять названия, которых ещё нет в контролируемом списке. Такие значения следует явно помечать для последующей проверки, а не молча рассматривать как принятые названия таксонов. Автоматическая проверка названий может помочь в этом процессе, однако неопределённые совпадения и исправления должны оставаться отслеживаемыми.
Для поддержки таких рабочих процессов проекты OpenBioMaps могут использовать семантические роли столбцов, относящиеся к таксонам, источники автодополнения, расширяемые списки и фоновые задания проверки.
Подробнее о Superspecies.
Информация о наблюдателе и атрибуции¶
Человек или организация, ответственные за наблюдение, должны быть зарегистрированы, если это допустимо с правовой и этической точки зрения. Аутентифицированная учётная запись OpenBioMaps может использоваться для связывания отправленных данных с загрузившим их пользователем, однако загрузивший пользователь не обязательно является наблюдателем, регистратором, определившим таксон специалистом, владельцем данных или правообладателем.
Если эти роли различаются, их следует хранить отдельно. В проектах также необходимо определить, как персональные данные отображаются, экспортируются, хранятся и предоставляются в общий доступ.
Форма может автоматически заполнять поле данными из учётной записи вошедшего в систему пользователя, чтобы сократить объём повторного ввода данных.
Дата и время¶
Наблюдение должно содержать дату и, если это уместно, время, когда оно произошло. Для события отбора проб могут потребоваться время начала и время окончания.
В проектах следует определить:
требуется ли указывать время;
какой часовой пояс используется;
как представляются неопределённые, приблизительные или неполные даты;
относится ли записанное значение ко времени наблюдения, отправки, импорта или обработки; и
как проверяются временные метки, полученные от устройств или из импортированных файлов.
Время наблюдения не следует заменять временной меткой вставки в базу данных. Оба значения могут быть полезны, но они описывают разные события.
Местоположение и геометрия¶
Местоположение может быть представлено координатами, полем геометрии OpenBioMaps, идентификатором места отбора проб, названием местности или их сочетанием.
Поле obm_geometry обычно используется для пространственной геометрии
записи. В зависимости от набора данных оно может содержать точку, линию или
полигон. В проекте также следует документировать:
систему пространственных координат — по умолчанию WGS84;
метод определения местоположения;
неопределённость координат или пространственную точность;
были ли координаты преобразованы или обобщены;
ограничения, применяемые к конфиденциальным местоположениям; и
представляет ли геометрия организм, наблюдателя, маршрут, обследованную площадь или другое пространственное понятие.
Координаты, полученные от мобильного устройства, не следует автоматически считать точными. Точность может различаться в зависимости от устройства, окружающей среды, метода позиционирования и времени, отведённого на получение координат.
Количество и обнаружение¶
Если это уместно, при сборе следует регистрировать количество особей, процентное покрытие, биомассу, присутствие, состояние обнаружения или другую определённую величину. Единица измерения и интерпретация значения должны быть указаны явно.
Нулевое значение следует использовать только в том случае, если протокол устанавливает, что отбор проб был проведён, но целевой объект не был обнаружен. Его не следует использовать вместо отсутствующей информации.
Метод и усилия по отбору проб¶
При структурированных обследованиях следует регистрировать достаточно информации для интерпретации и, по возможности, повторения отбора проб. Она может включать протокол, продолжительность, расстояние, площадь, количество ловушек, усилия наблюдателя, оборудование и условия окружающей среды.
Информацию о методе и усилиях следует связывать с событием отбора проб, если она относится ко всем наблюдениям в рамках этого события.
Подтверждающие материалы, проверка и происхождение¶
Фотографии, звукозаписи, образцы, комментарии и другие подтверждающие материалы могут помочь проверить наблюдение. В проектах следует сохранять связь между наблюдением и подтверждающими материалами, а также сведения об их происхождении и правах.
Проверка не должна молча перезаписывать первоначально отправленную информацию. По возможности в проектах следует сохранять:
отправленное значение;
принятое или исправленное значение;
идентификатор или роль проверяющего;
дату проверки;
состояние проверки и комментарии; и
метод или справочник, использованный при принятии решения.
Сохранение происхождения делает исправления понятными и способствует последующему повторному использованию. В более общем смысле данными о биоразнообразии следует управлять так, чтобы их можно было находить, получать к ним доступ на определённых условиях, обеспечивать их интероперабельность и повторно использовать [Wilkinson2016].
Именование полей и интероперабельность¶
Понятные и стабильные названия полей упрощают сопровождение проекта. Названия полей должны сопровождаться описаниями и не должны основываться на сокращениях, смысл которых известен только первоначальной команде проекта.
Если данные будут передаваться внешним системам, в проектах следует рассмотреть возможность сопоставления полей с устоявшимися словарями, такими как Darwin Core [Wieczorek2012]. Использование названий, основанных на Darwin Core, может упростить сопоставление, однако присвоения полю знакомого названия самого по себе недостаточно. Смысл, единица измерения, кардинальность, словарь и связь поля также должны быть совместимы с соответствующим термином.
Проекту не обязательно хранить все данные непосредственно в формате обмена. Он может использовать структуру, подходящую для своего рабочего процесса сбора, и создать документированный экспорт или преобразование, сопоставляющее его записи с необходимым стандартом.
Практический контрольный список¶
Перед публикацией формы сбора данных убедитесь, что:
научная цель и целевая популяция определены;
эпизодические наблюдения и структурированные события отбора проб при необходимости разграничены;
завершённые события без обнаружений могут быть сохранены, если этого требует протокол;
таксоны связаны с подходящим контролируемым списком или рабочим процессом проверки;
временные метки наблюдения и отправки не смешиваются;
смысл и система пространственных координат геометрии определены;
пространственная неопределённость и конфиденциальные местоположения могут быть представлены;
роли наблюдателя, загрузившего пользователя, определившего таксон специалиста, владельца и правообладателя при необходимости разграничены;
количества и единицы измерения документированы;
методы и усилия по отбору проб могут быть зарегистрированы;
обязательные поля и правила проверки соответствуют протоколу;
исходные значения и последующие исправления остаются отслеживаемыми;
описания форм и полей понятны сборщикам данных;
правила доступа и требования к персональным данным проверены;
тестовые записи отправлены через каждый предполагаемый интерфейс; и
полученные записи можно запрашивать, экспортировать и интерпретировать без использования недокументированных знаний.
Структуру следует протестировать с помощью реалистичных примеров, включая отсутствующие значения, неопределённые таксономические определения, наблюдения за пределами ожидаемой области, события без обнаружений, несколько наблюдений в рамках одного события и записи, отправленные из каждого поддерживаемого веб-, мобильного клиента или клиента API.
Примеры сбора данных¶
Практические примеры могут продемонстрировать, как различные схемы сбора представляются с помощью таблиц и форм OpenBioMaps.
См. Примеры сбора данных в OpenBioMaps.
Литература¶
Isaac, N. J. B., van Strien, A. J., August, T. A., de Zeeuw, M. P., and Roy, D. B. (2014). Statistics for citizen science: extracting signals of change from noisy ecological data. Methods in Ecology and Evolution, 5(10), 1052–1060. https://doi.org/10.1111/2041-210X.12254
MacKenzie, D. I., Nichols, J. D., Lachman, G. B., Droege, S., Royle, J. A., and Langtimm, C. A. (2002). Estimating site occupancy rates when detection probabilities are less than one. Ecology, 83(8), 2248–2255. https://doi.org/10.1890/0012-9658(2002)083%5B2248:ESORWD%5D2.0.CO;2
Pereira, H. M., Ferrier, S., Walters, M., Geller, G. N., Jongman, R. H. G., Scholes, R. J., Bruford, M. W., Brummitt, N., Butchart, S. H. M., Cardoso, A. C., Coops, N. C., Dulloo, E., Faith, D. P., Freyhof, R., Gregory, R. D., Heip, C., Höft, R., Hurtt, G., Jetz, W., Karp, D. S., McGeoch, M. A., Obura, D., Onoda, Y., Pettorelli, N., Reyers, B., Sayre, R., Scharlemann, J. P. W., Stuart, S. N., Turak, E., Walpole, M., and Wegmann, M. (2013). Essential Biodiversity Variables. Science, 339(6117), 277–278. https://doi.org/10.1126/science.1229931
Wieczorek, J., Bloom, D., Guralnick, R., Blum, S., Döring, M., Giovanni, R., Robertson, T., and Vieglais, D. (2012). Darwin Core: An evolving community-developed biodiversity data standard. PLOS ONE, 7(1), e29715. https://doi.org/10.1371/journal.pone.0029715
Wilkinson, M. D., Dumontier, M., Aalbersberg, I. J., Appleton, G., Axton, M., Baak, A., Blomberg, N., Boiten, J.-W., da Silva Santos, L. B., Bourne, P. E., Bouwman, J., Brookes, A. J., Clark, T., Crosas, M., Dillo, I., Dumon, O., Edmunds, S., Evelo, C. T., Finkers, R., Gonzalez-Beltran, A., Gray, A. J. G., Groth, P., Goble, C., Grethe, J. S., Heringa, J., „t Hoen, P. A. C., Hooft, R., Kuhn, T., Kok, R., Kok, J., Lusher, S. J., Martone, M. E., Mons, A., Packer, A. L., Persson, B., Rocca-Serra, P., Roos, M., van Schaik, R., Sansone, S.-A., Schultes, E., Sengstag, T., Slater, T., Strawn, G., Swertz, M. A., Thompson, M., van der Lei, J., van Mulligen, E., Velterop, J., Waagmeester, A., Wittenburg, P., Wolstencroft, K., Zhao, J., and Mons, B. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18