ФЕДЕРАЛЬНОЕ АГЕНТСТВО
ПО ТЕХНИЧЕСКОМУ РЕГУЛИРОВАНИЮ И МЕТРОЛОГИИ

НАЦИОНАЛЬНЫЙ
СТАНДАРТ
РОССИЙСКОЙ
ФЕДЕРАЦИИ

ГОСТ Р ИСО/МЭК ТО
19795-3-
2009

Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 3

Особенности проведения испытаний при различных
биометрических
модальностях

ISO/IEC TR 19795-3:2007
Information Technology
- Biometric performance testing and reporting -
Part 3: Modality-specific testing
(IDT)

Москва

Стандартинформ

2010

Предисловие

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации - ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

Сведения о стандарте

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н. Э. Баумана (НИИЦ БТ МГТУ им. Н. Э. Баумана) на основе собственного аутентичного перевода стандарта, указанного в пункте 4

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 «Автоматическая идентификация»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 22 октября 2009 г. 465-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК ТО 19795-3:2007 «Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 3. Особенности проведения испытаний при различных биометрических модальностях» (ISO/IEC TR 19795-3:2007 «Information Technology - Biometric performance testing and reporting - Part 3: Modality-specific testing») за исключением приложения А. Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2004 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных (региональных) стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении А

5 ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок - в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

Содержание

1 Область применения

2 Нормативные ссылки

3 Термины и определения

4 Условные обозначения и сокращения

5 Разработка испытаний при различных типах модальностей

5.1 Этапы разработки

5.2 Факторы, которые зависят от модальности и могут влиять на эксплуатационные характеристики (этап 1)

5.3 Политики в отношении испытуемых субъектов, зависящие от модальности (этап 2)

5.4 Политики в отношении сбора данных, зависящие от модальности (этап 3)

5.5 Политики в отношении транзакций самозванцев, зависящие от модальности (этап 4)

6 Оценка факторов воздействия, зависящих от модальности

6.1 Испытания на робастность

6.2 Основной пример: лицо

6.3 Другие примеры: отпечатки пальцев, радужная оболочка глаза, венозное русло, голос

7 Принципы разработки испытания для новых модальностей

Приложение А  (справочное) Сведения о соответствии национальных стандартов Российской Федерации ссылочным международным стандартам

Библиография

 

Введение

Настоящий стандарт входит в комплекс стандартов и технических отчетов, которые были разработаны подкомитетом ИСО/МЭК СТК1/ПК37 с целью установления требований к автоматической идентификации на основе биометрических характеристик.

Настоящий стандарт предназначен для использования при разработке методов проведения испытаний биометрических систем с различными биометрическими модальностями. В стандарте приведены рекомендации по разработке испытаний с целью определения технических эксплуатационных характеристик биометрических систем с учетом особенностей биометрической модальности.

Настоящий стандарт рекомендуется использовать вместе с другими стандартами комплекса «Идентификация биометрическая».

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Автоматическая идентификация

ИДЕНТИФИКАЦИЯ БИОМЕТРИЧЕСКАЯ

Эксплуатационные испытания и протоколы испытаний в биометрии

Часть 3 Особенности проведения испытаний при различных
биометрических модальностях

Automatic identification. Biometrics identification. Biometric performance testing and reporting.
Part 3. Modality-specific testing

Дата введения - 2011-01-01

1 Область применения

При проведении эксплуатационных испытаний в биометрии и формировании протоколов испытаний необходимо учитывать разные биометрические характеристики каждой модальности (отпечатки пальцев, лицо, радужная оболочка глаза и др.). Данные различия естественным образом требуют внесения изменений в общие методы проведения испытаний, определенные в ИСО/МЭК 19795-1.

Настоящий стандарт содержит описание методов проведения испытаний, учитывающих разные биометрические характеристики каждой модальности. В стандарте приведены методы разработки испытаний с целью определения технических эксплуатационных характеристик с учетом особенностей биометрической модальности.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт, который необходимо учитывать при использовании настоящего стандарта:

ИСО/МЭК 19795-1 Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

3 Термины и определения

В настоящем стандарте применяются термины по ИСО/МЭК 19795-1, а также следующие термины с соответствующими определениями:

3.1 фактор воздействия (influencing factor): Фактор, оказывающий влияние на эксплуатационные характеристики биометрической системы.

3.2 испытание на робастность (robustness test): Испытание, проводимое с целью оценки степени влияния определенных факторов воздействия на эксплуатационные характеристики биометрической системы.

3.3 активная попытка фальсификации (active forgery attempt): Попытка самозванца, при которой субъект пытается получить совпадение с шаблоном другого субъекта путем представления поддельного или скопированного биометрического образца или путем умышленного изменения собственных биометрических характеристик.

3.4 вид фальсификации (forgery type): Вид метода активной попытки фальсификации.

3.5 степень фальсификации (forgery level): Степень сложности активной попытки фальсификации

4 Условные обозначения и сокращения

РХ (ROC) - рабочая характеристика;

ВСС (CMR) - вероятность совокупной схожести;

ХСС (CMC) - характеристика совокупной схожести;

ВЛНС (FNMR) - вероятность ложного несовпадения;

ВЛС (FMR) - вероятность ложного совпадения.

5 Разработка испытаний при различных типах модальностей

5.1 Этапы разработки

С целью обеспечения учета всех основных факторов, зависящих от типа модальности, в процессе разработки испытаний для оценки эксплуатационных характеристик биометрической системы необходимо придерживаться следующей последовательности (рисунок 1):

- этап 1 - определение и анализ факторов воздействия, которые могут повлиять на эксплуатационные характеристики биометрической системы;

- этап 2 - рассмотрение и утверждение политики в отношении испытуемых субъектов;

- этап 3 - рассмотрение и утверждение политики в отношении сбора данных;

- этап 4 - рассмотрение и утверждение политики в отношении транзакций самозванцев;

- этап 5 - рассмотрение и утверждение политики в отношении формирования протоколов испытаний.

Рисунок 1 - Этапы разработки

Данная последовательность предполагает, что определены модальность и вид испытания (т.е. технологическое /сценарное /оперативное).

5.2 Факторы, которые зависят от модальности и могут влиять на эксплуатационные характеристики (этап 1)

Факторы, влияющие на эксплуатационные характеристики биометрической системы (далее - факторы воздействия), должны быть определены и проанализированы на первом этапе разработки испытания, поскольку на эксплуатационные характеристики биометрических систем может значительно влиять широкий спектр факторов воздействия. При изменении данных факторов одна и та же биометрическая система может показывать при испытаниях различные результаты. Для проведения периодических эксплуатационных испытаний и для прогнозирования рабочих эксплуатационных характеристик необходимы контроль, регистрация и занесение в протокол информации о факторах воздействия.

В процессе разработки методов испытаний разработчик должен определить и проанализировать все известные факторы воздействия, которые при данной модальности влияют на эксплуатационные характеристики биометрической системы. Разработчик также может включить в рассмотрение зависящие от модальности факторы, влияние которых на эксплуатационные характеристики биометрической системы предполагается, но неизвестно.

В ходе определения факторов воздействия разработчик должен принять во внимание, по меньшей мере, следующие аспекты (см. также ИСО/МЭК 19795-1, приложение С):

А) Характеристики и качество биометрического датчика.

B) Биологические или поведенческие характеристики субъектов, имеющие отношение к сбору данных (основные статистические или демографические сведения):

- неизменные: пол, национальная принадлежность;

- изменяющиеся:

- биологические: возраст, размеры тела/антропометрические параметры (рост, масса тела и т.д.), скелетно-мышечные повреждения;

- привычки/социальные факторы: курение, прическа, макияж, ношение очков или контактных линз, одежда, профессия.

C) Условия окружающей среды, влияющие на биометрическое устройство, датчик или приложение, такие как:

- температура окружающей среды;

- относительная влажность воздуха;

- освещение, в том числе тип (стандартная лампа накаливания, люминесцентная, галогеновая или зеркальная лампа, светодиоды, солнечный свет и т.д.);

- шумы;

- положение датчика по отношению к пользователю.

D) Изменение биометрических признаков с течением времени.

E) Влияние активных попыток фальсификации на ложный допуск, особенно для поведенческих модальностей.

F) Использование на этапе регистрации и на этапе верификации/идентификации различных подсистем сбора данных и обработки сигналов.

Порядок проведения испытаний на робастность определен в разделе 6. Данные испытания зависят от типа модальности и позволяют определить влияние факторов внешней среды, указанных в перечислении С.

5.3 Политики в отношении испытуемых субъектов, зависящие от модальности (этап 2)

5.3.1 Политики и требования в отношении испытуемых субъектов

Политики и требования в отношении испытуемых субъектов должны быть рассмотрены и утверждены на втором этапе разработки испытания. Данные политики относятся к области биологических и поведенческих характеристик субъектов. Зависящие от субъектов факторы воздействия, которые необходимо учитывать, должны включать в себя, по меньшей мере, следующее:

- статистические и демографические сведения;

- размеры тела / антропометрические параметры.

В следующих подразделах настоящего стандарта приведены сведения о распределении антропометрических параметров в группе испытуемых субъектов, необходимом для проведения каждого вида испытания, а также приведены подробные инструкции по проведению каждого вида испытаний. В таблице 1 указана взаимосвязь между составом испытуемой группы и видом испытания.

Для того чтобы удостовериться в том, что при испытании зависящего от субъекта фактора (факторов) воздействия используется выборка, аналогичная требуемой (генеральная совокупность, целевая выборка и т.д.), необходимо использовать стандартные антропометрические таблицы (например такие, как приведены в [10]), но только в том случае, если они соответствуют размерам субъекта. Для сбора различных статистических или демографических сведений необходимо использовать перепись населения либо другие методы комплексного сбора сведений.

Одним из способов сохранения репрезентативности выборки для генеральной совокупности при проведении технологического или оперативного испытания является использование следующих двух значений размеров субъектов: размеры 5 % женщин для нижней границы и размеры 95 % мужчин для верхней границы (при условии, что размеры женщин меньше размеров мужчин). При двух данных значениях, записываемых в протокол, большинство мужчин и женщин относятся к генеральной совокупности.

Распределение выборки для сценарного испытания является более сложным, поскольку испытание имитирует реальное применение системы и испытуемые субъекты должны представлять собой целевую выборку.

Для того чтобы удостовериться в том, что зависящий от субъекта фактор (факторы) воздействия является характерным для пользователей целевого приложения, размеры субъектов должны быть установлены и переданы в испытательную организацию. В случае, если размеры не установлены, испытательная организация должна запросить эти данные о целевых пользователях при испытании в имитирующей окружающей среде. Если данная информация не предоставлена или недоступна, то необходимо использовать антропометрические таблицы, аналогичные приведенным в [10], которые предоставляют оценки размеров тела для различных этнических групп, возрастов и профессий. В случае, если зависящие от субъекта факторы воздействия являются статистическими или демографическими сведениями, распределение выборки должно быть таким же, как в реальности.

Таблица 1 - Взаимосвязь между составом испытуемой группы и видом испытания

Вид испытания

Состав группы

Технологическое

Целевая выборка

Сценарное

Целевые пользователи для конкретного приложения

Оперативное

Не контролируется / частично контролируется (генеральная совокупность)

5.3.2 Технологическое испытание

Для того чтобы удостовериться в появлении в процессе испытания зависящих от субъекта факторов воздействия, которые влияют на эксплуатационные характеристики биометрической системы, при проведении технологических испытаний состав используемой для испытания базы данных должен представлять собой целевую выборку (которая в некоторых случаях является генеральной совокупностью). Разработчик испытания должен в соответствующем порядке утвердить политики и требования в отношении испытуемых субъектов, такие как:

1 Испытуемая группа должна включать в себя таких субъектов, для которых проявляются зависящие от субъекта факторы воздействия, встречающиеся в генеральной совокупности.

2 Вся информация о зависящих от субъекта факторах воздействия должна быть указана в протоколе испытания.

Пример - Рост субъектов в приложении идентификации по изображению лица в положении стоя:

Распределение роста всех испытуемых субъектов должно быть аналогичным распределению роста в генеральной совокупности (например, рост 5 % женщин для нижней границы и рост 95 % мужчин для верхней границы).

Чтобы удостовериться в том, что при испытании использовалась выборка, аналогичная генеральной совокупности, данные измерения роста испытуемых должны быть указаны в протоколе испытания.

5.3.3 Сценарное испытание

Для того чтобы удостовериться в появлении в процессе испытания зависящих от субъекта факторов воздействия, которые влияют на эксплуатационные характеристики биометрической системы, при проведении сценарных испытаний состав испытуемой выборки должен представлять собой состав пользователей целевого приложения.

Разработчик испытания должен утвердить в соответствующем порядке политики и требования в отношении испытуемых субъектов, такие как:

1 Испытуемая группа должна включать в себя таких субъектов, для которых проявляются зависящие от субъекта факторы воздействия, встречающиеся в целевом приложении.

2 Вся информация о зависящих от субъекта факторах воздействия должна быть указана в протоколе испытания.

Пример - Рост субъектов в приложении идентификации по изображению лица в положении стоя:

1 Распределение роста всех испытуемых субъектов должно быть аналогичным распределению роста целевых пользователей в реальном приложении.

2 Чтобы удостовериться в том, что при испытании использовалась выборка с распределением роста, аналогичным распределению роста пользователей в реальном приложении, данные измерения роста испытуемых субъектов должны быть указаны в протоколе испытания.

5.3.4 Оперативное испытание

При оперативных испытаниях состав испытуемой выборки может не контролироваться разработчиком испытания, так как выборка состоит из реальных пользователей. Экспериментальная модель испытания должна быть разработана таким образом, чтобы учитывать особенности генеральной совокупности (например, размеры 5 % женщин для нижней границы и размеры 95 % мужчин для верхней границы), за исключением случаев, особо оговоренных заказчиком или поставщиком устройства. Тем не менее, с целью полного документирования и обеспечения повторяемости результатов необходимо вести записи и вносить в протокол данные о распределении зависящих от субъекта факторов воздействия. Разработчик испытания должен в установленном порядке утвердить политики и требования в отношении испытуемых субъектов, такие как:

1 Испытуемая группа должна включать в себя таких субъектов, для которых проявляются зависящие от субъекта факторы воздействия, встречающиеся в генеральной совокупности.

2 Вся информация о зависящих от субъекта факторах воздействия должна быть указана в протоколе.

Пример - Проведение оперативного испытания приложения, преимущественными пользователями которого являются женщины, в качестве фактора воздействия рассматривается пол человека:

1 Распределение пола не может контролироваться вследствие характера испытания.

2 Данные о поле испытуемых должны быть указаны в протоколе испытания с целью обеспечения повторяемости, обобщаемости и достоверности результатов испытаний таким образом, чтобы читающие протокол могли понять, какая часть выборки является репрезентативной.

5.4 Политики в отношении сбора данных, зависящие от модальности (этап 3)

5.4.1 Политики в отношении сбора данных

Политики и требования к сбору данных должны быть рассмотрены и утверждены на третьем этапе разработки испытания. Факторы воздействия, которые необходимо учитывать, должны включать в себя, по меньшей мере, следующие:

- качество и характеристики биометрического датчика;

- условия окружающей среды, в которой находится биометрическое устройство;

- изменение биометрических признаков с течением времени;

- взаимодействие человека с биометрическим датчиком;

- активные попытки фальсификации с целью получения ложного допуска (см. также подраздел 5.5).

Политики могут изменяться в зависимости от вида испытаний в соответствии с описанием, приведенным в следующих пунктах.

5.4.2 Технологическое и сценарное испытания

При технологическом и сценарном испытаниях зависящие от сбора данных факторы воздействия часто могут быть контролируемыми. Разработчик должен утвердить политики для зависящих от сбора данных факторов воздействия. В случае, если оператор, проводящий испытание, не может провести сбор данных требуемым образом, то разработчик испытания должен потребовать ведения записей и внесения в протокол информации о зависящих от сбора данных факторах воздействия.

5.4.3 Оперативное испытание

При оперативном испытании зависящие от сбора данных факторы воздействия не могут быть контролируемыми вследствие того, что управление биометрической системой осуществляют сами пользователи. Тем не менее, с целью обеспечения полного документирования и повторяемости результатов испытания необходимо вести записи и указывать в протоколе испытания информацию о зависящих от сбора данных факторах воздействия. Поэтому разработчик испытания должен требовать ведения записей и внесения в протокол информации о зависящих от сбора данных факторах воздействия.

5.4.4 Политики при использовании нескольких экземпляров биометрической характеристики

5.4.4.1 Общие положения

Для некоторых биометрических модальностей от каждого испытуемого субъекта можно получить несколько экземпляров биометрической характеристики. Например, от одного испытуемого субъекта могут быть получены 10 отпечатков пальцев, два изображения радужной оболочки глаза, два и более изображений венозного русла и два экземпляра геометрии руки. В случае контекстно-зависимых поведенческих модальностей, таких как текстозависимая верификация диктора, от каждого испытуемого субъекта может быть получено множество сонограмм.

У некоторых биометрических модальностей, таких как отпечатки пальцев, существует корреляция между экземплярами биометрической характеристики, полученными от различных частей тела конкретного испытуемого субъекта. Для модальностей, в которых может иметь место корреляция, необходимо разработать и установить политики, которые будут определять порядок использования различных экземпляров биометрической характеристики для попыток подлинных лиц и/или самозванцев.

5.4.4.2 Примеры: отпечатки пальцев

В следующих примерах (А-1, В-2) означает сравнение первого пальца субъекта А со вторым пальцем субъекта В, а А-1-2 означает второй образец отпечатка первого пальца субъекта А. Политики могут быть установлены следующим образом:

Примеры

1 Для определения ВЛНС при испытании с участием подлинных лиц может быть допустимо использование 10 пальцев одного и того же испытуемого субъекта в качестве независимых образцов, т. е. сравнения (А-1-1, А-1-2) и (А-2-1, А-2-2) являются допустимыми.

2 Для определения ВЛС при испытании с участием самозванцев использование различных пальцев одного и того же испытуемого субъекта (например, А-1, А-2) в общем случае недопустимо, поскольку первый и второй пальцы субъекта А не могут считаться независимыми образцами.

3 Для определения ВЛС при испытании с участием самозванцев сравнения (А-1, В-1) и (А-1, В-2) допустимы. Использование таких сравнений может значительно снизить стоимость испытаний и затрачиваемые усилия, особенно при испытании систем с низконаблюдаемой ВЛС.

5.4.4.3 Примеры: голос и подпись

При разработке испытания для поведенческих модальностей, таких как текстозависимая биометрика голоса или подписи, необходимо рассмотреть следующие вопросы: как текст используется при идентификации и известен ли этот текст самозванцу? Политики в отношении сбора данных и протоколирования результатов испытаний могут меняться в зависимости от факторов, описанных в следующих примерах.

Примеры

1 Технологическое испытание системы текстозависимой идентификации диктора

Для испытаний как с участием подлинных лиц, так и с участием самозванцев, фрагмент речи должен соответствовать зарегистрированному контрольному образцу. Образцы, содержащие другие фрагменты речи, не должны использоваться в испытании. Необходимо приводить в протоколе информацию о том, были ли при испытаниях с участием самозванцев случаи, когда зарегистрированный образец речи диктора-мужчины испытывался самозванцем-женщиной и наоборот.

2 Технологическое испытание системы текстонезависимой идентификации диктора

Для испытаний, как с участием подлинных лиц, так и с участием самозванцев, фрагмент речи может отличаться от зарегистрированного контрольного образца. Необходимо приводить в протоколе информацию о том, были ли при испытаниях с участием самозванцев случаи, когда зарегистрированный образец речи диктора-мужчины испытывался самозванцем-женщиной и наоборот.

3 Технологическое испытание системы идентификации диктора по подсказываемому тексту. Для испытаний, как с участием подлинных лиц, так и с участием самозванцев, фрагмент речи

должен соответствовать тексту, подсказываемому системой. Следует, как можно более подробно приводить в протоколе информацию о том, каким образом генерировался подсказываемый текст и как этот процесс контролировался. Необходимо приводить в протоколе информацию о том, были ли при испытаниях с участием самозванцев случаи, когда зарегистрированный образец речи диктора-мужчины испытывался самозванцем-женщиной и наоборот.

5.5 Политики в отношении транзакций самозванцев, зависящие от модальности (этап 4)

5.5.1 Политики в отношении транзакций самозванцев

Для проведения достоверных испытаний систем, основанных на поведенческих модальностях, таких как голос или подпись, необходимо учитывать усилия, предпринимаемые самозванцами, так как результаты испытаний могут зависеть от степени усилий, с которыми самозванец пытается имитировать поведенческие характеристики другого испытуемого субъекта. Например, известно, что эксплуатационные характеристики биометрических систем идентификации, основанных на поведенческих модальностях, зависят от вида и степени усилий самозванцев. Основные четыре вида попыток фальсификации, осуществляемых самозванцами, приведены в таблице 2.

Таблица 2 - Степени попыток фальсификации, осуществляемых самозванцами

Вид фальсификации

Описание

Случайная фальсификация (пассивная попытка самозванца)

Фальсификатор предоставляет свои биометрические характеристики так, будто он/она совершает успешную попытку верификации со своим собственным шаблоном

Простая фальсификация

Фальсификатор имеет представление о том, что необходимо предоставить в качестве биометрических характеристик, но не совершает попытки имитировать биометрические характеристики, например, обвести подпись подлинного лица в случае идентификации по подписи

Имитирующая фальсификация

Фальсификатор копирует подлинные биометрические характеристики

Высококвалифицированная фальсификация

Фальсификатор имитирует статические и динамические данные биометрических характеристик, как правило, в результате наблюдения и тренировки

Целесообразно предположить, что вероятность ложного допуска (ВЛД) в случае случайной фальсификации будет незначительно связана с ВЛД в случае других видов фальсификации. Если самозванец слышал голос зарегистрированного пользователя до совершения попытки самозванца, то это может повлиять на эксплуатационные характеристики системы верификации диктора. Если самозванец тренировался имитировать голос зарегистрированного пользователя, это также может повлиять на надежность системы. ВЛД может также возрасти, если самозванец является родственником зарегистрированного пользователя, например братом или сестрой, близнецом, родителем или ребенком. В случае идентификации по походке результат может отличаться в зависимости от того, имел ли самозванец возможность наблюдать за манерой ходьбы зарегистрированного пользователя или самозванец тренировался имитировать походку зарегистрированного пользователя.

Поэтому для биометрических систем, основанных на поведенческих модальностях, с целью получения достоверных результатов испытаний необходимо учитывать степень усилий, предпринимаемых самозванцами. Политики в отношении сбора данных самозванцев должны быть определены на этапах разработки методики испытания. Политики и принятые решения в отношении сбора данных самозванцев должны быть подробно приведены в протоколе испытания.

При технологическом и сценарном испытаниях случайные фальсификации не должны быть основой попыток самозванцев. При оперативном испытании попытки случайных фальсификаций допускаются в том случае, если это не противоречит способу совершения самозванцами попыток имитации данных зарегистрированных пользователей. Поскольку результаты испытаний в значительной мере зависят от вида и степени фальсификации, то в протоколе испытания должна быть приведена подробная информация о виде фальсификации, использованном в процессе оперативного испытания.

5.5.2 Пример: подпись

При испытании систем идентификации по подписи одним из способов оценки степени усилий самозванцев является использование классификации видов фальсификаций, приведенной в таблице 3.

Таблица 3 - Классификация степеней фальсификации подписи

Степень фальсификации

Описание фальсификации

Вид фальсификации

0

Пассивная попытка, фальсификатор подписывается случайным именем

«Слепая» фальсификация (у фальсификатора нет возможности скопировать подпись)

1

Фальсификатор слышал имя, но не знает правильного написания имени (например, не знает, как правильно написать: Steven или Stephen, Jon или John)

2

Фальсификатор видел правильное написание имени, например в телефонном справочнике или на визитке, но не видел подпись

3

Единственный образец: фальсификатор имеет единственный образец подписи пострадавшего (например, на квитанции или чеке)

Статическая фальсификация (фальсификатор имеет подпись уже после ее написания и не наблюдает за процессом ее создания)

4

Несколько образцов: фальсификатор имеет несколько образцов подписи пострадавшего (возможно, имеет дополнительные источники почерка, например записи в блокноте)

5

Единственное наблюдение: фальсификатор один раз наблюдал за тем, как пострадавший пишет свое имя

Фальсификация, основанная на наблюдении (фальсификатор в действительности наблюдает процесс создания подписи)

6

Несколько наблюдений: фальсификатор несколько раз наблюдал за тем, как пострадавший пишет свое имя (возможно, путем неоднократного просмотра видеозаписи процесса написания имени)

7

Фальсификация с помощью пострадавшего: пострадавший специально обучает фальсификатора имитировать свою подпись в динамике

Фальсификация с помощью кого-либо или чего-либо (с помощью пострадавшего или с использованием высоких технологий)

8

Фальсификация с помощью высоких технологий: фальсификатор располагает цифровыми характеристиками подписи пострадавшего и имеет возможность множество раз тренироваться, чтобы имитировать скорость, давление и траекторию подписи

При идентификации по подписи основой испытаний должны быть высококвалифицированные попытки самозванцев. В то же время в реальной ситуации для каждого испытуемого субъекта сложно собрать большое число высококвалифицированных попыток множества самозванцев. Решением в данной ситуации является сбор статических и динамических данных подписи (т.е. как написанных слов, так и динамических характеристик почерка, таких как траектория, угол наклона и давление пера) от каждого испытуемого субъекта, причем используется для написания одно и то же слово (слова) для всех субъектов. Два образца, собранные согласно данной политике, могут быть использованы для попыток подлинного лица (если эти два образца получены от одного и того же субъекта) или для попыток самозванца (если эти два образца получены от двух разных субъектов). В зависимости от того, сколько тренировался субъект перед совершением попытки самозванца, данная попытка может быть классифицирована как простая, имитирующая или высококвалифицированная фальсификация. Следует использовать подпись со множеством узоров, так как эксплуатационные характеристики биометрической системы значительно зависят от формы и узоров подписи.

Примеры

1 Технологическое испытание системы идентификации по подписи

Самозванцы часто имеют некоторое представление о содержании подписи подлинного лица (о том, что должно быть написано в подписи), поэтому следует приводить в протоколе информацию об уровне фальсификации, осуществляемой самозванцами. Примеры классификации уровней фальсификации приведены в таблицах 2 и 3.

2 Оперативное испытание системы идентификации по подписи

Самозванцы должны знать полное имя пользователя, поскольку подпись в большинстве случаев основывается на фамилии человека.

5.5.3 Пример: голос

При испытании систем текстозависимой верификации диктора и верификации диктора по подсказываемому тексту необходимо руководствоваться рекомендациями, указанными в предыдущем примере. Тем не менее, поскольку в системах идентификации диктора эффект от неслучайных фальсификаций не столь очевиден, достаточно использовать для попыток самозванцев только простые фальсификации.

Пример - Оперативное испытание системы идентификации диктора

Дикторы, как подлинные лица, так и самозванцы, могут записать несколько фрагментов речи.

В процессе испытаний подлинных лиц не следует исключать из испытания те случаи, в которых пользователи забыли текст или неверно произносили фразы.

5.6 Политики в отношении протоколирования результатов испытания, зависящие от модальности (этап 5)

Для модальностей, которые в основном используются в системах идентификации (например, система видеонаблюдения или автоматическая система идентификации по отпечаткам пальцев) или при применении которых, как правило, требуется проверка результатов оператором, при оценке эксплуатационных характеристик систем важное значение имеет ВСС. ВСС может быть определена как вероятность того, что система идентификации успешно ранжирует два признака образца одного и того же субъекта для установленного интервала схожестей. ВСС - это число, показывающее вероятность того, что при идентификации правильному варианту будет присвоен некоторый ранг.

Данная эксплуатационная характеристика может быть приведена в виде кривой ХСС, показывающей изменения ВСС в зависимости от ранга. Как показано на рисунке 2, ВСС представляет собой вероятность того, что испытуемый субъект будет идентифицирован с определенным рангом, при этом значения вероятности указывают на оси Y, а значения ранга - на оси X. Кроме того, поскольку предел точности измерений определяется исходя из размера базы данных, то его необходимо рассчитать, чтобы определить степень достоверности результатов испытания. В случае, если ВСС превышает установленный предел точности, то это указывает на недостаточную статистическую достоверность результатов.

Рисунок 2 - Кривая ХСС

Устойчивость системы идентификации по отношению к факторам воздействия может быть определена по изменениям ХСС, полученной при испытаниях на робастность. Изменения ХСС показывают, как при появлении факторов воздействия изменяется ВСС. Изменения ХСС могут быть проиллюстрированы в виде графика, изображенного на рисунке 3, на котором классы соответствуют изменениям параметров в рамках факторов воздействия, при этом изменения параметров указывают на оси X, а ВСС - на оси Y.

Рисунок 3 - Изменения ХСС

6 Оценка факторов воздействия, зависящих от модальности

6.1 Испытания на робастность

В данном разделе приведены рекомендации по проведению испытаний на робастность, которые являются необязательными зависящими от модальности испытаниями, позволяющими оценить влияние факторов воздействия, например биологических, социальных и факторов окружающей среды, которые рассматриваются на первом этапе разработки испытания.

В общем случае технологическое испытание не учитывает влияния факторов воздействия. Тем не менее, некоторые модальности, такие как лицо или голос, могут испытывать значительное воздействие множества факторов. Чтобы оценить степень данного воздействия на эксплуатационные характеристики, может быть проведено испытание на робастность, которое разработано специально для уточнения и количественной оценки воздействия каждого фактора воздействия на эксплуатационные характеристики биометрической системы. Испытания на робастность допускается проводить одновременно с проведением технологических и сценарных испытаний.

Испытание на робастность может быть использовано для того, чтобы выяснить, какие факторы и в какой степени влияют на эксплуатационные характеристики биометрической системы, другими словами, насколько чувствительны эксплуатационные характеристики по отношению к изменениям каждого фактора воздействия.

Например, в системах идентификации по изображению лица эксплуатационные характеристики системы могут изменяться в результате воздействия на них множества факторов, включающих в себя:

A) биологические или поведенческие характеристики субъекта:

- неизменные факторы: пол, национальная принадлежность;

- изменяющиеся факторы:

- биологические: возраст, размеры тела/антропометрические параметры (рост, масса тела и т.д.), скелетно-мышечные повреждения;

- привычки/социальные факторы: курение, прическа, макияж, ношение очков или контактных линз, одежда, профессия;

B) условия окружающей среды, влияющие на биометрическое устройство, датчик или приложение, такие как:

- освещение:

- тип освещения (стандартная лампа накаливания, люминесцентная, галогеновая или зеркальная лампа, светодиоды, солнечный свет и т.д.);

- изменения положения источников освещения (например, над, под, слева, справа или позади субъекта);

- положение датчика по отношению к пользователю.

В общем случае оценка влияния подобных факторов на эксплуатационные характеристики биометрической системы может привести к необходимости разработки и внедрения специального сценария испытания. Например, если в некоторых системах идентификации по отпечатку пальца при повороте пальца эксплуатационные характеристики ухудшаются, то данный тип влияния может быть обычно минимизирован путем введения требования размещать палец на сканере соответствующим образом.

Тем не менее, при идентификации по изображению лица следование пользователей подобного рода сценарию не всегда достаточно, поскольку данные биометрические системы часто предполагают использование в приложениях без кооперативности пользователей, таких как видеонаблюдение. У пользователей системы возникает необходимость в проведении испытаний на робастность. Под пользователями в данном случае понимают пользователей системы, которым необходимо испытать стабильность эксплуатационных характеристик биометрической системы путем оценки степени ухудшения эксплуатационных характеристик в результате изменения большого числа факторов.

Устойчивость биометрической системы может быть отражена в протоколе изменениями кривой РХ по результатам верификации. Изменения кривой РХ показаны на рисунке 4, который отображает зависимость изменения вероятностей таких ошибок, как ВЛНС и ВЛС от изменений параметров.

Рисунок 4 - Изменения кривой РХ

6.2 Основной пример: лицо

Учесть при испытании влияние всех факторов окружающей среды невозможно, поэтому до начала проведения испытания администратор должен выбрать наиболее значимые факторы окружающей среды и определить диапазоны их изменения. Кроме того, в протоколе испытания администратор должен описать условия, в которых происходит сбор данных. В таблице 4 приведены примеры некоторых основных факторов воздействия для систем идентификации по изображению лица.


Таблица 4 - Пример основных факторов воздействия (для систем идентификации по изображению лица)

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Биологические факторы

Генетические факторы

Изменение геометрии и цвета лица вследствие генетических факторов

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Указывают место (страна, город), дату и время получения изображения

Используют процедуры, установленные для базового испытания

 

Состояние здоровья

Изменение геометрии и цвета лица, обусловленные болезнью и травмами

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Не нуждается в описании

Не нуждается в описании

 

Возраст

Изменение геометрии и цвета лица, эластичности кожи и появление морщин, обусловленные возрастными изменениями

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Возможно

Указывают распределение каждого признака

Для сопоставления с базовым испытанием эксплуатационных характеристик (без учета влияния возрастных изменений) указывают эксплуатационные характеристики сравнения, соответствующие каждому распределению

 

Пол

 

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение. Данный фактор часто коррелирует с другими факторами

Невозможна

Возможно

Указывают распределение каждого признака (для мужчин и женщин)

Для сопоставления с базовым испытанием (без учета половых различий) указывают эксплуатационные характеристики сравнения для каждого пола

 

Мимическое выражение

Изменение геометрии лица и морщины, обусловленные изменением мимического выражения

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение. Чем слабее мимическое выражение, тем выше вероятность успешных попыток

Возможна

Затруднительно

Указывают наличие/ отсутствие кооперации со стороны испытуемого субъекта и другие необходимые сведения

Указывают зависимость эксплуатационных характеристик от конкретного мимического выражения или от категорий мимических выражений, установленных оператором

 

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Социальные факторы

Профессия

 

Вероятность ошибки возрастает, когда происходят некоторые изменения внешности. Однако это не настолько существенно, как изменения при сопоставлении отпечатков пальцев

Невозможна

Затруднительно

Указывают распределение каждого признака

С целью сопоставления указывают эксплуатационные характеристики сравнения для каждой профессиональной группы. Администратор может устанавливать профессиональные категории по своему желанию

Прическа/ борода/ макияж и т.д.

Включая бороды, прически, закрывающие части лица, макияж на губах и бровях, татуаж, тень, блик, повязка на глазах, хирургические маски

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Возможна

Затруднительно

Нетребуемые данные могут быть удалены. Указывают различные особенности и наличие данных

Администратор выбирает категории и указывает изменение эксплуатационных характеристик между категориями

Очки

 

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение.

Ошибки также возникают вследствие смены очков и образующихся в результате этого теней и отражений

Возможна

Затруднительно

Указывают долю людей, которые носят очки.

Нетребуемые данные могут быть удалены, но наличие данных должно быть записано

Указывают изменения эксплуатационных характеристик в результате того, что субъект перестал или начал носить очки; указывают типовое изображение

Факторы окружающей среды

Положение

Ориентация лица относительно камеры

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение.

Нормальным условием является фронтальное положение лица. Наклон или положение лица в профиль приводят к возрастанию вероятности ошибки.

Возможна

Возможно

Во время получения изображения фиксируют положение лица относительно зафиксированной камеры.

Указывают наличие/ отсутствие кооперации со стороны испытуемого субъекта и другие необходимые сведения

Администратор классифицирует взаиморасположение лица и камеры и указывает изменение эксплуатационных характеристик между классами

 

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Факторы окружающей среды

Освещение

Направление освещения и число источников света

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Возможно, но необходимо согласование с другими параметрами

Фиксируют направление освещения. Параметры освещения определяют при помощи шара, обладающего свойством отражения Ламберта (например, гипсовый шар)

Определяют параметры освещения и указывают изменения эксплуатационных характеристик при освещении с использованием гипсового шара и при использовании действительных условий освещения

 

Фон

Фон во время получения изображения

Сложный фон, способствующий усложнению процедуры отделения лица от фона, приводит к увеличению вероятности появления ошибок

Невозможна

Возможно, но необходимо согласование с другими параметрами

Фиксируют фон. Отдельно показывается фон образца

Указывают изменения эксплуатационных характеристик, вызванные изменением фона; указывают фон изображения

 

Разрешающая способность

Расстояние и разрешающая способность во время получения изображения

Вероятность ошибок возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Возможно

Указывают поле зрения камеры, число пикселей и расстояние до лица

Указывают изменение эксплуатационных характеристик при изменении параметров

 

Период времени

Период времени между регистрацией и идентификацией

Искажения, обусловленные свойствами камеры

Вероятность ошибки возрастает в случае длительного периода времени

Невозможна

Возможно

Фиксируют период времени.

Записывают наименьший период времени между сбором данных для регистрации и сбором данных для идентификации

Строят график зависимости эксплуатационных характеристик сравнения от времени, прошедшего между регистрацией и идентификацией

 

Искажения

 

Вероятность ошибки возрастает в случае, если искажения различны для различных образцов

Невозможна

Невозможно

Указывают тип камеры

Указывают изменение эксплуатационных характеристик в зависимости от типа камеры

 


6.3 Другие примеры: отпечатки пальцев, радужная оболочка глаза, венозное русло, голос

Если администратор проводит испытания для других биометрических модальностей, то он должен учитывать влияние других факторов. Например, для идентификации по отпечаткам пальцев необходимо учитывать влажность и состояние кожи и другие факторы, приведенные в таблице 5. Для идентификации по радужной оболочке глаза необходимо учитывать условия освещения, ношение очков или контактных линз, наличие заболеваний глаз, приведенные в таблице 6. Для идентификации по венозному руслу необходимо учитывать изменения рисунка русла, ориентацию руки/пальца, условия освещения, приведенные в таблице 7. Примеры основных факторов воздействия при идентификации диктора приведены в таблице 8.


Таблица 5 - Основные факторы воздействия (для систем идентификации по отпечатку пальца)

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Биологические факторы

Состояние здоровья

Изменение поверхности пальца (порез, рана, разрез, царапина и т.д.), обусловленные травмой

Вероятность ошибки возрастает, если признаки или состояние образца отличаются от тех, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Не нуждается в описании

Не нуждается в описании

Возраст

Изменение формы пальца, эластичности кожи, появление морщин вследствие возрастных изменений

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение. Однако в общем случае, молодые люди обеспечивают высокую вероятность успешных попыток

Невозможна

Возможно

Указывают распределение каждого признака

Для сопоставления с базовым испытанием эксплуатационных характеристик (без учета возрастных изменений) указываются эксплуатационные характеристики сравнения, соответствующие каждому распределению

Состояние кожи

Изменение состояния кожи пальца, увлажнение или сухость, обусловленные биологическими или физическими причинами

Вероятность ошибки возрастает, если признаки или состояние образца отличаются от тех, на которых происходила разработка/ обучение.

Чем меньше изменяется состояние образца, тем выше вероятность успешных попыток

Возможна

Затруднительно

Указывают наличие/ отсутствие кооперации со стороны испытуемого субъекта и другие необходимые сведения

Указывают зависимость эксплуатационных характеристик от конкретного состояния кожи или от категорий состояния кожи, установленных оператором

Доминирующая рука или нет

Движение пальца изменяется при использовании прокатного сканера

Вероятность ошибок возрастает, если субъект использует недоминирующую руку

Возможна

Возможно

Указывают, используется доминирующая рука или нет

То же, что и для базового испытания

Номер пальца (размер пальца и т.д.)

Номер пальца, используемого для идентификации

Вероятность ошибки возрастает, если используются, например безымянный палец или мизинец

Возможна

Возможно

Указывают номер пальца, который используется

Указывают эксплуатационные характеристики сравнения для каждого пальца

Окончание таблицы 5

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Социальные факторы

Профессия и образ жизни

Изменение состояния кожи пальца: огрубение, царапины, ороговение или трещины вследствие издержек профессии или хобби (садоводство, керамическое искусство, спорт, плотничество и т.д.)

Вероятность ошибки возрастает, если ухудшается состояние пальцев

Невозможна

Затруднительно

Указывают распределение каждого признака.

С целью сопоставления указывают эксплуатационные характеристики сравнения для каждой профессиональной группы

.Администратор может устанавливать профессиональные категории по своему желанию

Факторы окружающей среды

Период времени

Период времени между регистрацией и идентификацией

Вероятность ошибки возрастает в случае длительного периода времени

Невозможна

Возможно

Фиксируют период времени.

Записывают наименьший период времени между сбором данных для регистрации и сбором данных для идентификации

Строят график зависимости эксплуатационных характеристик сравнения от времени, прошедшего между регистрацией и идентификацией

Искажения

Искажения, обусловленные свойствами сканера

Вероятность ошибки возрастает в случае, если искажения изменяются между образцами

Невозможна

Невозможно

Указывают тип сканера

Указывают изменение эксплуатационных характеристик в зависимости от типа сканера

Сканер

Характеристики сканера (кроме освещения, фона, разрешения и искажений), время и число сканирований за одну попытку

Вероятность ошибки возрастает, если признаки образцов отличаются от зарегистрированных признаков

Невозможна

Затруднительно

Фиксируют характеристики. Указывают наличие / отсутствие функций, таких как автоматическая балансировка белого

Указывают изменение эксплуатационных характеристик в зависимости от типа сканера отпечатков пальцев

Температура окружающей среды и влажность воздуха

Температура окружающей среды и влажность воздуха, оказывающие влияние на состояние кожи и эксплуатационные характеристики сканирования

Вероятность ошибки изменяется в случае влияния факторов окружающей среды на состояние кожи и эксплуатационные характеристики сканирования

Возможна (частично, например высушивание пальца путем обтирания тканью)

Возможно

Записывают параметры

Записывают изменения эксплуатационных характеристик в результате изменения параметров

Таблица 6 - Основные факторы воздействия (для систем идентификации по изображению радужной оболочки глаза)

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Биологические факторы

Состояние здоровья

Изменение радужной оболочки глаза, обусловленное болезнью, хирургическим вмешательством или применением наркотических веществ

Вероятность ошибки возрастает, если признаки или состояние образца отличаются от тех, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Не нуждается в описании

Не нуждается в описании

Степень раскрытия глаза

Изменение ширины раскрытия глаза

Вероятность ошибки возрастает, если область раскрытия радужной оболочки глаза маленькая

Невозможна (некоторые люди не могут контролировать степень раскрытия глаза)

Возможно

Указывают распределение каждого признака

Оценивают изменение эксплуатационных характеристик в зависимости от степени раскрытия глаза

Социальные факторы

Очки/ контактные линзы

 

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение.

На вероятность ошибки также оказывает влияние вид контактных линз (прозрачные, тонированные или узорчатые) и смена очков или контактных линз из-за образующихся в результате этого теней и отражений

Возможна

Затруднительно

Указывают долю людей, которые носят очки, контактные линзы или не используют оптику. Указывают результаты для каждого случая

Используют процедуры, установленные для базового испытания

Факторы окружающей среды

Освещение

Направление и мощность инфракрасного излучения и окружающих источников света

Вероятность ошибки возрастает, если искусственное освещение и естественное освещение не соответствуют установленным требованиям

Невозможна

Затруднительно

Используют рекомендации, установленные для конкретных биометрических систем

Используют процедуры, установленные для базового испытания

Период времени

Период времени между регистрацией и идентификацией

Вероятность ошибки возрастает в случае длительного периода времени

Невозможна

Возможно

Фиксируют период времени. Записывают наименьший период времени между сбором данных для регистрации и сбором данных для идентификации

Строят график зависимости эксплуатационных характеристик сравнения от времени, прошедшего между регистрацией и идентификацией

Таблица 7 - Основные факторы воздействия (для систем идентификации по изображению венозного и сосудистого русла)

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Биологические факторы

Состояние здоровья

Изменение сосудистого рисунка вследствие физических нагрузок, стресса, болезни или травмы

Вероятность ошибки возрастает, если признаки или состояние образца отличаются от тех, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Не нуждается в описании

Не нуждается в описании

Факторы окружающей среды

Положение

Ориентация руки/пальца относительно датчика

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Возможна

Возможно

В процессе получения изображения фиксируют положение руки/ пальца относительно зафиксированного датчика. Указывают наличие/ отсутствие кооперации со стороны испытуемого субъекта и другие необходимые сведения

Администратор классифицирует взаиморасположение руки/пальца и датчика и указывает изменение эксплуатационных характеристик между классами

 

Внешнее освещение

Направление и сила внешнего освещения

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Невозможна

Затруднительно

Используют рекомендации, установленные для конкретных биометрических систем

Исследуют каждый режим освещения и указывают изменения эксплуатационных характеристик при отклонении режима освещения от стандартного

 

Период времени

Период времени между регистрацией и идентификацией

Вероятность ошибки возрастает в случае длительного периода времени

Невозможна

Возможно

Фиксируют период времени. Записывают наименьший период времени между сбором данных для регистрации и сбором данных для идентификации

Строят график зависимости эксплуатационных характеристик сравнения от времени, прошедшего между регистрацией и идентификацией

 

Температура окружающей среды

Температура, влияющая на состояние сосудистого русла

Вероятность ошибки возрастает при воздействии температуры на сосудистое русло

Невозможна

Возможно

Записывают температуру

Записывают изменения эксплуатационных характеристик в результате изменения температуры

Таблица 8 - Основные факторы воздействия (для систем идентификации диктора)

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Биологические факторы

Состояние здоровья

Изменение характеристик голоса вследствие болезни или травмы

Вероятность ошибки возрастает, если признаки или состояние образца отличаются от тех, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Не нуждается в описании

Не нуждается в описании

Возраст

Изменение характеристик голоса вследствие возрастных изменений

Вероятность появления ошибок возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Возможно

Указывают распределение каждого признака

Для сопоставления с базовым испытанием эксплуатационных характеристик (без учета влияния возрастных изменений) указывают эксплуатационные характеристики сравнения, соответствующие каждому распределению

Пол

Частота основного тона

Зависит от метода выделения основного тона

Невозможна

Возможно

Указывают распределение каждого признака (для мужчин и женщин)

Для сопоставления с базовым испытанием (без учета половых различий) указывают эксплуатационные характеристики сравнения для каждого пола

Социальные факторы

Профессия

Изменение состояния и устойчивости голоса

Вероятность ошибки возрастает, когда происходят какие-либо изменения состояния голоса

Невозможна

Затруднительно

Указывают распределение каждого признака

С целью сопоставления указывают эксплуатационные характеристики сравнения для каждой профессиональной группы.

Администратор может устанавливать профессиональные категории по своему желанию

Смежная работ

Чтение лекций, пение, состоянии после пробуждении, чрезмерная физическая нагрузка

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение

Невозможна

Затруднительно

Не нуждается в описании

Не нуждается в описании

Продолжение таблицы 8

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Социальные факторы

Язык

Родной язык; неродной язык

Вероятность ошибки возрастает, если признаки образца отличаются от признаков, на которых происходила разработка/ обучение, вследствие нестабильности произношения

Невозможна

Возможно

Не нуждается в описании

Не нуждается в описании

Факторы окружающей среды

Шум

Фоновые шумы; другие накладывающиеся голоса

Данные шумы и искажения вызывают увеличение вероятности появления ошибок

Невозможна

Возможно

Указывают отношение сигнал/ шум

Указывают эксплуатационные характеристики

Искажения

Искажения устройства и канала передачи

сравнения для некоторых значений отношения сигнал/шум

Реверберация

Реверберация из-за условий, в которых получают фрагмент речи, а также при его передаче

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Невозможна

Затруднительно

Указывают характеристики реверберации

Указывают эксплуатационные характеристики сравнения для стандартных условий

Аппаратные характеристики

Частота дискретизации, разрешающая способность аналого-цифрового преобразователя, компрессия, скорость передачи информации

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Невозможна

Возможно

Указывают характеристики

Указывают эксплуатационные характеристики сравнения для стандартных условий

Канал передачи

Стационарный телефон, мобильный телефон, прямое соединение

Вероятность ошибки зависит от характеристик канала передачи

Невозможна

Возможно

Указывают использованный канал

Указывают эксплуатационные характеристики сравнения для стандартных условий

Период времени

Период времени между регистрацией и идентификацией

Вероятность ошибки возрастает в случае длительного периода времени

Невозможна

Возможно

Фиксируют период времени. Записывают наименьший период времени между сбором данных для регистрации и сбором данных для идентификации

Строят график зависимости эксплуатационных характеристик сравнения от времени, прошедшего между регистрацией и идентификацией

Окончание таблицы 8

Фактор

Параметр

Описание параметров

Вероятность ошибки

Кооперация со стороны испытуемого субъекта

Количественное описание

Требования к описанию

Базовое испытание

Испытание на робастность

Поведенческие факторы

Предрасположенность к общению

Расположен к общению; нерасположен к общению

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Невозможна

Затруднительно

Используют тот фрагмент речи, при произношении которого человек был предрасположен к общению

Указывают эксплуатационные характеристики сравнения для стандартных условий

Эмоции

Эмоциональное влияние на речь

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Невозможна

Возможно

Используют неэмоциональный фрагмент речи

Указывают эксплуатационные характеристики сравнения для стандартных условий

Скорость речи

Слогов в секунду, пауз в секунду

Вероятность ошибки возрастает, если признаки образца отличаются от зарегистрированных ранее признаков

Невозможна

Возможно

Используется средняя скорость

Указывают эксплуатационные характеристики сравнения для стандартных условий

Произносимые слова

Цифры, имя, город, заголовки газет и т. д.

Вид произносимых слов влияет на вышеперечисленные поведенческие факторы

Невозможна

Возможно

Указывают вид произносимых слов

Указывают эксплуатационные характеристики сравнения для стандартных видов произносимых слов

Способ произношения

Чтение, спонтанная речь, повторение

Способ произношения влияет на устойчивость речи и вероятность ошибки

Невозможна

Возможно

Указывают способ произношения

Указывают эксплуатационные характеристики сравнения для стандартных способов произношения

Обучение

Степень устойчивости между высказываниями (часто зависит от уровня беглости речи)

Вероятность ошибки возрастает, если устойчивое после обучения высказывание сравнивают с зарегистрированным образцом, сгенерированным из неустойчивого высказывания

Невозможна

Затруднительно

Принудительное повторение высказывания несколько раз (например, три раза), запись производят после того, как высказывание стало устойчивым

Указывают изменения эксплуатационных характеристик в зависимости от количества повторений выражения и степени устойчивости перед регистрацией

 


7 Принципы разработки испытания для новых модальностей

После того как будет разработана биометрическая технология, основанная на новой модальности, для разработки программы испытаний для данной модальности будет необходимо руководствоваться следующей процедурой. Во-первых, будет необходимо определить факторы воздействия в соответствии с указаниями предыдущего раздела. Затем будет необходимо разработать особую программу испытаний. Если некоторые факторы не рассмотрены в предыдущих разделах настоящего стандарта, то следует рассмотреть необходимость и методы оценки влияния данных факторов на эксплуатационные характеристики биометрической системы.

Приложение А
(справочное)
Сведения о соответствии национальных стандартов Российской Федерации ссылочным международным стандартам

Сведения о соответствии национальных стандартов Российской Федерации ссылочным международным стандартам приведены в таблице А.1.

Таблица А.1 - Сведения о соответствии национальных стандартов ссылочным международным стандартам

Обозначение ссылочного международного стандарта

Обозначение и наименование соответствующего национального стандарта

ИСО/МЭК 19795-1

ГОСТ Р ИСО/МЭК 19795-1-2007 Информационные технологии. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы и структура

Библиография

[1]

ISO/IEC JTC1/SC37 N101

Evaluation Method for Accuracy of Fingerprint Authentication Systems (Japanese Standards Association: TR X 0053:2002)

[2]

ISO/IEC JTC1/SC37 N99

Evaluation Method for Accuracy of Face Authentication Systems (TR X 0086:2003)

[3]

ISO/IEC JTC1/SC 37 N102

Evaluation Method for Accuracy of Iris Authentication Systems (TR X 0072:2002)

[4]

ISO/IEC JTC1/SC 37 N555

Method of Evaluating the Accuracy of Blood Vessel Pattern Authentication Systems (TRX 0079:2003)

[5]

ISO/IEC JTC1/SC 37 N554

Method for Evaluating the Accuracy of the Voice Authentication System (TRX 0098:2004)

[6]

ISO/IEC JTC1/SC 37 N553

Method for Evaluating the Accuracy of a Signature Authentication System (TRX 0099:2004)

[7]

ISO/IEC 19795-1

Information technology - Biometric performance testing and reporting - Part ' Principles and framework

[8]

ISO/IEC 19795-2

Information technology - Biometric performance testing and reporting - Part 2 Testing methodologies for technology and scenario evaluation

[9]

ISO/IEC 17025

General requirements for the competence of testing and calibration laboratories

[10]

PHEASANT S. Bodyspace: Anthropometry, Ergonomics, and the Design of Work. 3rd ed, ed. С Haslegrave. 2C25 Boca Raton: Taylor and Francis. 332

Ключевые слова: информационная технология, биометрическая идентификация, эксплуатационные испытания, модальность

 

 


 
© Информационно-справочная онлайн система "Технорма.RU" , 2010.
Бесплатный круглосуточный доступ к любым документам системы.

При полном или частичном использовании любой информации активная гиперссылка на Tehnorma.RU обязательна.


Внимание! Все документы, размещенные на этом сайте, не являются их официальным изданием.
 
Яндекс цитирования