46 что такое технология классического цифрования

Что такое оцифровка?

Сканирование, ретроконверсия и сопутствующие услуги. Обзор технологий перевода документов в электронный вид.

Существует несколько вариантов организации процессов оцифровки. Они могут производиться самостоятельно или с аутсорсингом услуг, с вывозом документов или выполнением работ на своей территории. При оцифровке могут применяться офисные, профессиональные документные или планетарные сканеры. Данные могут извлекаться в ручном, полуавтоматическом или автоматическом режимах, с проведением предварительной архивной обработки бумажных документов или классификацией информации уже в электронном виде и т.д.

Какой путь выбрать?

Решение зависит от конкретной задачи, потому что каждое из вышеупомянутых «или» определяет качество получаемого результата и стоимость работ. Например, извечен вопрос сшитых документов: выгодней медленно отсканировать в сшитом состоянии или потратиться на расшивку, зато быстро оцифровать на документных сканерах?

Самый простой способ выбрать наиболее подходящий для вас путь – обратиться за экспертизой к специализирующейся на оцифровке организации. Заинтересованные в работах, крупные компании проведут обследование бесплатно, и за вас определят оптимальный подход. Не пренебрегайте этой возможностью и не ждите склонения к заказу услуг: большинство этих компаний также заинтересованы в поставке оборудования и ПО для самостоятельной оцифровки.

Сколько документов нужно сканировать?

Определяющий параметр – объем документов.

Определяющий параметр – объем документов. Для ежедневного сканирования небольших пачек расшитых документов (например, первичной бухгалтерии) подойдет обычный офисный сканер, выдерживающий нагрузку в несколько тысяч страниц в день. Нужно лишь дополнить его удобной программой для индексирования.

Для регулярного сканирования больших объемов необходимо профессиональное оборудование. Это – промышленные сканеры, которые стоят немалых денег (подобное оборудование используют ФНС, ФТС, крупные банки). Поэтому менее дорогой альтернативой может стать рамочное соглашение на оказание периодических услуг оцифровки.

Перевод в электронный вид больших ретроспективных массивов своими силами экономически не обоснован: помимо закупки оборудования и обучения сотрудников, потребуются значительные трудовые и временные затраты. Однозначно эффективнее заказывать услугу, так как крупная компания может выделить большой штат и решить задачу оперативно.

Где сканировать документы?

Определяющий параметр – востребованность сканируемых документов. Влияет ли на деятельность организации изъятие документов на время сканирования? Особенно это критично при оцифровке документов, к которым регулярно обращаются сотрудники, либо которые могут быть внезапно запрошены контролирующим органом, а также для устранения связанных с документами ЧП. Примеры: финансовые и кадровые документы, техническая и эксплуатационная документация, книги ЗАГС и другие отраслевые фонды.

Участок сканирования, организованный в помещениях компании-заказчика услуг.

Если необходимо оцифровать их достаточно быстро, то традиционным подходом является заказ услуг с выездом бригады сканирования на вашу территорию. Зачастую это оказывается дешевле, чем доставлять документы на производство исполнителя и обратно, но все определяет территориальная удаленность. Регламент выездных работ подразумевает сканирование выданного дела в течение одного-двух рабочих дней, без длительного изъятия из рабочего процесса.

Расшивать ли документы?

Определяющие параметры: состояние документов и возможность расшивки. Если есть такая возможность, и бумага пригодна для протяжки документным сканером, то следует расшивать. Дело в том, что сканирование сшитых документов на планетарном (книжном) сканере в несколько десятков раз медленнее потоковой оцифровки. Пропорционально увеличиваются время работ и стоимость труда. Сканирование на документных сканерах, даже с учетом расшивки, оперативнее и дешевле.

Расшивать можно самостоятельно, а можно доверить это исполнителю.

Расшивать можно самостоятельно, а можно доверить это исполнителю: если выбрана авторитетная компания, опасаться утраты документов не стоит. Наоборот, жесткая регламентация всех процессов и качественные материалы позволяют компаниям застраховаться от дополнительных финансовых потерь и ущерба имиджу. Этому подходу доверяют даже российские суды: при организации сканирования обычно внутренним приказом разрешается расшивка и последующая сшивка судебных дел.

К слову, крупные компании параллельно могут провести профессиональную архивную обработку: во-первых, часть работ итак выполняется при подготовке к сканированию, во-вторых, архивная обработка помогает выявить невостребованные документы и сократить объемы сканируемых массивов, что может снизить стоимость работ.

Какое качество выбрать?

Сегодня высококачественно можно отсканировать любой объект: от маленькой библиотечной карточки до карт формата 8А0 и театральных декораций.

Определяющие параметры: вид документа и объем получаемого ресурса в электронной форме. Сегодня сканирующее оборудование позволяет получать образы с разрешением от 200 до 1200 точек на дюйм (dpi). Для художественных произведений обычно применяется разрешение 400–600 dpi, позволяющее создавать высококачественные репродукции. Более высокое качество используется только при необходимости увеличения изображения и детализации мелких предметов, например, монет.

Детализированные и неконтрастные чертежи, часто выполненные на кальке и синьке, нуждаются в сканировании с разрешением 300-400 точек на дюйм и дополнительной обработке изображений в графических редакторах. Остальные документы обычно сканируются с разрешением 300 dpi, достаточным для распечатки копий без потери качества. Необходимая обрезка изображений, геометрическое исправление, цветокоррекция, конвертация в форматы pdf, tiff, jpegи др. может проводиться в полностью автоматическом режиме программами, встроенными в сканирующее оборудование или поставляемыми вместе с ним.

В большинстве случаев используется цветной режим съемки. Это нужно для всех документов, в которые вносились исправления или ставились печати поверх текста, для удостоверения того, что электронная копия снималась с оригинала документа с печатью и подписью, а также для читаемости угасающих текстов и передачи уникальных особенностей оригинала. Необходимость цветного сканирования художественных произведений не обсуждается. Режим «градации серого» применяется лишь в некоторых случаях: когда документы не содержат цветных атрибутов, либо когда необходимо сократить объем получаемого электронного ресурса.

Сканирование может осуществляться самостоятельно. Главной задачей становится обучение сотрудников правильной работе со сложной техникой, так как качество получаемых изображений важно для последующего индексирования: плохо отсканированный документ, тени, засветка и другие дефекты на электронном образе могут сделать нечитаемой важную информацию. Это не позволит применить технологии автоматического извлечения данных и может привести к ошибкам в индексировании. Загрузка ошибочных данных в некоторые системы (государственные реестры, бухгалтерские учетные системы) не позволительна.

Индексирование

Простое сканирование применяется редко, поскольку при последующей работе искать информацию в наборе графических файлов будет лишь немногим проще перелистывания бумаги. Для возможности поиска необходимо выделить в документе несколько атрибутов (индексных полей).

Сотрудники, задействованные в массовом индексировании документов методом ручного ввода.

Выделенные атрибуты можно внести в имя файла. Такая практика сложилась в российских судах: для того чтобы оператор сканирования не имел доступа к внутренним системам суда, при оцифровке все необходимые реквизиты вносятся в имя файла. В последующем эти реквизиты распознаются системой судопроизводства при загрузке каждого документа по отдельности.

Но обычно оцифрованные документы загружаются в информационную систему группой, что требует создания базы данных. Так, если необходимо прикрепить документ к уже существующей карточке в учетной системе, бывает достаточно извлечь пару однозначно определяющих его реквизитов – обычно номер и дату.

Если же нужно сформировать поисковую базу на основании самих документов, то объем извлекаемых данных определяется задачей: от пары реквизитов для поиска файла в электронном архиве до переноса всей значимой информации в аналитическую БД (ФИО, адресов, ИНН, КПП, дат, номеров документов-приложений и т.д.).

Свои правила индексирования применяются в музеях, библиотеках и архивах при оцифровке единиц хранения и учетных документов. Отдельным направлением услуг также является векторизация, которая применяется, в частности, при оцифровке каротажных лент (автоматическая) и чертежей (ручная отрисовка в CAD-системах).

Сколько данных извлекать?Ответ на этот вопрос также лучше получить, воспользовавшись экспертизой, так как количество извлекаемых реквизитов зависит от функциональной задачи и в значительной мере определяет стоимость оцифровки. В некоторых случаях можно ограничиться подборками документов, когда электронные образы объединяются под эгидой основного документа (например, договора или реестра счетов). В других необходимо извлечение всех содержащихся в документе данных для заполнения карточки информационной системы.

Примеры извлекаемых данных

Анализ размещенных на портале zakupki.gov.ru заказов компаний с государственным участием и госучреждений (44-ФЗ, 223-ФЗ), показывает, что:

– Для привязки электронных копий ОРД к системе электронного документооборота достаточно номера, даты и типа документа.

– Сканирование финансовой документации часто сопровождается извлечением номера, даты, наименований и реквизитов плательщиков, сумм.

– Оцифровка архивных документов муниципалитетов (постановления администраций, горисполкомов, сельсоветов и т.д.) в целях оказания услуг и инвентаризации объектов земельно-имущественных отношений требует извлечения номера и даты документа, всех встречаемых ФИО и адресов. Причем адреса необходимо сопоставлять с текущими справочниками КЛАДР/ФИАС.

– Оцифровка документов Архивного фонда РФ сопровождается строгим заполнением НСА и описанием фондов в соответствии с архивным законодательством.

– Индексирование описей и реестров подразумевает распознаванием всех порядковых записей.

– Для работы с чертежами в электронном виде необходимо извлечь практически все поля штампа.

– Сканирование составных дел требует не только извлечения реквизита каждого документа, но и установления взаимосвязей. Наиболее сложен случай конструкторской документации, где формируемая база данных обладает многоуровневой иерархией и связями документов.

Источник: zakupki.gov.ru, 2015

Какие методы извлечения данных выбрать?

Определяющий параметр – качество текста. Применяемые технологии, скорость и стоимость формирования баз данных зависят от того, как написан и в каком состоянии находится текст документа.

Напечатанный на современном принтере текст может быть автоматически распознан, необходимые данные могут быть извлечены с использованием различных автоматизированных методов: применением шаблонов и автоэкстракцией индексов (алгоритмы определения ключевых слов, семантического анализа и т.д.). Эти методы быстрые, и в большинстве случаев их стоимость ниже цены ручного распознавания.

Напечатанные необычным шрифтом, в низком качестве или поврежденные тексты книг, газет, архивных документов распознаются не всегда или с недостаточной точностью. Поэтому в большинстве случаев требуется ручной ввод или, по крайней мере, ручная проверка сведений. Предварительно для каждого ресурса формируются или подключаются внешние справочники, которые помогают операторам индексирования и значительно ускоряют процесс.

Документы с рукописным текстом индексируются только вручную. Это гораздо более медленный и дорогой процесс. Поэтому крупные компании применяют уникальные технологии, служащие ускорению обработки и, соответственно, снижению цены без потери качества. Показателен пример официальной переписки: в этих документах традиционно реквизиты печатаются, а номер и дата проставляется вручную по факту, что делает невозможным полноценное программное индексирование.

Можно ли провести индексирование самостоятельно?

Альтернативой является технология извлечения данных с помощью анализа текста, применимая для любых документов, в том числе неструктурированных. Этот метод зачастую более доступен по цене, но предлагается только парой крупных компаний, так как требует накопления серьезной семантическо-морфологической базы для каждой отрасли деятельности.

Можно также вносить данные напрямую в информационную систему. Однако этот способ связан с высокой вероятностью ошибок, отследить которые в системе крайне сложно. При самостоятельном индексировании рекомендуется сначала создавать определенную базу данных, которую перед загрузкой можно проверить.

Именно так работают специализирующиеся на оцифровке компании: жесткая регламентация процесса, с протоколированием всех действий, и обязательная проверка сформированного массива ОКК позволяет минимизировать количество возможных ошибок. Например, корпорацией ЭЛАР в официальных договорах и контрактах используется стандартный критерий качества ≥99,8%. Теме выборы критериев качества будет посвящена одна из следующих статей.

Источник

Сканирование мира: как оцифровывают различные объекты

С помощью современных технологий сканирования можно оцифровать самые разнообразные объекты — от произведений искусства до вертолетов и даже небоскребов. Мы расскажем, как это делается.

Век цифровых технологий поставил перед человеком серьезную задачу — перенести окружающий мир в электронный формат. Для этого используются и сканирование собранных предками текстов и изображений, и оцифровка местности для навигации, и перенос макетов для проектирования, и даже сканирование отдаленных объектов нашей Вселенной. Технологии, предназначенные для достижения данной цели, существуют как в виде дорогостоящих промышленных решений, так и вполне доступных, которые можно изготовить своими руками. В этой статье мы расскажем о различных вариантах.

2D-сканирование

История оставила нам множество культурных ценностей, значительную часть из которых представляют картины народов мира. XXI век позволяет взглянуть на них любому желающему с помощью цифровых технологий.

Перевести произведение искусства в «цифру», не потеряв в процессе качество оригинала, — задача не из простых. Давайте разберемся, как это делается.

Для получения высококачественных цифровых копий изображения используются сканеры. Принцип их работы довольно прост: излучаемый лампой свет отражается от поверхности изображения через серию зеркал на ПЗС-матрицу. Сканирование обычной бумаги для таких устройств — дело нехитрое.

Однако задача осложняется, когда речь заходит об оцифровке картин, написанных маслом. Тут в силу вступает целый ряд обстоятельств, препятствующих нормальному процессу сканирования. В частности, подлинники картин легко повредить при сканировании, они имеют нестандартные габариты (вспомните хотя бы «Явление Христа народу» Александра Иванова) и к тому же масляная краска имеет рельеф, что также может значительно ухудшить результат.

Первое, что приходит на ум в таком случае, — это использование обычной фотографии, особенно если учесть успехи в технологиях производства матриц высокого разрешения. Но и тут не все гладко. Разрешение фотоматриц редко превышает 30 мегапикселей, что при съемке картины площадью 1 метр даст четкость 140 точек на дюйм — этого слишком мало.

Также стоит учесть, что, в отличие от линейной ПЗС-матрицы сканера, фотоаппарат снимает из одной точки, ввиду чего обязательно возникнут искажения. Однако из этой ситуации был найден выход: картину фотографируют не целиком, а по частям.

Грандиозное сканирование

В 1994 году руководство крупнейшего в мире книгохранилища — Библиотеки Конгресса США — приняло решение оцифровать все имеющиеся у них бумажные издания и рукописи. Чтобы представить масштаб работ, заметим, что на начало 2000-х годов в библиотеке содержалось свыше 130 млн объектов. К текущему моменту оцифровано немногим больше 10%. Часть уже сейчас доступна общественности в Интернете на сайте archive.org. Стараются не отставать от зарубежных коллег и сотрудники Российской государственной библиотеки (бывшей Библиотеки им. Ленина), сканирование фондов которой началось в конце 1990-х. Но увидим ли мы когда-нибудь эту коллекцию в свободном доступе, пока остается загадкой.

Сканирование сокровищ культуры

Для автоматизации этой задачи, отечественная компания «Эпос» разработала специальный комплекс. Он состоит из фотокамеры, оснащенной специальным вращающимся объективом, который позволяет автоматически спроецировать нужный сегмент картины на ПЗС-матрицу. Таким образом, задав требующуюся степень разбивки, можно получить серию снимков сегментов картины, а затем сшить их воедино программными методами.

Комплекс от компании «Эпос» позволяет создавать изображения с разрешением 250 мегапикселей.

«Эпос» позволяет решить и другую проблему современных фотоаппаратов — невысокий динамический диапазон. Он характеризуется оптической плотностью (D) — мерой ослабления света прозрачными объектами или отражения света непрозрачными. При значении D равном «0» свет отражается (или проникает) полностью. D равное «4» означает, что объект полностью черный.

У большинства современных моделей оптическая плотность не превышает 1,7 D, из-за чего некоторые участки кажутся пересвеченными, а другие — слишком темными. Однако отечественная установка позволяет сделать последовательно несколько снимков с разной выдержкой и затем, собрав все кадры воедино, получить изображение с широким динамическим диапазоном (HDR).

Таким образом, например, была произведена оцифровка японских гравюр XVIII–XIX веков из собрания Государственного музея изобразительных искусств им. А. С. Пушкина. С результатом любой желающий может ознакомиться на сайте japaneseprints.ru.

Методы объемного сканирования

Устройства, сканирующие двухмерные изображения, давно и прочно вошли в нашу жизнь. Но что делать, если вам необходимо оцифровать объемную фигуру? С современными технологиями и это не проблема. На рынке вы можете встретить устройства, позволяющие сканировать самые различные предметы — от бижутерии до целых зданий.

Вопрос о возможности создания цифровых образов объемных объектов возник довольно давно, однако существовавшая на тот момент потребность не оправдывала массовое производство подобных устройств. 3D-сканеры выпускались в единичных экземплярах и стоили чрезвычайно дорого.

Серьезным толчком к их развитию стал переход крупнейших компаний на полностью трехмерное проектирование своих изделий. Оценивать качество деталей в условиях их массового производства на полностью автоматизированных станках с числовым программным управлением по старинке, сверяя размеры с чертежами, стало попросту невозможно. На выручку пришли технологии объемного сканирования.

Как это работает?

Первые 3D-сканеры были контактными, то есть предполагали, что по поверхности модели, установленной на специальной вращающейся подставке, перемещался «щуп», информация с которого записывалась и обрабатывалась ЭВМ. Такие установки для оцифровки сложной детали могли потребовать до месяца работы.

Лазерно-дальномерный промышленный 3D-сканер FARO Focus3D за несколько минут воссоздаст трехмерную модель любого помещения или открытого пространства.

Все изменилось с развитием полупроводниковых лазеров и цифровых фотоматриц. На сегодняшний день применяются три основных метода объемного сканирования.

Лазерно-дальномерное (лидарное) сканирование базируется на определении расстояния до точки на объекте путем вычисления времени прохождения луча лазера до нее и обратно. Современная электроника позволяет рассчитать это время с высочайшей точностью. Однако есть и обратная сторона медали: сканирование происходит в одной точке, поэтому построение модели таким способом занимает довольно много времени.

Современный лазерно-дальномерный сканер способен считывать до 100 000 точек в секунду. Полученный массив точек аппроксимируется численными методами в поверхности. А программные алгоритмы позволяют затем воссоздать теоретическую поверхность объекта, устранив все ненужные шероховатости и неточности.

В триангуляционном лазерном сканере измерению подвергается отклонение отраженного луча от оптической оси линзы детектора (см. схему ниже). Существенным преимуществом такого метода является возможность сделать луч плоским и с помощью двухмерной матрицы сканировать сразу всю проекцию луча на объект, а не точки по отдельности. Это значительно ускоряет процесс оцифровки и упрощает последующую обработку данных.

В то же время у метода есть и свои недостатки: так, отверстия, расположенные в стороне от оптической оси лазера, могут затеняться, что требует уточняющего сканирования и особых алгоритмов сведения сканированных участков.

Схема работы триангуляционного лазерного сканера. Лазерный луч на приемнике изменяет положение в зависимости от расстояния до сканируемой поверхности.

Оптические сканеры состоят из проектора (может использоваться лазер), транслирующего на поверхность объекта сетку, и камеры, находящейся под некоторым углом к проектору и регистрирующей искажения линий сетки. ПО сканера анализирует искривление сетки и составляет на ее основе карту глубины. Этот метод уступает в точности лазерным сканерам, однако значительно превосходит их по скорости сканирования и дешевизне изготовления.

Подобный сканер легко создать практически в домашних условиях: все компоненты можно найти в продаже, а ПО давно доступно на просторах Интернета. Дополнительной возможностью подобных сканеров является восприятие цвета объекта.

Оптический сканер — самодельная конструкция, доступная каждому.

В областях, где точность не столь важна и существует необходимость сканировать крупные объекты, применяются также ультразвуковые и радарные виды сканирования.

Для чего это нужно?

Контроль качества — самый очевидный, но далеко не единственный вариант применения технологий объемного сканирования. Сегодня 3D-сканирование используется во многих областях — от медицины до астрономии (так, космические объекты сканируют с помощью радиоволн для составления их подробных объемных портретов). Находят применение трехмерные сканеры и в таких сферах, как проектирование и творчество.

Сканирование в проектировании

При проектировании предметов обихода, средств управления и вообще всего того, чего человек касается руками, в виртуальной среде довольно сложно обеспечить должную эргономичность. Это приводит к появлению на рынке широкого спектра устройств и приборов, красивых на вид, но не слишком удобных в использовании. В качестве примера можно привести обычные компьютерные мыши: их существуют тысячи разновидностей, а по-настоящему удобных — единицы.

Процесс оцифровки древней пряжки пояса викинга с помощью ручного сканера VIUscan

В такой ситуации 3D-сканер просто незаменим. Оцифровав вылепленный вручную макет, его легко перевести в подходящий формат и, сгладив неточности, неизбежно возникающие при ручном изготовлении, получить готовую для производства модель, благо все необходимое для этого программное обеспечение уже представлено на рынке. Например, программный пакет RapidWorks от компании NextEngine позволяет осуществить весь процесс в полуавтоматическом режиме.

3D-сканеры и творчество

Областью, в которой трехмерные сканеры совершили революцию, стала компьютерная графика. Раньше художникам нужно было тратить сотни часов на моделирование реалистичных людей для фильмов и компьютерных игр. Теперь же стало возможным просто найти подходящего человека и оцифровать его с помощью 3D-сканера.

Значительно упростили эти устройства и массовое производство различных фигурок. Сейчас достаточно вылепить одну фигурку, отсканировать ее — и можно изготовить тысячи таких же на станках с ЧПУ.

Масштабный эффект

При упоминании об объемном сканировании для контроля качества на ум в первую очередь приходят относительно небольшие объекты. В наше время промышленники этим не ограничиваются. Например, на заводе «Прогресс» в Арсеньеве, где производятся известные отечественные вертолеты «Ка-52», сканирование отдельных деталей уже считают вчерашним днем. Сейчас завод осваивает сканирование готовых вертолетов после сборки. Это позволит поднять контроль качества сборки на абсолютно новый уровень.

Настольный автоматический 3D-сканер Next-Engine 3D Scanner HD

Однако и такой порог уже не является чем-то сверхъестественным. Сегодня лидеры рынка предлагают устройства для объемного сканирования целых зданий. Такому контролю в процессе постройки подвергли самый высокий небоскреб в мире — «Бурдж-Халифа» в Дубае.

Но и это не предел. На орбите Земли вращается уже не один десяток геологических спутников, составляющих трехмерный портрет нашей планеты. Подобные устройства позволяют создавать карты сверхвысокой точности со всеми возможными объектами на них. Эта информация в дальнейшем используется как в геологических исследованиях, так и для вполне прикладных задач обеспечения навигации и планирования инфраструктуры.

И наконец, вершиной объемного сканирования являются беспилотные космические корабли, предназначенные для исследования удаленных объектов Солнечной системы. В частности, уже существуют трехмерные модели поверхности Марса, которые в текущий момент дополняются результатами точного сканирования с помощью робота-марсохода Curiosity, также использующего в своем арсенале 3D-сканер.

Текст: Сергей Яковлев
Фото: компании-производители; TNG Visual Effects/Facebook

Источник