что значит оцифровать документ
Что значит оцифровать документ
С развитием компьютерных технологий можно с уверенностью заявить, что оцифровать можно практически все. Любой документ на твердом носителе, будь то бумажный документ, фотография, слайд, книга, журнал и тд. Может быть оцифрован.
Более того оцифровке прекрасно поддаются видео записи на устаревших носителях, как то магнитная или кинопленка. То же касается и аудио записей. Однако для каждого вида документов и стоящей задачи, будь то сканирование книг или чертежей, распознавание текста или оцифровка аудио-видео контента, требуется соответствующее оборудование, программное обеспечение и опытные специалисты.
Основные типы оцифровки которые могут потребоваться в быту и в профессиональной деятельности это сканирование (и при необходимости распознавание) документации (бухгалтерской, офисной, архивной и тп), личных документов (паспортов, удостоверений, сертификатов, дипломов), книг, журналов и других изданий, фотоматериалы (фотографии, пленки, слайды, негативы и тп), чертежи и схемы, картины и репродукции.
Также популярна оцифровка видео (кино и видео пленка) и аудио (магнитная лента и виниловые пластинки) материалов. Однако для получения наилучшего результата нельзя забывать о качественной профессиональной пост обработке оцифрованного материала, включающей в себя, например, цветокоррекцию, устранение искажений, обрезка и (или) вклейка страниц, преобразование в различные форматы, распознавание текста, ретуширование и создание каталогов и электронных архивов.
Как оцифровать ваши документы
У вас начались серьезные проблемы с хранением бумажных документов? Полки ломятся от нелепо раздувшихся папок, и вы по три часа ищите нужную бумажку? Тогда пришло время заняться оцифровкой ваших документов.
У вас начались серьезные проблемы с хранением бумажных документов? Полки ломятся от нелепо раздувшихся папок, и вы по три часа ищите нужную бумажку? Тогда пришло время заняться оцифровкой документов, которая сделает ваш кабинет или квартиру более чистой, а способ поиска более простым и удобным. Создайте собственную электронную библиотеку, редактируйте, копируйте и перемещайте цифровые файлы по своему желанию. Возможность создания цифровых документов – одно из благ цивилизации. Так воспользуйтесь им!
Прежде, чем отважиться на оцифровку своих документов, вам следует знать, что хранить их можно двумя способами – в виде изображений и в виде текстовых файлов. Хранение изображений потребует гораздо больше места на жестком диске, но при этом вы сможете сохранить стиль исходного документа. Преобразование отсканированных изображений в текстовый файл потребует дополнительных затрат времени, так как необходимо осуществить процесс оптического распознавания символов OCR (правда, если быть точным, то это название не совсем верно, так как здесь речь идет о работе с цифровой информацией, однако, как это нередко бывает, термин прижился).
Как же выбрать формат хранения документов? Очень просто: если оригинал документа написан от руки, и вам важно сохранить его «характерность» (письмо от любимого человека) или если документ является, к примеру, произведением искусства, то сохраните его в виде изображения (иногда узнаваемый почерк столь же важен, как и написанные слова). Другой более прозаической причиной для сохранения рукописных документов в виде изображений является отсутствие коммерчески доступного программного решения, пригодного для интерпретации рукописных символов. Пока эта технология застряла в КПК и планшетах, в которых она реализована несколько в ином виде, чем нам требуется. Работая с планшетом, вы пишите символы «от руки», вводя их по порядку, а программа в режиме реального времени преобразует их в печатный текст. Распознавание почерка отдельно взятого человека с отсканированного документа – дело будущего.
Сканеры
Независимо от того, в каком виде выбудете хранить ваши документы – в виде изображений или в виде текстовых файлов, вам понадобится сканер для их оцифровки. Если вы хотите оцифровать сравнительно небольшое количество документов, то многофункционального принтера или планшетного сканера вам будет вполне достаточно. Единственный их недостаток – относительно медленная скорость работы. Имейте в виду, что только более дорогие модели имеют функцию автоматической подачи листов для обработки многостраничных документов.
Среди самых лучших моделей назовем ScanSnap S1500 от Fujitsu и ScanJet Professional 3000 от HP. Скорость сканирования документов этих устройств составляет в среднем 20 страниц в минуту и выше. При этом ScanJet Professional 3000 отличается более надежным механизмом подачи бумаги, в то время как ScanSnap S1500 имеет более совершенное программное обеспечение. Оба сканера находятся примерно в одной ценовой категории, так что выбирать вам.
OCR – софт
Большинство сканеров поставляются с программным обеспечением для осуществления OCR, которое устанавливается на вашем компьютере. Если вы недовольны сопутствующим ПО или его нет, то подобные программы вещь довольно распространенная и их можно приобрести отдельно. Существуют следующие рыночные предложения:
Разрешение
Для документов, хранящихся в виде изображений, как правило, достаточно выставить разрешение от 150 до 200 точек на дюйм, однако OCR – софт работает гораздо лучше, если изображения сохранены в более высоком разрешении – 300 пикселей на дюйм. Все зависит от того, что вам нужно. Если вы просто хотите сохранить хотя бы минимальную читабельность отсканированного документа, можете снизить требования к разрешению. Если для вас важно высокое качество, то, соответственно, увеличьте его.
OCR в веб
Существует несколько онлайн-сервисов, которые предоставляют услугу распознавания отсканированных документов. Среди наиболее известных назовем бесплатные ресурсы Free OCR, NewOCR и OCR Online. Они прекрасно подходят для небольших проектов, то есть работают только с небольшими по объему документами. Сначала вы должны отсканировать оригинал в память компьютера, а затем загрузить изображение документа на веб-сайт. Естественно, на каждом из ресурсов существуют свои ограничения как по объему, так и по содержанию документа. Так, веб-приложения распознают исключительно текст, без линий или дополнительных символов, которые присутствуют на странице.
E-книги
Наверное, вы, как и я, любите запах настоящей книги, любите ощущение плотной бумаги и вид красивой графики. Однако сегодня все больше и больше людей предпочитают иметь дело с электронными книгами, для чтения которых используются так называемые специальные читалки, планшеты, смартфоны, плееры и прочие портативные устройства. Огромное количество интернет-магазинов предлагает просто гигантские объемы контента. Но что, если вы захотите иметь вашу собственную коллекцию е-книг, которые не доступны в цифровом формате?
Чтобы преобразовать ваши любимые «физические» книги в электронные, требуется их сначала отсканировать, а затем перевести в текстовый формат при помощи программы OCR. Это утомительно даже если вы будете использовать очень быстрый FLATBED-сканер. Такие сканеры напоминают «ксероксы», имея прижимную крышку, поэтому они могут сканировать не только отдельные листы, но и книги целиком. Если же вы готовы «распотрошить» любимую книгу, то можете использовать SHEETFED-сканер, которая работает по принципу факса, то есть с отдельными страницами (как ScanSnap S1500 от Fujitsu и ScanJet Professional 3000 от HP).
После того, как вы переведете свои документы, учебники или книги в форматы PDF, Word или fb2, вы можете воспользоваться специальными программами для организации, редактирования или чтения электронных документов. Например, Calibre или Stanza. Calibre – бесплатный органайзер и редактор для вашей коллекции электронных книг. Программа помогает работать с каталогом – организовывать, классифицировать, комментировать, искать, сохранять новые и старые книги на жестком диске вашего компьютера или в памяти е-ридера.
Программа Stanza предназначена для ля загрузки и чтения электронных книг на любое устройство – будь то компьютер, iPhone, iPod или Kindle. Приложение дает возможность удобно организовать свою электронную библиотеку, создать свои собственные литературные списки предпочтений, узнать о книге, прежде чем вы загрузите ее из магазина, найти другую обложку для книги и многое другое.
Что такое оцифровка?
Сканирование, ретроконверсия и сопутствующие услуги. Обзор технологий перевода документов в электронный вид.
Существует несколько вариантов организации процессов оцифровки. Они могут производиться самостоятельно или с аутсорсингом услуг, с вывозом документов или выполнением работ на своей территории. При оцифровке могут применяться офисные, профессиональные документные или планетарные сканеры. Данные могут извлекаться в ручном, полуавтоматическом или автоматическом режимах, с проведением предварительной архивной обработки бумажных документов или классификацией информации уже в электронном виде и т.д.
Какой путь выбрать?
Решение зависит от конкретной задачи, потому что каждое из вышеупомянутых «или» определяет качество получаемого результата и стоимость работ. Например, извечен вопрос сшитых документов: выгодней медленно отсканировать в сшитом состоянии или потратиться на расшивку, зато быстро оцифровать на документных сканерах?
Самый простой способ выбрать наиболее подходящий для вас путь – обратиться за экспертизой к специализирующейся на оцифровке организации. Заинтересованные в работах, крупные компании проведут обследование бесплатно, и за вас определят оптимальный подход. Не пренебрегайте этой возможностью и не ждите склонения к заказу услуг: большинство этих компаний также заинтересованы в поставке оборудования и ПО для самостоятельной оцифровки.
Сколько документов нужно сканировать?
Определяющий параметр – объем документов.
Определяющий параметр – объем документов. Для ежедневного сканирования небольших пачек расшитых документов (например, первичной бухгалтерии) подойдет обычный офисный сканер, выдерживающий нагрузку в несколько тысяч страниц в день. Нужно лишь дополнить его удобной программой для индексирования.
Для регулярного сканирования больших объемов необходимо профессиональное оборудование. Это – промышленные сканеры, которые стоят немалых денег (подобное оборудование используют ФНС, ФТС, крупные банки). Поэтому менее дорогой альтернативой может стать рамочное соглашение на оказание периодических услуг оцифровки.
Перевод в электронный вид больших ретроспективных массивов своими силами экономически не обоснован: помимо закупки оборудования и обучения сотрудников, потребуются значительные трудовые и временные затраты. Однозначно эффективнее заказывать услугу, так как крупная компания может выделить большой штат и решить задачу оперативно.
Где сканировать документы?
Определяющий параметр – востребованность сканируемых документов. Влияет ли на деятельность организации изъятие документов на время сканирования? Особенно это критично при оцифровке документов, к которым регулярно обращаются сотрудники, либо которые могут быть внезапно запрошены контролирующим органом, а также для устранения связанных с документами ЧП. Примеры: финансовые и кадровые документы, техническая и эксплуатационная документация, книги ЗАГС и другие отраслевые фонды.
Участок сканирования, организованный в помещениях компании-заказчика услуг.
Если необходимо оцифровать их достаточно быстро, то традиционным подходом является заказ услуг с выездом бригады сканирования на вашу территорию. Зачастую это оказывается дешевле, чем доставлять документы на производство исполнителя и обратно, но все определяет территориальная удаленность. Регламент выездных работ подразумевает сканирование выданного дела в течение одного-двух рабочих дней, без длительного изъятия из рабочего процесса.
Расшивать ли документы?
Определяющие параметры: состояние документов и возможность расшивки. Если есть такая возможность, и бумага пригодна для протяжки документным сканером, то следует расшивать. Дело в том, что сканирование сшитых документов на планетарном (книжном) сканере в несколько десятков раз медленнее потоковой оцифровки. Пропорционально увеличиваются время работ и стоимость труда. Сканирование на документных сканерах, даже с учетом расшивки, оперативнее и дешевле.
Расшивать можно самостоятельно, а можно доверить это исполнителю.
Расшивать можно самостоятельно, а можно доверить это исполнителю: если выбрана авторитетная компания, опасаться утраты документов не стоит. Наоборот, жесткая регламентация всех процессов и качественные материалы позволяют компаниям застраховаться от дополнительных финансовых потерь и ущерба имиджу. Этому подходу доверяют даже российские суды: при организации сканирования обычно внутренним приказом разрешается расшивка и последующая сшивка судебных дел.
К слову, крупные компании параллельно могут провести профессиональную архивную обработку: во-первых, часть работ итак выполняется при подготовке к сканированию, во-вторых, архивная обработка помогает выявить невостребованные документы и сократить объемы сканируемых массивов, что может снизить стоимость работ.
Какое качество выбрать?
Сегодня высококачественно можно отсканировать любой объект: от маленькой библиотечной карточки до карт формата 8А0 и театральных декораций.
Определяющие параметры: вид документа и объем получаемого ресурса в электронной форме. Сегодня сканирующее оборудование позволяет получать образы с разрешением от 200 до 1200 точек на дюйм (dpi). Для художественных произведений обычно применяется разрешение 400–600 dpi, позволяющее создавать высококачественные репродукции. Более высокое качество используется только при необходимости увеличения изображения и детализации мелких предметов, например, монет.
Детализированные и неконтрастные чертежи, часто выполненные на кальке и синьке, нуждаются в сканировании с разрешением 300-400 точек на дюйм и дополнительной обработке изображений в графических редакторах. Остальные документы обычно сканируются с разрешением 300 dpi, достаточным для распечатки копий без потери качества. Необходимая обрезка изображений, геометрическое исправление, цветокоррекция, конвертация в форматы pdf, tiff, jpegи др. может проводиться в полностью автоматическом режиме программами, встроенными в сканирующее оборудование или поставляемыми вместе с ним.
В большинстве случаев используется цветной режим съемки. Это нужно для всех документов, в которые вносились исправления или ставились печати поверх текста, для удостоверения того, что электронная копия снималась с оригинала документа с печатью и подписью, а также для читаемости угасающих текстов и передачи уникальных особенностей оригинала. Необходимость цветного сканирования художественных произведений не обсуждается. Режим «градации серого» применяется лишь в некоторых случаях: когда документы не содержат цветных атрибутов, либо когда необходимо сократить объем получаемого электронного ресурса.
Сканирование может осуществляться самостоятельно. Главной задачей становится обучение сотрудников правильной работе со сложной техникой, так как качество получаемых изображений важно для последующего индексирования: плохо отсканированный документ, тени, засветка и другие дефекты на электронном образе могут сделать нечитаемой важную информацию. Это не позволит применить технологии автоматического извлечения данных и может привести к ошибкам в индексировании. Загрузка ошибочных данных в некоторые системы (государственные реестры, бухгалтерские учетные системы) не позволительна.
Индексирование
Простое сканирование применяется редко, поскольку при последующей работе искать информацию в наборе графических файлов будет лишь немногим проще перелистывания бумаги. Для возможности поиска необходимо выделить в документе несколько атрибутов (индексных полей).
Сотрудники, задействованные в массовом индексировании документов методом ручного ввода.
Выделенные атрибуты можно внести в имя файла. Такая практика сложилась в российских судах: для того чтобы оператор сканирования не имел доступа к внутренним системам суда, при оцифровке все необходимые реквизиты вносятся в имя файла. В последующем эти реквизиты распознаются системой судопроизводства при загрузке каждого документа по отдельности.
Но обычно оцифрованные документы загружаются в информационную систему группой, что требует создания базы данных. Так, если необходимо прикрепить документ к уже существующей карточке в учетной системе, бывает достаточно извлечь пару однозначно определяющих его реквизитов – обычно номер и дату.
Если же нужно сформировать поисковую базу на основании самих документов, то объем извлекаемых данных определяется задачей: от пары реквизитов для поиска файла в электронном архиве до переноса всей значимой информации в аналитическую БД (ФИО, адресов, ИНН, КПП, дат, номеров документов-приложений и т.д.).
Свои правила индексирования применяются в музеях, библиотеках и архивах при оцифровке единиц хранения и учетных документов. Отдельным направлением услуг также является векторизация, которая применяется, в частности, при оцифровке каротажных лент (автоматическая) и чертежей (ручная отрисовка в CAD-системах).
Сколько данных извлекать?Ответ на этот вопрос также лучше получить, воспользовавшись экспертизой, так как количество извлекаемых реквизитов зависит от функциональной задачи и в значительной мере определяет стоимость оцифровки. В некоторых случаях можно ограничиться подборками документов, когда электронные образы объединяются под эгидой основного документа (например, договора или реестра счетов). В других необходимо извлечение всех содержащихся в документе данных для заполнения карточки информационной системы.
Примеры извлекаемых данных
Анализ размещенных на портале zakupki.gov.ru заказов компаний с государственным участием и госучреждений (44-ФЗ, 223-ФЗ), показывает, что:
– Для привязки электронных копий ОРД к системе электронного документооборота достаточно номера, даты и типа документа.
– Сканирование финансовой документации часто сопровождается извлечением номера, даты, наименований и реквизитов плательщиков, сумм.
– Оцифровка архивных документов муниципалитетов (постановления администраций, горисполкомов, сельсоветов и т.д.) в целях оказания услуг и инвентаризации объектов земельно-имущественных отношений требует извлечения номера и даты документа, всех встречаемых ФИО и адресов. Причем адреса необходимо сопоставлять с текущими справочниками КЛАДР/ФИАС.
– Оцифровка документов Архивного фонда РФ сопровождается строгим заполнением НСА и описанием фондов в соответствии с архивным законодательством.
– Индексирование описей и реестров подразумевает распознаванием всех порядковых записей.
– Для работы с чертежами в электронном виде необходимо извлечь практически все поля штампа.
– Сканирование составных дел требует не только извлечения реквизита каждого документа, но и установления взаимосвязей. Наиболее сложен случай конструкторской документации, где формируемая база данных обладает многоуровневой иерархией и связями документов.
Источник: zakupki.gov.ru, 2015
Какие методы извлечения данных выбрать?
Определяющий параметр – качество текста. Применяемые технологии, скорость и стоимость формирования баз данных зависят от того, как написан и в каком состоянии находится текст документа.
Напечатанный на современном принтере текст может быть автоматически распознан, необходимые данные могут быть извлечены с использованием различных автоматизированных методов: применением шаблонов и автоэкстракцией индексов (алгоритмы определения ключевых слов, семантического анализа и т.д.). Эти методы быстрые, и в большинстве случаев их стоимость ниже цены ручного распознавания.
Напечатанные необычным шрифтом, в низком качестве или поврежденные тексты книг, газет, архивных документов распознаются не всегда или с недостаточной точностью. Поэтому в большинстве случаев требуется ручной ввод или, по крайней мере, ручная проверка сведений. Предварительно для каждого ресурса формируются или подключаются внешние справочники, которые помогают операторам индексирования и значительно ускоряют процесс.
Документы с рукописным текстом индексируются только вручную. Это гораздо более медленный и дорогой процесс. Поэтому крупные компании применяют уникальные технологии, служащие ускорению обработки и, соответственно, снижению цены без потери качества. Показателен пример официальной переписки: в этих документах традиционно реквизиты печатаются, а номер и дата проставляется вручную по факту, что делает невозможным полноценное программное индексирование.
Можно ли провести индексирование самостоятельно?
Альтернативой является технология извлечения данных с помощью анализа текста, применимая для любых документов, в том числе неструктурированных. Этот метод зачастую более доступен по цене, но предлагается только парой крупных компаний, так как требует накопления серьезной семантическо-морфологической базы для каждой отрасли деятельности.
Можно также вносить данные напрямую в информационную систему. Однако этот способ связан с высокой вероятностью ошибок, отследить которые в системе крайне сложно. При самостоятельном индексировании рекомендуется сначала создавать определенную базу данных, которую перед загрузкой можно проверить.
Именно так работают специализирующиеся на оцифровке компании: жесткая регламентация процесса, с протоколированием всех действий, и обязательная проверка сформированного массива ОКК позволяет минимизировать количество возможных ошибок. Например, корпорацией ЭЛАР в официальных договорах и контрактах используется стандартный критерий качества ≥99,8%. Теме выборы критериев качества будет посвящена одна из следующих статей.
Что значит Оцифровка?
Моя студия занимается оцифровкой почти всех существующих форматов, так что давайте разберемся что же это значит и зачем это нужно.
Оцифро́вка (англ. digitization) — описание объекта, изображения или аудио- видеосигнала (в аналоговом виде) в виде набора дискретных цифровых замеров (выборок) этого сигнала/объекта, при помощи той или иной аппаратуры, т. е. перевод его в цифровой вид, пригодный для записи на электронные носители. (©Википедия)
Проще говоря 
процесс оцифровки- это перевод какой-либо аналоговой величины в цифровую форму.
Полученный в результате оцифровки массив данных («цифровое представление» оригинального объекта) может использоваться компьютером для дальнейшей обработки, передачи по цифровым каналам, сохранению на цифровой носитель. Перед передачей или сохранением цифровое представление, как правило, подвергается фильтрации и кодированию для уменьшения объема.
Оцифровка бывает нескольких видов:
• Оцифровка звука;
• Оцифровка видео;
• Оцифровка киноплёнки;
• Оцифровка изображения;
• Оцифровка архивных документов — сканирование, каталогизацияи создание электронного архива
• Оцифровка книг — как сканирование, так и в дальнейшем распознавание;
• Оцифровка бумажных карт местности — означает сканирование и, как правило, последующую векторизацию (растрово-векторное преобразование, т. е. перевод в формат векторного описания).
Оцифровка данных производится на специальном оборудовании, позволяющем захватить аналоговый сигнал и преобразовать его в цифровой.
С тем что такое оцифровка мы разобрались, но зачем же она нужна?
А вот зачем. Информация представленная в аналоговой форме имеет свойство искажаться, портиться, а то и вовсе будет утеряна в результате старения носителя. Так, например, магнитные ленты в видеокассетах со временем размагничиваются, осыпаются, что несомненно отражается на качестве картинки, и спустя какое-то время видео может просто не поддаться восстановлению. В противовес аналоговому носителю возьмем цифровой DVD диск. Производители заявляют, что эксплуатационный срок диска составляет 100 лет. Так ли это? Возможно при правильном хранении, но в любом случае, срок хранения увеличивается в разы, а это десятки лет, да и цифровые данные всегда можно залить в интернет и на облако, где они уж точно будут храниться чуть ли не вечно. Однако срок хранения не единственное преимущество цифрового перед аналоговым, не менее важным фактором является то, что при копировании с цифры на цифру мы абсолютно не теряем качества, в то время как при перезаписи аналоговых данных с каждой новой копией теряется 15% и это число возрастает по экспоненте от копии к копии.
Подведем итоги, цифровая революция свершилась. Аналоговые носители перешли в разряд ретро и используются в основном энтузиастами и художниками. Для лучшего качества, удобного хранения и быстрого доступа к данным используйте цифровые форматы данных, а если у вас есть что-то старое нуждающееся в оцифровке, то приносите нам, мы знаем что делать!