Граббинг что это такое
Граббинг процесс сканирования информации
Граббинг – это сканирование каких-либо ресурсов и получение с них нужной информации. В применении к интернету это чаще всего сканирование сайтов и скачивание с них информации.
Эта информация может быть самой разнообразной – программы, фильмы, музыка, архивы и всякая другая информация, интересная пользователям интернета.
Приветствую Вас на страницах моего сайта inetmkt.ru.
Решил продолжить тему, начатую в прошлой статье, посвященной процессу парсинга. И рассказать Вам о еще об одном очень похожем процессе, термине-синониме – граббинге.
Этот термин произошел от английского слова “grab”, что в переводе обозначает использовать, перехватывать. В большинстве случаев этот процесс автоматизирован, для этого используется соответствующее программное обеспечение. Эти программы называются грабберами.
Сканирование информации другими словами можно выразить, как прочесывание. А грабли тоже очень хороши в этом деле. Но к граблям мы вернемся в конце статьи, а сейчас попробуем разобраться с граббингом.
При использовании этого процесса есть серьезная этическая подоплека. Хорошо это или плохо? И мне кажется, что по большому счету это не хорошо. Ведь использовать чужой труд без согласования это плохо.
Однако стоить заметить, что в некоторых случаях это бывает оправданным. Например у Вас сайт на экономическую тематику и Вы среди прочей информации предоставляете своим посетителям текущие курсы валют. Или у вас новостной сайт по определенной тематике и желательно выдавать новости как можно быстрее. Вот для таких и схожих с этими ситуациями пременение грабберов и парсеров может быть оправданным.
Это будет наиболее оптимальным решением в данном случае. Еще бы не забывать давать ссылку на первоисточник и тогда все будут довольны. И посетитель получил полную, свежую и достоверную информацию, и обладатель первоисточника получил ссылку на свой ресурс и автор материала, проделав хорошую работу.
При сравнении терминов граббинг и парсинг, приходишь к выводу. Что процесс парсинга и применение парсеров будет несколько шире своего синонима. Ведь принципы парсинга применяются в таких программных разработках, как переводчики с одного языка на другой или в трансляторах языков программирования и здесь термин граббинг ну совершенно не подходит.
Если быть более конкретным, то граббинг сайтов это сбор информации по определенным параметрам с определенных сайтов. Это может помочь при каких-либо статистических исследованиях или при создании тематических баз данных. Причем процесс этот довольно кропотливый и требует затрат как временных, так и моральных. Особенно при нестабильной работе интернета.
Люди, специализирующиеся по этой теме очень неплохие программисты. Для написания программы-граббов чаще всего используют язык C#, несколько реже PHP или другие языки программирования. В среднем цена программы для сканирования одного сайта составляет 25$.
В этом случае, если Ваша статья попала на чужой ресурс, ссылки с него все равно приведут посетителя к Вам, да и поисковые системы учтут эту ссылочку. Вот такой простой, но работающий прием.
А вот что говорит народ про граббинг:
Ермак про граббинг
С Граббером рай в шалаше.
>Ленин про грабинг
Криблинг, Краблинг, Граббинг
В конце позволю себе вернуться к теме граблей, я натолкнулся на забавную картинку и решил ее выложить для Вас, улыбнитесь и будьте здоровы.
Вот собственно и все на сегодня по этой теме, желаю всем успехов.
Зачем вам интернет-граббинг?
Информационная статья подготовлена специалистами компании bezlimitdom.ru
Когда нам нужно воспользоваться интернет-услугами, большая часть из нас прибегает к давно проверенному методу: мы просто выбираем хорошего провайдера, который соответствует всем нашим требованиям, и заключаем с ним договор. После этого можно скачивать файлы и пользоваться другими преимуществами Интернета. Но знали ли вы, что некоторые программы позволяют получать доступ к файлам любого типа и без собственного подключения к сети Интернет? Что такое граббинг, как он производится, и почему он вам не нужен – читайте ниже.
Граббингорм называют такой метод скачивания файлов из интернета, когда граббер использует чужие каналы передачи данных, подключаясь к ним, и перехватывая файлы, которые уже скачивает кто-то другой. Это возможно, когда скачивание производится через спутниковый интернет по незащищенным каналам данных. Граббер использует для этого обычную спутниковую ТВ-тарелку с двусторонним доступом и специальный софт, который можно скачать в открытом доступе. Это могут быть такие программы как Sky Grabber, SkyNet, SkySniffer и многие другие.
Граббинг также часто называют фишингом, спутниковой рыбалкой. Зачастую он используется недобросовестно, к примеру, когда ПО применяют для просматривания чужих сообщений, который (если они не зашифрованы), также могут попадать на компьютер граббера. В таком случае возможна ответственность за хищение персональных данных, вплоть до уголовной. Но в остальном это легальное занятие, за которое нельзя понести юридическую ответственность. Таким образом, граббинг можно использовать для скачивания фильмов, игр, другого контента совершенно бесплатно, причем для этого требуется минимальное оснащение.
На первый взгляд кажется, что граббинг, учитывая его полную законность и бесплатную основу, вполне можно использовать в качестве альтернативы платному интернету. Как обычно, все не так просто. Давайте разберемся, в чем тут подвох.
Поэтому мы рекомендуем не доверять случайности в интернете. Лучше всего воспользоваться услугами интернет-провайдера, который предоставить быстрое и надежное соединение, и тогда вы сможете скачивать все, что захотите, не беспокоясь обо всех упомянутых проблемах.
[FAQ] Граббинг и оцифровка
Приводим музыкальную коллекцию к единому знаменателю
Концепция стриминга подразумевает централизованное хранение домашней медиаколлекции в виде файлов — ради того, чтобы избавиться от залежей отдельных носителей. Это касается не только кинофильмов, про граббинг и конвертирование которых мы рассказывали в прошлом номере, но и музыки. Арсенал меломана включает, как правило, подборку фирменных CD, дополняемых порой альбомами на DVD-Audio и SACD. Самые же увлеченные ценители предпочитают винил, обладающий неповторимым характером звучания. Прежде чем собрать все это добро воедино на жестком диске и удобно его каталогизировать, записи с оптических носителей нужно перевести в файлы, а аналоговые фонограммы — оцифровать. Однако в погоне за удобством поиска композиций и другими прелестями стриминга нельзя забывать о том, что после трансфера фонотеки на винчестер качество звучания дорогих сердцу мелодий не должно ухудшиться ни на йоту, иначе смысл всей затеи напрочь теряется. Как максимально точно сграбить диски и корректно оцифровать винил? Ответы на эти и другие вопросы вы найдете в этой статье
Многие удивляются: что значит «правильный» граббинг? Цифра — она и в Африке цифра! Всего-то делов — выбери любую из нескольких десятков соответствующих программ, нажми на кнопку, и через какое-то время получишь кучу аудиофайлов на жестком диске. После этого остается лишь найти в Интернете обложку альбома или отсканировать ее самостоятельно. Однако если бы все было так просто, то многие специалисты не бились бы над проблемой точного считывания данных с CD-DA, производители оборудования не выпускали бы специальные сверхточные приводы, а нам не пришлось бы писать эту статью. Когда ставится задача перевести компакт-диск в формат МР3 для прослушивания на карманном плеере, то все старания улучшить качество граббинга действительно излишни. Но мы-то говорим о миграции всей домашней фонотеки! Следовательно, копия не должна уступать оригиналу. Чтобы этого добиться, тебе потребуется компьютер с просторным жестким диском и программа EAC (Exact Audio Copy v0.99 PB5), объективно лучшая — и совершенно бесплатная! — утилита для граббинга музыкальных CD, найти которую можно на сайте www.exactaudiocopy.de. Она будет считывать каждый блок информации как минимум дважды, чтобы убедиться, что все в порядке. В таком режиме скорость копирования компакта на винчестер снижается, зато достигается побитовая точность без привнесения джиттера.
Интерфейс программы EAC переведен на русский язык, поэтому ее установка и настройка особых проблем не вызывают. Итак, запускаем инсталлятор и оставляем флажки на всех компонентах, кроме бесполезной ссылки на интернет-аукцион eBay. После запуска софта нужно зайти в EAC > Параметры EAC и во вкладке «Извлечение» изменить уровень коррекции ошибок со среднего на высокий, а также снять флаг со второго пункта — «Неиспользование нулевых семплов». Соседние первый (offset) и третий (синхронизация) должны быть активированы. Далее идет вкладка «Нормализация». Тут достаточно убедиться, что соответствующий флаг не стоит, то есть губительная для звука функция нормализации не задействована. Настройки в последующих вкладках меняем по вкусу, поскольку непосредственно к извлечению аудиоданных они отношения не имеют. По завершении этого этапа и нажатия OK начинаем следующий: из главного окна программы заходим в EAC > Параметры дисковода и открываем первую вкладку «Метод извлечения». Тут выбираем «Достоверный режим» и убеждаемся, что флаг на опции Accurate Stream стоит, тогда как две другие фичи (кэширование аудиоданных и сообщения об ошибках С2) должны быть дезактивированы. Во вкладке «Чтение» необходимо задать алгоритм извлечения. Для этого вставляем в привод любой CD и запускаем процедуру автонастройки. Дождавшись результата, следуем в соседнее подменю «Смещение и скорость», где выставляем значение смещения (offset) в семплах, вносимое приводом при считывании данных. Использовать подобную коррекцию необходимо, иначе копия диска не будет совпадать с оригиналом по длине треков. Требуемое значение смещения определяется встроенным в EAC тестом либо берется из таблицы на сайте www.accuraterip.com/driveoffsets.htm. В итоге всех настроек ваша связка из оптического привода и программы EAC готова к точному граббингу — конечно, при условии, что компакт-диски не будут иметь явных повреждений рабочей поверхности. Осталось сделать самую малость. Идем в EAC > Параметры сжатия. На первой вкладке выбираем формат кодирования — «Конвертер PCM Microsoft» и формат дискретизации — «16 бит, 44,1 кГц, стерео». Наконец, чтобы не вбивать названия треков самостоятельно, перед граббингом каждого CD можно запрашивать информацию из сетевой базы данных. Если компакт-диск фирменный или лицензионный, то по нему в Интернете почти гарантированно будет вся нужная информация, впоследствии облегчающая каталогизацию коллекции на винчестере. Соответствующие настройки находятся в разделе EAC > Параметры freebd и базы данных EAC. По большому счету, там нужно лишь указать любой рабочий e-mail, иначе доступ к базе будет закрыт. Вот теперь все готово! И начинается самое главное: перенос содержимого твоих компактов. По очереди вставляем диски в привод, запрашиваем названия альбома и композиций из Сети нажатием Alt+G и запускаем конвертацию в WAV. Если все было сделано правильно, то на выходе должны получаться файлы, технически и на слух неотличимые от оригинальных треков на CD. Собственно, после граббинга программа и так сообщит об успешном завершении процесса. Раз точность извлечения составила 100%, значит, никаких ошибок не допущено.
Какой выбрать привод?
Марка и модель оптического привода принципиального значения не имеют, если это современный продукт от известного производителя. Поскольку компьютерные CD-драйвы практически исчезли с прилавков (исключение составляет разве что внешний девайс Plextor Premium2 с явно неадекватной ценой), то для граббинга придется использовать устройство наиболее распространенного класса DVD-RW. В этом нет ничего страшного, если программа-граббер EAC настроена корректно. Достойных кандидатов много, поэтому выделим парочку — Asus DRW-2014 и Pioneer DVR-217
В этом самом месте мы рискуем нарваться на тазик тухлых помидоров, катапультированный в нашу сторону за прямо-таки кощунственное предложение перевести аудиофильский винил в какую-то там «цифру». Спорить с фанатично настроенными любителями данного носителя мы не намерены, поскольку для многих из них винил — это не только теплый аналоговый звук, но и церемония, помогающая настроиться на прослушивание: взять в руки и распаковать пластинку, обработать ее антистатиком, положить на опорный диск, опустить тонарм… После же оцифровки нужда в подобных манипуляциях исчезает. Однако и цифровые слепки могут сохранить всю теплоту и обертональную палитру исходников: как показывает практика, при слепом прослушивании немало почитателей аналога принимают хорошо сделанные копии за оригинал. Следовательно, если в виниле вас привлекает исключительно его звучание, а сопутствующие процедуры кажутся жутким анахронизмом, то перевод в цифровую форму будет наилучшим решением, способным к тому же сохранить записи на века. Пластинка к тому времени, скорее всего, окажется безумно заезженной.
Какую выбрать вертушку?
Оцифровка винила — дело гораздо более ответственное, чем простое его воспроизведение, а потому и требования к вертушке предъявляются более жесткие. Говоря обобщенно, это должна быть качественная модель, максимально точно откалиброванная. Если у вас уже есть такая, то достаточно ее проверить — и можно начинать. А коли покупка LP-проигрывателя еще только предстоит, то вот несколько подходящих кандидатов.
Начальный уровень ($ 1000) — TechnicsSL-1200 MK5 + Goldring 2500
Средний уровень ($ 3000) — VPIScout + DynavectorDV-20XL
Высокий уровень ($ 10 000) — Michell Orbe + Ortofon Winfield MC
Для оцифровки винила необходим аудиотракт высокого класса — бюджетные решения не в состоянии передать всю полноту звучания достойно отпечатанных грампластинок. Все компоненты тракта должны быть сбалансированы, иначе начнет действовать принцип слабого звена: применение посредственного LP-проигрывателя и дешевого звукоснимателя, некачественных и/или слишком длинных кабелей либо недостаточное внимание к выбору оцифровщика может сказаться на результате самым плачевным образом.
Чем меньше звеньев в цепи, тем лучше. Старайтесь обходиться без коммутаторов и микшерных консолей. Идеальное подключение — непосредственное, между фонокорректором и рекордером
Не экономьте место на винчестере. Запись должна осуществляться с максимальным разрешением, на которое только способно оборудование, но не ниже чем 24 бит / 48 кГц (оптимально 24 бит / 96 кГц). Это позволит сохранить больше нюансов звучания.
Запись может производиться как на специализированный аудиорекордер из числа студийных моделей, так и на компьютер с хорошей звуковой картой внутри. Первый вариант обходится значительно дороже, зато проще в управлении и стабильнее в работе: вероятность испортить копию программным сбоем или наводками, которые генерируются внутренними компонентами системного блока, в случае с рекордером ничтожно мала. В активе же компьютера — гибкость и относительно невысокая стоимость (персоналка есть почти у каждого, остается лишь докупить подходящую аудиокарту). Однако в обоих случаях результат может быть одинаково высок.
Как утащить простой сайт за 5 минут
Например, чтобы научиться делать так же
Когда начинаешь практиковаться в вёрстке сайтов, может быть очень полезно разобраться, как устроены сайты у других ребят. Вот как это сделать.
👉 Всё, что мы делаем в этой статье, мы делаем в учебных целях. Если вы просто скопируете себе чужой сайт и будете выдавать его за свой, это может плохо кончиться.
💡 На самом деле всё сказанное в этой статье нужно для тех, кто боится отключения интернета и хочет сохранить у себя на компьютере самую важную информацию. Но эта мысль бредовая сразу на стольких уровнях, что мы стесняемся её произносить вслух. Разве что шёпотом.
В чём идея
Мы будем копировать чужой сайт, чтобы его можно было запустить на своём сервере или на домашнем компьютере. Задача — не просто открыть сайт в браузере и посмотреть его код, а забрать из него все важные файлы — и стили, и скрипты, и изображения. Чтобы было проще, мы будем практиковаться на одностраничном сайте, но всё то же самое будет работать и на многостраничном.
❌ Мы не сможем утащить чужие PHP-скрипты и страницы, связанные с данными пользователя (например, не сможем утащить из интернет-магазина рабочую версию корзины с покупками). Для этого нужен доступ к файлам сервера, а этого у нас нет.
Главный принцип этой работы: когда ваш браузер запрашивает страницу чужого сайта, веб-сервер отправляет ему эту страницу, в буквальном смысле. То же с картинками, стилями и скриптами: каждый раз, когда вы посещаете сайт, вы как будто делаете его копию у себя на компьютере. Браузер получает страницу от сервера и выводит её копию на экран, а в памяти держит исходный код. Разве что он не сохраняет эту страницу на диск, чтобы вы могли её редактировать.
Вот этот последний этап мы и исправим: теперь мы будем сохранять чужие сайты к себе на диск.
Весь процесс покажем на примере сайта ux-posters.ru – простом одностраничном сайте, где есть картинки, стили и скрипты. Автору этого текста пришлось помогать авторам этого сайта с похожей задачей, так что пример свеженький.
Быстрый путь: грабберы
Есть категория программ под названием «веб-грабберы», или «веб-рипперы». Они работают так:
После работы граббер оставляет у вас на диске гору файлов, которые представляют собой статичный отпечаток чужого сайта. Эту гору можно загрузить на собственный сервер, и издалека это будет похоже на чужой сайт.
✅ Плюсы: граббер может быстро охватить много страниц и скачать из них огромное количество стилей, картинок и всего подряд. Работа очень быстрая и хорошо автоматизирована.
❌ Минусы: часто он качает всё без разбора, оставляя на диске много дублей. Также он бессилен с сайтами, в которых контент выводится динамически или имеет нестандартную систему адресации.
💡 В целом грабберы можно использовать, чтобы скачивать сайты библиотек, архивов и других мест, где документов много и всё устроено логично. Например, с помощью граббера можно скачать какую-нибудь классическую книгу из онлайн-библиотеки.
Вот ссылки на грабберы для разных платформ:
Сложный путь: ручное сохранение
Допустим, мы хотим сохранить какую-то отдельную страницу сайта или конкретные её части (например, картинки). Но эти картинки как-то так хитро встроены, что вы не можете просто нажать «Сохранить картинку как. ». Тогда потребуется ручной метод.
Заходим на страницу и нажимаем в браузере Ctrl + I (в Виндоус) или ⌥ + ⌘ + I (если у вас мак). Появляется окно «Инспектора», где видна внутренняя структура страницы:
Мы видим, что текущий документ в браузере состоит:
Шрифты нам скачивать необязательно — сайт и так их подключит с сервера гугла, а всё остальное скачать нужно. Чтобы не создавать хаос на компьютере, создадим сначала папку ux-posters — в ней будет храниться наш сайт. Потом в эту папку сохраняем все файлы таким способом:
Исключения в названии файлов два:
Что в итоге
Если мы пройдёмся по всем папкам и сохраним в них всё нужное нам, у нас получится локальный слепок сайта. Теперь можно:
💡 Важно понимать, что перед нами именно «слепок» — то, что мы бы увидели, если бы сервер сегодня ответил на наш запрос. Если завтра сервер будет отвечать по-другому, мы этого в своей локальной копии не увидим.
Когда ещё это пригодится
Защитить сайт перед наплывом пользователей. С помощью грабберов можно быстро создать неубиваемую статическую копию сайта и временно подменить ей динамическую версию сайта. Это полумера, но может сработать. А вообще вместо этого есть специальные надстройки, которые делают почти то же самое, но более умно, — поищите слово «кеширование».
Сделать копию своего блога, личного сайта или ещё чего-то важного вам, если вы потеряли к нему доступ, но сайт всё ещё на ходу.
Если вы едете туда, где не будет интернета, а вам нужна информация с сайта (например, путеводитель по чужой стране). Помните, что динамические карты и видеоролики так не сохранятся.
Сделать собственный «веб-архив» — это сервис, который ползает по сайтам и делает их «слепки» для истории. Благодаря этому сервису можно посмотреть, как выглядели ваши любимые сайты много лет назад — например, Яндекс.
Для чего и кому нужны грабберы
Что такое граббер?
Программа (скрипт), ведущая сбор данных с сетевых ресурсов и автоматически их публикующая – вот что такое граббер (от англ. grab – хватать, захватывать). Проще говоря, граббер «цепляет» контент со сторонних сайтов и «на автопилоте» переносят его на собственный проект.
Для чего используют граббинг
Сфера применения грабберов чрезвычайно широка. В частности, граббинг контента позволяет:
Еще примеры приложения грабберов на практике – это сбор постов в соцсетях, с автоматическим постингом у себя на страничке; формирование БД контактов пользователей сети; отслеживание цен у конкурентов.
Грабберы и парсеры: найди отличия
Помимо грабберов, для «выуживания» контента со сторонних сайтов используют еще и парсеры. Нередко эти два понятия отождествляют, что не совсем правильно. Парсер лишь собирает требуемые данные с различных ресурсов, но не публикует их в сети в авторежиме. Тогда как граббер это умеет.
Некоторые грабберы способны делать синонимайзинг «добытых» текстов, но на достаточно примитивном уровне. По сравнению с грабберами, у парсеров гораздо более продвинутые настройки фильтрации и уникализации текстового контента.
Грабберы — две стороны медали
Как практически у любого полезного функционала, у грабберов присутствуют как явные достоинства, так и весомые недостатки. По аналогии с чертами человеческого характера, можно обозначить положительные и отрицательные качества таких программ граберов.
Плюсы грабберов
Мобильность – Быстро просматривают и анализируют множество страниц заданного сайта.
Педантизм – Разделяют контент по типам: ссылки, графика, видео, почта, и прочее.
Гибкость – Настройки поиска дают возможность сбора самой различной информации.
Демократичность – Позволяют как сохранить полученный контент в базу данных локально, так и автоматически выгрузить на свой ресурс или в соцсеть.
Минусы грабберов
Узко направленность – Не все такие программы универсальны, т.к. в основном создаются под конкретные проекты. При необходимости собрать данные из разных источников, может потребоваться задействовать не один граббер.
Сложность – Грабберы довольно замысловаты в настройках. Пользователю без опыта в них непросто разобраться.
Безграмотность – Текст, собранный граббером, нередко пестрит ошибками или вовсе нечитабелен.
Вороватость – Полученный через граббер текстовый контент является копиастом. Выгрузка его на свой ресурс без предварительной уникализации может быть чревата санкциями поисковых систем.
Невзирая на все означенные минусы, грабберы сайтов исключительно востребованы у веб-разработчиков, поскольку существенно экономят время и силы вебмастеру при поддержке существующих и создании новых проектов.
Советую почитать:
Для чего и кому нужны грабберы : 2 комментария
Согласен что грабберы приносят пользу и у меня тоже была мысля использовать их для серого продвижения своего ресурса, но, опасаясь санкций от пс я не стал реализовывать это направление раскрутки сайта.
Конечно, не каждому ресурсу подойдет использование грабберов, хотя картинки для своих проектов граббят почти все (и я в том числе).