OpenStreetBugs — лёгкий способ сообщить об ошибке в OpenStreetMap

OpenStreetBugs — лёгкий способ сообщить об ошибке в OpenStreetMap

Вы, конечно, знаете о свободной карте OpenStreetMap. Это настоящая народная карта, создаваемая такими же людьми как и вы! Это такой же opensource-проект как Linux и как Википедия. Конечно же, как и в других картах, в OpenStreetMap имеются ошибки, но в отличие от тех же Яндекс.Карт, где ошибки не исправляются годами из-за сложной бюрократической процедуры (я уже не говорю о намеренных ошибках), в OpenStreetMap всё гораздо проще и лучше для всех нас...
Подробнее..

CloudMade Navigation поддерживает ограничения манёвров

CloudMade Navigation поддерживает ограничения манёвров

Не так давно CloudMade выделил несколько приоритетных направлений, среди которых оказалась и навигация. Решено было создать специальный проект Navi Studio, который объединял бы в себе несколько более мелких сервисов и позволял пользоваться ими, для создания полноценного навигационного программного обеспечения. В Navi Studio вошли: Работа закипела и уже появилось несколько приложений использующих данный проект. Но полноценной навигации без соблюдения правил ПДД не существует, а потому данному вопросу было также уделено не мало времени...
Подробнее..

Удали себя из интернет-социума — «Web 2.0 Suicide Machine»

Удали себя из интернет-социума — «Web 2.0 Suicide Machine»

Недавно наткнулся в сети на один занимательный интернет-сервис, именующийся Web 2.0 Suicide machine . Предназначен он для того, чтобы позволить людям, обремененным «социальной жизнью в интернете», в пару кликов удалить свои аккаунты на Facebook (в данный момент сервис блокирован администрацией по IP), Twitter, Linkedin и Myspace. В общем-то судя по количеству положительных отзывов и «успешных очищений» — пипл хавает зависимые от социальных сетей успешно пользуются сервисом и довольны...
Подробнее..




DLE VaLaR Grabber-v 6.3 R1

Веб разработка - Модули dle

dle valar grabber-v 6.3 r1

[Платный] VaLaR Grabber-v 6.3 R1

Рад сообщить о выходе новой версии. Цена на скрипт составляет 35 wmz.
За дополнительную плату могу адаптировать скрипт для парсинга любого сайта.

Особенности скрипта:

[*] Скрипт является самостоятельной системой.
Он легко устанавливается и конфигурируется.

[*] Универсальность.
Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.
Данную систему можно научить парсить новости с любого сайта, обладая начальными навыками PHP и HTML.

[*] Гибкость - два режима работы.
>>Классический режим:
В этом режиме дистрибутив граббера копируется непосредственно на Ваш сайт.
Все что нужно - указать тип используемой CMS.
Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.

>>Пакетный режим:
Суть режима заключается в разделении процесса получения новостей от их добавления.
Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
Преимущества данного режима:

[*]Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
[*]Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.

[*] Функциональность.
]
[*]Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
[*]Поддержка мультиграббинга (одновременное использование одной копии граббера для работы с множеством источников)
[*]Возможность получения новостей определенной категории или всех новостей, публекуемых на главной странице;
[*]Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
[*]Возможность добавления случайных дат при размещении новостей на Вашем сайте (перемешивание новостей);
[*]Возможность проверки новости на уникальность перед добавлением;
[*]Возможность поэтапного добавления новостей на Ваш сайт;
[*]Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
[*]Возможность автоматического добавления подписей в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
[*]Возможность цензурирования новостей (замены или удаления текста по точным совпадениям или шаблонам);
[*]Возможность чистки HTML-кода новости (начиная от удаления html-комментариев, заканчивая удалением ненужных конструкций);
[*]Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
[*]Возможность синонимизации текста с помощью Google Translate;
[*]Возможность добавления (в том числе и загрузки на сервер в двух режимах) потоковых видео (IMDb) с замещением flash-проигрывателя;
[*]Возможность загрузки картинок на сервер (с возможностью сортировки в разные папки по дате, титулу...);
[*]Возможность наложения водяных знаков на загружаемые картинки;
[*]Возможность расшифровки DLE ссылок (./engine/go.php);
[*]Возможность использования прокси-сервера для соединения с сайтом-источником;

[*]Возможность адаптирования скрипта под сайты, которые имеют нестандартную HTML-структуру;

[*]Возможность сохранения списка последних спарсенных сайтов;
[*]Возможность уменьшения картинок на уровне самих файлов или HTML-кода;
[*]Возможность добавления новостей от случайного автора из списка;  появится в новой версии
[*]Возможность добавления meta-данных (ключевых слов и описание) в следующих режимах: появится в новой версии
    а) парсинг непосредственно с сайта-источника;
    б) с помощью автоматической системы получения ключевых слов через анализ контента;
    в) по собственным шаблонам;
[*]Наличие универсального модуля загрузки файлов: он может использоваться для загрузки любого типа файлов (будь-то .swf flash-ролики и/или .rar архивы)
[*]Наличие встроенного редактора новостей;
[*]Наличие встроенного онлайн синонимизатора (для проверки баз);
[*]Наличие универсального конвертора формата текстовых баз синонимов;
А также многое другое...
]
* - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).

[*] Оптимизация.
Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. С моей стороны гарантируется помощь в настройки системы.

[*] Надеждый механизм работы.
Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
после любого сбоя не представляет проблем
, достаточно заного указать начальную и конечную страницы,
а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.

[*] Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
расположены в отдельных библиотеках, что позволит оптимизировать или расширить
функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
собственных модулей по обработке контента.

[*] Безопасность.
Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
Данную функцию можно включить и выключить в любой момент.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Клиника Петра и Павла медикаментозне лікування алкоголізму
News image

Google открыл сайт для разработчиков

Крупнейший портал Google открыл веб-сайт для разработчиков приложений под свои веб-услуги. Сайт Code.google содержит набор исходных текстов прикл...

News image

Apple анонсировала preview Xcode 4

Apple анонсировала выход preview-версии среды разработки Xcode 4 для разработчиков с подпиской. Ниже перевод информации, размещенной на официальн...

News image

Apple выпустит новые продукты к концу года

В конце 2010 - начале 2011 года в продажу выйдут сразу несколько новых моделей от компании Apple: iPods, iPhone 5 и iPad mini. Как сообщает iloun...

News image

Adobe и Nokia объявили о создании фонда Open Screen Project на 10 млн.

Новый фонд должен укорить создание мультимедийного мобильного контента, приложений и сервисов На Всемирном конгрессе мобильной связи GSMA компани...

News image

Adobe для веб-разработчиков

Компания Adobe в особом представлении не нуждается – она очень известна практически среди всех пользователей, кто хоть раз имел дело с обработкой гр...

Топ технологий:

News image

Оздана новая система беспроводной связи - она в 10

Ученые из Национального тайваньского университета разработали новую систему беспроводной передачи данных, которая позволит передавать инф...

News image

Как взломали Twitter

В Интернетах, наряду с iPad, сканерами в аэропортах и войне между Google и Apple, уже второй день подряд активно обсуждается тема взлома и...