OpenStreetBugs — лёгкий способ сообщить об ошибке в OpenStreetMap

OpenStreetBugs — лёгкий способ сообщить об ошибке в OpenStreetMap

Вы, конечно, знаете о свободной карте OpenStreetMap. Это настоящая народная карта, создаваемая такими же людьми как и вы! Это такой же opensource-проект как Linux и как Википедия. Конечно же, как и в других картах, в OpenStreetMap имеются ошибки, но в отличие от тех же Яндекс.Карт, где ошибки не исправляются годами из-за сложной бюрократической процедуры (я уже не говорю о намеренных ошибках), в OpenStreetMap всё гораздо проще и лучше для всех нас...
Подробнее..

CloudMade Navigation поддерживает ограничения манёвров

CloudMade Navigation поддерживает ограничения манёвров

Не так давно CloudMade выделил несколько приоритетных направлений, среди которых оказалась и навигация. Решено было создать специальный проект Navi Studio, который объединял бы в себе несколько более мелких сервисов и позволял пользоваться ими, для создания полноценного навигационного программного обеспечения. В Navi Studio вошли: Работа закипела и уже появилось несколько приложений использующих данный проект. Но полноценной навигации без соблюдения правил ПДД не существует, а потому данному вопросу было также уделено не мало времени...
Подробнее..

Удали себя из интернет-социума — «Web 2.0 Suicide Machine»

Удали себя из интернет-социума — «Web 2.0 Suicide Machine»

Недавно наткнулся в сети на один занимательный интернет-сервис, именующийся Web 2.0 Suicide machine . Предназначен он для того, чтобы позволить людям, обремененным «социальной жизнью в интернете», в пару кликов удалить свои аккаунты на Facebook (в данный момент сервис блокирован администрацией по IP), Twitter, Linkedin и Myspace. В общем-то судя по количеству положительных отзывов и «успешных очищений» — пипл хавает зависимые от социальных сетей успешно пользуются сервисом и довольны...
Подробнее..




DLE VaLaR Grabber-v 6.3 R1

Веб разработка - Модули dle

dle valar grabber-v 6.3 r1

[Платный] VaLaR Grabber-v 6.3 R1

Рад сообщить о выходе новой версии. Цена на скрипт составляет 35 wmz.
За дополнительную плату могу адаптировать скрипт для парсинга любого сайта.

Особенности скрипта:

[*] Скрипт является самостоятельной системой.
Он легко устанавливается и конфигурируется.

[*] Универсальность.
Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.
Данную систему можно научить парсить новости с любого сайта, обладая начальными навыками PHP и HTML.

[*] Гибкость - два режима работы.
>>Классический режим:
В этом режиме дистрибутив граббера копируется непосредственно на Ваш сайт.
Все что нужно - указать тип используемой CMS.
Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.

>>Пакетный режим:
Суть режима заключается в разделении процесса получения новостей от их добавления.
Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
Преимущества данного режима:

[*]Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
[*]Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.

[*] Функциональность.
]
[*]Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
[*]Поддержка мультиграббинга (одновременное использование одной копии граббера для работы с множеством источников)
[*]Возможность получения новостей определенной категории или всех новостей, публекуемых на главной странице;
[*]Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
[*]Возможность добавления случайных дат при размещении новостей на Вашем сайте (перемешивание новостей);
[*]Возможность проверки новости на уникальность перед добавлением;
[*]Возможность поэтапного добавления новостей на Ваш сайт;
[*]Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
[*]Возможность автоматического добавления подписей в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
[*]Возможность цензурирования новостей (замены или удаления текста по точным совпадениям или шаблонам);
[*]Возможность чистки HTML-кода новости (начиная от удаления html-комментариев, заканчивая удалением ненужных конструкций);
[*]Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
[*]Возможность синонимизации текста с помощью Google Translate;
[*]Возможность добавления (в том числе и загрузки на сервер в двух режимах) потоковых видео (IMDb) с замещением flash-проигрывателя;
[*]Возможность загрузки картинок на сервер (с возможностью сортировки в разные папки по дате, титулу...);
[*]Возможность наложения водяных знаков на загружаемые картинки;
[*]Возможность расшифровки DLE ссылок (./engine/go.php);
[*]Возможность использования прокси-сервера для соединения с сайтом-источником;

[*]Возможность адаптирования скрипта под сайты, которые имеют нестандартную HTML-структуру;

[*]Возможность сохранения списка последних спарсенных сайтов;
[*]Возможность уменьшения картинок на уровне самих файлов или HTML-кода;
[*]Возможность добавления новостей от случайного автора из списка;  появится в новой версии
[*]Возможность добавления meta-данных (ключевых слов и описание) в следующих режимах: появится в новой версии
    а) парсинг непосредственно с сайта-источника;
    б) с помощью автоматической системы получения ключевых слов через анализ контента;
    в) по собственным шаблонам;
[*]Наличие универсального модуля загрузки файлов: он может использоваться для загрузки любого типа файлов (будь-то .swf flash-ролики и/или .rar архивы)
[*]Наличие встроенного редактора новостей;
[*]Наличие встроенного онлайн синонимизатора (для проверки баз);
[*]Наличие универсального конвертора формата текстовых баз синонимов;
А также многое другое...
]
* - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).

[*] Оптимизация.
Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. С моей стороны гарантируется помощь в настройки системы.

[*] Надеждый механизм работы.
Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
после любого сбоя не представляет проблем
, достаточно заного указать начальную и конечную страницы,
а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.

[*] Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
расположены в отдельных библиотеках, что позволит оптимизировать или расширить
функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
собственных модулей по обработке контента.

[*] Безопасность.
Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
Данную функцию можно включить и выключить в любой момент.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

News image

Технология, опробованная Google, вызывает все больший интерес у разраб

Кто говорит, что между традиционными производителями СУБД, построенными на фундаменте SQL, и сторонниками так называемой технологии NoSQL идет война...

News image

Microsoft поддержала открытые технологии создания географических карт

Microsoft добавила на сервис Microsoft Bing Maps поддержку свободно распространяемых карт OpenStreetMap, которые создаются на основе пользовательски...

News image

2 млн. разработчиков на iPhone

Ни для кого не секрет, что Apple не любит Flash. Они всячески противится внедрению Flash-приложений на iPhone или IPod Touch, несмотря на все уговор...

News image

Chromoting – новая технология в Chrome OS

В операционной системе Chrome появится новая функция, которая позволит запускать настольные приложения непосредственно в окне браузера. Это новшеств...

News image

Microsoft выпустила ключевые технологии Vista для разработчиков

Microsoft предоставила разработчикам доступ к ключевым компонентам Windows Vista — за несколько месяцев до выпуска самой операционной системы. Ко...

Топ технологий:

News image

Оздана новая система беспроводной связи - она в 10

Ученые из Национального тайваньского университета разработали новую систему беспроводной передачи данных, которая позволит передавать инф...

News image

Как взломали Twitter

В Интернетах, наряду с iPad, сканерами в аэропортах и войне между Google и Apple, уже второй день подряд активно обсуждается тема взлома и...