Webový crawler pro sběr článků z internetu

Crawler Addmention pro sběr článků z internetu

Pro slovenský projekt Addmention jsem vytvořil a provozoval webovou aplikaci webový crawler, která pravidelně různými způsoby prochází zadané webové zdroje - internetové média a nachází v nich nové články. Po nalezení článku v něm identifikuje zadané parametry a transformuje jej do unifikovaného formátu. Takto následně článek spolu se zadanými metadaty poskytne prostřednictvím API internímu informačnímu systému k dalšímu zpracování.

Celá fotogalerie

Webový crawler je navržen tak, aby umožňoval procházet a objevovat články v jakémkoliv webovém zdroji a jakémkoliv formátu. Pravidelně v zadaných intervalech prochází různé internetové média (webové stránky) a to buď pomocí XML sitemap, RSS kanálů, nebo přímo systematickým procházením webového obsahu a objevuje nové URL adresy, které v daném webovém zdroji přibyly.

Následně identifikuje, jaký obsah se nachází na nově objevených URL adresách zdroje. Takové URL, které neobsahují zajímaví obsah, vyřadí. Ty, na kterých je nalezen nový článek dále zpracovává. Obsah všech nalezených článků sparsuje a pomocí různých metod z něj extrahuje zadané parametry, které následně k danému článku uchovává v databázi.

Webový crawler obsahuje také API, pomocí kterého poskytuje informace o nalezených a zpracovaných článcích dalším systémům. Pomocí API přistupuje k systému prodejní informační systém, který si přes API stahuje data o článcích v unifikovaném formátu a dále je zpracovává při prodeji zmínek v těchto článcích.

Tvorba webového crawleru pro dolování dat z internetu

Vytvořit dlouhodobě udržitelný webový crawler pro dolování dat z internetu může být nelehký úkol a je nutné předem pořádně promyslet všechny aspekty řešení. Tato webová aplikace již slouží ke stahování množství nových článků z internetových medií. Pokud uvažujete o tvorbě podobné aplikace pro dolování dat z internetu, rád Vám s tím pomohu. Kontaktujte mě, rád s Vámi proberu podrobnosti Vašeho projektu …

Michal Strelec