Začněme hned s hlavním kódem skriptu:
#!/usr/bin/perl
Skript # which-forum.pl
# (c) 2010 Alexandr A Alexeev, http://website/
používat přísné;
# komentované řádky - pro přísnost
# pokud je úkolem shromažďovat statistiky motoru, nechte to tak, jak je
# pokud vytvoříte seznam fór - odkomentujte
moje $data ;
$data .= $_ while (<>
)
;
# zkontrolujte, kolik bylo Powered by phpBB bez odkazu v zápatí Tento a další skripty zmíněné v příspěvku najdete v tomto archivu. Skript which-forum.pl prozkoumá kód html stránky, zda v něm nejsou signatury fóra. Při definování WordPressu a Joomly jsme použili podobnou techniku, ale existuje několik rozdílů. Za prvé, skript sám nenačte kód stránky, ale načte jej ze standardního parametru nebo souboru předaného jako argument. To nám umožňuje stáhnout stránku jednou, například pomocí wget, a poté ji spustit přes několik parserů, pokud jich máme více. Za druhé, v tomto skriptu je přítomnost podpisu 100% znakem enginu. Naposledy přítomnost podpisu dodala váhu pouze odpovídajícímu motoru a „vyhrála“ motor s nejvyšší hmotností. Rozhodl jsem se, že v tomto případě by takový přístup jen zbytečně zkomplikoval kód. Abych otestoval scénář, udělal jsem malý průzkum. Sestavil jsem seznam několika tisíc fór a každé z nich jsem prošel svým skriptem, čímž jsem určil procento aktivací programu a popularitu různých motorů. K získání seznamu fór jsem použil svůj analyzátor Google. Do vyhledávače byly zasílány dotazy jako site:forum.*.ru a tak dále. Kompletní kód generátoru dotazů najdete v souboru gen-forumsearch-urls.pl. Kromě zóny .ru byly používány také .su .ua .kz a .by. Naposledy bylo obtížné provést takovou studii, protože weby WordPress a Joomla takové podpisy v URL nemají. Katalogy jako cmsmagazine.ru/catalogue/ neposkytují dostatečnou velikost vzorku. Co je 600 webů na Drupalu? Musím přiznat, že výsledky experimentu mě zklamaly. Z 12 590 studovaných míst se podařilo identifikovat pouze 7 083 motorů, tedy pouze v 56 % případů. Možná jsem nevzal v úvahu nějaký motor? Stál Bitrix na polovině fór? Nebo jsem měl strávit více času hledáním podpisů? Obecně je zde zapotřebí více výzkumu. Mezi 56 % úspěšně identifikovaných motorů byly podle očekávání nejoblíbenější IPB (31 %), phpBB (26,6 %) a vBulletin (26,5 %). Těsně následují SMF (5,8 %) a DLEForum (5,3 %). Můj oblíbený punBB byl až na 6. místě (1,64 %). Nedoporučoval bych těmto číslům silně důvěřovat (říkají, že každé třetí fórum v Runetu funguje na IPB), ale určité závěry lze samozřejmě vyvodit. Například, pokud máte v úmyslu vytvořit web na fóru a plánujete upravit fórum, řekněme, platit uživatelům 0,01 $ za každou zprávu s automatickým výběrem prostředků jednou týdně, měli byste si vybrat jeden ze tří nejoblíbenějších nástrojů . Čím je fórum populárnější, tím je pravděpodobnější, že se najde programátor, který se v něm dobře vyzná. Pokud se v motoru neočekávají žádné výrazné změny, pak může mít smysl zvolit méně oblíbený motor, jako je SMF nebo punBB. Tímto způsobem snížíte počet hackerských útoků na vaše fórum a množství automaticky zasílaného spamu. Skripty pro vyhledávání/definování fór mohou také najít více než jedno praktické využití. První, co mě osobně napadlo, bylo seřadit identifikovaná fóra podle TCI a do první stovky umístit příspěvky s odkazy na některou z jejich stránek. Sto odkazů dofollow fóra však nijak neovlivnilo TIC (prošly 2 aktualizace), takže je lepší neztrácet čas zde, pokud vás nezajímají přechody. Je jasné, že jmenované použití skriptů není zdaleka jediné. Myslím, že snadno zjistíte, jak jinak je můžete použít. Pořádá Botmaster Labs, neplánováno. Není čas, video je potřeba pro soutěž, jako nový trend, i když je snazší vše vysvětlit dobrými snímky obrazovky (můj IMHO) a ve skutečnosti nechci nic točit. Výdělečných témat zbylo velmi málo, tupý spam už nevládne vůbec, tady je potřeba přemýšlet a téma nikdo nevystřelí, pokud se to zastaralí pokusí dát do krásného obalu a trochu zapudrovat. :) Ale to není o nás. Obecně se tyto 3 „ne“, myslím, v podstatě pro většinu potenciálních účastníků staly překážkami účasti v soutěži. Je to jako s opravou auta ze tří: levně, kvalitně, rychle - ve službě mohou splnit pouze 2 podmínky zároveň. posaďte se a vyberte si, co je vám bližší. :) Stejně tak je to se soutěží: Mám čas, můžu natočit video, ale není téma, nebo můžu udělat video, mám téma, ale nemám vůbec čas, nebo je volný čas a je tam malé téma, ale video děsí. Ale je dobré, když jsou splněny 2 podmínky zároveň. Dobře, nechme texty. Budu pokračovat k sobě. Neměl jsem to v plánu, tak se zapojím do soutěže, dokonce jsem si vybral, pro který článek budu hlasovat. Říkejte si, co chcete, ale Doz zná software velmi dobře a ví, jak jej používat velmi rozumně. Dnes jsem se ale dozvěděl, že se v soutěži objevily intriky. Ukázalo se, že nebudu moci hlasovat, ale mohou to udělat pouze začátečníci, kteří si software zakoupili v roce 2011 a soutěž je pro ně určena. Trochu mě to překvapilo, ale majitel je gentleman. Soutěž je reklamní kampaní a Alexander ví lépe, jak ji vést. Obecně jsem se tehdy rozhodl napsat článek, je to poněkud jednodušší napsat, když je jasné, pro koho je to ve skutečnosti nemožné pro celé JZD. Běží na php-Fusion Ve verzi Chrumer 7.07 byl program trénován s několika novými motory: forumi.biz, forumb.biz, 1forum.biz, 7forum.biz atd. phpBB-fr.com, téma Solaris phpBB A proces učení se novým věcem neustále pokračuje. Běží na SMF 1.1.2 Provozováno na SMF 1.1.3 Poháněno SMF 1.1 RC2 Běží na SMF 1.1.4 Běží na SMF 1.1.8 Běží na SMF 1.1.7 "2006-2008, Simple Machines LLC" A to není vše. Při sběru verzí motorů najdeme na některých SMF fórech v patičce převis "2001-2006, Lewis Media". Tento požadavek kontrolujeme, také nám plně vyhovuje. Najdeme podobný dotaz: "2001-2005, Lewis Media". Při dalším běhu zápatí najdeme následující požadavek: "SMFone design by A.M.A, ported to SMF 1.1". Podívejte se na to - skvělé. A tak dále. Půl hodiny práce a máte na enginu nádhernou databázi dotazů a na tyto dotazy bude Google banovat mnohem méně často, než když v nich použijete operátory. A zároveň bude vaše databáze mnohem čistší, než když použijete dotazy typu "index.php?topic=", protože zde Google dá nejen fóra, která potřebujeme, ale také spoustu ponecháných zdrojů, kde to bylo možné zanechte odkaz na téma fóra. Můžete se hádat, říkají, co je na tom špatného? Jiní nechali odkaz, takže můžeme. Ale! Odkazy může zanechat nejen Hrumer, ale i další programy. navíc mohou být speciálně zaostřeny pro zanechání komentářů v určitém zdroji, tzv. vysoce specializovaném softwaru, plus takové odkazy lze zanechat ručně. Znovu opakuji, není pro nás důležité množství harampádí, ale kvalita, základ stejně sbíráme se správnými požadavky. Výhodou této metody je, že prakticky nebudete muset konfigurovat sítový filtr
伟哥 - viagra 吉他 - kytara 其他 - odpočinek 保险公司 - pojištění Vložte tyto kódy do souboru Words, abyste je nahradili: %E4%BC%9F%E5%93%A5 %E5%90%89%E4%BB%96 %E5%85%B6%E4%BB%96 %E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8 Pokud propagujete stránky pro pojištění, pak zveřejněním odkazu ve svém profilu na tématickém (!) i čínském fóru najdete na vyžádání " fórum SMF" 保险公司 bude velmi dobrý.
vytisknout "phpbb \n"
if ($data =~ /
# $data =~ /viewforum\.php\?[^""]*f=\d+/i nebo
$data =~ /phpBB\-SEO/i nebo
$data =~ /)
;
tisknout "ipb \n"
if ($data =~ /
$data =~ /
$data =~ /
$data =~ /index\.php\?[^""]*showforum=\d+/i)
;
tisknout "vbulletin \n"
if ($data =~ /Powered by:?[^<]+vBulletin[^<]+(?:Version)?/i
nebo
$data =~ /)
;
tisknout "smf \n"
if ($data =~ /
$data =~ /index\.php\?[^""]*board=\d+\.0/i)
;
tisknout "punbb \n"
if ($data =~ /
# $data =~ /viewforum\.php\?[^""]*id=\d+/i);
tisknout "fluxbb \n"
# if($data =~ /viewtopic\.php\?id=\d+/i or
if ( $data =~ /
tisknout "exbb \n"
if ($data =~ /
# $data =~ /forums\.php\?[^""]*forum=\d+/i);
tisknout "yabb \n"
if ($data =~ /
$data =~ /YaBB\.pl\?[^""]*num=\d+/i ) ;
tisknout "dleforum \n"
if ($data =~ /\(Založeno na fóru DLE\)<\/title>/i nebo
$data =~ /
tisknout "ikonu \n"
if ($data =~ /
$data =~ /\n"
if ($data =~ /\n"
# if($data =~ /forums\.php\?fid=\d+/i nebo
# $data =~ /topic\.php\?fid=\d+/i nebo
if ($data =~ /
tisknout "stokesit \n"
# if($data =~ /forum\.php\?f=\d+/i nebo
if ($data =~ /
tisknout „pódium \n"
# if($data =~ /topic\.php\?t=\d+/i or
if ($data =~ /
tisknout "usebb \n"
# if($data =~ /forum\.php\?id=\d+/i nebo
if ($data =~ /
tisknout "wrforum \n"
# if($data =~ /index\.php\?fid=\d+/i nebo
if ($data =~ /
tisknout "yetanotherforumnet \n"
if ($data =~ /Yet Another Forum\.net/i or
$data =~ /default\.aspx\?g=posts&t=\d+/i)
;
site:talk.*.ru
site:board.*.ru
site:smf.*.ru
site:phpbb.*.ru
....
Dlouhý úvod je u konce, nyní k věci.
Co potřebuje začátečník, když si pořídí takový superkombajn, kterým je komplex Xrumer + Hrefer? To je pravda, naučte se na tom pracovat a zahoďte iluzi, že tím, že začnete spamovat listy, můžete vydělávat peníze. Pokud si to myslíte, věnujte své peníze hned na charitu. Musíte se naučit, jak používat nástroje komplexu, nejlépe je ostřit pro sebe. Čas „vzít víc – víc hodit“ je pryč. Kvantita ustupuje kvalitě. Takže základnu budeme sbírat pro sebe, neučte se, jak na to - zapadnete za vlak. Khrefer nám s tím samozřejmě pomůže. Pokud plánujete propagovat své zdroje na Googlu, musíme také hledat dárcovské stránky prostřednictvím Googlu. Myslím, že je to pochopitelné a logické. Google ale jako paní měděné hory své bohatství nerozdává všem. Chce to přístup. Rád bych hned řekl, že nedoufejte, že podle znaků, které najdete na veřejnosti, budete schopni něco shromáždit. Proto jsou veřejně dostupné, protože nestojí za nic. Nebudu téma dále rozvíjet. Je lepší vám říct, jak to správně sestavit, abyste viděli výsledek, zbytek si dokončíte sami, hlavní věcí je pochopit princip. Je potřeba sbírat podle toho správného podle znaků konkrétních motorů, které potřebujeme, a ne podle znaků fór obecně. To je hlavní chyba začátečníků – nesoustředit se na konkrétní věc, ale snažit se obsáhnout vše jako celek. A přesto, pokud chcete analyzovat víceméně normální základnu, odmítněte používat operátory v dotazech. Žádné "inurl:", "site:", "title" atd. Google okamžitě zakáže hledače, jako jste vy. Pečlivě proto studujeme motory, se kterými Chrumer aktuálně pracuje:
Obecně musíme připravit správné dotazy pro analýzu Khreferem. Vezměme si jako příklad forum dizhok. SMF fóra. A začneme jej rozebírat na části pro analýzu. Náš milovaný Google nám s tím pomůže. Zadání dotazu Google SMF fóra- hodně smetí v čísle, přetočte se na nějakou 13. stránku a vyberte libovolný odkaz. Narazil jsem na tento: http://www.volcanohost.com/forum/index.php?topic=11.0 . Pojďme to otevřít a prozkoumat. Potřebujeme na stránce najít něco charakteristického, co lze použít při hledání dalších stránek na tomto enginu. V zápatí si všimneme následujícího nápisu Běží na SMF 1.1.14, citujeme a zadáváme do Googlu, ukazuje nám, že pro tento požadavek zná asi 59 milionů možností. Projdeme odkazy, přidáme k tomuto klíčovému slovu několik dalších možností, např. "Powered by SMF 1.1.14" topol nebo Běží na SMF 1.1.14 viagra. Jsme přesvědčeni, že žádost je šik, ve vydávání pouze fór a téměř žádného odpadu pro vás.
Kromě toho nás nezajímá kvantita, ale kvalita, jak jsem řekl výše. Pokračuj. Ze stejného fóra přebíráme další frázi ze zápatí: , také jej citovat a předat Googlu. V reakci na to prozrazuje, že zná více než 13 milionů výsledků. Opět prolistujeme výstup, přidáme další slova a zkontrolujeme s nimi výstup. Dbáme na to, aby byl požadavek výborný a také tam nebyly téměř žádné odpadky. Obecně jsou již 2 požadavky na železo. Navrhuji, aby první fórum bylo prozatím ponecháno na pokoji a pokračovalo ve shromažďování požadavků z jiných fór. Naštěstí je Google otevřený na vyžádání 2006-2008 Simple Machines LLC. Z problematiky přebíráme například tato fóra: http://www.snowlinks.ru/forum/index.php?topic=1062.0 a http://litputnik.ru/forum/index.php?action=printpage; topic=380.0 v zápatí od nich přebíráme následující požadavky: "Powered by SMF 1.1.7" a "Powered by SMF 1.1.10" (vždy vám radím řídit požadavky na Khrefer v uvozovkách, protože potřebujeme především kvalitu Všechno). Myslím, že je jasné, co děláme, nakonec budeme mít určitou databázi dotazů pro vyhledávání fór na SMF enginu (byl vybrán jako příklad, u ostatních enginů je to podobné).
Bude to vypadat nějak takto: 
Myslím, že je velmi důležité naučit se správně používat Chrefer v počáteční fázi, protože když se to naučíte, můžete pro Chrumer vždy najít použití, bez ohledu na to, jak se situace změní. Ochrany jsou stále komplikovanější, a pokud byla ochrana na některých typech motorů posílena a Khrumer si s tím v tuto chvíli neví rady, pak nemá smysl plýtvat prostředky na shromažďování těchto odkazů a poté na nich pracovat s Khrumerem. je lepší se zaměřit na to, co dává výsledek. A zároveň, pokud tým Botmaster Labs naučil Chrumera něco nového, můžete rychle vypreparovat nového pacienta a připravit Chrumerův základ, dokud je pacient ještě teplý. Čas jsou peníze, zdroj již nemusí být relevantní, když si koupíte základnu. shromážděné někým. Navíc správná kolekce základen pro sebe značně rozšiřuje „bílé“ použití Khrumeru. A přesně tady se vše hýbe, ať se nám to líbí nebo ne, ale probíhá proces bělení či šedivění. Černé povlečení na vše, co můžete jít do minulosti.
Všechny ostatní, již technické aspekty práce s Hreferem si můžete prohlédnout v nápovědě a nemá smysl se jimi zdržovat, všechny cíle-body-sekundy se nastavují empiricky pro každý vůz individuálně.
Jako bonus sem dám šablonu pro analýzu čínského vyhledávače Baidu, onehdy jsem se na to zeptal, tak jsem to udělal v mezičasech, omlouvám se za slovní hříčku. :)
Hostname=http://www.baidu.com
Dotaz=s?wd=
LinksMask=
Celkem stran=100
NextPage=
NextPage2=
CaptchaURL=
CaptchaImage=
CaptchaField=
Pokusil jsem se je otestovat, nebyl tam žádný zákaz, Khrefer rychle shromáždil zdroje, všechny požadavky na analýzu byly podobné těm od Googlu, ale bylo tam hodně čínských zdrojů a s vysokým PR, a kromě toho tam bylo mnoho míst kam Evropané nevkročili. Je lepší analyzovat s čínskými požadavky. S tím pomůže Google Translate, který napíše seznam klíčových slov v ruštině a přeloží do čínštiny. Pravda v slova„Chreferova slova nelze dát dohromady v čínštině, musí se překódovat.
Místo čínštiny: 
Na závěr bych rád řekl, že jsem nikdy nerozuměl lidem, kteří si stěžovali, že Khrefers jsou špatní nebo neanalyzují, vždycky jsem to chtěl říct, jen nevíte, jak je vařit. Ani jeden parser není lepší než referrer, jen musí být správný. Hrefer je auto: dobré, pevné, vyrobené v němčině, ale člověk ho ovládá a vše záleží na tom, jak inteligentně je řízeno, nemůžete auto přinutit jet doprava a doleva zároveň.
Samostatným tématem je čištění základen, jednou jsem před 3 lety na předchozí soutěži. Odtud je vše stále relevantní, ale nyní můžete odmítnout zkontrolovat 200 OK, tento proces se mi opravdu nelíbil, chyby byly velmi velké, bylo odfiltrováno mnoho nadbytečných. Nyní to lze provést téměř automaticky během práce Chrumeru, i když tento proces není úplnou analogií kontroly „200 OK“. Obecně k věci: není to tak dávno, co se v Khrumeru objevila úžasná příležitost – okrást informace ze zdrojů v době běhu projektu. Vypadá to takhle. Vjedete do šablony, která bude zpracována během práce, a informace shromážděné podle šablony budou vloženy do souboru xgrabbed.txt ve složce Logs. Tuto funkci můžete použít na cokoli, úlet fantazie je obrovský. Tuto funkci používám jednou týdně k odstranění odkazů z „prošlé“ pracovní základny. Není žádným tajemstvím, že fóra každý den odumírají, aby se základna vyčistila od takových zdrojů a nástroj "Autograbbing" nám v tomto případě pomůže.
Koneckonců, musíte uznat, že často zadáváte například http://www.laptopace.com/index.php, vidíme, že tato doména je již například goudyadya, ale není tam žádné fórum. Abychom tedy tuto škváru vyhodili ze základny, budeme loupit. :) Otevřeme zdrojový kód stránky a vidíme tam tento záznam:
Nyní nám budou všichni "mrtví" z goudaddi známi jménem.
Zde je malý výběr pro nástroj "Autograbbing", pokud chcete vyčistit databázi z různých domén s "exspirovanou" platností: