Začnime hneď s hlavným kódom skriptu:
#!/usr/bin/perl
Skript # which-forum.pl
# (c) 2010 Alexandr A Alexeev, http://website/
používať prísne;
# komentované riadky - pre prísnosť
# ak je úlohou zbierať štatistiky motora, nechajte to tak
# ak vytvoríte zoznam fór - odkomentujte
moje $data ;
$data .= $_ while (<>
)
;
# skontrolujte, koľko bolo Powered by phpBB bez odkazu v päte Tento a ďalšie skripty uvedené v príspevku nájdete v tomto archíve. Skript which-forum.pl skúma kód stránky html na prítomnosť podpisov nástroja fóra. Pri definovaní WordPress a Joomla sme použili podobnú techniku, ale existuje niekoľko rozdielov. Po prvé, samotný skript nenačíta kód stránky, ale načíta ho z stdin alebo súboru odovzdaného ako argument. To nám umožňuje stiahnuť si stránku raz, napríklad pomocou wget, a potom ju spustiť cez niekoľko parserov, ak ich máme viac. Po druhé, v tomto skripte je prítomnosť podpisu 100% znakom motora. Naposledy prítomnosť podpisu dodala váhu iba zodpovedajúcemu motoru a „vyhrala“ motor s najvyššou hmotnosťou. Rozhodol som sa, že v tomto prípade by takýto prístup len zbytočne skomplikoval kód. Aby som otestoval scenár, urobil som si malý prieskum. Zostavil som zoznam niekoľkých tisícok fór a každé z nich som spustil cez svoj skript, čím som určil percento aktivácií programu a popularitu rôznych motorov. Na získanie zoznamu fór som použil môj analyzátor Google. Vyhľadávaciemu nástroju boli odoslané dopyty ako site:forum.*.ru a tak ďalej. Kompletný kód generátora dotazov nájdete v súbore gen-forumsearch-urls.pl. Okrem zóny .ru sa používali aj .su, .ua, .kz a .by. Naposledy bolo ťažké vykonať takúto štúdiu, pretože stránky WordPress a Joomla takéto podpisy v adrese URL nemajú. Katalógy ako cmsmagazine.ru/catalogue/ neposkytujú dostatočnú veľkosť vzorky. Čo je 600 stránok na Drupale? Musím priznať, že výsledky experimentu ma sklamali. Z 12 590 skúmaných miest sa podarilo identifikovať iba 7 083 motorov, teda len v 56 % prípadov. Možno som nebral do úvahy nejaký motor? Stál Bitrix na polovici fór? Alebo som mal stráviť viac času hľadaním podpisov? Vo všeobecnosti je tu potrebný ďalší výskum. Spomedzi 56 % úspešne identifikovaných motorov boli podľa očakávania najobľúbenejšie IPB (31 %), phpBB (26,6 %) a vBulletin (26,5 %). Tesne za nimi nasledujú SMF (5,8 %) a DLEForum (5,3 %). Môj obľúbený punBB bol až na 6. mieste (1,64 %). Nedoporučoval by som silne dôverovať týmto číslam (hovoria, že každé tretie fórum v Runete funguje na IPB), ale určité závery sa, samozrejme, dajú vyvodiť. Napríklad, ak máte v úmysle vytvoriť stránku na nástroji fóra a plánujete upraviť fórum, povedzme, zaplatiť používateľom 0,01 $ za každú správu s automatickým výberom prostriedkov raz týždenne, mali by ste si vybrať jeden z troch najpopulárnejších nástrojov . Čím je fórum populárnejšie, tým je pravdepodobnejšie, že sa nájde programátor, ktorý sa v ňom dobre vyzná. Ak sa neočakávajú žiadne výrazné zmeny v motore, potom môže mať zmysel vybrať si menej populárny motor, ako napríklad SMF alebo punBB. Týmto spôsobom znížite počet hackerských útokov na vaše fórum a množstvo automaticky odosielaného spamu. Skripty na vyhľadávanie/definovanie fór môžu nájsť aj viac ako jedno praktické využitie. Prvé, čo ma osobne napadlo, bolo zoradiť identifikované fóra podľa TCI a umiestniť príspevky s odkazmi na niektorú z ich stránok do prvej stovky. Sto odkazov dofollow fóra však nijako neovplyvnilo TIC (prešli 2 aktualizácie), takže je lepšie nestrácať čas tu, pokiaľ nemáte záujem o prechody. Je jasné, že menované využitie skriptov nie je zďaleka jediné. Myslím, že môžete ľahko zistiť, ako inak ich môžete použiť. Organizuje Botmaster Labs, nie je plánované. Nie je čas, video je potrebné na súťaž, ako nový trend, aj keď je jednoduchšie vysvetliť všetko pomocou dobrých snímok obrazovky (moje IMHO) a naozaj nechcem nič natáčať. Výnosných tém ostalo veľmi málo, tupý spam už nevládne vôbec, tu treba rozmýšľať a tému nikto nevystrelí, ak to len tí zastaralí skúsia dať do krásneho obalu a trochu prepudrovať. :) Ale toto nie je o nás. Vo všeobecnosti sa tieto 3 „nie“, myslím, v podstate pre väčšinu potenciálnych účastníkov stali prekážkami účasti v súťaži. Je to ako s opravou auta z troch: lacno, kvalitne, rýchlo - v servise dokážu splniť len 2 podmienky súčasne. sadnite si a vyberte si, čo je vám bližšie. :) Rovnako je to aj so súťažou: Mám čas, môžem natočiť video, ale téma nie je, alebo môžem urobiť video, mám tému, ale vôbec nemám čas, resp. voľný čas a je tu malá téma, ale video desí. Ale je dobré, ak sú splnené 2 podmienky súčasne. Dobre, nechajme texty. Budem pokračovať v sebe. Nemal som to v pláne, tak sa zapojím do súťaže, dokonca som si vybral, za ktorý článok budem hlasovať. Hovorte, čo chcete, ale Doz pozná softvér veľmi dobre a vie ho veľmi rozumne používať. Ale dnes som sa dozvedel, že v súťaži sa objavili intrigy. Ukázalo sa, že nebudem môcť hlasovať, ale môžu to urobiť iba začiatočníci, ktorí si softvér zakúpili v roku 2011 a súťaž je určená pre nich. Bol som trochu prekvapený, ale majiteľ je gentleman. Súťaž je reklamná kampaň a Alexander vie lepšie, ako ju viesť. Vo všeobecnosti som sa potom rozhodol uverejniť článok, je to o niečo jednoduchšie napísať, keď je jasné, pre koho to v skutočnosti nie je možné urobiť pre celú kolektívnu farmu. Beží na php-Fusion Vo verzii Chrumer 7.07 bol program trénovaný s niekoľkými novými motormi: forumi.biz, forumb.biz, 1forum.biz, 7forum.biz atď. phpBB-fr.com, téma Solaris phpBB A proces učenia sa nových vecí neustále pokračuje. Beží na SMF 1.1.2 Beží na SMF 1.1.3 Poháňané SMF 1.1 RC2 Beží na SMF 1.1.4 Beží na SMF 1.1.8 Beží na SMF 1.1.7 "2006-2008, Simple Machines LLC" A to nie je všetko. Pri zbieraní verzií motorov nájdeme na niektorých fórach SMF v päte previs „2001-2006, Lewis Media“. Túto požiadavku preverujeme, taktiež nám plne vyhovuje. Nájdeme podobný dotaz: „2001-2005, Lewis Media“. V pätách ďalej nájdeme nasledujúcu požiadavku: „SMFone design by A.M.A, ported to SMF 1.1“. Pozrite sa na to - skvelé. A tak ďalej. Polhodina práce a na engine máte nádhernú databázu dopytov a na tieto dopyty bude Google banovať oveľa menej často, ako keď v nich použijete operátorov. A zároveň bude vaša databáza oveľa čistejšia, ako keď použijete dopyty ako "index.php?topic=", pretože tu Google dá nielen fóra, ktoré potrebujeme, ale aj veľa zdrojov, kde sa dalo zanechať odkaz na tému fóra. Môžete sa hádať, hovoria, čo je na tom zlé? Iní nechali odkaz, takže môžeme. Ale! Odkazy môže zanechať nielen Hrumer, ale aj iné programy. okrem toho môžu byť špeciálne zaostrené na zanechanie komentárov v určitom zdroji, takzvanom vysoko špecializovanom softvéri, plus takéto odkazy môžu byť zanechané ručne. Opäť opakujem, nie je pre nás dôležité množstvo haraburdia, ale kvalita, základ aj tak zoženieme so správnymi požiadavkami. Výhodou tejto metódy je, že prakticky nebudete musieť konfigurovať sito-filter
伟哥 - viagra 吉他 - gitara 其他 - odpočinok 保险公司 - poistenie Vložte tieto kódy do súboru Words, aby ste ich nahradili: %E4%BC%9F%E5%93%A5 %E5%90%89%E4%BB%96 %E5%85%B6%E4%BB%96 %E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8 Ak propagujete stránku pre poistenie, potom uverejnením odkazu vo svojom profile na tematickom (!) sa na požiadanie nájde aj čínske fórum “ fórum SMF" 保险公司 bude veľmi dobrý.
vytlačiť "phpbb \n"
if ($data =~ /
# $data =~ /viewforum\.php\?[^""]*f=\d+/i alebo
$data =~ /phpBB\-SEO/i alebo
$data =~ /)
;
vytlačiť "ipb \n"
if ($data =~ /
$data =~ /
$data =~ /
$data =~ /index\.php\?[^""]*showforum=\d+/i)
;
vytlačiť "vbulletin \n"
if ($data =~ /Používa:?[^<]+vBulletin[^<]+(?:Version)?/i
alebo
$data =~ /)
;
vytlačiť "smf \n"
if ($data =~ /
$data =~ /index\.php\?[^""]*board=\d+\.0/i)
;
vytlačiť „punbb \n"
if ($data =~ /
# $data =~ /viewforum\.php\?[^""]*id=\d+/i);
tlač "fluxbb \n"
# if($data =~ /viewtopic\.php\?id=\d+/i alebo
if ( $data =~ /
vytlačiť "exbb \n"
if ($data =~ /
# $data =~ /forums\.php\?[^""]*forum=\d+/i);
vytlačiť "yabb \n"
if ($data =~ /
$data =~ /YaBB\.pl\?[^""]*num=\d+/i );
vytlačiť „dleforum \n"
if ($data =~ /\(Používa fórum DLE\)<\/title>/i alebo
$data =~ /
vytlačiť "ikonu \n"
if ($data =~ /
$data =~ /\n"
if ($data =~ /
# if($data =~ /forums\.php\?fid=\d+/i alebo
# $data =~ /topic\.php\?fid=\d+/i alebo
if ($data =~ /
vytlačiť „stokesit \n"
# if($data =~ /forum\.php\?f=\d+/i alebo
if ($data =~ /
vytlačiť „pódium \n"
# if($data =~ /topic\.php\?t=\d+/i alebo
if ($data =~ /
print "usebb \n"
# if($data =~ /forum\.php\?id=\d+/i alebo
if ($data =~ /
vytlačiť "wrforum \n"
# if($data =~ /index\.php\?fid=\d+/i alebo
if ($data =~ /
vytlačiť „etanotherforumnet \n"
if ($data =~ /Ešte ďalšie fórum\.net/i alebo
$data =~ /default\.aspx\?g=posts&t=\d+/i)
;
site:talk.*.ru
site:board.*.ru
site:smf.*.ru
site:phpbb.*.ru
....
Dlhý úvod sa skončil, teraz k veci.
Čo potrebuje začiatočník, keď si zaobstaral taký superkombajn, ktorým je komplex Xrumer + Hrefer? Presne tak, naučte sa na tom pracovať a zahoďte ilúziu, že tým, že začnete spamovať listy, môžete zarobiť peniaze. Ak si to myslíte, darujte svoje peniaze hneď na charitu. Musíte sa naučiť, ako používať nástroje komplexu, najlepšie na ostrenie pre seba. Čas „viac brať – viac hodiť“ sa skončil. Kvantita ustupuje kvalite. Základ si teda zoženieme pre seba, neučíme sa, ako na to – zapadneš za vlakom. Khrefer nám s tým samozrejme pomôže. Ak plánujete propagovať svoje zdroje na Googli, musíme tiež hľadať darcovské stránky cez Google. Myslím, že je to pochopiteľné a logické. Google ako pani medenej hory však svoje bohatstvo nerozdáva každému. Chce to prístup. Chcel by som hneď povedať, že nedúfajte, že podľa znakov, ktoré nájdete na verejnosti, budete môcť niečo zbierať. Preto sú verejne dostupné, pretože sú bezcenné. Tému nebudem ďalej rozvíjať. Je lepšie vám povedať, ako to správne zostaviť, aby ste videli výsledok, zvyšok si dokončíte sami, hlavnou vecou je pochopiť princíp. Je potrebné zbierať podľa toho správneho podľa znakov konkrétnych motorov, ktoré potrebujeme, a nie podľa znakov fór všeobecne. Toto je hlavná chyba začiatočníkov – nesústrediť sa na konkrétnu vec, ale snažiť sa obsiahnuť všetko ako celok. A predsa, ak chcete analyzovať viac-menej normálnu základňu, odmietnite používať operátory v dopytoch. Žiadne "inurl:", "site:", "title" atď. Google okamžite zakáže vyhľadávačov, ako ste vy. Preto pozorne študujeme motory, s ktorými Chrumer v súčasnosti pracuje:
Vo všeobecnosti musíme pripraviť správne dotazy na analýzu Khreferom. Zoberme si forum dizhok ako príklad. Fóra SMF. A začneme ho rozoberať na časti na analýzu. Náš milovaný Google nám s tým pomôže. Zadanie dopytu Google Fóra SMF- veľa odpadkov v čísle, previňte sa na nejakú 13. stranu a vyberte ľubovoľný odkaz. Narazil som na tento: http://www.volcanohost.com/forum/index.php?topic=11.0 . Otvorme ho a preskúmajme. Na stránke musíme nájsť niečo charakteristické, čo sa dá použiť na vyhľadávanie iných stránok na tomto engine. V päte si všimneme nasledujúci nápis Beží na SMF 1.1.14, citujeme a zadávame do Google, ukazuje nám, že pre túto požiadavku vie asi 59 miliónov možností. Prelistujeme si odkazy, pridáme k tomuto kľúčovému slovu niekoľko ďalších možností, napr. "Powered by SMF 1.1.14" topoľ alebo Beží na SMF 1.1.14 viagra. Sme presvedčení, že požiadavka je šik, vo vydávaní iba fór a takmer žiadneho odpadu pre vás.
Okrem toho nás nezaujíma kvantita, ale kvalita, ako som povedal vyššie. Pokračuj. Z toho istého fóra berieme ďalšiu frázu z päty: , tiež ho citovať a posielať ho Googlu. V odpovedi prezrádza, že pozná viac ako 13 miliónov výsledkov. Opäť prelistujeme výstup, pridáme ďalšie slová a skontrolujeme výstup s nimi. Dbáme na to, aby bola požiadavka výborná a tiež tam neboli takmer žiadne odpadky. Vo všeobecnosti už existujú 2 požiadavky na železo. Navrhujem, aby prvé fórum bolo zatiaľ ponechané na pokoji a pokračovalo v zhromažďovaní žiadostí z iných fór. Našťastie je Google otvorený na požiadanie 2006-2008 Simple Machines LLC. Z problematiky berieme napríklad tieto fóra: http://www.snowlinks.ru/forum/index.php?topic=1062.0 a http://litputnik.ru/forum/index.php?action=printpage; topic=380.0 v pätičke od nich preberáme tieto požiadavky: "Powered by SMF 1.1.7" a "Powered by SMF 1.1.10" (vždy vám odporúčam riadiť požiadavky na Khrefer v úvodzovkách, pretože potrebujeme predovšetkým kvalitu všetky). Myslím, že je jasné, čo robíme, nakoniec budeme mať určitú databázu dopytov na vyhľadávanie fór na engine SMF (bolo to vybrané ako príklad, so zvyškom motorov je to podobné).
Bude to vyzerať asi takto: 
Myslím si, že je veľmi dôležité naučiť sa správne používať Chrefer v počiatočnej fáze, pretože keď sa to naučíte, vždy môžete nájsť využitie pre Chrumer, bez ohľadu na to, ako sa situácia zmení. Ochrany sú čoraz komplikovanejšie a ak bola ochrana posilnená na niektorých typoch motorov a Khrumer si s tým momentálne nevie poradiť, potom nemá zmysel plytvať zdrojmi na zhromažďovanie týchto odkazov a potom na nich pracovať s Khrumerom. je lepšie zamerať sa na to, čo dáva výsledok. A zároveň, ak tím Botmaster Labs naučil Chrumera niečo nové, môžete rýchlo vypreparovať nového pacienta a pripraviť Chrumerovu základňu, kým je pacient ešte teplý. Čas sú peniaze, zdroj už nemusí byť relevantný, keď si kúpite základňu. zhromaždené niekým. Okrem toho správna zbierka základov pre seba výrazne rozširuje "biele" použitie Khrumer. A presne tu sa všetko hýbe, či chceme alebo nie, ale prebieha proces bielenia či šedivenia. Čierne obliečky na všetko, čo môžete preniesť do minulosti.
Všetky ostatné, už technické aspekty práce s Hreferom si môžete pozrieť v pomocníkovi a nemá zmysel sa nimi zaoberať, všetky ciele-body-sekundy sú nastavené empiricky pre každé auto individuálne.
Ako bonus sem zverejním šablónu na analýzu čínskeho vyhľadávača Baidu, nedávno sa ma na to spýtali, tak som to urobil medzičasom, prepáčte za slovnú hračku. :)
Názov hostiteľa=http://www.baidu.com
Dotaz=s?wd=
LinksMask=
Celkový počet strán=100
NextPage=
NextPage2=
CaptchaURL=
CaptchaImage=
CaptchaField=
Pokúsil som sa ich otestovať, nebol tam žiadny zákaz, Khrefer rýchlo zhromaždil zdroje, všetky žiadosti o analýzu boli podobné tým od Googlu, ale bolo tam veľa čínskych zdrojov a s vysokým PR a okrem toho tam bolo veľa miest kam Európania nevkročili. Je lepšie analyzovať s čínskymi požiadavkami. Pomôže vám s tým Google Translate, ktorý napíše zoznam kľúčových slov v ruštine a preloží ho do čínštiny. Pravda v slová„Chreferove slová sa v čínštine nedajú spojiť, musia sa prekódovať.
Namiesto čínštiny: 
Na záver by som chcel povedať, že som nikdy nerozumel ľuďom, ktorí sa sťažovali, že Khrefers sú zlí alebo neanalyzujú, vždy som to chcel povedať, len neviete, ako ich variť. Ani jeden analyzátor nie je lepší ako referrer, len musí byť správny. Hrefer je auto: dobré, pevné, vyrobené v nemčine, ale ovláda ho človek a všetko závisí od toho, ako inteligentne sa s ním jazdí, nemôžete nútiť auto, aby išlo súčasne doprava a doľava.
Samostatnou témou je čistenie základní, ja som raz pred 3 rokmi na predchádzajúcej súťaži. Odtiaľ je všetko stále relevantné, ale teraz môžete odmietnuť skontrolovať 200 OK, tento proces sa mi naozaj nepáčil, chyby boli veľmi veľké, odfiltrovalo sa veľa nadbytočných. Teraz to možno urobiť takmer automaticky počas práce Chrumera, hoci tento proces nie je úplným analógom kontroly „200 OK“. Vo všeobecnosti k veci: nie je to tak dávno, čo sa v Khrumeri objavila úžasná príležitosť - okradnúť informácie zo zdrojov v čase behu projektu. Vyzerá to takto. Vložíte šablónu, ktorá sa počas práce spracuje a informácie zozbierané podľa šablóny sa zapíšu do súboru xgrabbed.txt v priečinku Logs. Túto funkciu môžete použiť na čokoľvek, úlet fantázie je obrovský. Túto funkciu používam raz týždenne na odstránenie odkazov z „vypršanej“ pracovnej základne. Nie je žiadnym tajomstvom, že fóra každý deň odumierajú, aby sa základňa vyčistila od takýchto zdrojov a nástroj "Autograbbing" nám v tomto prípade pomôže.
Koniec koncov, musíte uznať, že často napíšete napríklad http://www.laptopace.com/index.php, vidíme, že táto doména je už napríklad goudyadya, ale neexistuje tam žiadne fórum. Aby sme teda tento šľak vyhádzali zo základne, budeme rabovať. :) Otvoríme zdrojový kód stránky a vidíme tam tento záznam:
Teraz nám budú všetci „mŕtvi“ z goudaddi známi po mene.
Tu je malý výber pre nástroj "Autograbbing", ak chcete vyčistiť databázu z rôznych "expirovaných" domén: