|
|
Robots.txt Editor
Robots.txt is een zichtbare
editor voor Robot Exclusion Bestanden en een log
analyser software. Het stelt een gebruiker in
staat om snel en gemakkelijk de Robots.txt
bestanden waar nodig te creeren om zoekmachine
spiders te instructeren, welke onderdelen van
een Web site niet dienen te worden geindexeerd
en zoekbaar gemaakt voor het algemene Web
publiek en dan om spiders te identificeren,
welke zich niet houden aan deze instructies. Het
programma biedt een gebruiker met een manier om
op zijn FTP of locaal netwerk server in te
loggen en dan selecteer de documenten en
directories welke niet zoekbaar zijn
gemaakt.
Robots.txt Editor programma zal u helpen om
uw Web site te optimaliseren en fijn af te
stellen voor zoekmachines. Geen tijd meer
verspillen met het creeren van uw Robots.txt
bestand met de hand en u af vragen of het
correct is geformateerd.
|
Door dit programma bent u in staat
om:
- Zichtbare industrie standaard Robots.txt
bestanden te genereren
- Identificeer kwaadwillige en ongewenste
spiders en verban ze van uw site
- Directe zoekmachine crawlers naar de
geschikte pagina's voor meerdere talen sites
- Hou spiders buiten de gevoelige en prive
gebieden van uw Web site
- Laad de correct geformatteerde robots.txt
bestand direct op naar uw FTP server niet
schakelen van Robots.txt Editor
- Track spider visits
- Create spider visits reports in HTML,
Microsoft Excel CSV and XML formats
Introduceer Web Robots en Robots.txt
Zoekmachines zoals Google en AltaVista
gebruiken Web spiders, ook bekend als robots of
crawlers of agents of wanderers of worms, om de
indexes voor hun zoek databestanden te creeren.
Deze robots analyseren HTML bomen door pagina's te
laden en hyperlinks te volgen, en zij rapporteren
de tekst en/of Meta tag informatie om zoek indexen
te creeren.
Robots.txt is een bestand dat spiders bekijken
voor informatie over hoe de site dient te worden
gecategoriseerd. Het is een ASCII tekst bestand
dat zit in het document root van de server. Het
definieert de documenten en/of directories spiders
zijn niet toegestaan om te indexeren.
De robot's activiteit geeft uw
site betere zichtbaarheid en vergroot verkeer.
Maar, uw site kan het volgende bevatten:
- prive informatie
- pagina's ontwerpen slechts voor clienten en
medewerkers
- pagina's in verschillende talen welke niet
zijn ondersteund door sommige zoekmachines
- Web pagina's geoptimaliseerd voor specifieke
zoekmachines
- multimedia bestanden en e-mail adressen
Natuurlijk, kunt u de toegang
tot deze bronnen beperken. U moet niet vergeten
dat:
- buitensporige spidering overloads op uw
server;
- indexing de gehele site kan uw positie bij
zoekmachines in gevaar brengen;
- zekere spiders indexeren slechts de eerste
twee of drie pagina's.
De robot exclusion protocol was
geintroduceerd door Martijn Koster in 1994 om
omtegaan met problemen dat is voortgekomen vanwege
de vergrote populariteit van het Internet en de
tol Web spiders hebben op systeem bronnen. Sommige
van de problemen werden veroorzaakt door robots
snel-afvurende verzoeken (pagina's laden in snelle
opeenvolging). Andere problemen waren de volgende:
robots indexeren informatie diep in de directory
bomen, tijdelijke informatie, en zelfs toegang tot
CGI-scripts. De robot exclusion protocol was snel
geadopteerd door webmasters en web robot makers
als een manier om het indexerings proces te
organiseren en te controleren.
Sinds toen, is de grootte van
het Internet drastisch vergroot en miljoenen
mensen gebruiken het nu. Het aantal Web robots
crawling het Web is veel groter dan voorheen en
het is belangrijker dan voorheen voor alle Web
sites om een goed gecreeerde en onderhoude
Robots.txt bestand.
Met Robots.txt Editor kunt u
robot exclusion bestanden creeren door alle
robotten te selecteren of een specifieke
gebruikers-agent en toevoegen van documenten en/of
directories door de pad namen handmatig in te
vullen of door ze te selecteren met gebruik van
FTP. Wanneer eenmaal al de beperkingen en
directives zijn ingestelt kunt u de Robots.txt
bestand bewaren op uw harde drive of het direct
opladen naar uw server.
Met de hulp van het programma kunt u de
volledige statistieken krijgen van robots welke de
pagina's van uw Web site bezoeken.
Spiders controleren met Robots.txt
Bestanden
Hoe kunt u controle krijgen
over robot indringers en maak ze bruikbaar voor uw
site?
Voordat u, uw site indexeert,
downloads de spider Robots.txt bestanden welke
instructies bevatten over wat mag en wat niet mag
worden geindexeerd. Daarom een sleutel om spiders
te controleren is de Robots.txt bestand. Als u een
grote Web site hebt of het vaakt update, creeren
en berwerken het zal hard en saai werk
zijn.
Robots.txt Editor is een
gemakkelijk te navigeren zichtbare editor dat u
instaat stelt om verschillende directives te
specificeren voor geselecteerde spiders in
specifieke gebieden van de site en genereert de
Robots.txt bestand snel en gemakkelijk. U hoeft
geen tijd te verspillen met het creeren van
Robots.txt bestanden met de hand en u af te vragen
of het is de correcte formaat! Samen gebruikt met
andere Web site
promotie software van Net Promoter, Robots.txt
Editor vergroot de efficientie en effectiviteit
van uw optimalisatie strategie.
- Selecteer met zoekmachine spiders om mee te
werken
- Voeg toe, bewerk of verwijder uw eigen
spiders
- Zichtbaar uw Robots.txt bestand bewerken
- Importeer bestaande Robots.txt bestanden
- Lees uw Web site structuur of locaal of van
de Web server
- Groepeer spiders op de hoofd taal of land en
stel de regels voor de groep op
- Programma bevat databestand van meer dan 150 US en
internationale spider gebruiker-agenten
identificeerders
Robots.txt Editor samen met FTP
Uplader en een aantal van andere handige functies,
maak op een krachtige en handige tool voor het
controleren van spiders op uw Web site.
Analyseer Spiders' Bezoeken Aan Uw Web
Site
Alle spider bezoeken zijn
genoteerd in een log bestand opgeslagen op uw
server. Opnieuw, ma u alle log bestanden handmatig
te beoordelen en uw databestand
samenstellen.
Maar waarom graaft u zichzelf
in, in dit saaie en tijdrovende taak? U kunt uw
voordeel doen met onze Log Analyser module dat u
in staat stel om te downloaden en log bestanden te
bewaren met informatie over spider bezoeken, en om
het te exporteren in een andere bestand formaat.
Behalve, de informatie zal worden gestructureerd.
U zult in staat zijn om de bezoeken op te sporen
van spiders op tijdsperiode of op specifieke
pagina's, en om rapporten te genereren door
verschillende criteria.
Deze informatie is extreem
handig wanneer u, uw Web site promoot voor
belangrijke zoekmachines over de gehele wereld. U
weet exact wanneer de spider of robot bezoeken, en
wat pagina's op uw Web site zijn geindexeerd. U
hoeft niet te schatten en proberen te ontcijferen
als een nieuwe pagina was geindexeerd door een
zoekmachine spider of niet. Uw log bestand bevat
al deze informatie.
Spider Log Analyser
- Gebruikt log bestand analyse om spider
bezoeken op te sporen en pagina's geindexeerd
- Bied log bestand analyse voor onbeperkte
aantal log bestanden op hetzelfde moment
- Mijn log bestanden of locaal of via FTP
- Staat browsen van uw Web server toe via FTP
om uw log bestand te vinden
- Ondersteunt samengedrukte log bestanden
- Ondersteunt log bestanden van Windows, Linux
en MAC Web servers
- Kan nieuwe spiders toevoegen gevonden op uw
Web site aan Robots.txt Editor
- Bespeurt automatisch uw log bestand formaat,
en in een apart geval waar het niet kan, u kunt
de formaat profiel handmatig specificeren in de
Profiel Manager
- Geeft de zichtbare pagina's aan verzocht
door spiders als een fout (b.v., 404 Niett
Gevonden) en doorverwijs verzoeken
- Geeft pagina's en images aan waar toegang
tot was verkregen tegen de regels van het
project Robots.txt bestand
- Exporteert spider en pagina bezoeken in
Microsoft Excel CSV (Comma Separated Values)
bestand of XML formaat bestand
- Exporteert rauwe log entries van spider
bezoeken aan W3C Extended Log Bestand
- Exporteert alle spider IP adressen zo dat ze
kunnen worden gebruikt door bedekkende software
- Biedt printbare persoonlijke rapporten in
HTML formaat
Lees
Robots.txt Editor handleiding  | 
