Das automatisierte Abfragen der Suchergebnisse von Google und Yahoo ist dank der gut dokumentierten Schnittstellen kein Problem. Man bekommt leicht zu parsenden XML oder JSON Code zurück und kann dann die Daten weiterverarbeiten ohne den HTML Code parsen zu müssen. Klingt also vielversprechend.
Bei einem ersten Test habe ich dann aber festgestellt, dass sowohl Google als auch Yahoo einige Limitierungen bezüglich der API haben und es nicht ohne weiteres möglich ist, einem Skript eine Liste von Suchbegriffen hinzuwerfen und dann mit Hilfe der API den Index bei Google und Yahoo auszulesen. Schade, aber das war ja auch zu erwarten.
So bekommt man von Google nach eine gewissen Anzahl von Request nur noch den folgenden JSON String zurück:
{”responseData”: null, “responseDetails”: “Suspected Terms of Service Abuse. Please see http://code.google.com/apis/errors”, “responseStatus”: 403}
und Yahoo gibt statt der erwarteten XML Daten einfach ein HTML Dokument mit dem Error 999 zurück. Ein Blick in diese HTML Datei zeigt, dass Yahoo nicht mehr auf meine Anfragen antwortet. Yahoo Error “Unable to process request at this time — error 999″.
OK, verwunderlich ist die Tatsache, dass hier ein Riegel [...]

Ich nutze schon seit langem den WEB.DE Club SmartDrive Online-Speicher und habe nun nach einer Lösung gesucht, den Speicher direkt unter Linux zu mounten. Dabei bin ich auf wdfs gestoßen und habe einfach mal wdfs über yast installiert und dann das folgende Kommando aufgerufen.

wdfs https://webdav.smartdrive.web.de/ ./web.de -o [email protected] -o password=PASSWORT

Das hat auf Anhieb funktioniert und nun kann ich meinen WEB.DE Club SmartDrive Online-Speicher wie meinen lokalen Plattenplatz nutzen. Natürlich ist der Speicher nicht unbegrenzt groß, aber laut Web.de wächst der Speicher ja mit. Zitat: “…profitieren vom exklusiven Club SmartDrive mit unbegrenztem* Speicherplatz und mehr Komfort…”. Klar hat der Stern einen kleinen Haken. Es bedeutet, dass man erst mal nur 4GB bekommt und der Speicher dann monatlich entsprechend um jeweils 1 Gigabyte kostenlos erweitern kann. Da ich das aber in den letzten Monaten immer gemacht habe, ist mein Speicher schon recht groß und ich kann schon ein paar Daten dort ablegen. Alles in allem also eine sehr elegante Lösung mit dem wdfs unter Linux per WebDAV eine externe Platte zu nutzen. Nun stellt sich nur noch die Frage, was nach einem [...]

Natürlich niemandem. Es ist ja ein verteiltes Netz, das nicht unter Kontrolle einer Regierung oder Organisation steht. Aber es stellt sich ja die Frage, wem gehören eigentlich all die Server, die im Internet so stehen. Unter http://www.intac.net/a-comparison-of-dedicated-servers-by-company_2010-04-13/ findet man hierzu eine (leider sehr unübersichtliche) Grafik, die hier einen groben Überblick gibt, wem die meisten Server im Internet gehören. Natürlich ist es nicht überraschend, dass Google mit weit über 1.000.000 Servern hier ganz weit vorne ist. Aber es gibt noch andere Firmen, die ich hier nicht erwartet hätte. Z.B. Intel mit ca. 100.000 Servern ist auch in der ersten Liga mit dabei.

Nachdem ich ja nun seit einiger Zeit auch einen Mac besitze. Ohne kann man ja leider nicht für das iPhone Entwickeln… habe ich ständig kleinere und größere Problem, die mir das Leben nicht leichter machen. Ein Problem ist, dass ich viele Archive mit der libdes verschlüsselt habe und nun von meinem Mac aus darauf zugreifen möchte. Ja ja, ich weiß. Die libdes ist überholt und selbst Suse hat die libdes nicht mehr in der Distribution. Egal, ich habe viele alte shell Scripte die mit der libdes arbeiten und ich habe noch mehr alte Archive die mit des verschlüsselt wurden. Da libdes ja im Sourcecode vorliegt und MacOS ja irgendwie auch ein Linux/Unix ist, habe ich dann also einfach auf Basis der libdes scr Pakete von http://rpm.pbone.net/index.php3/stat/4/idpl/516492/com/libdes-4.04b-2.i386.rpm.html eine Mac Version der libdes erstellt. Da make und gcc installiert sind ist das kein großes Problem. Ich musste nur ein wenig mit der termio.h machen. Die es bei MacOS leider nicht gibt. Dafür gibt es aber termios.h und die kann man bei der libdes auch verwenden.
read_pwd.c:109:20: error: termio.h: No such file or directory
read_pwd.c: [...]

Mal abgesehen davon, dass der manuelle/automatische Eintrag in Suchmaschinen Schwachsinn ist, da die wichtigen Suchmaschinen von ganz alleine neue Domains finden und diese in ihren Index aufnehmen. Ein Suchmaschineneintrag ist also Zeitverschendung Schwachsinn.
Aber darum geht es nicht. Es geht hier darum, zu testen, wie schnell man eine neue Phrase in Google Suggest einfügen kann. Daher sind hier alle Besucher dazu aufgerufen, auf Google.de nach “Suchmaschineneintrag ist Schwachsinn” zu suchen, einen Eintrag in der Liste der Ergebnisse anzuklicken und dann min. 10 Sekunden auf der Seite zu bleiben, ohne zu Google.de zurück zu gehen.
Mal sehen, wie lange es dauert, bis “Suchmaschineneintrag ist Schwachsinn” in der Google Suggest Liste auftaucht.
PS: Hier noch ein Link zu den Ergebnissen:
http://google.com/complete/search?output=toolbar&q=Suchmaschineneintrag+ist

Das ist jetzt aber ein wenig komisch … da macht man mal ein paar Whois Abfragen auf der denic.de Homepage und bekommt dann nach weniger als 10 Requests die Meldung:
Whois: ACL reached.
Eine Erläuterung sucht man vergebens und auch Google spuckt dazu nicht viel aus. Na ja, es geht natürlich auch von der Konsole aus indem man das Kommando
whois testdomain.de
eingibt. Aber was, wenn es sich um eine Umlautdomain habdelt? Da fängt die Schwierigkeit an. Aber kein Problem. Einfach den Domainname umwandeln in eine
Das geht auch online. Gefunden habe ich einen sehr schönen und einfachen Umlaut-Domain Konverter mit dem man eine Domain wie z.B. würfel.de nach xn--wrfel-kva.de konvertieren kann. Mit dieser Domain kann man dann auch wieder eine whois aufrufen
whois xn--wrfel-kva.de
und die denic.de Seite mit dem komischen Fehler “Whois: ACL reached.” kann mir gesohlen bleieben :-).
Fairerweise muss man aber dazu sagen, dass die Abkürzung ACL auch bei Wikipedia nachgeschlagen werden kann.
http://de.wikipedia.org/wiki/Access_Control_List.

AWStats ist ein Logfile-Analyzer der in perl geschrieben ist und einige Auswertungen hat.
- Besuche
- unterschiedliche Besucher
- Seiten, Zugriffe (Hits)
- Transfervolumen
- Jahresübersicht
- Monatsübersicht
- Wochentage
- Tageszeit
- Domains/Länder
- Rechner
- Robots/Spider
- Aufenthaltsdauer
- Dateitypen
- Seiten (URL)
- Betriebssysteme
- Browser
- Referrer
- Suchmaschinen
- Suchbegriffe
- HTTP-Fehlercodes
Es ist vor allem zur Echtzeitanalyse gedacht, aber bietet auch die Möglichkeit, statische HTML Seiten zu erzeugen. Genau das habe ich vor und daher (und weil es Open Source ist) habe ich mich für awstats entschieden.
Ich lade mir also das RPM Paket herunter und installiere es wie folgt.
rpm -i awstats-6.95-1.noarch.rpm
—– AWStats 6.95 - Laurent Destailleur —–
AWStats files have been installed in /usr/local/awstats
If first install, follow instructions in documentation
(/usr/local/awstats/docs/index.html) to setup AWStats in 3 steps:
Step 1 : Install and Setup with awstats_configure.pl (or manually)
Step 2 : Build/Update Statistics with awstats.pl
Step 3 : Read Statistics
Setup:
1. /usr/local/awstats/tools/awstats_configure.pl
—– AWStats awstats_configure 1.0 (build 1.8) (c) Laurent Destailleur —–
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:
- You are not an administrator user,
- You want to analyze downloaded log [...]

Was ist das denn?
127.0.0.1 - - [30/Mar/2010:16:25:14 +0200] “OPTIONS * HTTP/1.0″ 200 - “-” “Apache/2.2.12 (Unix) DAV/2 PHP/5.3.0 mod_apreq2-20051231/2.6.0 mod_perl/2.0.4 Perl/v5.10.0 (internal dummy connection)”
Habe ich doch tatsächlich in meinen Logfiles entdeckt. Da wird mir im ersten Moment aber ganz komisch. Ein OPTIONS Request von 127.0.0.1 ?? Erst denke ich an einen Angriff von einem Hacker, einen Virus, einen Wurm einen IRC Bot oder Sonstwas, aber der hätte sich bestimmt nicht so dumm angestellt. Also erst mal die Google Suche nach “internal dummy connection” bemühen und ein wenig lesen.
Gefunden habe ich folgendes:
http://blog.schoko.org/?title=internal_dummy_connection&more=1&c=1&tb=1&pb=1
Also alles halb so schlimm und wenn dieses tolle Feature meine Logfiles zumüllen will, dann habe ich nichts dagegen. Allerdings teile ich die Meinung von Nick. “Ja geht’s denn noch doofer??”

Die Authentifizierung über das Public Key hat bei der Secure Shell (OpenSSH) eine große Bedeutung und ist deutlich sicherer als das Verfahren über Login/Passwort. In diesem kurzen Beitrag beschreibe ich, wie man OpenSSH so konfiguriert, dass man die PublicKey Authentifizierung nutzt.
Für das Public Key Verfahren müssen zwischen Client und Server die Schlüssel ausgetauscht werden. Um einen solchen Schlüssel zu erstellen geht man folgendermaßen vor:

cd ~
mkdir .ssh
cd .ssh
ssh-keygen –q –f id_rsa –t rsa

Mit dem Befehl werden die Schlüssel generiert. Die wiederum mit einem Passwort geschützt werden können. Ich empfehle hier das Passwort nicht leer zu lassen. Der Private Schlüssel sollte auf jeden Fall gut aufbewahrt werden und darf nicht in falsche Hände geraten, da mit diesem Schlüssel der Zugriff auf den Server möglich ist.
Um den Zugriff zu ermöglichen, muss der öffentliche Teil des Schlüssels „id_rsa.pub“ auf dem Server installiert werden. Dazu wird die Datei per SSH auf den Server kopiert und in die „authorized_keys“ eingetragen. Dazu geht man wie folgt vor:

scp ~/.ssh/id_rsa.pub meinserver:
ssh –l username meinserver
mkdir ~/.ssh
chmod 700 ~/.ssh
cd ~/.ssh
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
rm ~/id_rsa.pub

Jetzt kann man mit dem Schlüssel [...]

PHP 5.3 ist ja nun nicht gerade nagelneu und ich habe schon letztes Jahr meine Server auf PHP 5.3 umgestellt. OK, ich habe es damals schon bereut, aber jetzt lege ich noch einen drauf. Für ein PHP Skript. das mit dem Zend Guard encoded wurde, benötige ich also jetzt den Zend Optimizer für PHP 5.3. Also schnell den Zend Optimizer heruntergeladen und dann in das README geschaut…
Schritt 2 beschreibt die einfache Möglichkeit, den Zend Optimizer zu installieren…
Zitat:
2. Locate the ZendOptimizer.so (Unix) or ZendOptimizer.dll (Windows) file in the directory which corresponds to your version of PHP (4.3.x, 4.4.x, 5.0.x, 5.1.x, 5.2.x).
Doch PHP 5.3 sucht man vergebens … aber was soll‘s, ich habe es dann mit der 5.2.x Version probiert und meinen Server neu gestartet. Beim Start des Apache erhalte ich dann folgende Meldung.
Zend Optimizer requires Zend Engine API version 220060519.
The Zend Engine API version 220090626 which is installed, is newer.
Contact Zend Technologies at http://www.zend.com/ for a later version of Zend Optimizer.
Na super, so wird das nichts mit mir und dem Zend Optimizer für PHP 5.3. Aber jetzt wieder auf PHP 5.2 [...]