Typo3 - Optimierung der Indexed Search mittels Site Crawler

Homepages, CMS, Templates, Web Based Programming, Webhosting, Gameserver

Moderatoren: coolmann, chillmensch

Benutzeravatar
schmidtsmikey
Site Admin
Beiträge: 8969
Registriert: 08.12.2003, 21:50
Wohnort: Hamburg
Kontaktdaten:

Typo3 - Optimierung der Indexed Search mittels Site Crawler

Beitragvon schmidtsmikey » 21.10.2010, 06:49

Webseiten-Administratoren, welche Typo3 als Redaktionssystem einsetzen, können sich über eine umfangreiche Suchfunktion freuen. Indexed_Search lautet die System-Extension, die neben Webseiten-Inhalten auch Dokumente (PDF, DOC, RTF, uvm) indizieren kann. Leider kann Indexed_Search zu überfüllten Datenbanken und einer langsamen Performance des Webservers führen, da sich der Suchindex mit der Zeit immer mehr aufbläht. Auffälligstes Anzeichen ist die übergroße Tabelle index_rel.

Auf PC-Erfahrung.de führte dies zu einer quälend langsamen Suche, welche fast eine komplette Minute benötigte, bevor die Suchtreffer ausgegeben wurde. Dieses Problem wurde nun aber mithilfe der Extension Site Crawler behoben, indem die Index-Tabellen automatisiert geleert und anschließend mit dem Crawler wieder mit neuen Daten gefüllt werden.

In folgendem Artikel wird Installation und Konfiguration der Site Crawler Extension detailliert erläutert:
Typo3 : Site Crawler Installation, Anleitung zur Installation und Konfiguration

andy-man
Beiträge: 4
Registriert: 04.09.2012, 07:04

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon andy-man » 04.09.2012, 07:11

Hallo,
ich bin dabei mich in Typo3 einzuarbeiten und habe den Crawler installiert, so wie beschrieben.
• Den Inhalt aus den beschriebenen Tabellen habe ich gelöscht.
• Die beider Dateien typo3-clear-index.sh, typo3-clear-index.sql habe ich unter user/wwwrun mit den angegebenen Inhalten gespeichert – 1 Frage – Ist das der richtige Ort?
• Den Crawler installiert und konfiguriert wie beschrieben( indexall)
• Das Script ist mit meinem Pfad ergänzt:
o /var/www/typo3.abs-erp.de/htdocs/typo3/cli_dispatch.phpsh crawler_im 1 -d 99 -conf indexall -o queue

Leider kommt dann die Meldung:

PHP Deprecated: Comments starting with '#' are deprecated in /etc/php5/cli/conf.d/imagick.ini on line 1 in Unknown on line 0
PHP Deprecated: Comments starting with '#' are deprecated in /etc/php5/cli/conf.d/mcrypt.ini on line 1 in Unknown on line 0
PHP Fatal error: Call to protected method tx_realurl::setConfig() from context 'tx_crawler_lib' in /var/www/typo3.abs-erp.de/htdocs/typo3conf/ext/crawler/class.tx_crawler_lib.php on line 272

Was läuft da nich so :-}ß

Muss noch etwas angepasst werden?

Danke für die Hilfe im voraus.

andy-man

Benutzeravatar
schmidtsmikey
Site Admin
Beiträge: 8969
Registriert: 08.12.2003, 21:50
Wohnort: Hamburg
Kontaktdaten:

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon schmidtsmikey » 04.09.2012, 17:19

Hi Andy,

herzlich Willkommen in unserem Forum ;-)

andy-man hat geschrieben:Hallo,
ich bin dabei mich in Typo3 einzuarbeiten und habe den Crawler installiert, so wie beschrieben.
• Den Inhalt aus den beschriebenen Tabellen habe ich gelöscht.

Sehr gut. Die genannten Tabellen kannst Du problemlos leeren, da sie wieder gefüllt werden, wenn eine Seite aufgerufen wird. Da Du nicht jede Seite Deines Webprojektes einzelnd aufrufen willst, kommt der Crawler zum Einsatz.

• Die beider Dateien typo3-clear-index.sh, typo3-clear-index.sql habe ich unter user/wwwrun mit den angegebenen Inhalten gespeichert – 1 Frage – Ist das der richtige Ort?

Die beiden Dateien können auf dem Server liegen, wo Du möchtest. typo3-clear-index.sh ist das eigentliche Skript, welches die SQL-Anweisungen in typo3-clear-index.sql. Lange Rede, kurzer Sinn: die Kombi aus beiden Dateien erledigt das Löschen der genannten Tabellen, was Du zuvor manuell erledigt hast.

Deine Aufgabe ist es nun, typo3-clear-index.sh von Deinem Linux-System automatisch ausführen zu lassen. Das macht man mittels Cron-Job (anderes Thema). Du kannst es manuell testen:

Code: Alles auswählen

cd /pfad/zu/den/dateien
# Skript ausführbar machen
chmod +x typo3-clear-index.sh
./typo3-clear-index.sh


Teil 1 "Löschen der Tabellen" ist fertig. nun zum nächsten Schritt: Tabellen wieder füllen.

• Den Crawler installiert und konfiguriert wie beschrieben( indexall)
• Das Script ist mit meinem Pfad ergänzt:
o /var/www/typo3.abs-erp.de/htdocs/typo3/cli_dispatch.phpsh crawler_im 1 -d 99 -conf indexall -o queue

Leider kommt dann die Meldung:

PHP Deprecated: Comments starting with '#' are deprecated in /etc/php5/cli/conf.d/imagick.ini on line 1 in Unknown on line 0
PHP Deprecated: Comments starting with '#' are deprecated in /etc/php5/cli/conf.d/mcrypt.ini on line 1 in Unknown on line 0
PHP Fatal error: Call to protected method tx_realurl::setConfig() from context 'tx_crawler_lib' in /var/www/typo3.abs-erp.de/htdocs/typo3conf/ext/crawler/class.tx_crawler_lib.php on line 272

Deprecated bedeutet in der Regel, dass die aktuelle PHP-Version eine bestimmte Funktion nicht mehr unterstützt. Welche PHP-Version nutzt Du denn?

Code: Alles auswählen

php --version

andy-man
Beiträge: 4
Registriert: 04.09.2012, 07:04

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon andy-man » 10.09.2012, 07:52

Guten Morgen,
vielen Dank für Deine Antwort.
auf dem Server ist die PHP Version 5.3.2-1ubuntu4.17 installiert.

Gruss andy-man

Benutzeravatar
schmidtsmikey
Site Admin
Beiträge: 8969
Registriert: 08.12.2003, 21:50
Wohnort: Hamburg
Kontaktdaten:

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon schmidtsmikey » 10.09.2012, 18:17

Scheint ein Bug bzw. Kompatibilitätsproblem zwischen real_url und site crawler zu sein. Das musst Du patchen

http://typo3-freelancer-berlin.de/typo3 ... nicht.html
http://bugs.typo3.org/view.php?id=14160

andy-man
Beiträge: 4
Registriert: 04.09.2012, 07:04

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon andy-man » 11.09.2012, 11:18

Hallo,
vielen Dank. Habe die beiden Dateien angepasst und ich bin ein Stück weiter :-}.
Jetzt kommt noch folgende Meldung nach absenden der Befehlszeile:

Code: Alles auswählen

 Call to undefined method t3lib_div::view_array() in /var/www/typo3.abs-erp.de/htdocs/typo3conf/ext/crawler/class.tx_crawler_lib.php on line 1728


Das ist bei mir jetzt folgende in der class.tx_crawler_lib.php:

Code: Alles auswählen

<td nowrap="nowrap">'.t3lib_div::view_array($confArray['subCfg']['procInstrParams.']).'</td>


Es gibt unter der Beschreibung von diesem Fehler unter der URL noch den Dateianhang T3X_user_crawler_realurlfix-0_0_0-z-201104071706.t3x. Was hat es damit aufsicht? Ich konnte ihn nicht öffnen oder über Typo3 implementieren.
http://bugs.typo3.org/view.php?id=14160

andy-man

andy-man
Beiträge: 4
Registriert: 04.09.2012, 07:04

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon andy-man » 11.09.2012, 13:15

Hallo,
hurra, ich habs :-}
die Zeile

Code: Alles auswählen

<td nowrap="nowrap">'.t3lib_div::view_array($confArray['subCfg']['procInstrParams.']).'</td>

ändern in

Code: Alles auswählen

<td nowrap="nowrap">'.t3lib_utility_Debug::viewArray($confArray['subCfg']['procInstrParams.']).'</td>


und alle Seiten werden aufgerufen und angezeigt.

Diese Infomation waren unter:
http://forge.typo3.org/attachments/21098/devlog.diff

nun geht es weiter :-}

Danke andy-man

Benutzeravatar
schmidtsmikey
Site Admin
Beiträge: 8969
Registriert: 08.12.2003, 21:50
Wohnort: Hamburg
Kontaktdaten:

Re: Typo3 - Optimierung der Indexed Search mittels Site Craw

Beitragvon schmidtsmikey » 11.09.2012, 14:16

Danke für Dein Feedback. Davon können andere ebenfalls profitieren...


Zurück zu „Webseiten, Webprogrammierung & Domains“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste