Win7 - Programm gesucht zur Speicherung von Webseiten mit Unterseiten

[baustelle100a]

Hi@all
Bin auf der Suche nach einem Prog, mit dem man Websites incl. der Unterseiten speichern kann zum offline berachten. (...und nein, ich will nicht das dvdboard auf dem heimischen Rechner zum Mitnehmen :Schweigen: ).

Folgende Kriterien:
- Win7
- Einstellung der Speichertiefe der Site muss sein
- Programm in Deutsch, wenn möglich, aber kein muss
- Freeware oder nicht so teuer

Wonach muss ich suchen, was beachten, woran denken...

Danke.
Gruss Kerstin

[goemichel]

HTTrack Website Copier, multilingual, Freeware
Website Ripper Copier, englisch, Shareware

[baustelle100a]

HTTrack Website Copier sieht gut aus. Hab auch grad gesehen, dass u.a. in Deutsch.

Bin schon am Download - gucke wir mal.

Dank.
Gruss Kerstin

[BergH]

Junge Frau berichten Sie Ihre Ergebnisse.

[baustelle100a]

So, da will ich mal Bericht erstatten.

das Programm ist "Kerstin-tauglich" :)

Relativ einfach zu bedienen, teilweise selbsterklärend und sogar in Deutsch.
Die Speicherergebnisse sind ordentlich, eine Aktualisierung gespeicherter Sites ist jederzeit möglich.
Crawler-Schutzmechanismen der Website-Betreiber (robot.txt) können mit den passenden Einstellungen innerhalb des Programms umgangen werden.

Hab mal beim Testen einen "Bastelanleitung" für das Programm erstellt, auch mit den kompletten Einstellungen für das umschiffen der Spider-Sicherung.

Testobjekt war das dvdboard.:angst:

372

Bis dann.

Gruss Kerstin

[frauhansen]

Ich habe das am dvdboard mal laufen lassen die Tage.
Ich kam nach 24h etwa auf 2.8GB. Erscheint mir fürs gesamte board etwas wenig.

Leider konnt ich hinterher zwar die gesamte truktur des boards sehen, aber einen Thread öffnen konnt ich nicht :-(
Alle Attachments wurde fein säuberlich nach Quell-adresse abgelegt, aber aber eben ohne Thread klickbar ist das recht nutzlos.

Ich habe mich da an Kerstins Anleitung gehalten, die interne Tiele auf 20 genommen, die externe auf 0.

Woran kann das liegen? Kerstin? Hast du mal geschaut ob Du Beiträge lesen kannst?

[baustelle100a]

Ja, alles offline lesbar und Verlinkungen gehen auch.
Hatte vor 2 Tagen mal hier (Anhang unten ) ein paar Screenshots einals PDF
eingestellt.
Die Beiträge waren komplett lesbar, sogar der größte Teil der enthaltenen Grafiken, Signaturen, Avatarbilder.
Hansen, was war Deine Startseite? Wir hatten hier http://www.heimkinotreff.com/showthread.php/290-geordneter-Rückzug-aus-dem-Board/page6 schon mal darübeer diskutiert.

2,8 GB nach 24 Stunden klingen allerdings recht wenig. Usul hatte testweise 2,77 GB und 27000 Dateien nach 5 Stunden, ich hatte 250 MB und 4500 Dateien nach knapp einer Stunde.

Deine Ausgangsseite muss http://www.dvdboard.de/forum/ sein. Über das dvd.de-Portal reinkommen funktioniert irgendwie nicht.

Oder das ganze hat bei uns nur funktioniert, weil die Datenbank von dvd.de im Ar...war und deshalb einige "Klau"-Sicherungen nicht funktioniert haben.

Ich lass heut Nacht auch nochmal testweise laufen.

Gruss Kerstin

[baustelle100a]

Mir ist grad nochwas eingefallen. Öffne doch mal über Explorer den Projektordner
Eigene Dateien/Eigene Webseiten / Name Projektordner oder wo auch immer Du das gespeichert hast.

Check mal die Erstellungsdaten der darin angelegten Ordner. Dann siehst Du, ob HTTrack die 24 Stunden durchgearbeitet hat oder wie groß der Zeitrahmen zwischen erstem und letztem erstellten Ordner ist.

Mir ist gestern aufgefallen, dass das eh X-Board ziemlich gelahmt hat. Wenn dann die Anzahl der Verbindungen zu hoch gewählt ist, stellt HTTrack die Arbeit ein (so eine Art Schutzfunktion, um den "anzugreifenden" Server nicht in die Knie gehen zu lassen.

Du kannst auch HTTrack anweisen, den Vorgang weiterzuführen.

Dazu folgendes tun:

- HTTRack starten
- unter DATEI ÖFFNEN ein bestehendes Projekt öffnen
- im nächsten Fenster unter AKTION "unterbrochenen Kopiervorgang fortsetzen"
- unter EINSTELLUNGEN die Einstellungen erneut vornehmen oder entsprechend verändern
- HTTRack loslegen lasen

Dann mal nach 2 Stunden gucken im Projektordner, ob weitere Dateien angelegt wurden.

Gruss Kerstin

[frauhansen]

startseite war dvdboard.de/forum

ich hab jetzt alles noch mal laufen, incl. doppelt geprüftem nix und passwort... ich lasse grad noch mal volles rohr laufen.

[Usul]

Also: Ich habe beim ersten Mal ja einen kleinen Fehler gemacht... als Anfangsverzeichnis habe das BD-Forum genommen und dann die interne Link-Tiefe nicht begrenzt (und 20 ist auch so etwas wie unbegrenzt). Ich vermute, daß aus diesem Grund dann einfach mal das gesamte Board durchgegangen wurde... ausgehend vom BD-Forum. So wurden z.B. die Threads, die direkt von der Index-Seite aus angezeigt wurden, gespeichert, die anderen jedoch nicht - aber ich hab auch abgebrochen gehabt irgendwann (ich weiß nicht mehr, bei wie viel GB).

Dann habe ich einen zweiten Anlauf gewagt, diesmal mit ca. einem Dutzend Unterforen direkt als URL-Liste eingegeben, interner Link-Tiefe von 3 glaube ich... und dann eine Nacht lang durchlaufen lassen. Am Ende sinds gut 50.000 Dateien und gut 3GB. Die Start-Unterforen sind komplett offline gespeichert, dazu noch die Index-Seite des Forums und der einzelnen Unterforen... plus die direkt von der Index-Seite aufrufbaren letzten Pages der Threads. Der Rest ist online verlinkt.

Ich vermute aber, daß man auch für das gesamte Forum nicht deutlich mehr Speicherplatz brauchen wird.

Das eigentliche Problem ist, daß wir damit zwar schön das Forum sichern... aber das eigentlich Wichtige, nämlich die Datenbank, ist halt nicht gesichert. Wir speichern ja stur Seite für Seite ab... da kann man sich dann nicht anmelden und Suchen geht auch nicht wirklich.

Von daher wäre es super, wenn wir irgendwie die Datenbank an sich kopieren könnten... nicht um damit irgendwelchen Schabernack zu treiben, sondern weil in den ganzen Jahren eben einiges an Wissen und Informationen zusammengekommen ist, die ich für nicht ganz unwichtig erachte. Hätten wir die Datenbank, könnte man darin bei Bedarf auch mal nach was suchen. Ich kann jetzt zwar auch in der Offline-Version suchen, aber 3GB und 50k Files lassen sich nicht so mal auf die Schnelle nach einem Stichwort durchsuchen. :)

[baustelle100a]

startseite war dvdboard.de/forum

ich hab jetzt alles noch mal laufen, incl. doppelt geprüftem nix und passwort... ich lasse grad noch mal volles rohr laufen.
Ich hatte bei HTTRack kein Login angegeben, alles offen gelassen.

[schnarchi]

im Forum Rechts Unten auf Archiv klicken
eventuell sogar rein Text möglich?

[Usul]

Und dann? Klar, man kann auch nur das Archiv z.B. sichern.

[frauhansen]

Jep, aber dann sind alle attachement nimmer da.

Ich hatte die Tage wieder nen Anlauf genommen. Leider wieder nur die hälft.
Einige, die oberen, Foren wurden klasse geladen, die unteren, also weit vor dem Offtopic ode den boardtreffen, wurden zwar vom Titel her gelade, aber kein Thread inhalt.
Fehlermeldungen habe ich nur bei den userhomes bekommen, aber die sind mir ja wurscht.
Daten waen es auch nur 1.8 GB.

Irgendwas mache ich falsch... kann bitte mal einer final ein backup ziehen und gut iss... ich gebs auf mit dem dreckstool!

[baustelle100a]

Hi,
ich hab in den letzten Tagen noch ein bischen mit den Einstellungen gespielt und nochmal angefangen zu ziehen.

Laufzeit bisher: 1 Tag, 6 Stunden
bisherige Größe: 11,6 GB, 119.000 Dateien
zur zeit wird bearbeitet von HTTrack: Tiefenebene 2 (bei etwa 24%).

Bisherige Bearbeitungszeiten:
- einlesen und sichern Ebene 0: 35min / 113 MB / 1300 Dateien
- einlesen und sichern Ebene 1: 4:30Std / 1,45 GB / 12700 Dateien
- einlesen und sichern Ebene 2 bisher: 1d:1Std / 10,14 GB / 110000 Dateien und läuft
- derzeitig letzte abgearbeitete Datei:
dvdboard.de Forum > Blu-Ray-Player > Blu Ray Player der MKV und Vob kann und 3D

Ich lass laufen. bis die Festplatte voll ist oder glüht.

Hab jetzt auch alles auf relativen Pfad gestellt (geht auch über die Einstellungen), sodaß das Endergebnis dann verteilt werden kann.
Denke mal, wenn verteilen gewünscht ist , packe ich das und leg das in meinen rapidshare-Account. Ist die einfachste Lösung.

Vielleicht schaffe ich es auch, die nächsten 4-5 Tage die kompletten neuen Einstellungen zu posten.
@hansen
Ein Stichwort der Einstellungen heißt timeout. HTTrack steht standardmäßig auf 45sec, was mehr als nur zu wenig ist.
Wie gesagt, die nächsten Tage.

Bis dann
Gruss Kerstin

[EKB]

Moin Moin,

bin eben erst zurück aus dem Schnee, deswegen so spät gesehen. Ich habe mal als Firefox Addon mit Scrapbook ganz gute Erfahrungen gemacht.
Klick (https://addons.mozilla.org/de/firefox/addon/scrapbook/)

[baustelle100a]

Scrapbook ist leider nur ein Ad-On zu Firefox, kein eigenständiges Programm. Heisst, es nutzt auch nur den FF als Offline-Browser zum Betrachten.
Das ist leider genau das, was ich so nur im Notfall wollte. Ich möchte, wenn schon offline, dann mit Browser eigener Wahl arbeiten.
Und wenn ich Material mal weiterschicken müsste, könnte der andere das auch nur betrachten, wenn er ebenfalls FF installiert hat.
Und leider bin ich auch keine FF-Freundin.

Aber nur mal nachgefragt:
Kann man bei Scratchbook auch Unterseiten einer Wbsite speichern und wenn ja, wie tief. Dass man Inhalte externer Links mit laden und nach Art definieren kann, hab ich gesehen.

Gruss Kerstin

[fireball]

Bisherige Bearbeitungszeiten:
- einlesen und sichern Ebene 0: 35min / 113 MB / 1300 Dateien
- einlesen und sichern Ebene 1: 4:30Std / 1,45 GB / 12700 Dateien
- einlesen und sichern Ebene 2 bisher: 1d:1Std / 10,14 GB / 110000 Dateien und läuft
- derzeitig letzte abgearbeitete Datei:
dvdboard.de Forum > Blu-Ray-Player > Blu Ray Player der MKV und Vob kann und 3D



Mit was für einer Leitung? Ich hab grad wget auf meinem rootserver angeworfen, mit 100MBit Hochdruckleitung. Das HTTtrack-geraffel nervt ja...

[frauhansen]

Sie meinen beitrag im "geordneter Rückzug".

Ich denke, hast Du dann ein vollständiges backup, dann kann man das mal in auge fassen.

[fireball]

Schaumer mal... ich sichere momentan _alles_, incl. der versteckten Foren... Das wieder in ne DB zurückzuführen halte ich für verschwendete Liebesmüh', aber man wirds aufarbeiten müssen, was die internen Foren angeht - oder ich zieh' dann noch ne Version ohne die internen Sachen.

[BergH]

tach auch !

Gibt es denn noch die Threads von HOT und Sex in der Werbung ?

[frauhansen]

Ich denke wenn dann doch alles. Ne unterscheidung intern/Extern macht ja keinen Sinn weil es ja, zumindets aus meiner Sicht, nicht für die Öffentlichkeit bestimmt ist.

Lass uns mal eine Option des "reaktivierens" einzelner Threads im Mod-Pannel besprechen.

[dino]

Wollte auch wget nicht unerwähnt lassen.

Ist ein Kommandozeilen-Tool. Man kann eine Menge konfigurieren.

Es gibt wohl auch eine GUI Version

http://de.wikipedia.org/wiki/Wget

Gruß

Dino

Edit: Sehe gerade, dass Fireball wget schon erwähnt hat. Da er es aber nur am Rande erwähnt hat, lass ich meinen Beitrag mal stehen.

[Zorkus]

unter http://www.lehrer-online.de/httrack.php gibts auch noch eine detaillierte Anleitung für HTTrack

Gruss Zorkus

[Zorkus]

weitere Anleitung zu HTTrack unter: http://lehrerfortbildung-bw.de/werkstatt/internet/httrack/

sind ja recht einfache Anleitungen, aber eventuell steht ja doch noch etwas interessantes drin zu den Feinheiten

Gruss Zorkus

[baustelle100a]

Die kenn ich bereits.
Tja, Anleitung ist dort wohl gut gesagt.
Das einzige, was diese Lehrer-Anleitungen nicht enthalten, ist leider das Wichtigste - die ganze Geschichte der vorzunehmenden Einstellungen.
Und irgendwie ist das ja wohl das, was man braucht - Da hilft dann nur selbst probieren.

Und jetzt hab ich es ja selbst rausgefunden, wie Du oben sehen konntest.

[Quentin]

Ist halt für Lehrer - die wissen es ja ohnehin besser :D

Gruß,
Quentin
(Sohn von 2 Lehrern - ich darf das!)

[baustelle100a]

Genau das war das erste, was mir auch durch den Kopf ging.

Gruss Kerstin
(Der Lehrer-Schrecken, der es immer ganz genau wissen wollte. :D )