Rackmount NAS im Eigenbau? [Archiv]

fireball

19.02.2016, 12:31

Tach zusammen...

Hat jemand von Euch schonmal über NAS-Eigenbau im 19" Format nachgedacht und/oder Erfahrungen gesammelt?

Ich hab lang hin und herüberlegt, was man kann, was man will... Und irgendwie komm ich immer wieder zu dem Schluss, dass 19" schon das richtige Format für mich sind. Dummerweise werden die üblichen Fertiglösungen von QNAP und Synology in dem Bereich überproportional teuer...

Ergo: eigenbau, evtl. auf Basis von "alten" 19" Geräten, aber hier hat man nun auch wieder irgendwie den Stromberbrauch auf dem Schirm.

Kann mir jemand was zum Verbrauch der AMD Opteron "Shanghai"-Serie, also 23xx sagen? Da gäbe es durchaus günstige "Alt"-Geräte zu haben, die eine gute Basis für FreeNAS wären...

Ideen? :)

Grüße
Marcus

frauhansen

20.02.2016, 10:42

Also zum Thema Stomverbrauch kann ich Dir nix sagen.... das geht mir einfach zu sehr am Popo vorbei.

Aber der Ansatz Eigenbau statt QNAP/Synology find ich mehr als löblich!

Ich persönlich hab nem alten iCore7 auf nem ASUS P6T WS mit 12GB RAM sitzen.
Das ganze gepaart mit adaptec raid 71605q.
Ich bin sowas von Happy.
Die 16 HDDs die die Kiste fressen kann und wohl leider auch bald gefressen haben wird passen freilich nimmer ins gleiche Gehäuse.
Also hab ich diese ausgelagert in ein selbstgebautes "Lagersystem" in einem anderen BigTower Gehäuse.
Da die HDDs recht eindeutig zu identifizieren sind anhand der Kabel und der Benennung im GUI brauche ich da auch keine Blinki-Blinki dran.. ginge aber mit dem Controller.

Was mich von "echter" 19" Hardware bisher auch abgehalten hat war der zwang zur 2.5" HDD.. oder bei 3.5" die vollends überteuerten HDDs Gehäuse.
Oder meine Quellen waren zu schlecht :D

Die AMD Shanghai sind in der Tat billig... selber erstaunt... aber imho nur SAS..

NACHTRAG: So jetzt bin ich satt und hab noch mal drüber nachgedacht.
Für den Preis eines Shanghai Systems habe ich imho etwa meinen Controller gekauft.. da muss doch ein Haken dran sein!
http://www.ebay.de/itm/Dell-PowerEdge-FS12-NV7-3-6-TB-Aufbewahrung-Server-Doppel-AMD-Dual-Core-2-1GHz-/121595177079?hash=item1c4fa32877:g:wgUAAOSwEeFVAvm ~
Die Platten kann man raus werfen... was will man mit 300GB SAS... zu klein alles... aber wenn da SATA auch rein gehen dann ist das ne echte Alternative zu meinem o.g. Eigenbau.... zumindest wenn einem das Geräuschniveau egal ist.

fireball

21.02.2016, 00:37

Exakt die Systeme hab ich auf dem Schirm. Die Perc6i müssten aber raus und durch was moderneres ersetzt werden, die vertragen nur 2TB...

frauhansen

21.02.2016, 00:57

Wie schauts mit den Rahmen aus? Das sind doch sicher Hot-Swap Rahmen oder? Denke die sollten SATA Kompatibel sein.
Ein zusötzlicher Kontroller schlägt dann mit irgendwas in die 700.- ins Kontor.
Aber alles in allem... ich meine da ist die CPU, die Platten-Case Kiste und der RAM mit bei... was will man eigentlich mehr für, sagen wir in Summe 2k ohne Platten.
Allein die HDD Racks kosten mitunter so viel wie das gesamte Paket.
Sind das ECC Rams?

fireball

21.02.2016, 10:15

Passenden Controller gibt's für nen Hunni maximal, die Plattenrahmen 10 Stück für nen Fuffi... Alles überschaubare Kosten eigentlich...

frauhansen

21.02.2016, 10:22

Na ja... mit derart billigen Controllern habe ich ganz viel Schweiss und Tränen gelassen... daher jetzt ja meine Entscheidung für was richtiges!

Guinness

22.02.2016, 08:41

Aussage unseres Admins: Wenn schon RAID dann mit Hardware-Support (kein Softwareraid) und frischer Batterie.

frauhansen

22.02.2016, 09:35

Ja gut... also ich glaub Software RAID kommt hier nun keinem in den Sinn.

fireball

22.02.2016, 10:42

Doch, selbstverständlich. Mit den heutigen CPUs spricht überhaupt nichts gegen Software-Raid. Wir sprechen hier ja nicht von Infrastruktur, bei der 100 Clients gleichzeitig auf den Kram zugreifen.

Gut nutzbar: http://www.ebay.de/itm/RAID-Controller-3ware-9650SE-12ML-256MB-PCIe-x8-Gebraucht-12port-SATA-/272102690893?hash=item3f5a95904d:g:cucAAOSwoydWlOg F

Einziger Wermutstropfen: kein SATA III, aber das ist für den Anwendungsfall wirklich verschmerzbar.

frauhansen

22.02.2016, 10:46

Na ja... ich bin da nun gar kein Freund von... persönlich nur schlechte Erfahrungen mit gemacht... gerade bei Versionswechseln.

fireball

22.02.2016, 10:50

MD bzw. LVM waren eigentlich nie problematisch... Hilft ja auch nicht so wirklich, wenn der Controller zum SPF wird...

fireball

22.02.2016, 11:50

Grade in der Doku von FreeNAS gesehen: die präferieren sogar (aufgrund des Einsatzes von ZFS) Software Raid.

frauhansen

22.02.2016, 13:17

ZFS wird auch in 16.04 Ubuntu Server einzug halten... aber allein die NICHT-Fähigkeit von ZFS ein RAID-5 mit neuen Platten zu erweitern lässt mich kopfschütteln.

fireball

22.02.2016, 13:43

Der Mechanismus ist anders - aber Erweiterungen und Vergrößerungen sind selbstredend möglich.

Nichtsdesdotrotz mus sman ja nicht zwangsweise ZFS nutzen ;)

frauhansen

23.02.2016, 11:16

Meine letzten Experimente mit ZFS als Adon unter Ubuntu 14.04 liegen jetzt knapp ein Jahr zurück. Und die waren recht intensiv!
Und da war das erweitern eines RAID5 nicht möglich. Nich anders oder mit nem Trick sondern schlicht nd ergreifend gar nicht.
Habe die Platte dann mit nem Trick zwar in das Raid eingebunden bekommen, aber hinkend ausserhalb und damit auch _nicht_ innerhalb der Redungdazenbildung.

fireball

23.02.2016, 11:57

Naja "RAID5" ist da ja auch schon der falsche Begriff... Aber ja, es ist etwas anders und Du hast schon Recht, die Volume-Bildung funktioniert mit ZFS nunmal anders. Ich werd mal gucken, was ich effektiv wirklich nehmen werde als Filesystem. ZFS ist schon reichlich spannend und interessant, aber Du hast recht, im hinblick auf einfache "Stück für Stück" Erweiterung ist mdadm wohl die bessere Wahl.

Zwischenstand:
* FS12-NV7 bestellt (32GB, 2x AMD Quadcore) (160 Euro Preisvorschlag akzeptiert)
* 3ware 9650SE-12ML bestellt (99 Euro)
* Plattencaddies verhandle ich grade mit dem Händler der FS12, Angebot liegt bei 8 Pfund das Stück.

frauhansen

23.02.2016, 12:31

Was spricht gegen RAID5 bei grossen Datenmengen... ich gehe mal von nem Video-Server aus... Du hast den geringsten Netto-Verlust bei absolut vertretbarer Sicherheit.
Ich hab im RAID aktuell 12 HDD als RAID5 als Massenspeicher und 4 HDD als RAID 0/1 als Work-Vollume. Das RAID 5 hab ich mit ner Redungdanz von einer Platte festgelgt da die Platten alle neu neu sind. Werden diese älter kann ich z.B. auf 2 gehen.

fireball

23.02.2016, 12:37

Nix, deswegen schrieb ich ja mdadm - wenn auch wahrscheinlich initial als Raid-5 und dann im nächsten Schritt als -6, das ist ja schnell umgestellt dann. "Arbeitsvolume" ist da ja nicht relevant, die Kiste wird (wahrscheinlich) ein iSCSI Target.

fireball

23.02.2016, 22:04

Sooo... kleiner Wasserstand für zwischenrein... Controller ist schonmal angekommen heute...

Vermutlich wirds als Betriebssystem dann doch eher OpenMediaVault... FreeNAS kann wie ich leider feststellen musste keine mdadm-Arrays... Jetzt ist "nur" noch die Entscheidung offen ob ich auf iSCSI setze (Windows Server eh vorhanden) oder "klassisches" NAS mache und das der Windows Domain anschließe... Fragen über Fragen ;)

frauhansen

23.02.2016, 23:04

Was spich gegen Windows Server oder Ubuntu/Debian Server?

fireball

24.02.2016, 08:11

Windows Server ist eh da, da ist mir das ganze Disk Management aber nicht so wirklich sympathisch. Genaugenommen will ich die Datenhalde genau von der Kiste wegbekommen, aktuell ist das nämlich der Stand. Die Mühle soll sich lieber auf ihre Kernkompetenz spezialisieren ;)

Gegen Ubuntu/Debian spricht auch nix, aber für so ne Applikation hab ich auch nix gegen was am Stück gepflegtes und kompaktes... Spart Frickelei :)

frauhansen

24.02.2016, 09:35

Ich halte von den "fertigen" Paketen leider nix. Hat aus meiner Sicht zwei entscheidende Nachteile.
- Willste was, was nicht im Paket ist, dann geht die Frickellei los. Und die ist dann grösser als bei nem allgmeinen System.
- Haste was gefrickelt und das Kompletpaket wird aktualisiert wird auf abweichende Positionn zum Basissystem meist wenig Rücksicht genommen
- Doku beschränkt sich eben auf das Paketsystem
- Wird das Paket nimmer so recht gepfelgt biste auf nem totem Gleis

Ich hab auf der Ubuntu Seite nix was ich vermisse.. also für meinen Zweck als Home-Server
- Plex als Video Sklave (incl Statistiktools)
- Samba File Service
- Webmin um von aussen drauf zu gehen
- Muxing/demuxing Tools
- Usenet up wie download
- Konfiguration via webmin
- TimeMachine Service für Mac
- OwnCloud (noch in Arbeit)
- TimeMachine artige Sicherung des Servers selber

fireball

24.02.2016, 10:11

Das Teil soll an sich nur Storage machen ;) - daher macht es für mich auch völlig Sinn, ein "am Stück" Paket, das in sich getestet ist, aufzusetzen und das alle meine Anforderungen bezüglich Integrierbarkeit erfüllt - das ist in so einer ZUsammenstellung deutlich wartungsärmer.

Mit einem Ubuntu-System funktioniert das auch alles nur, wenn die Pakete direkt vom System kommen - sobald diese nicht in den Repos sind, weil man entweder mal was spezielles braucht oder eine Software hat, die halt wirklich sehr speziell ist, hat man schon gelitten - seh ich aktuell an meinen 2 Rootserver-Instanzen mit OwnCloud (kommt als wirklich aktuelles Paket nur von SuSE) oder ISP-Config. Aber letztlich sind das Details... Ich will an der Stelle einfach was wartungsarmes haben... glaub ich für den Moment zumindest :D

Aber ich werd in der Tat noch bissele drüber nachdenken... Hab ja alle Optionen :)

frauhansen

24.02.2016, 10:32

Ja dann, dann ist das was anderen... als reine Storage Lösung mit 100% Zufriedenheit in dem was da enthalten ist, dann ganz klar eine solche Extra-Storage-Paket-Lösung.

fireball

24.02.2016, 10:47

Zumal ja der eigentlich Plan eh war, das Teil per iSCSI anzubinden... aaaargls.... Zu viele Möglichkeiten....

fireball

02.03.2016, 10:10

Mal wieder ein kleines Update... Material ist soweit mal da jetzt, incl. der initialbestückung für die HDDs.

Mal sehen ob ich morgen abend bisschen zum Basteln komme. Es fehlen mir noch die Rack-Schienen... aber die sollten ja nicht der entscheidende Punkt sein an sich, wäre nur praktischer :)

frauhansen

02.03.2016, 10:13

Na ja... basteln tust das ja ehh nicht mounted sondern auf dem Tisch... habe ich zumindest immer so gehandhabt.. denn Du musst immer da ran wo Du leider gemounted nicht ran kommst und die Höhe im Rack passt nie zur gewünschten Körperhaltung... also raus mit dem Dreck auf nen Tisch und in ruhe schrauben.

fireball

02.03.2016, 10:18

Das Problem ist momentan der wenige Platz... Tisch mit viel Fläche existiert momentan bei mir nicht wirklich ;)

frauhansen

02.03.2016, 10:38

Du bist doch am Umbauen... da sollte es doch Schalbretter und Böcke haben :D

fireball

02.03.2016, 10:39

Klar - und die werden auch zum Einsatz kommen... Nur "Arbeitshöhe" ist irgendwie anders... ;)

Schaumer mal - vor allem wo ich Rackschienen herbekomm für das Teil, ansonsten müssen halt normale Schwerlastschienen rein :D

frauhansen

02.08.2016, 12:46

So, ich muss jetzt über ne lokale Sicherungslösung nachdenken.... Für Crashplan reichen meine 15mbit bei 50TB an Daten in diesem Leben nicht :D

Also kommt was in die Hütte mit den 8TB Sicherungsplatten von Seagate. Die sind zwar langsam, dafür aber billig.

Frage 1.) Welches Software RAID (Btrf oder?) setzt Du jetzt ein das erweiterbar ist?
Frage 2.) Deine Gründe weg von einer Daten-Server Distribution kann ich verstehen. Ist Dir auf dem Wege eine spezielle zum Thema Datensicherung begegnet... auch wenn das Thema doch sehr ähnlich ist.
Frage 3.) Linux Server als Mac Time-Machine. Ich hab ne Zeit lang mit Netatalk experimentiert... leider ohne Erfolg unter Ubunt. Das ging irgendwann aber nie stabil.
Kennst Du ne Distri die das schon drin hat, also getestet und stabil damit läuft?

fireball

02.08.2016, 13:58

1) aktuell ganz klassisch OpenMediaVault mit mdadm
2) depends - von was Du wegsichern willst. Von der c't gibts ein schönes Sicherungsscript das auf rsync aufsetzt und viele Generationen sichern kann

Zu 3) kann ich nix sagen, sorry.

Das System läuft, ist aber noch alles andere als unter Last...

frauhansen

02.08.2016, 14:18

Ahhh, OpenMediaVault kannt ich bisher nicht... schaue mir das mal an.

Auf der einen Seite meine System Platte des Media-Servers. Einfach um bei einer Fehlconfig zurück zu können und zweitens die TB weise anfallen den Media Daten des RAID 6 (16x4TB).

Aktuell nutze ich für Ersteres BackinTime aus der Ubuntu 16.04 Distri. Bin mir aber akuell nicht ganz so sicher in wie die immer komplette Snapshots bilden oder eben nur Differential die changes.
Glaube aber das diese Backup immer Differential... muss mich da noch mal einlesen.
Parallel dazu bleibt freilich Crashplan eine Option im LAN... Auf der Systemplatte hatte ich damit einfach zudem massiv mühe da es mit der Ermittlung der Datenmengen schon gern mal abgekackt ist. Und das eben auf der Systemplatte.

frauhansen

02.08.2016, 14:39

So, also so wie ich das jetzt lese gibt es in OMV in Version 2 (3 ist noch im Test und nicht stable oder?!) ein Netatalk Plugin. Somit ist die Sache schon mal klar... OMV werd ich antesten.

Frage an Dich fireball... Raid erweitern um neue HDDs... bei meinem sacke teuren Hardware Controller bin ich damit jetzt 2x auf die Fresse gefallen.... hast du das in OMV mal testen können und wenn ja mit welcher RAID Config?

fireball

08.08.2016, 23:51

Klassisch... Mdadm. Wie schon irgendwann mal gesagt hab ich keine Lust drauf, dass der Controller der SPOF wird...

fireball

24.10.2016, 08:38

Wollt mal Rückmeldung geben, das System ist ja nun einige Zeit in Betrieb (in einem Minimalausbau bisher, mit 3x 3TB als Raid 5 und einer 30GB SSD als Systemdisk) - bisher ohne irgendwelche Unauffälligkeiten. Anbindung per Kerberos ans Active Directory war damals ein wenig Handarbeit, dank guter Tutorials aber in einer halben Stunde gemacht.

Einzig die nervig lauten Plattenlüfter hab ich mal deaktiviert...

Eisenwolf

24.10.2016, 09:17

...bisher ohne irgendwelche Unauffälligkeiten...

also Chaos pur??? :lol:

fireball

24.10.2016, 09:23

Ups. Einen BergH gebaut.

Ohne Auffälligkeiten :D

frauhansen

26.10.2016, 17:22

Ich habe ja basierend auf fireballs Erfahrungen das faktisch gleiche System aufgebaut, wenngleich mit einem leicht anderen einsatzgebiet.
Ich habe den gleichen Server aber mit 6x 8TB HDD als Backupmaschine.... ein reines Datengrab.
Wie auch bei fireball mit OMV als System drunter. Ist sehr sehr schlank und frisst echt kein Brot das ganze.
Im Gegensatz zu fireball habe ich die beiden Server mit 10gbit GlasKarten ausgestattet... ist nett, aber nicht notwendig. Damit OMV diese erkennt muss ein spezieller Kernel gewählt werden, Backport-Kernel 3.16 wenn ich mich recht entsinne.
Da ich nicht permanent backup habe ich den Backupserver nicht permanent an.

Der zweite Server iszt ein 4-CPU 4-Kern mit 50TB im RAID6 der nur für Plex zuständig ist... Mac wird via eines Mac-Mini mit Server-Extension gebackupt.
Der Switch drüber ist ein 3Com mit Gras Extension

Macht auf jeden Fall laune... und mit beiden Server an brauche ich meinen Keller definitiv nimmer zuzuheizen!

fireball

26.10.2016, 20:08

Ich dacht immer ich wäre wahnsinnig. [emoji23]

frauhansen

26.10.2016, 21:44

mein Irrsinn wird nur durch die finanziellen Mittel begrenzt :D
Aber danke, ich sehs als Kompliment :D :D

Donaldist

26.10.2016, 22:06

mein Irrsinn wird nur durch die finanziellen Mittel begrenzt
Wenn das so funktioniert, müssten meine finanziellen Mittel mich geistig gesund halten? So einfach ist das nicht! :D

frauhansen

26.10.2016, 22:11

Okay... da hste Recht... ich präzisiere also... "Die Dokumentation meines Irrsins wird nur durch meine finanziellen Mittel begrenzt".
Aber ich arbeite daran das nur noch der technologische Fortschritt im Wege steht :D

Kuhbaert

27.10.2016, 13:54

Ich habe den gleichen Server aber mit 6x 8TB HDD als Backupmaschine.... ein reines Datengrab.

Da hättens aber dann die 600€ für ein Mittelklasse Qnap auch nimmer rausgerissen. Iss dann wenigstens kompakt und Energieeffizient.

frauhansen

27.10.2016, 14:03

Ne, denn die 6 HDDs sind nicht der maximalausbau. Und die grossen mit 8 und mehr HDDs liegen weit höher.
Zumal dann auch wieder nur gbit LAN

Gesendet von iPhone mit Tapatalk

fireball

27.10.2016, 15:52

Die Kiste wird übrigens ohne HDD Lüfter angenehmst leise...

frauhansen

27.10.2016, 20:14

No.Trace

28.10.2016, 08:07

HiHo ...

Na das klingt ja spannend ;) Ich habe zur Zeit ein QNAP NAS TS-212 im Betrieb, würde aber auch gerne etwas schnelleres haben ...
Was gibt es denn für den privaten Gebrauch ?! Denke das 2 HDDs im RAID zur Sicherung meiner Fotos/Filme/Daten reichen sollten.
Habe dies Anleitung gefunden ;) Was meint Ihr ?!
http://www.technikaffe.de/anleitung-313-nas_eigenbau_2015_fuer_4_hdds_mit_intels_braswell_ und_aes_ni

CU Kai

fireball

28.10.2016, 10:49

Wenn ich den noch recht vor meinem geistigen Auge habe... dann sind das nach der HDD-Bank drei Lüfter die nach hinten durch blasen... und wenn ich mich recht entsinne, dann sind dies die einzigen Lüfter. Die also auch nach hinten duch die CPU Kühler blasen.
Ja richtig, Temperaturen sind aber nach wie vor ok... Ich behalte das aber im Auge, evtl. bau ich mal was leises ein.

frauhansen

28.10.2016, 10:55

Ja richtig, Temperaturen sind aber nach wie vor ok... Ich behalte das aber im Auge, evtl. bau ich mal was leises ein.

Sprich Du betreibst den grad passiv ?!!

Wo steht der Server bei Dir?! Dachte im Keller... ist da die Lautstärke relevant?

fireball

28.10.2016, 10:57

Steht im Keller, ja... Und ja, es nervt trotzdem wenn das Teil lauter ist als die Waschmaschine...

frauhansen

28.10.2016, 10:59

Dann stell dich mal bei mir in die Werkstatt... da ist ja noch das 4x4 Monster :D
Aber ja, interessanterweise ist das 4x4 Monster fast sogar etwas leiser als der Dell

War im offenen betrieb hier bei mir im Büro dann nach 30min vollends mit den Nerven runter... aber bin amtlich erstaunt was die für einen Wind machen!!

HiHo ...

Na das klingt ja spannend ;) Ich habe zur Zeit ein QNAP NAS TS-212 im Betrieb, würde aber auch gerne etwas schnelleres haben ...
Was gibt es denn für den privaten Gebrauch ?! Denke das 2 HDDs im RAID zur Sicherung meiner Fotos/Filme/Daten reichen sollten.
Habe dies Anleitung gefunden ;) Was meint Ihr ?!
http://www.technikaffe.de/anleitung-313-nas_eigenbau_2015_fuer_4_hdds_mit_intels_braswell_ und_aes_ni

CU Kai

Sach ma... soll ich Dir da nich lieber nen extra Thread zu auf machen...