FRA1 – NTT – IP-Projects Cage

Am 04. August 2020 haben wir mit dem neuen Colocation Standort FRA1- NTT unser eigenes ASN an einem hoch zertifizierten Rechenzentrumsstandort in Betrieb genommen. Damals hatten wir für unsere Netzwerk-Infrastruktur und unser perspektivisches Wachstum sieben Racks angemietet und sind davon ausgegangen, dass diese Racks für die nächsten Jahre ausreichen. Der Zuspruch unserer Kunden am Standort NTT war allerdings so groß, dass bereits nach sechs Monaten unser planmäßiges Wachstum überschritten wurde und wir daher weitere Rack Ressourcen in einem anderen Colocationbereich am Standort NTT in Betrieb genommen haben.

Aufgrund unseres anhaltenden Wachstums am Standort FRA1, haben wir daher im Q1/2023 ein vollständiges Cage beauftragt, um das weitere Wachstum sicherzustellen. Das Cage befindet sich in einem weiteren autarken Gebäude am Standort FRA1 – NTT und erweitert unsere Colocation Kapazitäten an diesem Standort auf insgesamt 34 Racks. Dieses bietet Colocationfläche für bis zu 300 weitere Serversysteme. Im Folgenden möchten wir auf einige technische Merkmale des Cages eingehen.

Cage Aufbau

 

Das Cage besteht aus insgesamt 12 Racks. Alle Racks sind über eine Gitterwanne auf den Racks miteinander verbunden, sodass eine direkte Netzwerkverkabelung möglich ist. Ebenso haben wir unsere Ersatzteillager aus den Bereichen F und H in das Cage verlagert. Dies erleichtert sowohl eine Inventarisierung als auch eine Revision des Hardwarebestands und erhöht unsere Lagerkapazitäten für Ersatzteile am Standort FRA1 deutlich.

Bei den Racks haben wir uns für 0,6×1,2 m Racks mit 47 HE entschieden. Dadurch war es uns möglich, die Gesamtkapazitäten auf 12 Racks anstatt der ursprünglichen 10 Racks zu erhöhen. Durch die Tiefe von 1,2 m ist es trotzdem möglich, eine saubere Netzwerk- und Stromverkabelung durchzuführen. Dabei können PDUs neben Kabelführungen installiert werden, ohne dass es zu einer Vermischung von Strom- und Netzwerkkabeln innerhalb des Racks kommt.

 

 

Stromversorgung

Wie auch bei unseren anderen Racks verfügt das Cage über zwei unabhängige USV-geschützte Stromanbindungen. Die Stromversorgung im Rack wird über zwei Stromfeeds A+B sichergestellt, die jeweils über unabhängige USV-Systeme und unabhängige Stromverteiler angeschlossen sind. Da wir in unseren Racks mit geringer Leistungsdichte planen, sind alle Racks mit 400V/16A pro Stromfeed angebunden. Dies entspricht einer Leistungsdichte von maximal 6,4 KW pro Rack. Die durchschnittliche Leistungsaufnahme beträgt bei unseren Racks 3-5 KW. Bei den PDUs kommen PDUs mit 36x C13 und 6x C19 Anschlüssen pro Stromfeed zum Einsatz. Diese liefern für die geplanten Serverressourcen ausreichend Stromanschlüsse, da wir meist mit 2 HE Servern arbeiten.

 

 

Netzwerkanbindung

Wie in jedem Teilabschnitt am Standort NTT haben wir auch im Cage ein Netzwerk Rack eingeplant. Von diesem Netzwerkrack aus werden alle Racks des Cages angebunden. Dort befindet sich im Erstausbau ein redundanter Core Switch Stack von dem aus ToR-(Top of Rack) Switches der jeweiligen Colocation Racks angebunden werden. Ebenfalls werden von diesem Core Switch Stack direkte Glasfaserverbindungen zu den jeweiligen Servern realisiert. Jeder Core Switch Stack wird dabei mit einer wegeredundanten Verbindung zu unserem Routing Stack angebunden. Die Anbindung umfasst mindestens 80 Gigabit/s. Wie auch in unseren anderen Teilbereichen, verfügt jeder der Switches über einen „Out of Band“-Zugang, um im Fehlerfall auch ohne funktionierendes Internet einen direkten Zugriff auf den Switch zu gewährleisten.

Die Verkabelung zu den jeweiligen Racks erfolgt über eine Gittertrasse auf den Racks. Jeder „Top of Rack“-Switch ist dabei ebenfalls redundant mit 20 Gigabit/s zu unserem Core-Switch Stack verbunden, um auch im Fehlerfall eines einzelnen Switches eine durchgehende Netzwerk-Verfügbarkeit zu garantieren.

 

Geplante Umstrukturierungen

Mit der Bereitstellung des Cages können wir nun mit den Planungsphasen weiterer Umstrukturierungen beginnen. Die ersten drei Racks werden dabei bereits für die Verlegung eigener Infrastruktursysteme benötigt.

• Migration der bestehenden vServer Hostsysteme vom Standort FRA4 zum Standort FRA1. Dies soll aufgrund der anhaltend hohen Strompreise die Betriebskosten reduzieren. Ebenfalls konsolidieren wir unsere geplante Neuentwicklung der vServer Produkte an einen Serverstandort.
• Umzug unserer internen Infrastrukturserver von unserem zentralen Netzwerkrack in unser Cage, um die Rack-Kapazitäten für spätere Netzwerk-Erweiterungen zur Verfügung zu haben.
• Hardwareerneuerung und Umzug unserer bestehenden Webserver-Infrastruktur zum Standort FRA1 – NTT

Alle planmäßigen Umstrukturierungen werden wir selbstverständlich vorher rechtzeitig ankündigen und so vorbereiten, dass eine Ausfallzeit möglichst gering gehalten wird.

 

Colocation Kunden

In unserem Cage sind keine Ressourcen für unsere Colocation Kunden vorgesehen. Die Racks sind ausschließlich für den Betrieb von Mietservern und eigener Infrastruktur geplant worden. Für unsere Colocationkunden werden wir am Standort FRA1 – NTT in den nächsten drei Wochen eigene Rack-Ressourcen schaffen. Dabei können ganze Rack-Einheiten zur Verfügung gestellt werden. Diese befinden sich im Open Colo Bereich am Standort FRA1 – NTT.