Najpopularniejszym systemem operacyjnym na serwerach jest Linux. Różni administratorzy cenią sobie poszczególne dystrybucje różniące się pewnymi cechami jednak ogólnie rzecz ujmując Linux jako stabilny system doskonale nadaje się pod obsługę serwera. Oczywiście możliwe jest także wykorzystanie specjalnych edycji serwerowych Windowsa jednak są one rzadziej wykorzystywane. Dodatkową zaletą wielu dystrybucji linuxowych jest fakt, ze są one darmowe.

Dostęp do systemu odbywa się najczęściej za pomocą protokołu ssh. Dzięki dostępowi do linii poleceń administrator serwera może w pełni nim zarządzać i skonfigurować pod potrzeby, którym ma służyć serwer.