이번에 대규모 서버 업그레이드를 진행하였습니다.
기존의 2TB 두개를 Raid-0로 물린 3.7 테라 서버공간에서
2TB 하드 8개를 Raid-5로 묶어 약 13테라 로 업그레이드 하였는데요..
이 업그레이드를 위해서 많은 투자와 변화가 있었습니다..
우선은 하드디스크 8개를 포용해줄 본격 서버급 레이드 카드가 있어야 했구요..
하드디스크 10개를 커버할수있는 강력한 파워...
그리고 이 모든 장비들이 들어갈수있는 신 서버 스토리지가 필요했습니다.
이번 포스팅에서는 신 서버가 만들어지는 과정을 그려나가도록 하겠습니다.
| 서버 스토리지의 설계 |
이런 하드깡통의 경우 100만원을 가볍게 넘습니다.. ㅠㅠ
저 같은 빈곤청년에게는 그림에 떡이죠...
그렇습니다..
돈없으면 몸으로 때우라고 했던가요...ㅡㅡ;
직접만들어봅시다..
아래의 그림은 일주일간 독학한 오토캐드로 만든 서버 설계도 입니다.
환풍장치의 도면 이라던지 전기계통 설계라던지 다양하게 있지만..
대표적으로 가장 기본 평면도만 올립니다..
설계할때 신경을 가장 많이 쓴 부분은 쿨링시스템 이었습니다.
하드디스크가 12개가 24시간 풀로 돌아간다 할지라도
엄청난 열기를 완벽하게 식히고 그 열을 관리할 수 있도록 하는것이
가장큰 숙제 였습니다.
보통 서버용 케이스들의 열 관리는 단순히 쿨러 좀 몇개 달아주는 수준에서 끝납니다.
그 이상의 장치나 설계가 필요 없죠..
왜냐면 보통 서버들은 자동온도/습도조절이되는 서버룸에 있으니깐요...
하지만 전 다릅니다...ㅠ_ㅠ
집에 자동 온도조절장치는 커녕 전기세 무서워 집에 에어콘 하나 달수 없는 상황..
일반적인 케이스를 사용한다면... 하드디스크 10개로부터 뿜어나오는 엄청난 열기에..
제 방은 완전히 싸우나가 됩니다..
그래서 저는 일반 서버와는 다른 특화된 방법으로 제작하였습니다.
서버를 완전 밀폐형으로 만들어서 서버에서 발생되는 뜨거운 공기가 방안으로 퍼지지 않게 막고
그 공기를 빠르게 닥트를 통하여 창밖으로 배출하는 방법을 생각했죠...
| 속속히 도착하는 재료들 - 자재 소개 |
어짜피 레이드이니.. 대역폭은 큰 상관이 없고....
전력소모와 발열, 돈 이 세가지를 줄일수 있는 LP모델로 구입하였습니다...
요녀석을 Raid-5 묶을 예정입니다..
시스템 하드와 백업하드는 기존 운영중인 서버그대로 따다 쓸 예정이므로 사진은 생략합니다.
그 다음은 레이드 컨드롤러 입니다.
모델명은 인텔의 RS2BL080 이라는 제품인데...
다이렉트로 최대 8개의 사타하드를 연결할수있고..
SAS를 이용하면 256개 까지 연장이 가능합니다..
PCI-E 2.0 x8 배속 규격을 사용합니다.
지원하는 레벨은 0, 1, 5, 6, 10, 01, 50, 51, 60, 61
가격은 75만원.....
후덜덜.. 근데 카드를 사고 보니 BBU는 별매더군요..
ㅡㅡ 75만원에 다 포함되어있는줄알았는데 완전 낚였습니다.
대박 큰일입니다. BBU는 한국에서 안파는데 말입니다..
나중에 미국사는 친구녀석을 통해서 밀수입 부탁을 해야겠습니다..
그때까지는 BBU 없는 아슬아슬 서버로... ㅡㅡ;;
* BBU(베터리 백업 유니트) :
전원공급이 차단되어도 레이드 캐쉬에 전력을 공급해주는 장비.
만약 레이트 카드를 통해 쓰기작업을 하던 도중 정전이 발생할 경우
데이터 연산중이던 레이드 카드의 휘발성 캐쉬영역이
전원이 꺼짐과 동시에 데이터가 소실되게 됩니다.
그것을 방지하기위해 BBU가 정전시에도 캐쉬에 전력을 공급해줘 다음 부팅때까지
캐쉬안의 데이터를 보호해줍니다. (지속시간은 약 2~3일)
다음은 아크릴이 왔습니다.
요즘 자동재단 해주는 아크릴집이 많지요....
저도 오토캐드로 설계한 도면을 정리해서 레이져 절단 의뢰했습니다.
"제단도 직접해야 진짜DIY이다"
요렇게 객기부리시는분 없길바랍니다..
아크릴 8T 막 이정도 되면 커터기가 없는 이상 무쟈게 힘듬니다
커터기가 있다고해도 일정하게 자르기란 쉽지않습니다.
일정하게 잘리지 않으면 맞닿는면이 울퉁불퉁해서 접착시 접착강도도 떨어질뿐더러
심각한 오차가 생기므로 객기부리지말고 그냥 커팅의뢰 합시다..
붙이는일만으로도 빡셉니다..ㅡㅡ 일거리 늘리지 맙시다..
아크릴 견적가는 35만원...
사실 30만원정도로 돈을 아낄 수 있었는데...
설계를 잘못하거나 깨먹은게 있어서 재주문하는 바람에...;;
| 아크릴 본체조립 |
아크릴 외벽 뼈대를 세우는 모습입니다.
참고로 레이져로 절단한 아크릴은 완전 평평하게 잘리지 않습니다.
레이져 커터 심지는 마치 촛불과 비슷하여 굵기가 두껍다가 얇아지므로
아크릴이 마름모꼴 비슷하게 잘립니다.
두께가 3T이정도 이하의 아크릴이라면 크게 상관이 없지만
5T이상의 두꺼운 아크릴의 경우 오차가 많이나니 주의하셔야 합니다.
레이저 커딩으로 자른 두개의 아크릴을 그냥 세로로 세워 붙였다가는
90도로 붙는것이 아니라 85도 이런식으로 붙어버리니
90도로 맞춰서 붙일때에는 파워서플라이같이
이미 90도가 형성되있는 물건을 이용해 덧대어 붙이도록 합시다.
사진속 8각형구멍들은 쿨러가 들어갈 자리입니다.
위에 120미리 3개와 아래 90미리 한개가 들어갑니다.
나중에 중간가로벽과 뒷벽면이 생기고 이것저것 구조물이 생기기전에 미리 쿨러를 달아둡시다.
안그러면 나중에 달기 힘들어집니다..
구멍에 쿨러를 붙이는 장면입니다..
원래는 쿨러에 사용하는 규격 나사로 장착할 예정이었으나...
설계를 잘못해서 나사구멍을 너무 크게 만들어버렸습니다.
앞판은 두께도 두껍고 레이저 커팅 공임도 비싸서...
다시주문하기엔 좀 그렇고.. 그냥 그냥 글루건으로 붙여버렸습니다. ㅎㅎ
글루건은 최고죠.. 접착력도 좋고...
나중에 떼기도 좋고.. 떼고나서도 지저분한것도 없고..
장착중인 쿨러의 모습니다. 이쪽이 앞면이 되겠습니다.
구조는 아래쪽이 메인보드 그 위로 하드디스크가 얹어지는 구조로...
위의 큰 세개의 쿨러가 하드디스크를 그리고 아래의 작은 쿨러는
메인보드의 공기를 순환을 담당할 예정입니다.
위 사진은 파워서플라이 서포터입니다
저 커다란 구멍은 파워서플라이 후면부랑 완전일치하여 나사로 고정할 수 있도록하였습니다.
사진만 보고서는 어디에 쓰는물건인지 잘 모르겠죠?
바로 아래의 사진을 보면 이해가 가실겁니다..
서포터에 고정시킨 파워 서플라이의 모습니다.
요런식으로 파워에 붙이는거죠..
이제 이녀석을
두번째 이유는 위사진과 같습니다. 거꾸로 끼우면.. 커넥터 연결이 쉬워져요...
선이 개많고 복잡한것에 비해서 후면 커넥터 부분의 공간이 넓지 않으므로..
구조적으로나마 간소화 시킨것입니다.
나중에 완성된 후 커넥터를 다 꼽은 모습을 보시면 무슨말인지 이해하실겁니다.
다음은 전기계통을 만들어봅시다...
구조물이 더 복잡해 지기전에 잔손이 많이가는 녀석을 미리 만들어놓는거죠..
안그러면 납땜이라던지글루건질 하기가 너무 힘들어져요..
가변저항입니다. 온오프 스위치를 거친 팬쿨러 전원선을
가변저항에 납땜으로 물린후 수축튜브로 마무리한모습니다.
요런식으로 하나하나 납땜과 수축튜브로 절연질을 정성스레 해주면..
요런식이 됩니다. 전면에 3개의 120 쿨러 커넥터와 1개의 90미리 커넥터까지 연결하였습니다.
전면부 배선은 이걸로 완료네요...
배선설계가 제대로 동작하는지 테스트 해봅시다...
다음은 전원부와 LED 부분을 만들어봅시다.
PC케이스처럼 보일려면 전면패널에는 LED가 좀 번쩍거려줘야 느낌이나자나요~~
자 그럼 만들어 봅시다..
- 만들 LED램프 목록 -
시스템 하드가 동작할때 번쩍거리는HDD 램프 (빨간색)
레이드 파트가 동작할때 번쩍거리는HDD 램프 (주황색)
파워 전원 램프 (녹색)
레이드카드 오류검출 램프 (빨간색x8개)
미리구입한 LED를 납땜으로 전선과 합체시키는 모습입니다.
다음은 레이드 상태 경고등에 사용될 LED 램프제작입니다.
8개의 레이드 하드디스크가 이상이 발생했을경우 즉각 LED 램프에
경고 메세지를 보내는 용도로 쓰일 LED 램프입니다.
하드디스크 하나에 LED 하나씩 총 8개가 필요하죠..
다음과 같은 부품 4개를 강력본드로 붙일예정입니다.
근데 경고등인데 녹색LED는 좀 아닌거같네요. 빨간색 LED로 교체를 합시다.
허걱 큰일입니다. 제일작은 led를 구입한건데도 크기가 커서 들어가질않네요....
이건뭐 다시살수도없고.. 설계를다시할수도 없고.,.
크기가 맞지않아 헐렁거리는거는 글루건으로 붙여버렸습니다..
그렇습니다 글루건은 만능입니다.. 으흐흐
2개의 LED에 4가닥의전선을 납땜한 모습입니다.
사진은 이렇게 보여도 새끼손가락 손톱보다도 작습니다. 은근히 난이도가 높죠..
선들이 서로 단락이 되지 않도록 주의....
이런식으로 3개를 더만들면...
후후 8개의 LED램프가 실패한거없이 잘들어오는군요...
요녀석들을 강력본드로 붙이고 16가닥 선들이 단락되지 않도록
글루건으로 떡칠을 해줬습니다.
완성된 케이블의 모습 입니다.
LED8개의 반대편에는 레이드카드로부터 신호를 받아들일 점퍼 8개를 연결하였습니다.
이 녀석만드는데만 세시간이 걸렸네요.. 정말 잔손이 많이가는 녀석입니다.. ㅡㅡ
상태등도 달아줘야죠...
왼쪽부터 8개의 LED 다발이 Raid 하드 경고등, 주황색이 Raid HDD 활성등,
빨간색이 시스템HDD 활성등, 녹색이 전원등 입니다..
USB, 쿨러, LED, 스위치, 전기배선 까지 완료한 모습입니다. (후면에서 바라본모습)
전선이 수십가닥들어가니 엄청 복잡해졌습니다..
이제 본체부분은 거짐 다 되었으니.. 하드디스크 파트를 만들어봅시다.
하드디스크 서포터에 하드디스크를 장착한 모습입니다.
양 옆은 하드디스크가 흔들리지않도록 나사로 고정할수있는 구멍이있습니다.
처음 아크릴을 주문할때 나사구멍도 뚤어달라고했죠..
원래는 나사를 쓰지않아도 괜찮을정도로하드가 빡빡하게 들어가게 해서
무나사 시스템으로 만들려고했는데..
켈리퍼스로 측량결과 하드디스크 제조사마다 크기와 두께가 다 제각각이더군요..;
그래서 별수없이 나사를 썼습니다..
[사진]
요사진은 하드서포터를 받쳐줄 하드받침대 모습니다
요위에 4개들이 하드디스크가 세개 올라간후 서버 본체에 얹혀지게되는거죠...
무슨 아파트같죠?? 301호 302호 303 호...
구조가 좀복잡해지긴하지만 4개씩 하드디스크를 분리형으로 관리하기위해선
이게 가장 좋은 방법인듯하네요..
벽면 양옆으로 지지대가 설치된 모습입니다.
고기구울때 얹는 그릴 받침대 같죠???
요 지지대는 가로로 놓던 세로로 세우던.. 뒤집어두던..
어떠한 상황에 도 흔들리지 않고 안정적으로 세울수 있도록 설계했습니다.
자칫 2층에 입주하고계신 무거운 하드디스크님들이 무게를 견디지 못하고
낙하라도 하는날엔 1층에 거주하고 계시는 메인보드님께서 봉변을 당하시니
정말 튼튼하게 만들려고 노력 많이 했습니다..
요 받침대 위에 하드디스크 널판지를 얹고
그 위에 4개들이 하드덩어리 세개를 얹으면 아래와 같은 모양이 됩니다.
마지막으로 붙인 뒷판의 모습니다.
하드디스크 전면으로 유입된 찬공기가 하드디스크를 식히고
바로 나갈수있도록 커다란 구멍이 뚤었습니다.
또한 PCI 슬롯 꼽는부분과 메인보드 후면패널 부분도
별도의 칸막이나 서포터 없이 커다란 구멍으로 처리해
메인보드 본체부에서 뜨거워진 공기가 내부에서 빙글빙글 돌지 않고
바로바로 후면으로 나갈수 있도록 하였습니다.
뒤에서 보니 밑면은 메인보드.. 윗부분은 하드디스크..
2층구조가 가장 잘 부각이 되는군요...
| 공기 순환 |
위 공기순환도를 보시면 아시겠지만..
앞면의 대형쿨러 4개가 방안의 차가운 공기를 서버안으로 밀어넣고..
뜨거워진 공기가 하드디스크를 거쳐 뒷면으로 바로 나가게 되어있습니다.
120미리 쿨러 세개는 하드디스크 4개씩 바람에 직격타를 때리는데
좀 과도하게 쿨러가 장착되어있는듯 보이지만..
24시간 돌아가는 하드디스크의 열은 엄청나서 이렇게 하지 않으면 열기를 식힐 수 없습니다..
| 후면 환풍장치 |
80미리 짜리 총 4개의 쿨러!!!
양 사이드로 케이블을 집어넣을수 있는 구멍....
안쓰는 구멍은 뜨거운공기가 나가지 않도록 경첩을 달아 닫히도록 만들었습니다.
80미리 쿨러 우측 빈공간은 경첩을 달아 뚜껑으로 만들었습니다..
경첩을 달아논 이유는 이 녀석을 본드로 발라버리면
선정리를 할수 없으니깐요.. 이 아래로.. 파워케이블 이라던지.. 모니터 케이블이라던지.
여러 케이블이 왔다갔다 해야하니깐요...
여차할땐 수납공간으로도 활용이 가능합니다.
완성된 모습.... 테스트 중입니다...
본체의 팬 컨트롤러에서 부터 나오는 전력선을 가지고 연결했는데
설계대로 정상작동하네요.
본체와 함께 뒷면 환풍장치도 장착한 최종 완성 모습니다.
음 쿨러에 기본옵션으로 들어가있는 파란색 LED가 이쁘게 빛나는군요....
이쁘기는하지만.....LED를 잘라버려야겠네요...
왜냐구요??
이런 환경에서 댁은 잠이 옵니까?
ㅡㅡ
| 닥트 만들기 |
처음 생각한 예산을 40만원이나 초과를 해버려서..
닥트는 하드보드지와 캔트지로 저렴하게 만들었습니다...ㅡㅡ;;
한쪽으로 모여서 뿜어나오는 뜨거운.. 공기..
쿨러부분을 사방을 5미리 띄운 공중부양 브릿지 형태로 만든건 이 서포터를 꼽기 위함이었습니다.
쿨러를 벽면에다가 붙였다면 이 연통서포터를 꼽지 못하겠지요??