你需要的私人服务器,它应该长什么样子?从小白开始研究超过一年,从AM4到1150我做了什么选择?
创作立场声明:全都是自费购入,快乐折腾,希望哪位金主给点饭恰一恰。
其实我自己搭好的服务器已经正常的运行了将近三个月了,忙着刷手游看比赛玩主机,就一直咕咕咕咕咕。现在慢慢开始写这篇也算是给自己一个交代,尽量避免废话,直入主题,希望能够帮到大家。
1,明确服务器是什么,你为什么需要它。
引用知乎网友 "francium bobo" 的一段话:
本质上还是计算机而已,所以任何有计算和网络功能的计算机只要上面有运行服务端软件, 都可以被称为’服务器‘。所以别说个人计算机, 连手机,平板按照上说的说法都是’服务器‘。
重点在它运行了了什么,而不是它长什么样子。
2,明确自己这台服务器的作用。
从我个人的角度来讲。关键词就是闲着没事,折腾。
那我需要点什么呢?软路由,群晖,学习linux,学习esxi。以及利用上我闲置了三年的机箱FD NODE804,各位不用找了,国内绝版。
3,那如何挑选硬件呢?
综上所述,我对机器的性能没什么需求,但是希望有比较不错的扩展性,以及做基本的稳定性。
最低需要直通四个网口,一张可以扩展八个3.5HHD的sata扩展卡。
那么重点来了,我的第一套平台(大坑)ryzen。
X370GT3
RAYZEN 1200 便宜!大碗!性能足够!
2 * 8G 2666
XFX550
Intel I350T4
LSI 2008芯片SAS扩展卡
SAS一分四sata * 两条
inter optane 16G(我想大家都知道,这玩意就是一个很耐用的nvme协议的SSD),安装系统 esxi / PVE。
nas用硬盘若干。
关于安装底层操作系统,各路大神的教程已经很丰富了,我就不赘述了,直接讲问题:
1,任何一块支持直通的扩展卡插在第一条直通CPU通道的PCIE* 16,,可以进行直通的操作。
然而插在尾部的那一条PCIE * 16则不行。原因是因为这条PCIE从PCH桥接出来的。
AM4的前两代的芯片组是由祥硕外包,而不是AMD自行研发,锅可能给祥硕亦或是软件缺乏对AMD的支持
X570这一代没有经过验证还未知。
我在找答案的时候遇到了有的问题的网友: forum-sc.msi
其实是有解决的办法,找一块有两条从CPU出来的PCIE的主板,不过一般来讲会比较贵一点,在追求性价比面前我选择放弃。
2.sata控制器,音频,USB都可以直通,但是没有办法启动任何一个虚拟机。怀疑跟问题一是一个情况。
3.M.2也是CPU直连。买了转接板,尝试之后失败,放弃。
总结:
AMD虚拟化可用吗?
可用,但是AMD在服务器市场缺失了十几年的份额,99.99%的软硬件厂商都在跟intel不停的加深合作。使用AMD平台无疑会出现很多为止,甚至无法解决的问题。但纯粹的家用,使用win server或者linux docker或许简单可行,但需要不少学习成本。如果对直通没执念,我想ryzen平台至少在家用是一个不错的选择。
此处开始正片
开始折腾intel平台。
惯例介绍配件
机箱:
Fractal Design node804
正面:
斜上方
除正脸全部拆除状态
装上硬盘架状态
拆除正脸,可以悬挂两块2.5寸的硬盘
底部防尘
主板:Supermicro X10SL7-F
懒得拆了,将就看一下
1150主板,C220芯片组,四条DDR3 纯ECC 8G内存,里面装着E3-1220 v3 @ 3.10GHz 4C4T
板载4 * sata3.0+2 * sata2.0 & usb3.0直插+usb3.0 19针母座
板载4 * sata3.0+2 * sata2.0 & usb3.0直插+usb3.0 19针母座
由于直插被散热器挡住了,所以买了个转换头,是用U盘启动esxi
由于直插被散热器挡住了,所以买了个转换头,是用U盘启动esxi
板载LSI2308,使用了八条来自cpu的PCIE3.0通道,同时也提供了八个sata接口,
板载LSI2308,使用了八条来自cpu的PCIE3.0通道,同时也提供了八个sata接口,
板载ipmi接口+2 * intel i210千兆网卡以及ASPEED Graphics Family板载网卡+4*usb2.0
板载ipmi接口 + 2 * intel i210千兆网卡以及ASPEED Graphics Family板载VGA+4*usb2.0
提供一条从CPU直出的pcie 3.0 * 16(实际带宽pcie 3.0 * 8)+ PCH出来的 pcie 2.0 * 8(实际带宽pcie 2.0 * 4)
来自fujitus的I350-T4,提供四个千兆网口
ESXI 启动盘,慧荣SM 2246XT& USB3.0转接
ESXI 启动盘,慧荣SM 2246XT& USB3.0转接
来自闪迪拆机的128G MLC 颗粒
来自黑屋2800+拿到的两块WD 12T氦气盘
裸包装,飘洋过海来我家
简单的开箱
拆机其实很简单
硬件展示基本就到这里。接下来开始分析思路,以及我要干什么。
1,主板自带两个sata控制器,我或许可以搞两套nas,一套家人备份,一套我自己。
2,基于理由上面的情况,esxi需要启动盘以及安放虚拟机的存储空间,选择只有一个,就是基于2246XT的方案高性能U盘,接下来就是执行。
总结前人们的解决方案
1: esxi使用系统U盘做存储
thread-1715218-1-1
a.必须esxi6及以上版本
b.esxi系统u盘(tf)建议8G以上
b.熟悉esxi ssh人士。
3.操作步骤
a.打开esxi ssh并root登录
b.进入/vmfs/devices/disks目录。shell:cd /vmfs/devices/disks
c.列出磁盘 shell:ls
6.0通常是mpx.vmhba32:C0:T0:L0,但6.5不不同,可能是以naa开始。通常规律是有一个前缀想同,后面带有:1,5,6,7,8类似的:数字很可能就是
esxi的系统盘(不带":数字"的那个)。本文以mpx.vmhba32:C0:T0:L0为例
还可通过partedUtil getptbl mpx.vmhba32:C0:T0:L0 查看分区信息以确认设备
d.查看分区
shell:partedUtil getptbl mpx.vmhba32:C0:T0:L0
显示输出:
gpt
2088 255 63 33554432
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
c.获取上文中红色部分值(红色部分每个人是不同的),将其-34 (减34) 替换如下shell中的X.(shell为方便复制就不排便了) (复制出shell部分到写字板,然后将X换成所计算的值,复制到esxi shell中执行)
为什么是34,我也不清楚,我是试出来的最小值,还有个-48出现的也比较频繁。网上大都说是-2048.这都没问题。
shell:
partedUtil setptbl mpx.vmhba32:C0:T0:L0 gpt
"1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 128"
"5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0"
"6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0"
"7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0"
"8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0"
"9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 0"
"2 7086080 15472639 EBD0A0A2B9E5443387C068B6B72699C7 0"
"3 15472640 X AA31E02A400F11DB9590000C2911D1B8 0"
d.创建存储:
shell:vmkfstools -C vmfs5 -b 1m -S UsbDatastore mpx.vmhba32:C0:T0:L0:3
完成后即可在client里看到一个UsbDatastore的存储了,可在上面建虚拟机。
我测试了esxi6.5和esxi6.7 u2,esxi6.5失败,发现名字如果不为 mpx.vmhba32:C0:T0:L0 基本就是不行。以及 X 最好减去-2048.
2,直通板载sata控制器。
注意,某些家用主板会有10+以上的sata接口,这些都是使用了桥接芯片的。
由于原贴存在大量错误,我这边就自行编辑了。
shell下执行: lspci -v | grep "Class 0106" -B 1
,查看是否有如下显示:
0000:00:1f.2 SATAcontroller Mass storage controller: Intel Corporation Lynx Point AHCIController [vmhba0]
Class 0106: 8086:8c02
有,即存在此控制器
手工配置直通。
2、 vi /etc/vmware/passthru.map
3、按I建进入编辑模式,添加如下:
#Intel Corporation Lynx Point AHCI Controller
8086 8c02 d3d0 false
ESC推出编辑模式,输入:wq保存,重启即可。
这样就完成了。
接下来就是日后谈了,谈谈这些硬件们。
先是CPU的选择,DDR4 OR DDR3?
毫无疑问纯ECC DDR3 白菜价,ECC DDR4贵上天。得益于intel 挤牙膏,最近七八年ipc几乎没有提升,所以会在1150跟1155之间做一个选择。
迷茫的过程中看到了这一片老文章:thread-784058-1-1,Haswell虽然还是22nm工艺,但在节能降耗方面仍然做出了不少努力,尤其是新增加了C6、C7电源状态,+12V2电路最低电流降至仅仅0.05A,只有原来的十分之一,号称可大大降低待机功耗、温度。于是拍板1150,至于我的主板,缘分到了本地收的,大家自己看情况。
接下来关于系统,我选择了esxi6.7 u2作为主力,因为PVE用起来不舒服,就直接pass了。至于大家喜闻乐见的导入模板时出现的BUG,我也找到了解决方案:
注意,相同的操作,我本身也只有50%~60%的成功几率,如果多试几次不行的话,我也没办法。
接着就是虚拟机的选择,大部分UP主都选择了一带一的方式,比如ikuai&ros 外面挂一个 openwrt&lede,其实把openwrt&lede本是一家这件事就不说了,openwrt本身就是一个非常不错的系统,很轻便,没有什么X86是单跑一个openwrt都吃不消的,图形化界面很容易上手,还特意搞个虚拟机+俩路由,性能真不够那就裸装openwrt啊什么都有了,没必要强行跟风大家怎么玩我就跟着怎么玩。
下图是2 * DSM240+M全速下载 + debian作为本地DNS服务器+自行编译Lean大的openwrt的负载情况,大约每个月30块钱电费少点一餐外卖呗~~
值友2835262679
贴主估计被AMD搞晕了,不然用3400GE pro更加美滋滋
校验提示文案
一次搬八块砖
校验提示文案
悠远的驼铃
校验提示文案
万代魂
校验提示文案
三蒿人
校验提示文案
值友8553463038
校验提示文案
值友8553463038
校验提示文案
值友3128112861
校验提示文案
chowen
校验提示文案
认真起来大爆击
校验提示文案
iweiran
校验提示文案
牧马人ol
校验提示文案
琼斯没打
校验提示文案
番茄汤iRu
校验提示文案
charlesk
校验提示文案
[已注销]
校验提示文案
yueker227
校验提示文案
狂风速想
校验提示文案
喜欢看攒劲的节目
校验提示文案
北京市第一精神病院
校验提示文案
明秋
校验提示文案
chowen
校验提示文案
值友6472460694
校验提示文案
值友3128112861
校验提示文案
值友8553463038
校验提示文案
值友8553463038
校验提示文案
三蒿人
校验提示文案
等死二代
校验提示文案
万代魂
校验提示文案
newtypea
校验提示文案
牧马人ol
校验提示文案
悠远的驼铃
校验提示文案
北京市第一精神病院
校验提示文案
一次搬八块砖
校验提示文案
喜欢看攒劲的节目
校验提示文案
iweiran
校验提示文案
狂风速想
校验提示文案
值友2835262679
贴主估计被AMD搞晕了,不然用3400GE pro更加美滋滋
校验提示文案
yueker227
校验提示文案
[已注销]
校验提示文案