家庭网络系统搭建经验分享 篇六:乘着SMB3的翅膀,低成本实现内网多通道带宽叠

2019-04-11 14:17:50 790点赞 6894收藏 386评论

对于速度的渴求是我们与生俱来的天性,在这个千兆入户光纤开始普及,5G移动网络即将上线的时代,内网千兆链路100MB/S左右的传输性能,对于NAS等网络存储设备的用户而言已不能满足日益膨胀的速度需求。

高端玩家们开始尝试利用光纤内网、万兆铜缆、InfiniBand等一些企业级的技术手段提升传输性能;但是对于大多数普通玩家而言,技术入门、配置摸索的学习成本就让人头痛;设备、和线路改造的资金投入更加无法接受。好在技术的升级往往会跨越设备的壁垒,今天我们就来聊聊微软为我们带来的福利,利用Windows 最新SMB3实现简单易用的多通道带宽叠模式。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

对于不想看详细内容,只关心使用方法的朋友,简单概括如下:

1、多通道带宽叠无需任何专用设备支持,普通集成网卡、傻瓜交换机均可实现,只要客户机、服务器、交换机上的网口足够就可以随意叠加。

2、多通道带宽叠基于软件功能,无需任何专业设置,即插即用,方便稳定。但是需要服务器和客户机安装Windows 8、Server 2012以上操作系统,或者内置固件支持此特性。

本文涉及SMB 3和多通道带宽叠加均已安装Windows 10系统的PC或者DIY NAS系统为例,对于成品NAS各大厂家的多通道带宽叠功能目前还在测试阶段,群晖已经可以通过SSH命令手动开启,但是实际使用效果还不稳定,所以这次暂时不做分享。

只要满足以上两方面,即可插上网线开始享受带宽叠加带来的高速快感。而对于想详细了解这一功能与性能测试的朋友,请继续看如下介绍和测试:

技术背景

本文所分享的多通道带宽叠功能均基于使用SMB3协议进行的内网数据传输,通俗的来说就是Windows下通过共享的网络驱动器进行的数据交换。对于FTP、NFS这些传输协议都是无效的。

SMB协议是微软与Intel共同开发的网络文件共享协议,通过该协议可以让应用程序读取和写入文件以及从计算机网络中的服务器程序请求服务。

SMB 协议可在其 TCP/IP 协议或其他网络协议上使用。使用 SMB 协议时,应用程序(或应用程序用户)可访问远程服务器上的文件或其他资源。这让应用程序可以读取、创建和更新远程服务器上的文件。它还可以与任何设置为接收 SMB 客户端请求的服务器程序通信,这种协议被广泛的应用在NAS存储中。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

基于SMB 3的多带宽叠加早已不是什么新鲜的技术了,早在Windows 8发布之初与之配套的SMB3.0规范便已实现,现在的Windows 10已经更新到3.1.1;我在2015年便有分享相关经验的想法,却一直拖拖拉拉直到现在才总算完成。对于一直催我更新的值友们这里先说声抱歉了。。。。

目前基于传统RJ45网络接口+铜缆网线的有线网络环境中,目前最常用的方法就是带宽叠加,将多条独立的千兆链接进行聚合、叠加,以实现总带宽的扩容。目前常用的有链路聚合叠加(Link Aggregation Control Protocol)和SMB3多通道带宽叠加(SMB 3 Multichannel)两种方式,我们先看下他们之间的区别。

链路聚合叠加(Link Aggregation Control Protocol)

链路聚合(LACP)是基于IEEE802.3ad标准的网络传输协议,指将多个物理端口汇聚在一起,形成一个逻辑端口,以实现出/入流量吞吐量在各端口的负载均衡并增加带宽。

链路聚合最大的优势在于属于硬件层面的端口聚合,不局限于某一种操作系统或者传输协议,这对于企业级较为复杂的网络环境有着不可替代的作用。

在NAS产品大量涌现的当下,链路聚合等相关技术为了众多厂商的宣传亮点之一。支持链路聚合的NAS产品都具备2个以上的LAN接口,按照厂家的宣传,通过将网口聚合,可以达到2Gbps以上的传输带宽。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

从技术本质上来说厂家的描述没有什么问题,只不过因为大多数消费者都并非精通网络技术,所以对于链路聚合产生了不切实际的幻想。

实际使用情况以下图为例:

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

当存储服务器与交换机均支持LACP相关协议并完成设置后,两者之间的网络连接就实现了带宽聚合。若服务器有两个网口,则聚合后的总带宽为2Gbps。两台客户端使用千兆有线链路连接交换机同时存取服务器上的数据时,两者均可达到1Gbps的读写速度;此时服务器端网络总吞吐带宽也达到了2Gbps。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

但是如果按照下图,单客户端加两条千兆有线链路连接交换机存取服务器上的数据,则有效传输带宽依然为1Gpbs,无法利用叠加后的2Gpbs带宽。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

所以这里需要强调,链路聚合是带宽叠加技术的一种,但是他只对于交换机-交换机、交换机-服务器之间的链路进行叠加,无法提升点对点的传输带宽。

SMB3多通道带宽叠加(SMB 3 Multichannel)

多通道带宽叠是SMB3规范众多新功能中的一项,以下图为例:

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

假设服务器与客户机均配有多网卡,如启用SMB多通道模式,系统则会利多通道技术,会对每个会话建立多个TCP/IP连接,这样就可以充分提高整个链路的吞吐而实现物理带宽的叠加。不过这种带宽叠加仅仅支持使用SMB3规范的数据传输,对于其他数据传输协议均无效。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

两种技术之间的具体区别如下:

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

对于网络系统规模较小、应用较为单一的个人、家庭用户而言,使用SMB3的多通道功能来提升内网传输速度,无论在投入的设备成本、学习成本还是实际效果表现来看都远高于传统的LACP链路聚合技术。唯一对于操作系统方面的限制在Windows10已经广泛普及的当下也已不再是障碍。

硬件选购

实现SMB3规范下的多通道带宽叠加功能是不需要添加任何专用设备的,不过为了实现带宽叠加就需要更多的网口来接通更多的传输链路,所以假如这方面硬件规格不足的朋友还是需要增加一些基础设备的。

网卡

对于带宽要求不高,且服务器和客户机上已经集成双网卡的用户,其实并不需要在单独采购网卡。对于像我一样希望使用更高带宽的用户可能需要再选购一块多端口网卡

正规渠道的多端口千兆网卡价格都很贵。淘宝上有拆机的二手网卡,价格低廉,但存在假货的风险,所以建议了解清楚情况后再下手。我最终通过HP代理购入了2块NC364T 四端口千兆网卡。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

交换机我选用NETGEAR GS316 16口千兆交换机,非网关傻瓜交换机,做工优良,价格便宜。假如对于带宽要求不朋友也可以使用更加实惠的8口交换机,甚至路由器附带的LAN接口。

美国网件(NETGEAR)GS316 16口全千兆非网管交换机 中小型企业商用以太网交换机429元京东去购买

NETGEAR GS316采用网口平铺布局,体型扁平且小巧,便于在我狭小的书房中安装与布线;而16个千兆接口也让我足够使用尽情折腾。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

功能配置

实现SMB3的多通道功能非常简单,只需满足以下条件即可

1、服务器与客户端基于Windows8以上操作系统,或者支持SMB 3;

不同Windows系统组合之间所能够支持的最高的SMB版本不同Windows系统组合之间所能够支持的最高的SMB版本

2、服务器和客户端的所有网线都在同一网关下的内网中,最好都接于同一台服务器。

当以上条件条件都满足,且两者间存在一条以上网络链接,便可自动实现带宽叠加功能,无需进行任何相关系统参数配置。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

实际使用时由于存在多个网络端口,服务器和客户机会存在多个IP地址,但用户无需考虑这些,直接使用服务器主机名或者服务器任意IP地址进行文件浏览和数据传输,都可享受多通道功能带来的网速叠加体验。

性能测试

测试环境

服务器与客户端相关硬件规格

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

服务器我使用主板集成网卡和PCI-E 4端口千兆网卡建立了达到6Gbps的叠加带宽,主客户机则一共使用了5个千兆网口,总叠加带宽为5Gbps。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

服务器与客户端所用硬盘测试性能如下:

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

客户机所用三星 SM951 256G硬盘因为使用M.2接口使用NVME接口规范,所以读写速度对于网络传输负载来说不存在任何瓶颈。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

服务器所用的Sandisk Extreme II 480G属于较早期产品,所以速度不及支持NVME规范的产品,实际读取551MB/S、写入427MB/S对于高带宽叠加还是存在一定瓶颈,尤其是写入性能。

双链路带宽叠加

首先测试一下双链路下的带宽叠加,此状态下服务器与客户机只需具备双网口即可实现。这对于很多用户来说这是最容易实现也最为有效的提速方式。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

双路网络链接总带宽2Gpbs,理论传输速度为256MB/S。客户机通过SMB协议复制服务器中的数据时,点对点的实际传输带宽轻松突破220MB/S传输速度。因为传输速度均在两端SSD硬盘的读写性能范围之内,所以传输曲线相当平滑,两条千兆链路均处于满负荷吞吐状态。

三链路带宽叠加:

服务器与客户机之间增加一条千兆有线链路,理论带宽为3Gbps。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

实际传输速度338MB/S,曲线平稳,三条千兆链路依然处于满负荷吞吐状态。可以看出似乎只要在两端硬盘读写性能之内,叠加的带宽就可以全力释放出接近与理论带宽的传输性能。

五链路带宽叠加:

接下来我不打算依次增加链路数量,直接将我客户机与服务器上网络端口全部开启,共计5条千兆链路实现了5Gbps的理论数据带宽,数据带宽已经达到服务器上SSD硬盘读写性能极限;而此时网络端口的占用也达到了10个,所以这种模式作为极限状态测试。我详细测试客户机从服务器读取数据和客户机向服务器写入数据两种传输模式下的性能表现。

服务器向客户端传输数据,此时服务器端硬盘为读取状态,客户端硬盘为写入状态。

此时网络传输带宽与服务器端的SSD的读取性能基本相当,传输曲线变不如前两次测试那样平滑了,不过平均速度依然维持在480MB/S的水平,这对于网络传输算是相当可观的性能了。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

客户端向服务器传输数据,此时服务器端硬盘为写入状态,客户端硬盘为读取状态。

网络传输性能超过服务器SSD的写入性能,传输曲线出现比较剧烈的波动,这应该是SSD主控芯片满负荷运行时产生的。最终平均传输速度稳定为410MB/S,这也与之前测试的数据基本吻合。

而且通过这次测试还可以看出,当总体传输出现波动时,每块网卡同样随之波动,而且5快网卡的大致波形基本吻合,这也印证了SMB3网络多条通道中的负载均衡功能发挥了作用。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

功能体验

链路冗余

首先以5条千兆链路同时工作开始数据传输,初始传输速度约480MB/S,然后我开始依次拔掉交换机上的网线接口,以模拟网络出现故障时的状态,最终我只保留一条网线来保持连接。然后我再依此插回网线,继续模拟网络恢复。最终完成测试后的数据传输曲线如下:

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

可以看出当进行带宽叠加的端口组中,如果有一个或几个带宽出现故障时,系统会自动将剩余端口继续传输数据;而当网络恢复后系统也会立即将其加入到正在进行的数据传输中。整体都是动态进行调整的,一部分端口的故障或者恢复均不会影响整体数据传输的连贯性。

同时我们可以看出,每次端口增加或者减少后,整体的传输曲线只会成台阶状的整体上升、下降,并不会出现剧烈的波动,这也可以验证出在单客户端传输环境下,负载均衡机制很好的发挥了作用,使网络传输更加稳定。

多客户端负载均衡

我找了两台客户端来进行测试,一台配备了5个千兆网络接口,与服务器实现5链路聚合;而另一台仅适用单千兆网口与服务器相连。两台客户端同时与服务器进行数据传输时,实际效果如下:

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

首先服务器优先满足了低带宽客户端的带宽需求,使之满速运行,最终传输速度稳定在113MB/S的千兆网络传输极限速度。

然后再将剩余4个网络端口进行聚合,向高带宽客户端传输数据。由于受到服务器硬盘读取性能限制,最终传输速度稳定在343MB/S。

而当低带宽客户端结束数据传输后,高带宽客户端也随即恢复了满负荷传输状态。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

使用感受

稳定性

基于SMB3规范的带宽叠加,无需专用设备;无需繁杂的系统设置,搭建的成本相当低廉,而获得的效果也非常出众。

除了点对点完美实现了多宽带传输速度叠加之外,原先基于端口汇聚的线路冗余、负载均衡都功能也一应俱全。对于小规模网络使用的个人用户基本可以舍弃技术和装备门槛都高很多的端口汇聚了。

实际使用效果也非常稳定可靠,只要网络设备稳定,存储系统性能达标,就可以获得持续稳定的高速链接。我在使用的3年时间里从未出现过失效或者不稳定情况。

可用性

这项应用,使用双千兆带宽叠加模式是收益最大、性价比最高的使用模式

对于狂热追求高速的玩家来说

3宽带以上的网速叠加,可以最大程度上发挥和利用NAS设备上高端SSD仓库盘的读写速度。这对于SSD的基本性能也提出了更高的要求,对于大多数中低端大容量SSD,虽然标称性能都很可观,测试成绩也很优秀,但是这些很可能只是基于容量有限的缓存的成绩,而实际在进行大块数据读写存储时往往就会出现如下图的传输曲线。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

所以在实际使用前一定要区分清楚厂家标称的读写速度是持续是所谓的“缓存读写速度”还是真实的“持续读写速度”

对于追求性价比的普通用户

一台傻瓜型的八口交换机就可以负担两台客户端与一台服务器的链接,对于设备上已经集成双网口的用户来说,基于SMB3.规范的带宽叠加可以说是白送的福利,而且就算增加一块千兆网卡花费也相当低廉。

对于使用普通大容量HDD的存储系统的用户来说,得益于单盘容量的不断增大,平均读写速度也早已不再局限于100MB/S的性能水平了。以我目前正在使用的希捷酷狼 8T HDD为例,读、写的最低速度都已经超过100MB/S,平均速度达到了180MB/S,在这样的性能下使用双千兆带宽叠加,可以说是胃肠有效的性能提升手段

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

实际测试性能如下,140MB/S的传输速度已经超过单千兆网卡的带宽限制。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

而且因为机械磁盘存储载体为旋转的圆形磁碟,所以虽然硬盘的转速恒定,但是随着磁头从碟片的外圈向内心移动就会持续降低线速度,因此磁盘外圈的传输率最高;内圈则传输率最低。所以实际传输速度与数据存储的扇区位置有很大的关系,对于存储在靠近外圈的数据理论上还可以获得更高的传输速度。

乘着SMB3的翅膀,低成本实现内网多通道带宽叠

实用性

对于我现在所用的5千兆带宽叠加,其实属于性能严重过剩的浪费模式,因为在一般工作和家用环境中很少有软件需要如此大的网络传输带宽,而我现在唯一能够受益的也只有大容量视频渲染后的存出输出。

所以这种模式更多的只是对于极限性能的追求和发烧的折腾,一般用户完全无需照搬使用。但是由于实现起来非常方便,这也可以看作一种技术的储备,日后如有用武之地便可立即投入使用。

展开 收起

NETGEAR 美国网件 GS308 8口千兆交换机

NETGEAR 美国网件 GS308 8口千兆交换机

209元起

NETGEAR 美国网件 GS108E 8口千兆交换机

NETGEAR 美国网件 GS108E 8口千兆交换机

389元起

NETGEAR 美国网件 GS316 16 端口千兆以太网交换机

NETGEAR 美国网件 GS316 16 端口千兆以太网交换机

暂无报价

NETGEAR 美国网件 GS116E V2 16口千兆网管交换机

NETGEAR 美国网件 GS116E V2 16口千兆网管交换机

暂无报价

NETGEAR 美国网件 GS105E 5口1000M千兆简单网管网络交换机

NETGEAR 美国网件 GS105E 5口1000M千兆简单网管网络交换机

269元起

NETGEAR 美国网件 JGS524E 24口千兆简单网管交换机

NETGEAR 美国网件 JGS524E 24口千兆简单网管交换机

暂无报价

NETGEAR 美国网件 GS324 24口千兆以太网交换机

NETGEAR 美国网件 GS324 24口千兆以太网交换机

暂无报价

NETGEAR 美国网件 GS105 网络交换器

NETGEAR 美国网件 GS105 网络交换器

暂无报价

NETGEAR 美国网件 GS105E 5口千兆交换机

NETGEAR 美国网件 GS105E 5口千兆交换机

269元起

NETGEAR 美国网件 GS105 5口千兆交换机

NETGEAR 美国网件 GS105 5口千兆交换机

160元起

NETGEAR 美国网件 电竞级夜鹰S8000 交换机 8口千兆GS808E

NETGEAR 美国网件 电竞级夜鹰S8000 交换机 8口千兆GS808E

暂无报价

NETGEAR 交换机 8 Port

NETGEAR 交换机 8 Port

暂无报价

NETGEAR 美国网件 Switch 黑色 8 Port (10G)

NETGEAR 美国网件 Switch 黑色 8 Port (10G)

暂无报价

NETGEAR/美国网件 GS308P 8口千兆交换机

NETGEAR/美国网件 GS308P 8口千兆交换机

暂无报价

NETGEAR 美国网件 GS305 5口千兆交换机

NETGEAR 美国网件 GS305 5口千兆交换机

暂无报价

NETGEAR 美国网件 GS110MX GS110MX 8口千兆+2口万兆 交换机

NETGEAR 美国网件 GS110MX GS110MX 8口千兆+2口万兆 交换机

暂无报价
386评论

  • 精彩
  • 最新
  • 拔网线的测试有没有测试传输完成后文件是否完整呢?

    校验提示文案

    提交
    只影响传输时的速度,传输完整性没有任何影响。

    校验提示文案

    提交
    你自家的产品心里还不清楚么 [抽烟]

    校验提示文案

    提交
    还有10条回复
    收起所有回复
  • wifi也支持smb 3.0吗?

    校验提示文案

    提交
    理论上是支持的,实际测试WIFI+有线千兆带宽也是叠加状态的,但是我测试几次这种叠加模式的传输非常不稳定,速度波动很大,就算WIFI信号非常好也是如此,一直没搞清楚原因所以暂时就没写。

    校验提示文案

    提交
    客户机是群晖的NAS是不是就不支持叠加了?!

    校验提示文案

    提交
    还有6条回复
    收起所有回复
  • 楼主可以测试一下双万兆网卡直连方案,无需交换机,发热小还稳定便宜;缺点是只能服务器--工作电脑互联。 [高兴]

    校验提示文案

    提交
    这个方案我最初考虑过,不过后来细想和我的需求初衷是违背的。

    我用NAS最大的需求是数据资料在多终端乃至云端实现共享,但是假如用光纤或者万兆网线这种形式直连,那和USB硬盘有什么区别。。。。。

    校验提示文案

    提交
    [得逞] 万兆交换机才2600.

    校验提示文案

    提交
    还有11条回复
    收起所有回复
  • 首图看的舒适!

    校验提示文案

    提交
    就是看的舒适,然而扁线过不了Fluke测试

    校验提示文案

    提交
    收起所有回复
  • 线插成那样真爽

    校验提示文案

    提交
  • 我看不懂,但是我就是封面图看着好爽

    校验提示文案

    提交
  • 最大的阻碍就是装修预留的线不够,要么就是放弃,要么就是明线,要么就是重新装修

    校验提示文案

    提交
    现在家庭布线也可以考虑光纤了,大不了用个光电转换器

    校验提示文案

    提交
    光纤便宜啊,同样万兆网,光纤更便宜,而且光纤可以埋好几根

    校验提示文案

    提交
    还有7条回复
    收起所有回复
  • 这个。。用群晖的小伙伴,记得,要把群晖的smb协议打开3.0版本。。默认是2.0。。别问我怎么知道的。。

    校验提示文案

    提交
    哈哈,谢谢了1

    校验提示文案

    提交
    怎么打开呢,请指导下

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 难得的技术学习贴 [高兴] 突然想起来当初换新电脑后,小米电视2S的高清播放器死活连不上Win10的共享文件夹,后来才发现是因为电视用的是SMB1.0而Win10默认没开这个,到组件里勾上就可以了,所以我现在装Win10总是要勾上几个旧组件的,鬼知道啥时候用得上,比如DX9和.net4.5

    校验提示文案

    提交
    最后把.net3.5误写为4.5了 [喷血]

    校验提示文案

    提交
    原来如此,赶紧试试

    校验提示文案

    提交
    收起所有回复
  • 为什么两台win10主机不能实现带宽叠加?共享文件传输只有一个网卡满载运行

    校验提示文案

    提交
  • 所有条件全部符合,等等,操作系统还是win7 [喜极而泣] [喜极而泣] [喜极而泣]

    校验提示文案

    提交
  • 这线走的真漂亮。

    校验提示文案

    提交
  • 这篇文章超好!!!
    今天照做了,果然是插上网线就可以,一次成功!两条网线接上速度确实翻倍!!!!! [赞一个] [赞一个]
    不过我的SSD比较垃圾,效果就是作者说的只有缓存速度! [火冒三丈] [火冒三丈]

    校验提示文案

    提交
  • 这个测试是点对点,如果中间加两台傻瓜交换机或者路由器可行吗?还有2线1g交换机接服务器,电脑2.5g单线接2.5G交换机,这样可以实现带宽叠加吗?

    校验提示文案

    提交
  • 有实测是个不错的应用参考,就是使用使用场景很少……

    校验提示文案

    提交
    到底有什么实际场景可以用到

    校验提示文案

    提交
    向服务端拷贝读取文件是比较常用的,itx pc接windows文件服务器,可以映射磁盘后,把非编素材啥的放服务器上

    校验提示文案

    提交
    还有2条回复
    收起所有回复
  • 我tm就想知道是哪位大神在家玩infiniband。。。

    校验提示文案

    提交
  • 看了半天没看懂怎么操作?Win10和win server2019,都插上网线接交换机还是走单网卡?

    校验提示文案

    提交
    意思就是客户端及服务器端都需要多网卡,并连接网线到交换机,才可实现smb3

    校验提示文案

    提交
    可惜我交换机可以聚合,装的WIN10双卡不好聚,用的Server一直报错重启,毕竟不是ECC内存啥的服务器配置,就普通四代主机,郁闷的,特意买了个PCIE单口,现在在想着用个可以聚合的系统。

    校验提示文案

    提交
    收起所有回复
  • 干货,打赏

    校验提示文案

    提交
  • 干货,外加置顶图片极度舒适

    校验提示文案

    提交
  • 楼主这么分享,但是我还是对这个一头雾水,能不能发一下客户端和服务端的一个配置说明?还是说只要网线够了就自动使用了呢?

    校验提示文案

    提交
    看作者意思,好像是即插即用。但是,不要设置,不会起风暴?

    校验提示文案

    提交
    同问,这个好在不需要多线程,端口聚合多线程才有用

    校验提示文案

    提交
    还有1条回复
    收起所有回复
提示信息

取消
确认
评论举报

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
6.8K
扫一下,分享更方便,购买更轻松