快捷导航

[硬件介绍] 自己搭建一个小型的渲染农场需要多少钱啊?

    [复制链接]
2013-12-25 19:57 / 查看: 76853 / 回复: 54
V5CG提示您:本文由图夫发表,如需商业用途或转载请与图夫联系授权,谢谢配合!
图夫
积分:906
版主
参考以下内容,只是个聊天记录整理,非专业详细资料,只是大概的东西。

提示:因为平时遇到很多网友问我这个问题,但我并不是专业做硬件的,我不保证我讲的以下内容完全正确,但是凭借我对电脑硬件的一些接触和了解,我只能按我的理解说说我的看法。

另外本文中还有涉及搭建农场配置单和价格问题,会因时间和每个地方供应商等原因而产生差异。时间久远之后,价格肯定会变动,今天是:2013.12.25圣诞节。

针对“ideaeeee”的回复,做了一些更正。因为我并不是专业,毕竟在CG地业里面,做专业硬件的人交流不多,感谢ideaeeee 的指正。谢谢交流~ :)


渲染农场
渲染农场(Renderfarm)其实是一种通俗的叫法,实际上我们应该叫他“分布式并行集群计算系统”,这是一种利用现成的CPU、以太网和操作系统构建的超级计算机,它使用主流的商业计算机硬件设备达到或接近超级计算机的计算能力。

问题:自己搭建一个小型的渲染农场需要多少钱啊?
答:我们得先弄清楚几个概念,几个关键点,然后再来计算钱这个事~

你要多少个节点?
简单的说就是你想要多少个CPU,或者说是多少台机器帮你跑图?
节点,可以简单通俗的理解,一个节点就是一台机(一个主板板载)。但是CPU数量不等于核心数量,一个CPU可以有2核4核8核甚至是更多核心。核心数量就是在3DMAX渲染时,显示的格子数量。

网络渲染系统是有很多渲染节点组成,采用领先的分布式渲染技术,系统将自动确定网络中可用的渲染节点和资源,同时将将任务分解到相应渲染节点,自动负载平衡功能可以优化工作流程中每个渲染节点的使用效率。如果某一个渲染节点与网络断开,内置式故障保护功能管理端将自动将作业重新路由到“渲染器”中的其他渲染节点,确保渲染工作如期完成工作。

MAX有自带的 Backburner 网络渲染管理器,VRAY也有很方便的联机渲染功能。



服务器、图形工作站和普通PC的区别:
1、稳定性要求不同
2、性能要求不同
3、扩展性能要求不同
对于画图的来说,最重要的一点,就是稳定性,服务器是可以24*7不关机,长时机运行的。而且还有容错、纠错内存。

图形工作站,就是加了比较好的显卡的服务器,在稳定、低功耗等的前提下,加强了显卡显示功能。其实就是服务器,别误会。服务器,可以做到不带硬盘,不带显卡,可以使用外接连接使用。

但是用服务器并不表示它速度快,因为服务器为了追求稳定性,精选低功耗低频的CPU,有很多普通I7的CPU,跑的比至强服务器CPU要快,以前亲测过一颗I7的980X可以秒杀2颗XEON 的5620,这两年来5620价格一直保持在2000左右几乎没多大变化,但是980X从上市9000大洋降到现在5500左右。现在早有更便宜实惠低功耗的1230 V2(E3不能双路),价格比5620便宜,速度比5620要快,1230 V2比I7的2600稍逊一点,但是I72600要2千块,两颗1230的话却不到三千块,不过有4770K,比2600K贵一百多块钱,性能更高。看你的需求了,不过现在1290都出来了。

据2013年11月CPU天阶报表来看,目前最高端的CPU是I7 4960X,网上报价是6000-7000人民币。服务器CPU当前最高快的是至强Intel Xeon E5-2697W,价格1.1万。

硬件升级的很快,但是不代表一下子就会淘汰丢掉不要了。看好你的钱来定吧。最后面我们再找个章节来对比下,我们是应该买服务器,还是买普通PC,是用XEON还是用I7。。。



服务器的结构来分类:
1、塔式服务器
2、机架式服务器
3、刀片服务器
(三类服务器见下面表格中有图示)

塔式服务器、机架式服务器和刀片服务器分别具有不同的特色,塔式服务器应用广泛,性价比优良,但是占用较大空间,不利于密集型部署。机架式服务器平衡了性能和空间占用,但是扩展性能一般,在应用方面不能做到面面俱到,适合特定领域的应用。刀片服务器大大节省空间,升级灵活、便于集中管理,为企业降低总体成本,但是标准不统一,制约了用户的选择空间。建议用户在采购时根据实际情况,综合考虑,以获得最适合公司建设的解决方案。

详情请看:新手经验:服务器的简介与分类 http://bbs.v5cg.com/thread-2577-1-1.html



图夫提供的渲染农场搭建参考一(公司员工大于100人,小团队农场搭建参考请看最后面配置与报价)
图夫提供渲染农场搭建参考一
系统部件
外观参考
规格
渲染节点
01-节点.jpg
CPU:
至强1270 v2双路, 16核;
Intel i7 2600;
Sandy Bridge 3.4GHz 动态加速 级缓存 8M至强;
xeon Sandy Bridge 3.2GHz 动态加速 三级缓存 8M;
4*4GB 1333DDR内存;
1*500GB SATA硬盘;
高速千兆以太网卡智能温控降躁风扇;

以上仅为参考配置,左图为刀片服务器盘柜
管理节点
02-管理节点.jpg
intel xeon 5620 高性能处理器;
8*4GB ECC校验内存专业的希捷企业级硬盘;
Raid卡 LSI专业Raid卡,6GB/s传输速率;
NVIDIA Quadro专业显卡;

这台机器是用来控制,分配、管理渲染任务的。
左图为常规塔式服务器,配置仅共参考
文件服务器
03-存储服务器.jpg
intel xeon x3430高性能处理器;
2*4GB ECC校验内存;
专业的希捷SAS企业级硬盘;
1.5k高转速硬盘*4Raid卡;
LSI专业Raid卡;
6GB/s传输速率网卡;
专业双/四口网卡,端口汇聚;
专业服务器操作系统;

土豪要是怕调用和存储慢就上SSD固态硬盘吧
左图为机架式服务器,配置仅共参考
交换机
04-交换机.jpg
标准1U机架式
24口全千兆交换机
3200MAC地址
48Gbps交换容量
输入电压:100-240 VAC

配置仅共参考
机柜
05-机柜.jpg
高1850mm宽600mm深800mm
框架、承重托板有划轨和托盘供选择
门板为优质冷轧钢板
前后门为整体通风网孔门
强通风换气风扇
PDU错漏电保护,三防保护(防击穿,防静电,防溅水)
9*40mm托盘组/滑轨

配置仅共参考
电路配置
06-电路配置.jpg
IEC C13/C19标准插孔
标准1U机柜专用
360度绝缘设计
PC/ABS高阻燃面板材料
高强度铝合金外壳

配置仅共参考
管理软件
07-管理软件.jpg
支持下列应用软件的内部提交功能:
maya/Softimage XSI/3dsmax/houdini/
Lightwave/Cinema4D/AfterEffects/
AppleShake/Eyeon Fusion
(支持所有主流三维动画和特效软件)
现在最新版本为6.0
渲染管理软件有很多种,左图的是DEADLINE。

仅共参考



渲染农场搭建示意,操作流程图示。
01-V5CG渲染农场搭建结构示意.jpg

注意了:节点机是没有显示器,也没有显卡的。这个示意中,员工工作人员,是不需要去操作渲染节点机的,直接坐在自己的原位置上,通过访问管理机来控制整个渲染工作。

另外:这里面的存储机,如果你资金有限的话,可以合并到管理机里面,这样的话,光纤交换器也省了。因为CPU在非常高速渲染的时候,如果硬盘读取,调用素材和存储成图的时候,速度跟不上,或者是网络带宽不够的情况下,会出现瓶颈。

举个例子来说,现在动画中大量使用点缓存和模型代理技术,但是这两类文件都是巨大的,一个代理文件就过百M,动画场景中假如还有点缓存动画的话,如果带宽太小就有可能在在网络传送中被卡住,甚至文件调用失败,导致渲染渲染出来的动态树或人不会动,所以,CPU跑再快也没用,网络传送和硬盘的速度也要跟上。



为了节省空间,也有整套的集成机柜,里面包含管理服务器,存储服务器,渲染节点,显示器,电源等。
集成的机柜.jpg



机架式服务器:
09-双CPU和一U机箱.jpg
机架式服务器,左图为1U机架式机箱,单路主板。右图为双路,双CPU主板,有6条内存插槽,不同的主板,有不同数量的插槽。这种1U式机箱,体积小,所以没办法像常规一样装显卡,大部分服务器都是不需要显卡的,如果你一定要装在1U的机箱上装显卡,可以加装显卡转接卡,让显卡平躺着装。

10-4U和2U机箱.jpg
左图为2U机架式机箱,右图为4U机架式服务器,内部空间大,可以垂直常规式安装显卡硬盘支持热插拔。

13-4路机架式.jpg
DELL早期的4路,4CPU服务器,超极机器,多少条内存槽,你数吧。




刀片服务器
12-刀片服务器.jpg
万片式服务器都是可以直接热插拔的,在服务器盘柜里面,可以随时增加刀片数量。

11-刀片节点.jpg
三套刀片

15-双路CPU双硬盘48G刀片节点.jpg
本套为双路2CPU,双硬盘阵列,48G刀片节点。



看看这个骚哥哥,一人钻进机房里,也不怕辐射~~神人啊。
08-机房.jpg
图片中机柜里的都是1U服务器,但里面有可能都是双路的配置哦。。。



这得多少钱啊?
好吧,我来来算算钱的事吧。下面所示配置可用于小于100人的小型公司或工作室。

超值版:
16-5台20节点320核480G内存SSD.jpg
如图示配置为:
  • 整组总共5套机(上图左),每套4节点(每套里面含4块板载主板),总共20节点(相当于20台联机),
  • 每个节点使用双路低功耗XEON L5520,每个节点16线程,24G,60G SSD固态盘20个
  • 合计320线程,480G内存。
  • 配1台纯千兆48口交换机。节点集成远程KVM管理方便。目前最强性价比的渲染农场。
  • 高效的2U机架式机箱最多可支持12个3.5英寸或24个2.5英寸热插拔SAS、SATA或固态硬盘。
  • 渲染的时候,有320个格子在跑
  • 最后面放上相关组图

参考总价:8万内应该可以拿下。



普通版:
可以考虑在上面超值版的配置中,将CPU换成EXON 1230V2,
  • 每个CPU主频高达3.3G
经“ideaeeee” 的指正,同时再次向供应商咨询求证,E3系列的CPU,包括1230V2,只能组单路,不能双路,只有E5以上才能双路。



中级实惠版:
17-9套刀片.jpg
9套刀片节点
  • 每个节点单路CPU:1270,最新智能睿频技术,达3.8G
  • CPU内核Sandy Bridge
  • CPU线程数量:8
  • CPU总线频率:5GT/s L3
  • CPU缓存:8MB
  • CPU制作工艺:32纳米
  • CPU工作功率:80W
  • 每个节点16G内存,共144G
  • 128G SSD固态硬盘
  • 渲染的时候总共有72个格子

参考总价:13.5万未税(这个CPU是新品,具有睿频功能,现为单路,若要双路,需寻找新主析,价格会更高。)



土豪版:
18-DELL土豪版.jpg
以上的是属于自助DIY组装形式,有钱的土豪可以直接购买DELL的品牌机,做工质量漂亮的是没话说,当然价格是要翻好几翻的咯:
  • 通过多个iSCSI、以太网、光纤通道和InfiniBand选项(10 GbE、QDR IB、8 Gb FC等),可实现灵活部署
  • 模块化 网络子卡(NDC),适用于未来集成网络连接选项
  • 通过多达12个英特尔® 至强® 5600系列核心,可实现强大的 处理能力
  • 借助18个DIMM插槽,进行经济实惠的DDR3内存扩展,可实现最高RAM密度
  • 不过DELL的做工质量是很精致厚道的,像上图中的CPU散热器就是全铜。

但是注意,上述的至强® 5600是个系列,不是具体型号,里面包括了很多个,有可能是5620,如果是5620的话,性能就还不如1230 V2;多达12个英特尔® 至强® 5600系列核心,但并没说明是给你装几个;另外说内存多达18槽,但并没说明是给你装几条几G。从整体性能来说,DELL这组的刀片的性能是没法和上机的实惠中级版相比的。

但是DELL这类品牌机的价格是非常吓人的。有兴趣自已去官方问就行了。我不敢问,怕吓着。
官方链接:http://china.dell.com/cn/business/p/poweredge-m710hd/pd




好了,大概就先说这些吧。做个参考,如有错误,恳请指正,有需要再交流。欢迎一切问题直接发帖或回复。
下一期再来讲什么样的配置,会有什么样的速度。。。敬请期待~
更多图片 小图 大图
组图打开中,请稍候......
加入土豪吧,爽!
ideaeeee -2014-4-13 00:28:30 | 显示全部楼层
图夫 发表于 2013-12-26 11:50
我有一台E3 1230 V2是单路的;有一台XEON 5620 是双路,配了FX1800显卡,8G内存。首先痛恨的是这个FX1800显 ...

有可能是你的设置有问题,专业显卡不是装上就用的,是需要一系列的设置的,包括驱动的设置,还有MAX本身图形处理模式的设置。比如,对于专业显卡来说,需要OPenGL。
ylinc -2016-1-12 17:06:20 | 显示全部楼层
整套小型渲染农场转让,有没有需要的同行

20台渲染节点主机:2.5g 16核+16G内存+160g硬盘
2台dell渲染管理工作站
2个48u大机柜
1个48口全千兆交换机及配套千兆网线
全套cg渲染管理软件系统
所有设备目前都在工作状态,可以现场开机测试。

qq:379675171 wx:ylinceric
mading555 -2015-7-11 10:32:02 | 显示全部楼层
以后一定能用到  留名了  
图夫 -2013-12-26 01:29:45 | 显示全部楼层
留位编辑,求交流
ideaeeee -2013-12-26 03:12:47 | 显示全部楼层
图夫大哥,久仰您的大名啊,一直觉得您是效果图界的一个传奇式的人物。似乎一直至力于推动效果图行业的发展。搞了很多让人刮目相看的东西。今天拜读了您的这篇文章,发现您对硬件这些东西好像也是一知半解啊,在这里我要纠正或补充一些东西,如有得罪之处还望莫怪。

第一,至强CPU,目前最新一代,为E系列,即为E3-1xxx、E5-2xxx、E5-4xxx、E7-4xxx、E7-8xxx。其中E3全系列(如文中提到的1230V2及1270等)均为单路CPU,也就是说不管主板能插几个,都没用,CPU本身不支持。E5-2xxx(文章中提到的2697W)为双路CPU,其他的E5-4xxx、E7-4xxx为四路CPU,E7-8xxx为八路CPU。普通民用级CPU如I7全部为单路CPU。至强E5620是i7920的服务器版本,但因其主频太低,功耗又高,所以实用价值并不高。这是服务器CPU的通病。为了稳定,而降低主频。

第二,服务器、图形工作站和普通PC确实没有本质的区别,都是冯诺依曼原理的。服务器CPU其实和普通CPU也没有本质的区别,核心是一样的,可以理解为是CPU的特挑降频版本,(去掉了一些专业领域用不到的一些功能,如核心显卡,超频等。)一般情况下,CPU的频率越高稳定性就越差,这就是为什么CPU会锁定频率,以及超频会带来不稳定的主要原因,服务器CPU之所以稳定,除了因为特挑,体质好以外,最重要的就是主频低。而渲图的时候起到决定性作用的不光是核心数量,主频也是很重要的,可以理解为十个小孩子,和五个成年人干同样的活,结果是十个小孩可能干不过五个成年人。(例如I74960X超频到4.5G的时候,即使是六核十二线程,其渲染速度也并不比双路E5-2620弱多少,甚至你会发现,除了渲染以外的其他工作前者要比后者快很多。)所以CPU的性能取决于核心、主频、核心类型、缓存这四大要素,那一个低了对于速度都有很大的影响。我们的工作,是分为很多个阶段的。不同的阶段对于CPU不同参数的要求是不一样的,一般原则是,不管什么工作,如果核心类型更先进(如目前INTEL的核心类型比AMD的更先进、I74770比I73770的核心类型更先进)、缓存更大、主频更高都会很快,但我们大多数阶段的工作对于核心数量要求并不高,如建模、调图、后期,我们会发现我们在渲染调图阶段,机器在渲染的同时,停掉一两个核心并不影响我们其他的工作。这说明了核心数量这一要素其实只在渲染的时候才起到更大的作用。所以,我的建议是,如果是专门的渲染机,那么核心一定要多。而是我们平时工作的机器,在核心数量不少的情况下,应进可能的要求主频高、核心类型先进、缓存大。另外推荐机架是服务器,散热风道有先天优势。

第三,您在参考一里面提到的渲染节点中,的最大问题就在于1270V2无法组成双路,然后您在后面的“这得多少钱啊?”部分里面提到的一些东西让我感觉很模糊,如:
“如图示配置为:
总共5台,每台4节点,总共20节点,
每个节点使用双路低功耗XEON L5520,每个节点16线程,24G,60G SSD固态盘20个
合计320线程,480G内存。”
这段话,你前面说过
:“节点,可以简单通俗的理解,一个节点就是一台机,准确地说在一个主板上不管几个CPU,都是一个节点。”这样一句话,那么请问你所说的,总共5台是5台什么?每台4节点又是怎么回事?然后,在“普通版”中,您又提到:“可以考虑在上面超值版的配置中,将CPU换成EXON 1230V2,”这里又再次出现了错误,这个CPU是组不成双路的,如何出现的320个格子?理想是丰满的,现实是骨感的。

第四,现在高端民用CPU散热器也都是铜的了,为了防锈有的镀了其他金属(如镍)。中端的也是铜吸铝散。服务器几乎不管啥牌子,几乎都是铜。高端散热走的是风道线路,不是单个某个东西的问题。机架式机箱因为是卧式机箱,风道方面有先天优势。只是在早期的时候因为机器本身发热不大并且太占地方所以在桌面领域被塔式给淘汰掉了。

第五,其实对于我们来说,最适用的除了i7系列之外,其实是至强E5系列,只不过价格过高,但是市场上会有一些ES版的在卖,就是工程样板,一般是INTEL公司出给各大服务器公司做测试用的CPU,测试完成之后会通过某些特定渠道流通到市面上来,大多上过机,但质量一般是不差的,这类CPU都比较便宜,很划算。懂的入。

第六,其实个人觉得效果图渲染并用不到如此高端的渲染农场,这一般是给动画用的,提高效果图效率有一些更简便的工具,如果VRay自身就有联机渲染功能,而且非常方便,设置也特别简单,单纯的效果图公司更加推荐这种,唯一需要注意的就是外部文件(如贴图、代理、光域网、HDRI等)必须指定为网络路径。

先说这么多吧,得罪莫怪。

点评

gaoxingd 发表于 2014-4-9 11:46
你的回复比这个帖子更专业 感谢 
admin 发表于 2013-12-26 13:12
已修正:里面说的总共5台,已更正为5套,每台4节点,更正为每套4节点,相当于4台机。另外1230的E3系列确实不能组双路,只有E5以上才可以,谢谢指正 
半影 -2013-12-26 09:28:16 | 显示全部楼层
哇 大家都这么牛 你们在外面这么吊 你家里人知道吗??
dububass -2013-12-26 09:30:34 | 显示全部楼层
我只能说太牛逼了,专业····解决实际问题
半影 -2013-12-26 09:33:54 | 显示全部楼层
目前没有钱去整渲染农场  也没有能力去拥有渲染农场的公司工作 只能看看羡慕一下
williamhlw -2013-12-26 10:11:43 | 显示全部楼层
只能拿工作电脑来网渲。。。。
浪剑飞舟 -2013-12-26 10:20:10 | 显示全部楼层
机器快,渲染快,画图快,但是收钱也。。。
jonvi -2013-12-26 11:10:31 | 显示全部楼层
学习,有创造力!
admin -2013-12-26 11:43:39 | 显示全部楼层
ideaeeee 发表于 2013-12-25 19:12
图夫大哥,久仰您的大名啊,一直觉得您是效果图界的一个传奇式的人物。似乎一直至力于推动效果图行业的发展 ...

嗯,非常仔细看了你的回复,确实发现有一些问题,感谢你的指正,因为我也不是专业做硬件的,我们CG行业里面大部分人都在搞软件技术,硬件方面的交流确实不多,因为经常有人问我这些事情,所以就凭一点经验整理了下,请见谅。并且在你的指点下,把文章做了一些修正,谢谢你。好在有你这样的交流,才能使以后有需要的人少走弯路。

谢谢  :)
图夫 -2013-12-26 11:50:20 | 显示全部楼层
我有一台E3 1230 V2是单路的;有一台XEON 5620 是双路,配了FX1800显卡,8G内存。首先痛恨的是这个FX1800显卡,花了很高的价格,但给我带来的是使用时的无限痛苦。完全不如普通游戏卡来的流畅。另外在做特效时发现,3DMAX的PF粒子,经常出问题,有时在场景中不显示,有时渲染不出来,粒子节点是没问题的,拷到其它机器上是完全正常。现在还没弄明白,究竟是双路5620 带来的问题,还是FX1800带来的问题。
拉登已买活 -2013-12-26 12:03:43 | 显示全部楼层
刘明以后用得着
流星的美 -2013-12-26 12:14:14 | 显示全部楼层
大家一起多交流啊,集思广益
天天向上 -2013-12-26 12:24:17 | 显示全部楼层
受益~~~~~
小七哥 -2013-12-26 13:00:40 | 显示全部楼层
其实,我最喜欢这样的交流了
Steven -2013-12-26 13:12:13 | 显示全部楼层
我测试过DELL C6100 就是文中提到过的超值版,当然我买的是二手的,一台4个节点,8000RMB左右,因为是用ECC内存,感觉比个人的稳定,用了一年多从未蓝过屏。
leonheart -2013-12-26 13:42:37 | 显示全部楼层
淡定,淡定,淡定……
look321 -2013-12-26 14:12:36 | 显示全部楼层
有淘汰才有进步嘛
大湖之子 -2013-12-26 14:49:46 | 显示全部楼层
啧啧啧~顶一下
随意 -2013-12-26 15:10:37 | 显示全部楼层
这真是极好的~
shenyg -2013-12-26 16:23:30 | 显示全部楼层
本来在潜水,看到LZ发的这些矿世牛机,实在忍不住出来冒个泡泡!
ideaeeee -2013-12-26 20:41:11 | 显示全部楼层
admin 发表于 2013-12-26 11:43
嗯,非常仔细看了你的回复,确实发现有一些问题,感谢你的指正,因为我也不是专业做硬件的,我们CG行业里 ...

不客气,晚上加过班回去睡不着,精神亢奋乱说一气,呵呵,你懂得,
Tools -2013-12-27 02:41:30 | 显示全部楼层
都是神人。受益菲浅。谢谢了
卡多佐 -2013-12-27 10:07:26 | 显示全部楼层
机器快,渲染快,画图快,但是收钱也。。。
96818 -2013-12-27 15:13:54 | 显示全部楼层
没看完~~~~~~ 先顶,好同志
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则