日韩 欧美 二区_综合网日日天干夜夜久久_国产午夜精品久久久久久久蜜臀_国产福利在线免费观看_在线中文字幕日韩_美女视频一区二区_欧美大片久久久_人妻精品久久无码区洗澡_国产女主播白浆在线观看_亚洲男人一区_成年美女黄网站色大免费视频_色黄网站在线观看_色综合天天综合狠狠爱_亚洲一区二区色一琪琪_我要干成人网_免费 成 人 黄 色 网_波多野吉衣av无码_美女国产毛片a区内射_人妻av资源先锋影音av资源_精品国产午夜福利在线观看

熱門服務(wù)中心 English

返回頂部

熱點聚焦

LVS負(fù)載均衡集群服務(wù)搭建詳解

日期:2016-03-18 點擊:     關(guān)鍵詞:LVS負(fù)載均衡集群服務(wù)搭建詳解

2016-03-18

  LVS負(fù)載均衡集群服務(wù)搭建詳解

  一、LVS概述

  1.LVS:Linux Virtual Server

  四層交換(路由):根據(jù)請求報文的目標(biāo)IP和目標(biāo)PORT將其轉(zhuǎn)發(fā)至后端主機(jī)集群中的某臺服務(wù)器(根據(jù)調(diào)度算法);

  不能夠?qū)崿F(xiàn)應(yīng)用層的負(fù)載均衡

  lvs(又稱ipvs),基于內(nèi)核中的防火墻netfilter實現(xiàn)

LVS負(fù)載均衡集群服務(wù)搭建詳解

  2.lvs集群術(shù)語:

  vs:Virtual Server

  虛擬服務(wù),可稱為Director、Dispatcher分發(fā)器、Balancer負(fù)載均衡器

  rs:Real Server

  真實服務(wù)器

  CIP:Client IP

  客戶端IP

  VIP:Director Virtual IP

  等同于FIP(流動IP),負(fù)載均衡器虛擬IP

  DIP:Director IP

  調(diào)度IP(第二張網(wǎng)卡IP地址)

  RIP:Real Server IP

  真實服務(wù)器IP

  3.LVS:ipvsadm/ipvs

  (1)ipvsadm: CLI工具

  用戶空間的命令行工具,用于管理集群服務(wù)及集群服務(wù)上的RS等;# yum install -y ipvsadm

  (2)ipvs:內(nèi)核存在(CentOS默認(rèn)支持)

  工作于內(nèi)核上的netfilterINPUT鉤子之上的程序代碼;其集群功能依賴于ipvsadm定義的集群服務(wù)器規(guī)則;

  支持基于TCP、UDP、SCTP、AH、EST、AH_EST等協(xié)議的眾多服務(wù);

  4.負(fù)載均衡集群中設(shè)計時的要點:

  (1)session保持

  session sticky (iphash):IP地址綁定,來源IP記錄在ip hash表作統(tǒng)一調(diào)度

  session cluster(multicast/broadcast/unicast):廣播集群同步(復(fù)制)session,只適用于小規(guī)模場景

  session server ():session服務(wù)器

  (2)數(shù)據(jù)共享(提供一致性存儲)

  1) 共享存儲;

  NAS:Network Attached Storage (文件級別),網(wǎng)絡(luò)附加存儲,文件服務(wù)器

  SAN:Storage Area Network (塊級別),存儲區(qū)域網(wǎng)絡(luò)

  DS:Distributed Storage,分布式春初

  2) 數(shù)據(jù)同步:rsync… ...

  二、LVS模型

  1.lvs-nat:地址偽裝模型

  多目標(biāo)的DNAT:通過將請求報文的目標(biāo)地址和目標(biāo)端口修改為挑選出某RS的RIP和PORT來實現(xiàn);

  客戶端主機(jī)發(fā)起請求報文CIP指向VIP,通過內(nèi)核的核心網(wǎng)卡間轉(zhuǎn)發(fā)功能,VIP會將請求交給DIP進(jìn)行調(diào)度,DIP根據(jù)設(shè)定的算法進(jìn)行負(fù)載均衡給后端的RS主機(jī)的RIP,在這個過程中DIP調(diào)度功能會將目標(biāo)IP地址重寫為RIP。請求和返回請求讀要調(diào)度DIP來進(jìn)行轉(zhuǎn)換操作。

  (1)RIP和DIP應(yīng)該使用私網(wǎng)地址,RS的網(wǎng)狀應(yīng)該指向DIP;

  (2)請求和響應(yīng)報文都要經(jīng)由director轉(zhuǎn)發(fā);極高負(fù)載的場景中,Director可能會成為系統(tǒng)瓶頸(響應(yīng)報文大);

  (3) 支持端口映射(轉(zhuǎn)發(fā));

  (4) VS必須為Linux,RS可以為任意操作系統(tǒng);

  (5)RS的RIP與Director的DIP必須在同一IP網(wǎng)絡(luò);

  2.lvs-dr(direct routing直接路由):網(wǎng)關(guān)模型

  通過修改請求報文的MAC地址進(jìn)行轉(zhuǎn)發(fā);IP首部不會發(fā)生變化(源IP為CIP,目標(biāo)IP始終為VIP)

  客戶端發(fā)起請求,經(jīng)過層層路由到達(dá)離VS服務(wù)器最近的交換機(jī),通過交換機(jī)轉(zhuǎn)發(fā)給VS服務(wù)器,由VS服務(wù)器負(fù)載均衡轉(zhuǎn)發(fā)請求給RS服務(wù)器。在此過程中VIP修改MAC地址調(diào)度請求給真實主機(jī)。在此過程中通過ARP協(xié)議在一個局域網(wǎng)中廣播尋找真實主機(jī)的MAC地址。每個RS真實主機(jī)的網(wǎng)卡會一個別名地址VIP,實現(xiàn)全過程源地址為CIP,目標(biāo)地址為VIP不變。調(diào)度基于尋找MAC。網(wǎng)關(guān)模型中的所有主機(jī)均要能與外網(wǎng)通信。這樣RS主機(jī)就能夠直接響應(yīng)客戶機(jī)。

  (1)確保前端路由器將目標(biāo)IP為VIP的請求報文一定會發(fā)送給Director;

  解決方案:

  1)靜態(tài)綁定;

  2)禁止RS響應(yīng)VIP的ARP請求;

  a) arptables上定義;

  b) 修改各RS的內(nèi)核參數(shù),并把VIP配置在特定的接口上實現(xiàn)禁止其響應(yīng);

  (2)RS的RIP可以使用私有地址,也可以使用公網(wǎng)地址;

  RIP使用私有地址可以通過在之前加一個路由器的方式和外網(wǎng)通信,直接響應(yīng)客戶機(jī)

  (3)RS跟Director必須在同一物理網(wǎng)絡(luò)中;

  (4)請求報文必須由Director調(diào)度,但響應(yīng)報文必須不能經(jīng)由Director;

  (5) 不支持端口映射;

  (6) 各RS可以使用大多數(shù)的操作系統(tǒng);

  3.lvs-tun(ip tunneling):IP隧道模型

  轉(zhuǎn)發(fā)方式:不修改請求報文的IP首部(源IP為CIP,目標(biāo)IP為VIP),而是在原有的IP首部這外再次封裝一個IP首部(源IP為DIP,目標(biāo)IP為RIP);

  (1)RIP,DIP,VIP全得是公網(wǎng)地址;

  (2)RS的網(wǎng)關(guān)不能也不可能指向DIP;

  (3)請求報文經(jīng)由Director調(diào)度,但響應(yīng)報文將直接發(fā)給CIP;

  (4) 不支持端口映射;

  (5)RS的OS必須支持IP隧道功能;

  4.lvs-fullnat:完整模型(同時改變請求報文的源IP和目標(biāo)IP)

  通過同時修改請求報文的源IP地址(cip-->dip)和目標(biāo)IP地址(vip--> rip)實現(xiàn)轉(zhuǎn)發(fā);

  注意:前三種為標(biāo)準(zhǔn)類型,第四種為后添加類型,內(nèi)核默認(rèn)可能不支持,需自編譯內(nèi)核

  (1)VIP是公網(wǎng)地址;RIP和DIP是私網(wǎng)地址,且可以不在同一IP網(wǎng)絡(luò)中,但需要通過路由互相通信;

  (2)RS收到的請求報文的源IP為DIP,因此其響應(yīng)報文將發(fā)送給DIP;

  (3)請求報文和響應(yīng)報文都必須經(jīng)由director;

  (4) 支持端口映射;

  (5) RS可使用任意OS;

  三、LVS scheduler調(diào)度算法

  1.靜態(tài)方法:僅根據(jù)算法本身進(jìn)行調(diào)度

  (1)RR :round robin,輪詢機(jī)制,依次分配請求,方式簡單但時負(fù)載均衡的效果一般

  (2)WRR :weighted rr,加權(quán)輪詢,權(quán)重越大承擔(dān)負(fù)載越大

  (3)SH :source ip hash,源地址哈希,將來自同一個ip請求通過記錄在ip hsash表中綁定在同一個服務(wù)器,實現(xiàn)session保持

  缺點:調(diào)度粒度大,對負(fù)載均衡效果差;session黏性不同,連接時長保持不同

  (4)DH :desination ip hash,目標(biāo)地址哈希。能實現(xiàn)連接追蹤,但不考慮負(fù)載均衡效果

  正向web代理,負(fù)載均衡內(nèi)網(wǎng)用戶對互聯(lián)網(wǎng)的請求;

  Client--> Director --> Web Cache Server(正向代理)

  2.動態(tài)方法:根據(jù)算法及各RS當(dāng)前的負(fù)載狀態(tài)進(jìn)行評估

  Overhead

  負(fù)載值,VS轉(zhuǎn)發(fā)時記錄每個RS的Active和Inactive數(shù)量(甚至權(quán)重)進(jìn)行算法計算

  Active

  活動鏈接值,當(dāng)發(fā)起新請求后保持在ESTABLISHED狀態(tài)時,仍有請求響應(yīng)

  Inactive

  非活動鏈接值,在ESTABLISHED狀態(tài)時,尚未斷開保持空閑等待狀態(tài)

  (1)LC:least connection,最少連接

  Overhead=Active*256+Inactive

  后端的RS誰的連接少就分發(fā)請求至那臺RS,若overhead一樣則自上而下輪詢列表中的RS

  (2)WLC:weighted least connection,加權(quán)最小連接

  Overhead=(Active*256+Inactive)/weight,計算結(jié)果小的將為選中的下一跳RS服務(wù)器

  缺點:當(dāng)Overhead一樣時,自上而下輪詢響應(yīng),權(quán)重小的若在列表上方則其會響應(yīng)

  (3)SED:Shortest Expection Delay,最短期望延遲

  Overhead=(Active+1)*256/weight

  缺點:解決WLC問題,但時無法確保權(quán)重小的主機(jī)一定響應(yīng)

  (4)NQ:never Queue,永不排隊,SED算法改進(jìn)

  RS權(quán)重大小排列,每臺RS服務(wù)器先分配一個請求,其余的按照權(quán)重大小計算分配

  (5)LBLC:Locality-Based LC,基于本地的最少連接,動態(tài)的 DH連接算法

  (6)LBLCR:LBLC with Replication,帶復(fù)制功能的LBLC

  四、ipvsadm命令

  1.管理集群服務(wù):

  ipvsadm -A|E-t|u|f service-address [-s scheduler][-p [timeout]]

  ipvsadm -D-t|u|f service-address

  -A:添加、-E:修改、-D:刪除

  service-address

  服務(wù)地址和 -t|u|f 結(jié)合使用,具體格式如下

  -t, tcp, vip:port

  TCP的ip和port

  -u, udp, vip:port

  UDP的ip和port

  -f, fwm, MARK

  防火墻標(biāo)記

  -s scheduler:默認(rèn)為WLC調(diào)度算法,可省;

  -p [timeout] :超出時長,持久連接相關(guān),默認(rèn)時長為300秒

  2.管理集群服務(wù)上的RS:

  ipvsadm-a|e -t|u|f service-address -rserver-address [-g|i|m] [-w weight]

  ipvsadm -d-t|u|fservice-address -rserver-address

  -a:添加一個RS、-e:修改一個RS、-d:刪除一個RS

  server-address指的是rip[:port],端口可省表示與之前的service-address相同,只有nat模式支持端口映射才會使用

  [-g|i|m]

  -g:GATEWAY (默認(rèn)),lvs-dr模型

  -i: IPIP, lvs-tun隧道模型

  -m: MASQUERADE,lvs-nat模型

  3.查看

  ipvsadm -L|l[options]

  -n:numeric,數(shù)字格式顯示地址和端口;

  -c:connection,顯示ipvs連接;

  --stats:顯示統(tǒng)計數(shù)據(jù);

  --rate:速率

  --exact:精確值,不經(jīng)過單位換算的數(shù)值

  4.清空規(guī)則:

  ipvsadm -C

  5.數(shù)器清零:

  ipvsadm -Z[-t|u|f service-address]

  6.保存和重載:

  保存:

  ipvsadm-S > /PATH/TO/SOME_RULE_FILE

  ipvsadm-save > /PATH/TO/SOME_RULE_FILE

  重載:

  ipvsadm -R < /PATH/FROM/SOME_RULE_FILE

  ipvsadm-restore< /PATH/FROM/SOME_RULE_FILE

  注意:需要結(jié)合重定向一起使用,從自定義的規(guī)則文件中導(dǎo)入導(dǎo)出

  附錄(ipvsadm -h):

  ipvsadm-A|E -t|u|f service-address [-s scheduler]

  [-p[timeout]] [-M netmask] [-b sched-flags]

  ipvsadm-D -t|u|f service-address

  ipvsadm-C

  ipvsadm-R

  ipvsadm-S [-n]

  ipvsadm-a|e -t|u|f service-address -r server-address

  [-g|i|m][-w weight] [-x upper] [-y lower]

  ipvsadm-d -t|u|f service-address -r server-address

  ipvsadm-L|l [options]

  ipvsadm-Z [-t|u|f service-address]

  ipvsadm--set tcp tcpfin udp

  ipvsadm-h

  五、lvs-nat模型構(gòu)建

  1.lvs-nat模型示意圖

  本次構(gòu)建的lvs-nat模型的示意圖如下,其中所有的服務(wù)器和測試客戶端均使用VMware虛擬機(jī)模擬,所使用的CentOS 7

  VS內(nèi)核都支持ipvs功能,且安裝ipvsadm控制書寫lvs規(guī)則工具。

  RS端兩臺服務(wù)器為httpd服務(wù)器做請求的負(fù)載均衡。

  注意;

  1) 客戶端可以使用Windows上的瀏覽器,會后緩存影響結(jié)果,所以采用CentOS上的curl命令請求http協(xié)議顯示更加直觀

  2) DIP上不能配置iptables規(guī)則

  2.VS網(wǎng)卡配置

  (1)增加網(wǎng)卡

  在"虛擬機(jī)設(shè)置"中增加一個網(wǎng)絡(luò)適配器設(shè)備,并將其自定義特定網(wǎng)絡(luò)為VMnet2模式,此處為了模擬負(fù)載均衡服務(wù)器的兩張網(wǎng)卡處于不同網(wǎng)段

  (2)配置VS兩張網(wǎng)卡的IP地址

  [root@localhost ~]# nmtui# CentOS 7 文本圖形界面配置網(wǎng)卡命令

  [root@localhost ~]# systemctl start network.service

  注意:

  網(wǎng)絡(luò)適配器1(172.16.249.57)模擬為外網(wǎng)網(wǎng)卡,網(wǎng)絡(luò)適配器2(192.168.100.1)模擬為內(nèi)網(wǎng),且該網(wǎng)卡的Ip地址要和RS服務(wù)器得ip在同一網(wǎng)段,DIP作為RIP的網(wǎng)絡(luò)調(diào)度(網(wǎng)關(guān)),無需配置GATEWAY

  [root@localhost~]# ifconfig

  3.RS網(wǎng)卡配置

  此處使用兩臺CentOS 7虛擬機(jī)作為負(fù)載均衡后端真實響應(yīng)主機(jī),安裝RPM包格式httpd服務(wù),并啟動服務(wù)。nmtui命令配置網(wǎng)卡信息,RS1的IP:192.168.100.2,RS2的IP:192.168.100.3,RIP和DIP在同一網(wǎng)段,虛擬機(jī)網(wǎng)卡和DIP同時匹配值為VMnet2模式,且兩臺RS服務(wù)器主機(jī)網(wǎng)關(guān)指向DIP:192.168.100.1

  [root@localhost~]# yum install -y httpd

  [root@localhost ~]# systemctl start httpd.service

  注意:安裝完成后在各httpd服務(wù)器上配置測試頁面,/var/www/html/index.html.

  [root@localhost ~]# nmtui # 配置方法同上,此處省略

  … ...

  [root@localhost ~]# systemctl start network.service

  [root@localhost~]# ifconfig

  4.測試所有主機(jī)是否能夠通信

  用ping命令測試各節(jié)點的通信,例如RIP1和VIP、DIP、RIP2之間是否能夠通信

  [root@localhost ~]# ping IPADDR

  5.VS主機(jī):核心轉(zhuǎn)發(fā)和安裝ipvsadm

  (1)安裝ipvsadm組件:[root@localhost ~]# yum install -y ipvsadm

  (2)啟動網(wǎng)卡間核心轉(zhuǎn)發(fā)功能:[root@localhost ~]# sysctl -w net.ipv4.ip_forward=1

  [root@localhost~]# cat /proc/sys/net/ipv4/ip_forward

  6.VS主機(jī):定義配置lvs-nat服務(wù)(此處采用rr算法)

  (1)定義ipvsadm負(fù)載均衡集群規(guī)則,并查看

  此處定義DIP是以-s指定為rr算法進(jìn)行輪詢調(diào)度,-m指定模式為lvs-nat,配置命令如下:

  [root@localhost~]# ipvsadm -A -t 172.16.249.57:80 -s rr

  [root@localhost~]# ipvsadm -a -t 172.16.249.57:80 -r 192.168.100.2:80 -m

  [root@localhost~]# ipvsadm -a -t 172.16.249.57:80 -r 192.168.100.3:80 -m

  [root@localhost~]# ipvsadm -L -n

  (2)Client客戶機(jī)測試

  在客戶端主機(jī)上使用curl命令對VIP發(fā)起請求,負(fù)載均衡服務(wù)器會將請求按照rr算法依次將請求調(diào)度給不同的主機(jī)進(jìn)行處理,依次請求給分發(fā)給192.168.100.2和192.168.100.3主機(jī)響應(yīng)。

  [root@localhost~]# curl http://172.16.249.57

  7.VS主機(jī):定義配置lvs-nat服務(wù)(此處采用wrr算法)

  (1)定義ipvsadm負(fù)載均衡集群規(guī)則,并查看

  此處將在上面lvs-nat的rr的基礎(chǔ)上進(jìn)行修改,改成wrr加權(quán)輪詢算法;將192.168.100.2的權(quán)重設(shè)置為1,192.168.100.3的權(quán)重設(shè)置為3。

  [root@localhost~]# ipvsadm -E -t 172.16.249.57:80 -s wrr

  [root@localhost~]# ipvsadm -e -t 172.16.249.57:80 -r 192.168.100.2 -w 1 -m

  [root@localhost~]# ipvsadm -e -t 172.16.249.57:80 -r 192.168.100.3 -w 1 -m

  [root@localhost~]# ipvsadm -L -n

  (2)Client客戶機(jī)測試

  在客戶端主機(jī)用curl發(fā)起請求,負(fù)載均衡主機(jī)VS會將其按照權(quán)重大小轉(zhuǎn)發(fā)給各個主機(jī),四個請求有三個發(fā)給了192.168.100.3請求響應(yīng),一個發(fā)給了192.168.100.2主機(jī)處理。并以此算法做輪詢負(fù)載請求

  [root@localhost~]# curl http://172.16.249.57

  六、lvs-dr模型構(gòu)建

  1.lvs-dr模型示意圖

  三臺主機(jī)為虛擬機(jī)CentOS 7,每臺主機(jī)僅有一塊網(wǎng)卡,且使用橋接方式都指向外部網(wǎng)絡(luò)的網(wǎng)關(guān)172.16.100.1

  2.配置VS和RS服務(wù)器的VIP

  此處的VIP均已別名的形式配置在往卡上,VS是配置在對外通信的DIP的網(wǎng)卡上;RS配置在lo本地回環(huán)網(wǎng)卡

  注意:此時配置的VIP的子網(wǎng)掩碼必須為255.255.255.255,廣播地址為自己本身

  VS:[root@localhost~]# ifconfig eno16777736:0 172.16.50.50 netmask 255.255.255.255 broadcast172.16.50.50 up

  RS:[root@localhost~]# ifconfig lo:0 172.16.50.50 netmask 255.255.255.255broadcast 172.16.50.50 up

  3.RS服務(wù)器上配置路由

  [root@localhost~]# route add -host 172.16.50.50 dev lo:0

  4.RS服務(wù)器配置APR內(nèi)核參數(shù)修改

  [root@localhost~]# ll /proc/sys/net/ipv4/conf

  (1)ARP響應(yīng)行為和ARP解析行為內(nèi)核參數(shù):

  1)arp_annouce定義通告級別

  0:默認(rèn)級別,將本地的任何接口上的配置的地址都在網(wǎng)絡(luò)中通告

  1:盡量避免向本主機(jī)上的其他網(wǎng)卡進(jìn)行網(wǎng)絡(luò)通信,特殊情況下其他接口也可以

  2:總是使用最佳網(wǎng)絡(luò)地址接口(僅使用定義的網(wǎng)卡接口在同網(wǎng)絡(luò)通信)

  2)arp_ignore定義響應(yīng)級別(0-8九個級別),響應(yīng)時忽略方式

  0:都全都響應(yīng)

  1:只對從本接口進(jìn)入的請求響應(yīng),且本接口地址是個網(wǎng)絡(luò)地址

  … …

  注釋:一般使用arp_annouce=2,arp_ignore=1

  (2)配置各RS主機(jī)參數(shù)

  注意:all必須配置、eno16777736(本地)和lo兩個可以同時全部配置或者配置其中一個

  RealServer內(nèi)核參數(shù):

  #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

  # echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

  #echo 1 > /proc/sys/net/ipv4/conf/INTERFACE/arp_ignore

  # echo 2 > /proc/sys/net/ipv4/conf/INTERFACE/arp_announce

  注意:INTERFACE為你的物理接口;此處網(wǎng)卡接口指的是eno16777736和lo

  5.VS主機(jī):定義配置lvs-dr模式(此處采用rr算法)

  (1)配置查看

  [root@localhost~]# ipvsadm -A -t 172.16.50.50:80 -s rr

  [root@localhost~]# ipvsadm -a -t 172.16.50.50:80 -r 172.16.200.10 -g

  [root@localhost~]# ipvsadm -a -t 172.16.50.50:80 -r 172.16.200.11 -g

  [root@localhost~]# ipvsadm -L -n

  (2)測試

  [root@localhost~]# curl http://172.16.50.50

  因為基于rr算法調(diào)度,依次分發(fā)給RS主機(jī)

  七、通過防火墻標(biāo)記來定義lvs

  1.FWM防火墻標(biāo)記功能

  防火墻標(biāo)記可以實現(xiàn)多個集群服務(wù)綁定為同一個,實現(xiàn)統(tǒng)一調(diào)度;將共享一組RS的集群服務(wù)統(tǒng)一進(jìn)行定義

  FWM基于iptables的mangle表實現(xiàn)防護(hù)墻標(biāo)記功能,定義標(biāo)記做策略路由

  2.FWM定義集群的方式

  (1)在director上netfilter的mangle表的PREROUTING定義用于"打標(biāo)"的規(guī)則

  ~]#iptables -t mangle -A PREROUTING -d $vip -p $protocol --dport $port -j MARK--set-mark #

  $vip:VIP地址

  $protocol:協(xié)議

  $port:協(xié)議端口

  (2)基于FWM定義集群服務(wù):

  ~]#ipvsadm -A -f # -s scheduler

  3.實例演示

  [root@localhost~]# iptables -t mangle -A PREROUTING -d 172.16.50.50 -p tcp --dport 80 -j MARK--set-mark 5

  [root@localhost~]# ipvsadm -A -f 5 -s rr

  [root@localhost~]# ipvsadm -a -f 5 -r 172.16.200.10 -g

  [root@localhost~]# ipvsadm -a -f 5 -r 172.16.200.11 -g

  八、LVS持久連接功能:lvs persistence

  1.lvs persistence功能

  無論ipvs使用何種scheduler,其都能夠?qū)崿F(xiàn)在指定時間范圍內(nèi)始終將來自同一個ip地址的請求發(fā)往同一個RS;實現(xiàn)方式和lvs調(diào)度的十種算法無關(guān),通過lvs持久連接模板(hash表)實現(xiàn),當(dāng)超過自定義的可持節(jié)連接時長候再根據(jù)LVS算法本身進(jìn)行調(diào)度。

  ipvsadm命令中-p選項實現(xiàn),在-p后不指定具體數(shù)字(單位:秒),默認(rèn)為300,到時候會自動延長2分鐘,對于web本身就是15秒

  2.模式

  (1)每端口持久(PPC)

  客戶端對同一服務(wù)端口發(fā)起請求,會基于該服務(wù)的端口實現(xiàn)請求在一段時間內(nèi)對同一RS服務(wù)器持久連接;

  例如:有兩臺主機(jī)做為RS服務(wù)器做http和hssh的兩種服務(wù)的集群,僅http做每端口持久,Client請求會實現(xiàn)綁定在,但是22號端口請求不會綁定在同一臺RS

  (2)每客戶端持久(PCC):定義tcp或udp協(xié)議的0號端口為集群服務(wù)端口

  director會將用戶的任何請求都識別為集群服務(wù),并向RS進(jìn)行調(diào)度;同一客戶端的請求任何端口都發(fā)往同一臺第一次選定的RS服務(wù)器

  (3)每防火墻標(biāo)記持久(PFWMC)

  將兩個或兩個以上服務(wù)通過防火墻打標(biāo)綁定在一起,這些服務(wù)的請求實現(xiàn)同時定向與同一臺RS服務(wù)器,服務(wù)綁定同一RS

  實例:

  lvs-dr模式下以rr算法綁定http和https服務(wù)

  ~]#iptables -t mangle -A PREROUTING -d 172.16.100.9 -p tcp --dport 80 -j MARK--set-mark 99

  ~]#iptables -t mangle -A PREROUTING -d 172.16.100.9 -p tcp --dport 443 -j MARK--set-mark 99

  ~]#ipvsadm -A -f 99 -s rr -p

  ~]#ipvsadm -a -f 99 -r 172.16.100.68 -g

  ~]#ipvsadm -a -f 99 -r 172.16.100.69 -g

  附錄:LVS-DR類型RS腳本示例

  #!/bin/bash

  #

  vip=172.16.50.50

  interface="lo:0"

  case$1 in

  start)

  echo1 > /proc/sys/net/ipv4/conf/all/arp_ignore

  echo1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

  echo2 > /proc/sys/net/ipv4/conf/all/arp_announce

  echo2 > /proc/sys/net/ipv4/conf/lo/arp_announce

  ifconfig$interface $vip broadcast $vip netmask 255.255.255.255 up

  routeadd -host $vip dev $interface

  ;;

  stop)

  echo0 > /proc/sys/net/ipv4/conf/all/arp_ignore

  echo0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

  echo0 > /proc/sys/net/ipv4/conf/all/arp_announce

  echo0 > /proc/sys/net/ipv4/conf/lo/arp_announce

  ifconfig$interface down

  ;;

  status)

  ififconfig lo:0 |grep $vip &> /dev/null; then

  echo"ipvs is running."

  else

  echo"ipvs is stopped."

  fi

  ;;

  *)

  echo"Usage: `basename $0` {start|stop|status}"

  exit1

  esac

  云爍服務(wù),您身邊的IT服務(wù)商,期待與您的合作!相關(guān)內(nèi)容請咨詢在線客服,或致電400-0806-056.

  來源:互聯(lián)網(wǎng)

400-0806-056
主站蜘蛛池模板: 青岛液压机械有限公司 | 上海铮潼起重机电设备有限公司 | 邢台远大机械制造有限公司| 温州利波机械有限公司| 湖南中旺工程机械设备有限公司| 重庆箭驰机械有限公司| 山东包装机械有限公司| 广州华研精密机械有限公司| 苏州毕特富精密机械有限公司| 昆山合济机械有限公司| 宁波创基机械有限公司| 盐城市丰特铸造机械有限公司 | 山东新纪元重工有限公司| 青岛海诺机械制造有限公司| 云南旷迪机械有限公司| 浏阳 机械有限公司| 海的动力机械有限公司| 浙江金华机械有限公司| 机械维修 有限公司| 宣城市建林机械有限公司| 招商局重工(江苏)有限公司 | 上海佳成服装机械有限公司| 佛山定中机械有限公司| 江西钧天机械有限公司奔驰| 广东机械制造有限公司| 德锐尔机械有限公司| 无锡创能机械制造有限公司| 东芝机械上海有限公司| 秦皇岛国阳钢铁有限公司| 合肥包装机械有限公司| 温州天富机械有限公司| 佳木斯农业机械有限公司| 佛山隆机械有限公司| 上海舜诺机械有限公司| 杭州通产机械有限公司| 机械设备出口有限公司| 大连橡塑机械有限公司| 温州杰福机械设备有限公司| 潍坊天洁机械有限公司| 浙江雷克机械工业有限公司| 上海齐耀重工有限公司| 台州迈兴机械有限公司| 浙江雄鹏机械有限公司| 甘肃机械化建设工程有限公司| 泉州巨能机械有限公司| 江西晟浔机械有限公司| 青岛力克川液压机械有限公司| 江苏方邦机械有限公司| 上海铮潼起重机电设备有限公司 | 山东钢铁有限公司招聘| 苏州市机械制造有限公司| 山东问云机械有限公司| 河北唐银钢铁有限公司| 瑞达机械制造有限公司| 上海烨昌食品机械有限公司| 青岛美光机械有限公司| 上海铁美机械有限公司| 东莞市通盛机械有限公司| 江苏天宇机械有限公司| 江苏国瑞液压机械有限公司 | 中航国际钢铁贸易有限公司 | 杭州三瑞机械有限公司| 南阳机械制造有限公司| 南通力福通起重机械有限公司| 成都宏机械有限公司| 华泰精密机械有限公司| 小松山东工程机械有限公司| 江苏柯恒石化电力机械有限公司| 重庆宏工工程机械有限公司| 江苏宏威重工机床制造有限公司| 广州市 包装机械有限公司| 广州市机械制造有限公司| 潍坊瑞发机械有限公司| 浙江仁工机械有限公司| 福州 机械制造有限公司| 泰安展鸿木业机械有限公司| 济南液压机械有限公司| 九江萍钢钢铁有限公司| 山推楚天工程机械有限公司| 张家港机械设备有限公司| 石家庄机械制造有限公司| 科华机械制造有限公司| 佛山市机械设备有限公司| 建华机械制造有限公司| 汽车销售有限公司起名| 上海涟恒精密机械有限公司| 首钢长白机械有限公司| 华威机械制造有限公司| 苏州恒升机械有限公司| 蓬莱巨涛海洋工程重工有限公司怎么样| 武汉工程机械有限公司| 青岛精密机械有限公司| 河南兴远起重机有限公司| 重庆培柴机械制造有限公司| 苏州机械设备有限公司| 重庆蓝黛动力传动机械有限公司| 江阴市博越机械有限公司| 上海大恒光学精密机械有限公司| 河南万泰机械有限公司| 济南中唐机械设备有限公司| 铜梁君卓机械有限公司| 沈阳世润重工有限公司| 辽阳新达钢铁有限公司| 舟山荣德机械有限公司| 上海巨能减速机械有限公司 | 无锡精派机械有限公司| 溧阳布勒机械有限公司| 机械(昆山)有限公司| 南京建克机械有限公司| 成都宏机械有限公司| 上海捷舟工程机械有限公司| 江苏同力机械有限公司| 天赛塑胶机械有限公司| 重庆 机械制造有限公司| 哈尔滨机械有限公司| 快克数控机械有限公司| 四川德盛钢铁有限公司| 上海玖钲机械设备有限公司| 宁波华表机械制造有限公司| 河南郑州机械有限公司| 青岛新型建设机械有限公司| 西安机械设备有限公司| 扬州冶金机械有限公司| 江重机械制造有限公司| 湛江市机械有限公司| 常州光明包装机械有限公司| 扬州诺亚机械有限公司| 沃得农业机械有限公司| 五矿钢铁西安有限公司| 青岛沃隆花生机械有限公司| 江苏腾通包装机械有限公司| 兰州机械设备有限公司| 成都中挖机械有限公司| 上海巨远塑料机械有限公司 | 石家庄嘉祥精密机械有限公司| 集瑞联合重工有限公司| 山东兴田机械有限公司| 无锡联通焊接机械有限公司 | 济南聚鑫机械有限公司| 广东达诚机械有限公司| 江阴市华夏包装机械有限公司| 重庆渝辉机械有限公司| 鞍山机械制造有限公司| 山东 重工有限公司| 苏州恒威海绵机械有限公司| 张家港海狮洗涤机械有限公司| 上海科熙起重设备有限公司| 山推抚起机械有限公司| 绍兴越发机械有限公司| 自动化机械设备有限公司| 安徽永成电子机械技术有限公司| 潍坊铭金机械有限公司| 山东宏鑫机械有限公司| 山东大华机械有限公司| 青州康达机械有限公司| 铜陵市富鑫钢铁有限公司| 武汉 机械有限公司| 江苏申特钢铁有限公司| 杭州华驰机械有限公司| 山东英胜机械有限公司| 恒江机械制造有限公司| 顺德富华工程机械制造有限公司| 安徽建筑机械有限公司| 张家港市饮料机械有限公司| 上海皆力机械设备有限公司| 昆山日日先精密机械有限公司| 玉环博行机械有限公司| 唐山市钢铁有限公司| 三菱重工空调有限公司| 章丘明天机械有限公司| 中山市机械有限公司| 潍坊市通用机械有限公司| 郑州维科重工机械有限公司| 青岛希世可机械有限公司| 台州亚格机械有限公司| 定州市机械有限公司| 宁波壬鼎机械有限公司| 河北德欧机械有限公司| 北京丰茂植保机械有限公司| 大连鸿升机械有限公司| 江苏舜工机械有限公司| 河南永康机械有限公司| 机械进出口有限公司| 机械自动化设备有限公司| 温州正雄机械有限公司| 句容立成强机械有限公司| 南京儒一航空机械装备有限公司| 郑州市同鼎机械设备有限公司| 浙江超洋机械有限公司| 华威机械制造有限公司| 杭州苹果机械有限公司| 上海起重设备有限公司| 广州旭众食品机械有限公司| 上海捷舟工程机械有限公司| 上海优拜机械有限公司| 安庆佳乐机械有限公司| 中联恒通机械有限公司| 堃霖冷冻机械有限公司| 河南 机械有限公司| 油机机械工业有限公司| 长沙建鑫机械有限公司| 苏州斗山工程机械有限公司| 上海机械成套设备有限公司| 安徽中晨机械有限公司| 惠州市机械有限公司| 佛山顺德区机械有限公司| 震德塑料机械有限公司| 山西美锦钢铁有限公司| 无锡通用机械有限公司| 明辉机械设备制造有限公司| 东莞市亿德机械设备有限公司| 无锡力马化工机械有限公司 | 东莞鸿铭机械有限公司| 邹平县宏鑫机械制造有限公司| 大连 精密机械有限公司| 盐城益聚达机械有限公司| 昆成机械制造有限公司| 河北机械制造有限公司| 东莞高臻机械设备有限公司 | 江阴起重机械有限公司| 南丰 机械有限公司| 龙扬机械)有限公司| 江苏省机械有限公司| 上海紫宏机械有限公司| 亚泰重工机械有限公司| 西安 工程机械有限公司| 苏州圣亚精密机械有限公司 | 东莞启益电器机械有限公司| 河南起重机械有限公司| 九龙机械制造有限公司| 湖南中一惠龙机械设备有限公司 | 佛山市明宏机械设备有限公司| 山东宁联机械制造有限公司 | 上海机械加工有限公司| 邢台振成机械有限公司| 昆山鑫建诚机械设备有限公司 | 莱州化工机械有限公司| 海益机械配件有限公司| 三门峡机械有限公司| 工程机械销售有限公司| 无锡通用起重运输机械有限公司| 南通福斯特机械制造有限公司| 南京华勒机械有限公司| 昆明机械制造有限公司| 河南省化工机械制造有限公司| 河南起重机器有限公司| 晋工机械有限公司官网| 苏州奥德机械有限公司| 安徽唐兴机械装备有限公司| 上海申虎包装机械设备有限公司| 临汾志强钢铁有限公司| 重庆培柴机械制造有限公司 | 上海山冠机械有限公司| 唐山亚捷机械有限公司| 齐齐哈尔机械有限公司| 沂南中天机械有限公司| 锦辉五金机械有限公司| 东莞市东永源机械有限公司 | 上海晶程机械有限公司| 上海安展机械设备有限公司 | 福建鼎盛钢铁有限公司| 邢台德龙钢铁有限公司| 大连地拓重工有限公司怎么样| 广州国伟机械有限公司| 浙江制药机械有限公司| 新进精密机械苏州有限公司| 江苏江佳机械有限公司| 苏州威锐机械有限公司| 浙江省机械有限公司| 中核 天津 机械有限公司| 上海锐精密机械有限公司| 常州泽威输送机械有限公司| 江阴液压机械有限公司| 金鹰重型工程机械有限公司| 徐州挖掘机械有限公司| 广州德晟机械有限公司| 焦作泰鑫机械有限公司| 济宁福康机械加工有限公司| 北京机械设备有限公司| 新乡市东振机械制造有限公司 | 日照市机械有限公司| 宿迁 机械 有限公司| 广州市力净洗涤机械有限公司| 石家庄三一众力工程机械有限公司 | 山东华雄机械有限公司| 重庆 机械有限公司| 协展机械工业有限公司| 日晗精密机械有限公司| 云南鑫豪钢铁有限公司| 宁波钢铁有限公司电话| 三一海洋重工有限公司| 郑州三和水工机械有限公司| 山东冠成机械有限公司| 巨荣机械制造有限公司| 大连船舶重工船业有限公司| 江阴铸造机械有限公司| 广州善友机械设备有限公司 | 上海建筑机械有限公司| 上海科熙起重设备有限公司 | 四平现代钢铁有限公司| 万通机械制造有限公司| 首钢东华机械有限公司| 杭州卡塞尔机械有限公司| 江阴兴澄特种钢铁有限公司| 温州华联机械有限公司| 杭州中力机械设备有限公司 | 华德机械制造有限公司| 万则盛机械有限公司| 青岛塑料机械有限公司| 塑料包装机械有限公司| 山东鑫鑫机械有限公司| 无锡市川中五金机械有限公司| 大连行健数控机械技术有限公司| 上海机械制造有限公司| 上海磊友成套机械设备有限公司| 安徽富鑫钢铁有限公司| 合肥福晟机械制造有限公司| 杭州中力机械有限公司| 昆山市贝纳特机械设备有限公司| 东莞市岛精机械有限公司| 南阳市 机械有限公司| 无锡新世杰辊压机械有限公司| 徐州福曼随车起重机有限公司| 温州华珍机械有限公司| 天工工程机械有限公司| 莱州市华弘机械有限公司| 山东农业机械有限公司| 东莞兆恒机械有限公司| 浙江五一机械有限公司| 珠海市机械有限公司| 湖南德邦重工机械有限公司 | 纸箱机械设备有限公司| 南兴木工机械有限公司| 台州 机械有限公司| 太仓机械设备有限公司| 广东恒联食品机械有限公司售后| 罗源闽光钢铁有限公司| 河南力博矿山机械有限公司 | 昆山大风机械有限公司| 青岛南牧机械设备有限公司| 光华机械制造有限公司| 山东日照钢铁有限公司| 日照港达船舶重工有限公司| 慈溪市机械有限公司| 天津宏大纺织机械有限公司| 苏州市丰科精密机械有限公司| 浙江保龙机械有限公司| 上海福源机械有限公司| 芜湖电工机械有限公司| 武汉环卫机械有限公司| 上海玉程机械有限公司| 济柴聊城机械有限公司| 温州市凯驰包装机械有限公司| 东莞市森佳机械有限公司| 注册机械设备有限公司有什么要求| 苏州金德纬机械有限公司| 连云港兴鑫钢铁有限公司| 常林道依茨法尔机械有限公司| 上海鑫水机械有限公司| 苏州恩贝德机械有限公司| 上海江浪流体机械制造有限公司| 星火包装机械有限公司| 淄博机械制造有限公司| 韶瑞重工有限公司官网| 丽驰精密机械有限公司| 山东威海机械有限公司| 青岛欧普机械设备有限公司 | 上海国青机械有限公司| 太原市 机械有限公司| 常州市机械有限公司| 上海牛力机械有限公司| 南阳医疗机械有限公司| 重庆茂田机械有限公司| 济南沃德机械制造有限公司| 台州亚格机械有限公司| 上海光塑机械制造有限公司| 永宏机械制造有限公司| 长沙起重机厂有限公司| 连云港亚新钢铁有限公司| 阿特拉斯工程机械有限公司| 河南点赞钢铁有限公司| 郑州工程机械有限公司| 上海承企机械有限公司| 青岛博朗特机械设备有限公司| 邦贝机械制造有限公司| 江苏雨花钢铁有限公司| 湖南金塔机械制造有限公司| 常州 机械 有限公司| 柳州瑞利机械有限公司| 富伟精密机械有限公司| 浙江华塑机械有限公司| 杭州海的机械有限公司| 泰安嘉和重工机械有限公司| 唐山荣程钢铁有限公司| 江苏机械制造有限公司| 抚顺石油机械有限公司| 东莞安默琳机械制造技术有限公司| 江重机械制造有限公司| 佛山市创宝包装机械有限公司 | 漳州钜钢机械有限公司| 浙江诚泰化工机械有限公司| 上海大松机械有限公司| 上海中吉机械有限公司| 杭州液压机械有限公司| 苏州市联佳精密机械有限公司| 顺兴机械制造有限公司| 朝阳宏达机械有限公司| 常州久压久机械制造有限公司| 上海春明机械制造有限公司| 郑州大华机械有限公司| 大连红日机械有限公司| 安徽起重机械有限公司| 保定华光机械有限公司| 京龙工程机械有限公司| 鑫鑫建筑机械有限公司| 辽宁 机械制造有限公司| 宇进注塑机械有限公司| 长沙晶锐机械有限公司| 泰上机械设备有限公司| 厦门大金机械有限公司| 山东重机械有限公司| 上海塑料机械有限公司| 利星行机械昆山有限公司| 厦门珀挺机械有限公司| 北默压缩机械有限公司| 铜梁君卓机械有限公司| 东莞达机械有限公司| 台在机械设备有限公司| 合肥旭龙机械有限公司| 浙江恒齿传动机械有限公司| 济南中唐机械设备有限公司| 山东硕诚机械有限公司| 合肥光裕机械有限公司| 广州田田机械设备有限公司 | 青岛鲁耕农业机械有限公司| 威海行雨化工机械有限公司| 烟台拓伟机械有限公司| 江西欧克机械有限公司| 广州新麦机械有限公司| 湖州卓信机械有限公司| 常州福牛机械有限公司| 江苏金鹰流体机械有限公司| 上海合劲传动机械有限公司| 宁波汉博机械有限公司| 滦南华瑞钢铁有限公司| 兰州机械设备有限公司| 才美机械制造(上海)有限公司| 扬州 机械设备 有限公司| 建材有限公司起名大全| 德枫丹 青岛 机械有限公司招聘 | 汕头 机械有限公司招聘| 阳宏机械制造有限公司| 山东大信重工有限公司| 重庆万凯机械有限公司| 中山自动化机械有限公司| 上海行雄机械有限公司| 威海石岛重工有限公司| 郑州明瑞机械设备有限公司| 合肥海源机械有限公司| 盐城万富隆机械制造有限公司| 廊坊百冠包装机械有限公司| 泉州市劲力工程机械有限公司| 上海纳丰机械设备有限公司| 湖北鄂重重型机械有限公司 | 厦门天一精密机械有限公司| 北京精密机械有限公司| 临沂机械制造有限公司| 上海造及精密机械制造有限公司| 濮阳机械制造有限公司| 新乡市中天机械有限公司 | 诚鑫诚机械有限公司| 大连 重工有限公司| 钦州力顺机械有限公司| 浙江人和机械有限公司| 济南钢铁 有限公司| 天津京龙工程机械有限公司| 上海七洋液压机械有限公司| 江苏宏威重工机床制造有限公司| 宣城市 机械 有限公司| 中铁重工有限公司武汉| 日照钢铁轧钢有限公司| 南京德丰机械有限公司| 银三环机械有限公司| 苏州传动机械有限公司| 昆山鑫建诚机械设备有限公司| 麻阳金湘钢铁有限公司| 嘉兴市机械有限公司| 江阴万恒机械制造有限公司| 台州路桥机械有限公司| 南皮县中顺环保机械有限公司| 元昆机械(昆山)有限公司| 上海辰品食品机械有限公司 | 动机械设备有限公司| 成都成邦探矿机械设备有限公司| 天津华悦包装机械有限公司| 唐钢唐银钢铁有限公司| 万兹莱压缩机械(上海)有限公司| 和和机械(张家港)有限公司| 无锡旭辉机械有限公司| 杭州莱顿机械有限公司| 莱州市龙骏化工机械有限公司| 青岛西城铸造机械有限公司| 上海包装机械有限公司| 志高精密机械有限公司| 湖南正中制药机械有限公司 | 洛阳精密机械有限公司| 新乡市矿山起重机械有限公司| 上海汉虹精密机械有限公司| 招商局重工(江苏)有限公司| 杭州博阳机械有限公司| 德清恒丰机械有限公司| 山东化工机械有限公司| 常州包装机械有限公司| 启瑞机械广州有限公司| 青岛大牧人机械有限公司招聘| 南阳 机械制造有限公司| 深圳旭生机械有限公司| 深圳优捷机械有限公司| 昆山六丰机械工业有限公司| 泉州机械设备有限公司| 石家庄 机械 有限公司| 自动化机械有限公司| 浙江科力塑料机械有限公司| 东莞市泽冠机械有限公司| 四川盛和机械设备有限公司| 江阴化工机械有限公司| 金丰机械工业有限公司| 上海信烨精密机械有限公司| 唐山丰润区钢铁有限公司| 南京起重机械总厂有限公司 | 萨驰华辰机械 苏州 有限公司| 上海山冠机械有限公司| 新乡黄氏食品机械有限公司| 首钢长白机械有限公司| 宁波人和机械轴承有限公司| 上海烨昌食品机械有限公司 | 常州亚美柯机械设备有限公司 | 天津市申成包装机械有限公司| 湖北首开机械有限公司| 泰而勒食品机械贸易(上海)有限公司| 上海航发机械有限公司| 阳煤化工机械有限公司| 浙江全兴机械制造有限公司| 山东机械份有限公司| 济南 机械制造有限公司| 济南聚鑫机械有限公司| 常州自力化工机械有限公司| 经纬纺织机械有限公司| 宁波立强机械有限公司| 唐山经安钢铁有限公司| 山东永华机械有限公司| 山东明天机械有限公司| 上海起发实验试剂有限公司| 重庆纵横机械有限公司| 杭州双金机械有限公司| 大连华威机械有限公司| 北京雄伟京发机械加工有限公司| 滦南华瑞钢铁有限公司| 新乡市豫成振动机械有限公司| 江苏国天锻压机械有限公司| 徐工建机机械有限公司| 湖南金峰机械有限公司| 青岛青宏机械制造有限公司| 郑州华龙机械工程有限公司| 上海全众机械有限公司| 烟台万事达金属机械有限公司 | 北京晨光兴业机械有限公司| 杭州青达机械有限公司| 河北冀工机械制造有限公司| 连云港机械制造有限公司| 苏州全彩机械设备有限公司| 浙江双子机械制造有限公司| 湖南五丰机械有限公司| 洛阳钢峰机械有限公司| 潍坊威尔顿机械设备有限公司| 卓郎智能机械有限公司| 柳州富达机械有限公司| 焦作市机械制造有限公司| 郑州锦德润机械设备有限公司| 莱州日进机械有限公司| 旭东机械昆山有限公司| 南京力霸起重设备机械有限公司 | 福海鑫钢铁有限公司| 无锡英那威特机械发展有限公司 | 江苏冶金机械有限公司| 成都 机械 有限公司| 山西亚新钢铁有限公司| 保定市恒瑞游乐机械有限公司| 大连铸鸿机械有限公司| 成都精密机械有限公司| 无锡海龙机械有限公司| 濮阳市名利石化机械设备制造有限公司| 宁波汉博机械有限公司| 广东省重工建筑设计院有限公司| 枣庄金正钢铁有限公司| 河南卫华起重机有限公司| 瑞安正博机械有限公司| 萍乡萍钢安源钢铁有限公司| 陕西 工程机械有限公司| 南阳 机械制造有限公司| 开封良益机械有限公司| 上海众德机械有限公司| 苏州开隆机械有限公司| 扬州华粮机械有限公司| 四川青城机械有限公司| 河南胜飞石油机械有限公司| 常州昊博机械有限公司| 宁波联成机械有限公司| 盐城市丰特铸造机械有限公司| 杭州兴达机械有限公司| 佛山慧谷机械有限公司| 山东天路重工有限公司| 安丘市 机械有限公司| 江苏精明机械有限公司| 广州市汇格机械设备有限公司 | 吴江机械设备有限公司| 德龙钢铁有限公司地址| 北京刷机械有限公司| 武汉山推机械有限公司| 濮阳机械制造有限公司| 杭州嘉诚机械有限公司| 攀枝花钢铁有限公司| 无锡名震机械制造有限公司| 张家港同大机械有限公司| 宁波瑞基机械有限公司| 密机械(西安)有限公司| 浙江瑞德森机械有限公司| 南京科倍隆机械有限公司| 安宁市永昌钢铁有限公司| 河南省力神机械有限公司| 起步有限公司上市排名| 上海建冶重工机械有限公司| 大连科信机械有限公司| 江重机械制造有限公司| 涿州北方重工设备设计有限公司 | 杭州龙云水利机械制造有限公司| 东莞%机械制造有限公司| 万则盛机械有限公司| 金纬机械常州有限公司| 天津市液压机械有限公司| 宏机械铸造有限公司| 张家口煤机械有限公司| 丝网机械 有限公司| 固精密机械有限公司| 东莞市从创机械有限公司| 涿州北方重工设备设计有限公司| 南京寿旺机械设备有限公司 | 南京福能机械设备有限公司| 杭州起重机械有限公司| 河南起重机有限公司| 江西新明机械有限公司| 自贡机械制造有限公司| 涂装机械设备有限公司| 东莞市东永源机械有限公司| 银丰弹簧机械设备制造有限公司| 环保机械制造有限公司| 江苏润明机械设备有限公司怎么样| 兖州丰业机械有限公司| 江重机械制造有限公司| 江阴市长达钢铁有限公司| 张家港港龙机械有限公司| 上海丁博重工机械有限公司| 河北航天振邦精密机械有限公司| 凯澄起重机械有限公司| 广东正力精密机械有限公司 | 浙江志高机械有限公司| 青岛辉腾机械有限公司| 上海巨远塑料机械有限公司| 洛阳机械制造有限公司| 东莞市科机械有限公司| 黑龙江机械有限公司| 德锐尔机械有限公司| 富伟精密机械有限公司| 南通福斯特机械制造有限公司| 大唐机械制造有限公司| 上海喜曼机械有限公司| 卓轮天津机械有限公司| 无锡海天机械有限公司| 重庆阿德耐特动力机械有限公司| 宁海奇精机械有限公司| 大连红日机械有限公司| 东莞市台旺机械有限公司| 宁波工程机械有限公司| 宁波久力数控机械有限公司| 特雷克斯常州机械有限公司| 连云港机械制造有限公司| 广东中远海运重工有限公司| 焦作机械制造有限公司| 河北机械制造有限公司| 土平机械江苏有限公司| 金纬机械溧阳有限公司| 上海高德机械有限公司| 溧阳机械制造有限公司| 摩丁机械常州有限公司| 三川德青工程机械有限公司| 宝钢湛江钢铁有限公司招聘| 宣城市 机械 有限公司| 无锡威马机械有限公司| 江苏雨花钢铁有限公司| 长沙众宇机械有限公司| 扬州机械设备有限公司| 安徽同铸工程机械有限公司| 苏州勤美达精密机械有限公司| 同鼎机械设备有限公司| 宁波市凯博数控机械有限公司 | 佛山市松可包装机械有限公司| 华通动力重工有限公司| 广州美特机械有限公司| 新乡市佳盛振动机械有限公司| 湖南汇一制药机械有限公司| 上海长空机械有限公司| 禹州市机械有限公司| 沈阳西城钢铁有限公司| 新乡市振动机械有限公司| 苏州松发机械有限公司| 广州旭众食品机械有限公司| 沈阳六合机械有限公司| 江阴市永昌药化机械有限公司| 张家港精密机械有限公司| 北京明日之星玻璃机械有限公司| 佛山市创宝包装机械有限公司| 浙江永达输送机械设备有限公司| 郑州市建新机械制造有限公司| 常州常林机械有限公司| 纸箱机械制造有限公司| 文穗塑料机械有限公司| 兰州 机械 有限公司| 秦皇岛安丰钢铁有限公司| 迁安九江钢铁有限公司| 孝感金达钢铁有限公司| 苏州昶智精密机械有限公司| 尤工机械设备有限公司| 无锡科创机械设计制造有限公司 | 江苏华夏重工有限公司| 唐山新宝泰钢铁有限公司| 青岛岛宇机械有限公司| 西安科迅机械制造有限公司| 山东闽源钢铁有限公司| 徐州博丰钢铁有限公司| 牡丹江机械有限公司| 山东源泉机械有限公司| 广州市金王机械设备有限公司| 渭南金狮机械有限公司| 机械(无锡)有限公司| 武汉包装机械有限公司| 河北实阳机械有限公司| 烟台飞达机械有限公司| 上海开隆冶金机械制造有限公司| 常州小松工程机械有限公司招聘 | 潍坊圣川机械有限公司| 桂林平钢钢铁有限公司| 郑州双合机械有限公司| 河南省平原矿山机械有限公司| 浙江达青机械有限公司| 蚌埠 机械有限公司| 上海机械成套设备有限公司| 湖北华伟石化机械设备制造有限公司| 南京机械设备有限公司| 大连 机械制造 有限公司| 潍坊圣川机械有限公司| 金韦尔机械有限公司| 大连行健数控机械技术有限公司| 海德机械设备有限公司| 南通海森特重工有限公司| 曼透平机械有限公司| 北海船舶重工有限公司| 广州新麦机械有限公司| 广州工友起重设备制造有限公司 | 成都海科机械设备制造有限公司| 苏州 机械 有限公司| 江苏方邦机械有限公司| 福州展志钢铁有限公司| 扬州中孚机械有限公司| 济宁青科机械有限公司| 青岛农业机械有限公司| 淄博机械制造有限公司| 浙江网路崛起有限公司| 江苏中热机械设备有限公司怎么样| 青岛机械利有限公司| 六安恒源机械有限公司| 杭州凯邦机械有限公司| 上海帆铭机械有限公司| 无锡市钢铁有限公司| 上海磊友成套机械设备有限公司 | 济南大鹏机械设备有限公司| 山东同力达智能机械有限公司| 无锡市钢铁有限公司| 佛山市明宏机械设备有限公司| 上海大恒光学精密机械有限公司| 苏州金韦尔机械有限公司| 无锡诺美机械有限公司| 上海精机械设备有限公司| 济宁新田工程机械有限公司| 杭州光大机械有限公司| 保定市恒瑞游乐机械有限公司| 泉州泉盛机械有限公司| 常州杰洋精密机械有限公司 | 安宁永昌钢铁有限公司| 常州拓美威精密机械有限公司| 盐城机械制造有限公司| 佛山市万为包装机械有限公司| 河南点赞钢铁有限公司| 上海玉兆精密机械有限公司| 唐山新宝泰钢铁有限公司| 广州金宗机械有限公司| 威尔达重工有限公司| 山东华屹重工有限公司| 鑫成机械设备有限公司| 湖北 机械制造有限公司| 扬州中孚机械有限公司| 济南明美机械有限公司| 东莞市鼎祥通用机械设备有限公司 | 安徽柳工起重机有限公司| 冷水江钢铁有限公司| 化工有限公司起名大全| 和本精密机械有限公司| 中施机械设备有限公司| 上海中远海运重工有限公司| 济南钢铁贸易有限公司| 捷泰克机械有限公司| 烟台华隆机械有限公司| 食品机械设备有限公司| 新鹏辉钢铁有限公司| 新乡市豫新起重机械有限公司| 浙江安驰机械有限公司| 源田床具机械有限公司| 东莞市益彩机械有限公司| 浙江方邦机械有限公司| 浙江液压机械有限公司| 文水海威钢铁有限公司| 工程有限公司起名大全| 天宇机械制造有限公司| 沈阳恒力机械有限公司| 朝阳宏达机械有限公司| 芜湖汇丰机械工业有限公司| 孝感金达钢铁有限公司| 江阴市江顺机械有限公司| 山东博宇机械有限公司| 浙江江鑫机械有限公司| 山西高义钢铁有限公司| 温州博大机械有限公司| 济南龙铸液压机械有限公司| 山东工程机械有限公司| 洛阳机械设备有限公司| 凯伯精密机械有限公司| 东莞市亿德机械设备有限公司| 大连橡塑机械有限公司| 绵阳科睿机械有限公司| 天津京龙工程机械有限公司| 工程机械配件有限公司| 淮安华辉机械设备有限公司| 洛阳鹏起实业有限公司| 徐州天地重型机械制造有限公司 | 常州市雪龙机械制造有限公司| 三川德青工程机械有限公司| 辽宁中原机械有限公司| 山东食品机械有限公司| 青岛奥威机械有限公司| 江苏冠宇机械设备制造有限公司| 无锡海天机械有限公司| 陕西柴油机重工有限公司| 山东广富钢铁有限公司| 广州市通风机械设备有限公司| 荏原机械淄博有限公司| 徐州普特工程机械有限公司| 杭州神钢建设机械有限公司| 武汉 机械有限公司| 江苏百事德机械有限公司| 唐山鑫杭钢铁有限公司| 济南龙安机械有限公司| 标特福精密机械电子有限公司| 郑州华龙机械工程有限公司| 北京食之秀机械设备有限公司 | 浙江科尔博机械有限公司| 长沙建鑫机械有限公司| 江阴市机械有限公司| 江阴科盛机械有限公司| 青岛德盛机械制造有限公司| 藏不起服饰有限公司| 合肥汉杰包装机械喷码有限公司 | 上海爱德夏机械有限公司| 滁州富达机械电子有限公司| 青岛橡胶机械有限公司| 江西欧克机械有限公司| 鹤壁万丰矿山机械制造有限公司 | 厦门大金机械有限公司| 苏州诚亚机械有限公司| 昆山万利机械有限公司| 徐州中嘉工程机械有限公司 | 山东金成机械有限公司| 济南华飞数控机械有限公司| 江苏银河机械有限公司| 无锡海天机械有限公司| 青岛科泰重工机械有限公司| 桂林橡胶机械有限公司| 曲阜志成机械有限公司| 华群数控机械有限公司| 深圳新劲力机械有限公司| 高密永和精密机械有限公司招聘网| 五洋纺织机械有限公司| 台林机械有限公司 -| 中联恒通机械有限公司| 泉州市力达机械有限公司| 杭州兴达机械有限公司| 临沂盖氏机械有限公司| 上海威士机械有限公司| 哈尔滨纳诺机械设备有限公司 | 工程的机械设备有限公司| 南宁敏创机械有限公司| 常州制药机械有限公司| 东莞市自动化机械有限公司| 唐山机械设备有限公司| 东莞 精密机械有限公司| 东莞市台铭数控机械有限公司| 常州 机械 有限公司| 泰瑞机械有限公司待遇| 上海连富机械有限公司| 浙江保龙机械有限公司| 东莞市源机械有限公司| 鞍山宝得钢铁有限公司| 济南四通机械有限公司| 福建 机械有限公司| 南通中船机械制造有限公司| 温州立胜印刷包装机械有限公司| 常州市禾昌机械有限公司| 上海鑫斌机械有限公司| 沈阳韩兆机械有限公司| 柳工常州机械有限公司| 太原重型机械有限公司| 河南旭矿机械有限公司| 上海宏铭纺织机械有限公司 | 绿友园林机械有限公司| 信易电热机械有限公司| 苏州威邦自动化机械有限公司| 上海国翔包装机械制造有限公司| 太仓悦凯精密机械有限公司| 扬州伏尔坎机械制造有限公司 | 广西金达机械有限公司| 四川建筑机械有限公司| 上海光塑机械制造有限公司| 北京机械制造有限公司| 合肥起重机械有限公司| 山东机械设备有限公司怎么样| 河南郑州机械有限公司| 江阴市三 机械有限公司| 聊城 机械 有限公司| 北京石油机械有限公司| 飞迈烟台机械有限公司| 佛山慧谷机械有限公司| 浙江宏涛机械有限公司| 上海包装机械设备有限公司| 北京起重设备有限公司| 山东山特重工机械有限公司| 福建三联机械有限公司| 厦门厦工机械有限公司| 大禾众邦机械有限公司| 常德 机械有限公司| 广州德晟机械有限公司| 上海固好包装机械有限公司| 山东荣利中石油机械有限公司 | 河北德林机械有限公司| 沈阳六和机械有限公司| 桂林矿山机械有限公司| 杭州贝克机械有限公司| 无锡锡昌机械有限公司| 浙江五一机械有限公司| 吴江聚力机械有限公司| 芜湖中安重工自动化装备有限公司 | 河北东方德源机械制造有限公司 | 淄博机械制造有限公司| 德州市启泰机械设备有限公司| 宁波力源机械有限公司| 天津富启机械有限公司| 温州光明印刷机械有限公司| 金田豪迈木业机械有限公司| 浙江瑞大机械有限公司| 中山市信元铝门窗机械制造有限公司 | 章丘市宇龙机械有限公司| 德昌誉机械制造有限公司| 盐山宏润重工有限公司| 厦门机械制造有限公司| 沈阳重型机械有限公司| 青岛南牧机械设备有限公司| 山东中探机械有限公司| 天津精密机械有限公司| 长沙远洋机械制造有限公司| 长葛市机械有限公司| 同向精密机械有限公司| 苏州 机械 有限公司| 广西千里通机械设备有限公司| 青岛山森机械有限公司| 河北中浩机械制造有限公司| 东莞市力华机械设备有限公司| 常州胜代机械有限公司| 四川高龙机械有限公司| 济南盛润机械有限公司| 上海保成机械有限公司| 上海金相机械有限公司| 上海益达机械有限公司|