Linux環境下透明代理完全解決方案
Linux環境下透明代理完全解決方案
--------------------------------------------------------------------------------
Ideal at Linuxaid
摘要:該文討論了如何在Linux環境下如何通過Ipchains和squid實現透明代理。
硬體環境:3Com RAS1500 IBM Pc Server 320
軟體環境:Redhat6.2 Squid 2.3.STABLE4
本文假設有這樣的應用環境,網路中有一台撥號伺服器為用戶提供撥號接入服務,其IP地址為192.168.2.32,該伺服器共有30條線,可供分配的IP地址為192.168.2.1-192.168.2.30。也就是說撥號用戶得到的是一個內部IP,範圍為1-31,在網路中專門為撥號用戶設置一台Linux伺服器,該伺服器運行有Squid實現的代理伺服器,並且配置了IPChains規則。Squid代理為客戶的www訪問提供了代理緩衝以增加其上網速度,而IPChains的運用卻可以實現代理對於客戶的透明化,同時對於非www訪問提供互聯網接入。
網路拓撲結構如下:
http://oldsite.linuxaid.com.cn/engineer/ideal/article/image002.jpg
當然,如果希望使用透明代理加快區域網上網速度的話,原理是一樣的,只有允許通過的ip範圍不同,在這裡我只允許撥號用戶的IP地址通過該透明代理。
一、Squid的安裝配置
1、什麼是Squid
Squid是一個高性能的代理緩存伺服器,Squid支持FTP、gopher和HTTP協議。和一般的代理緩存軟體不同,Squid用一個單獨的、非模塊化的、I/O驅動的進程來處理所有的客戶端請求。
Squid將數據元緩存在內存中,同時也緩存DNS查詢的結果,除此之外,它還支持非模塊化的DNS查詢,對失敗的請求進行消極緩存。Squid支持SSL,支持訪問控制。由於使用了ICP(輕量Internet緩存協議),Squid能夠實現層疊的代理陣列,從而最大限度地節約帶寬。
Squid由一個主要的服務程序squid,一個DNS查詢程序dnsserver,幾個重寫請求和執行認證的程序,以及幾個管理工具組成。當Squid啟動以後,它可以派生出預先指定數目的dnsserver進程,而每一個dnsserver進程都可以執行單獨的DNS查詢,這樣一來就大大減少了伺服器等待DNS查詢的時間。
2、Squid的下載安裝
從Squid的官方站點http://www.squid-cache.org下載該軟體;
1) 將該文件拷貝到/usr/local目錄。
2) 解開該文件 tar xvzf squid-2.3.STABLE4-src.tar.gz。
3) 解開后,在/usr/local生成一個新的目錄squid-2.3.STABLE4
4) 進入squid
cd squid-2.3.STABLE4
5) 執行./configure 可以用./confgure --prefix=/directory/you/want指定安裝目錄。系統預設安裝目錄為/usr/local/squid。
6) 執行 make all
7) 執行 make install
8) 安裝結束后,squid的可執行文件在安裝目錄的bin子目錄下,配置文件在etc子目錄下。
3、Squid的配置
Squid配置文件為:/usr/local/squid/etc/squid.conf。安裝成功以後,系統已經有了一個預設的配置文件,用戶僅僅需要修改該配置文件即可。首先我將Squid用在透明代理時的配置文件中必須打開的選項的內容列舉如下:
http_port 8080
cache_mem 32 MB
cache_swap_low 90
cache_swap_high 95
maximum_object_size 4096 KB
cache_dir ufs /usr/local/squid/cache 1200 16 256
cache_access_log /usr/local/squid/logs/access.log
cache_log /usr/local/squid/logs/cache.log
dns_nameservers 210.12.114.130
unlinkd_program /usr/local/squid/bin/unlinkd
acl all src 0.0.0.0/0.0.0.0
http_access allow all
cache_effective_user nobody
cache_effective_group nobody
httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_uses_host_header on
* http_port
說明:定義squid監聽HTTP客戶連接請求的埠。預設是3128,如果使用HTTPD加速模式 則為80。你可以指定多個埠,但是所有指定的埠都必須在一條命令行上。
*cache_mem (bytes)
說明:該選項用於指定squid可以使用的內存的理想值。這部分內存被用來存儲以下對象:In-Transit objects (傳入的對象)
Hot Objects (熱對象,即用戶常訪問的對象)
Negative-Cached objects (消極存儲的對象)
需要注意的是,這並沒有指明squid所使用的內存一定不能超過該值,其實,該選項只定義了squid所使用的內存的一個方面,squid還在其他方面使用內存。所以squid實際使用的內存可能超過該值。預設值為8MB。
*cache_dir Directory-Name Mbytes Level-1 Level2
說明:指定squid用來存儲對象的交換空間的大小及其目錄結構。可以用多個cache_dir命令來定義多個這樣的交換空間,並且這些交換空間可以分佈不同的磁碟分區。"directory "指明了該交換空間的頂級目錄。如果你想用整個磁碟來作為交換空間,那麼你可以將該目錄作為裝載點將整個磁碟mount上去。預設值為/var/spool/squid。「Mbytes」定義了可用的空間總量。需要注意的是,squid進程必須擁有對該目錄的讀寫權力。「Level-1」是可以在該頂級目錄下建立的第一級子目錄的數目,預設值為16。同理,「Level-2」是可以建立的第二級子目錄的數目,預設值為256。為什麼要定義這麼多子目錄呢?這是因為如果子目錄太少,則存儲在一個子目錄下的文件數目將大大增加,這也會導致系統尋找某一個文件的時間大大增加,從而使系統的整體性能急劇降低。所以,為了減少每個目錄下的文件數量,我們必須增加所使用的目錄的數量。如果僅僅使用一級子目錄則頂級目錄下的子目錄數目太大了,所以我們使用兩級子目錄結構。
那麼,怎麼來確定你的系統所需要的子目錄數目呢?我們可以用下面的公式來估算。
已知量:
DS = 可用交換空間總量(單位KB)/ 交換空間數目
OS = 平均每個對象的大小= 20k
NO = 平均每個二級子目錄所存儲的對象數目 = 256
未知量:
L1 = 一級子目錄的數量
L2 = 二級子目錄的數量
計算公式:
L1 x L2 = DS / OS / NO
注意這是個不定方程,可以有多個解。
* cache_swap_low (percent, 0-100)
cache_swap_high (percent, 0-100)
說明:squid使用大量的交換空間來存儲對象。那麼,過了一定的時間以後,該交換空間就會用完,所以還必須定期的按照某種指標來將低於某個水平線的對象清除。squid使用所謂的「最近最少使用演算法」(LRU)來做這一工作。當已使用的交換空間達到cache_swap_high時,squid就根據LRU所計算的得到每個對象的值將低於某個水平線的對象清除。這種清除工作一直進行直到已用空間達到cache_swap_low。這兩個值用百分比表示,如果你所使用的交換空間很大的話,建議你減少這兩個值得差距,因為這時一個百分點就可能是幾百兆空間,這勢必影響squid的性能。預設
cache_swap_low 90
cache_swap_high 95
* maximum_object_size
說明:大於該值得對象將不被存儲。如果你想要提高訪問速度,就請降低該值;如果你想最大限度地節約帶寬,降低成本,請增加該值。單位為K,預設值為:
maximum_object_size 4096 KB
* cache_dir Directory-Name Mbytes Level-1 Level2
說明:指定squid用來存儲對象的交換空間的大小及其目錄結構。可以用多個cache_dir命令來定義多個這樣的交換空間,並且這些交換空間可以分佈不同的磁碟分區。"directory "指明了該交換空間的頂級目錄。如果你想用整個磁碟來作為交換空間,那麼你可以將該目錄作為裝載點將整個磁碟mount上去。預設值為/var/spool/squid。「Mbytes」定義了可用的空間總量。需要注意的是,squid進程必須擁有對該目錄的讀寫權力。「Level-1」是可以在該頂級目錄下建立的第一級子目錄的數目,預設值為16。同理,「Level-2」是可以建立的第二級子目錄的數目,預設值為256。為什麼要定義這麼多子目錄呢?這是因為如果子目錄太少,則存儲在一個子目錄下的文件數目將大大增加,這也會導致系統尋找某一個文件的時間大大增加,從而使系統的整體性能急劇降低。所以,為了減少每個目錄下的文件數量,我們必須增加所使用的目錄的數量。如果僅僅使用一級子目錄則頂級目錄下的子目錄數目太大了,所以我們使用兩級子目錄結構。
那麼,怎麼來確定你的系統所需要的子目錄數目呢?我們可以用下面的公式來估算。
已知量:
DS = 可用交換空間總量(單位KB)/ 交換空間數目
OS = 平均每個對象的大小= 20k
NO = 平均每個二級子目錄所存儲的對象數目 = 256
未知量:
L1 = 一級子目錄的數量
L2 = 二級子目錄的數量
計算公式:
L1 x L2 = DS / OS / NO
注意這是個不定方程,可以有多個解。
* cache_access_log
說明:指定客戶請求記錄日誌的完整路徑(包括文件的名稱及所在的目錄),該請求可以是來自一般用戶的HTTP請求或來自鄰居的ICP請求。預設值為:
cache_access_log /var/log/squid/access.log
如果你不需要該日誌,可以用以下語句取消:
cache_access_log none
* cache_log
說明:指定squid一般信息日誌的完整路徑(包括文件的名稱及所在的目錄)。預設路徑為:
cache_log /var/log/squid/cache.log
* dns_nameservers 100.100.100.101
該選項用來定義Squid進行域名解析時使用的域名伺服器的,因為在使用代理協議時,客戶端並不進行域名查詢,而是通過代理進行的,因此需要為代理伺服器指定域名伺服器來進行域名解析。
* unlinkd_program
說明:指定文件刪除進程的完整路徑。
預設設置為:unlinkd_program /usr/lib/squid/unlinkd
* acl
說明:定義訪問控制列表。
定義語法為:
acl aclname acltype string1 ...
acl aclname acltype "file" ...
當使用文件時,該文件的格式為每行包含一個條目。
acltype 可以是 src dst srcdomain dstdomain url_pattern urlpath_pattern time port proto method browser user 中的一種。
分別說明如下:
src 指明源地址。可以用以下的方法指定:
acl aclname src ip-address/netmask ... (客戶ip地址)
acl aclname src addr1-addr2/netmask ... (地址範圍)
dst 指明目標地址。語法為:
acl aclname dst ip-address/netmask ...(即客戶請求的伺服器的ip地址)
srcdomain 指明客戶所屬的域。語法為:
acl aclname srcdomain foo.com ... squid將根據客戶ip反向查詢DNS。
dstdomain 指明請求伺服器所屬的域。語法為:
acl aclname dstdomain foo.com ... 由客戶請求的URL決定。
注意,如果用戶使用伺服器ip而非完整的域名時,squid將進行反向的DNS解析來確定其完整域名,如果失敗就記錄為「none」。
time 指明訪問時間。語法如下:
acl aclname time
day-abbrevs:
S - Sunday
M - Monday
T - Tuesday
W - Wednesday
H - Thursday
F - Friday
A - Saturday
h1:m1 必須小於 h2:m2,表達示為。
port 指定訪問埠。可以指定多個埠,比如:
acl aclname port 80 70 21 ...
acl aclname port 0-1024 ... (指定一個埠範圍)
proto 指定使用協議。可以指定多個協議:
acl aclname proto HTTP FTP ...
method 指定請求方法。比如:
acl aclname method GET POST ...
這裡定義了一個名為all的組,包括所有的主機。
*http_access
說明:根據訪問控制列表允許或禁止某一類用戶訪問。
如果某個訪問沒有相符合的項目,則預設為應用最後一條項目的「非」。比如最後一條為允許,則預設就是禁止。所以,通常應該把最後的條目設為"deny all" 或 "allow all" 來避免安全性隱患。
這裡我們允許所有的地址訪問代理服務,但是在下面我們使用Ipchains來限制只允許撥號用戶來訪問該透明代理伺服器。
* cache_effective_user
cache_effective_group
說明:如果用root啟動squid,squid將變成這兩條語句指定的用戶和用戶組。預設變為squid用戶和squid用戶組。注意這裡指定的用戶和用戶組必須真是存在於/etc/passwd中。如果用非root帳號啟動squid,則squid將保持改用戶及用戶組運行,這時候,你不能指定小於1024地http_port。
cache_effective_user nobody
cache_effective_group nobody
*httpd_accel_host virtual
httpd_accel_port 80
這兩個選項本來是用來定義squid加速模式的。在這裡我們用virtual來指定為虛擬主機模式。80埠為要加速的請求埠。採用這種模式時,squid就取消了緩存及ICP功能,假如你需要這些功能,這必須設置httpd_accel_with_proxy選項。
* httpd_accel_with_proxy on
該選項在透明代理模式下是必須設置成on的。在該模式下,squid既是web請求的加速器,又是緩存代理伺服器。
* httpd_accel_uses_host_header on
在透明代理模式下,如果你想讓你代理伺服器的緩存功能正確工作的話,你必須將該選項設為on。設為on時,squid會把存儲的對象加上主機名而不是ip地址作為索引。這一點在你想建立代理伺服器陣列時顯得尤為重要。
4、Squid的啟動
首先確定你的內核已經配置了以下特性:
[*] Network firewalls
[ ] Socket Filtering
[*] Unix domain sockets
[*] TCP/IP networking
[ ] IP: multicasting
[ ] IP: advanced router
[ ] IP: kernel level autoconfiguration
[*] IP: firewalling
[ ] IP: firewall packet netlink device
[*] IP: always defragment (required for masquerading)
[*] IP: transparent proxy support
如果沒有,請你重新編譯內核。一般在RedHat6.x以上,系統已經預設配置了這些特性。
下來,需要為Squid創建 Cache目錄,使用如下命令來創建:
# /usr/local/squid/bin/squid –z
下來需要指定Log目錄為nobody用戶具有寫許可權:
# chmod 777 /usr/local/squid/etc
然後就可以使用命令:
# /usr/local/squid/bin/squid
來啟動該伺服器。啟動以後察看啟動進程,一般應該有如下的進程:
root 558 0.0 0.0 3300 0 ? SW 2000 0:00
nobody 559 0.6 53.6 53600 51284 ? S 2000 74:29 (squid)
nobody 560 0.0 0.0 1088 84 ? S 2000 0:11 (unlinkd)
二、IPChains過濾規則的設立
首先應該打開包轉發功能:
echo 1 >; /proc/sys/net/ipv4/ip_forward
為了讓啟動時能自動打開包轉發功能,可以將上一行的內容添加到/etc/rc.d/rc.local文件的末尾。
這裡我只允許撥號用戶使用該透明代理,因此我的過濾規則數據文件內容如下:
:input ACCEPT
:forward DENY
:output ACCEPT
-A input -i lo -j ACCEPT
-A input -p tcp -s 192.168.2.0/27 -d 0.0.0.0/0 80 -i eth0 -j REDIRECT 8080
-A input -s ! 192.168.2.0/27 -d 0.0.0.0/0 -i eth0 -j DENY
-A forward -s 192.168.2.0/27 -d 0.0.0.0/0.0.0.0 -i eth1 -j MASQ
其中-A input -i lo -j ACCEPT表示接收所有的回送包;
-A input -p tcp -s 192.168.2.0/27 -d 0.0.0.0/0 80 -i eth0 -j REDIRECT 8080表示將撥號用戶所在IP地址的目標埠為80的TCP包重定向到8080埠;
-A input -s ! 192.168.2.0/27 -d 0.0.0.0/0 -i eth0 -j DENY指示其他所有源地址不是撥號用戶的數據都統統被丟棄;
-A forward -s 192.168.2.0/27 -d 0.0.0.0/0.0.0.0 -i eth1 -j MASQ轉發並偽裝撥號用戶的其他數據。
最後,使用客戶機進行測試,只需要設置默認網關為透明代理就可以上網,同時享受代理帶來的快速。
三、參考文獻
IPCHAINS-HOWTO
Squid Manual
《解決方案》
Linux環境下透明代理完全解決方案
好,又是一篇好文章,是不是ipchains是iptables的舊版本呢?
《解決方案》
Linux環境下透明代理完全解決方案
iptables,它是ipchains的替代品,功能也更為強大。
《解決方案》
Linux環境下透明代理完全解決方案
iptables,它是ipchains的替代品,功能也更為強大。
《解決方案》
Linux環境下透明代理完全解決方案
不錯,尤其是對squid中的一些常用參數進行了說明,會對許多實用squid的用戶有很大幫助的。
感謝!
《解決方案》
Linux環境下透明代理完全解決方案
能在solaris 8 for x86 下使用squid+iptables 嗎?
有什麼不同嗎?
《解決方案》
Linux環境下透明代理完全解決方案
文章太老了
《解決方案》
Linux環境下透明代理完全解決方案
原帖由 "roby19" 發表:
能在solaris 8 for x86 下使用squid+iptables 嗎?
有什麼不同嗎?
不能,iptables基於netfilter框架,而netfilter是linux獨有的
《解決方案》
Linux環境下透明代理完全解決方案
還行吧 也不算老啊
《解決方案》
Linux環境下透明代理完全解決方案
我說真的啊 有淀用