嘿嘿，由於HBA卡AS4沒有驅動，只好裝了AS2.1+10g1+RAW

嘿嘿，由於HBA卡AS4沒有驅動，只好裝了AS2.1+10g1+RAW

Install RH AS2.1 Oracle 10g1 RAC on X86

1 檢測硬體需求(所有節點，root）

        至少512 MB 內存                                        # grep MemTotal /proc/meminfo
        至少1 GB 交換空間 (或兩倍於內存的交換空間)        # grep SwapTotal /proc/meminfo
        至少400 MB 臨時目錄（ /tmp ）空間                # df -h /tmp
        至少 4 GB 硬碟空間來安裝 Oracle 資料庫軟體        # df -h
       
2 檢查網路配置(所有節點，root）

        每個機器要有兩塊網卡，public 和 private 對應網卡要相同。
        注意： eth0 用作 public(不要選用開放網址),eth1 用作 private(選擇用192.168.0.*或

10.*.*.*)
        IP地址提供如下：
        ns1          Public         10.240.144.201         DNS(沒DNS，就放在/etc/hosts裡面)
        ns2         Public         10.240.144.202         DNS
        ns1-vip         Virtual         10.240.144.251        DNS
        ns2-vip         Virtual         10.240.144.252        DNS
        ns1-priv Private         192.168.0.11         /etc/hosts
        ns2-priv Private         192.168.0.12         /etc/hosts

        可以用 # /sbin/ifconfig 查看具體設置

3 檢測軟體需求(所有節點，root）

        OS: Red Hat Enterprise Linux AS/ES 2.1 (Update 3 or higher)        # more /etc/issue
        Kernel: 2.4.9, errata 34 (for example 2.4.9-e.34)                # uname -r
        Packages:看是否安裝 # rpm -q XXX  安裝 # rpm -ivh xxx        卸載：# rpm -e xxx        更新

：# rpm -Uvh xxx
                make-3.79.1
                glibc-2.2.4-32.15
                gcc-2.96-128
                gcc-c++-2.96-128
                libstdc++-2.96-124.7.2
                openmotif-2.1.30-11
                shadow-utils-20000902-16

4 生成需要的用戶和組(所有節點，root）

        先在一個節點上增加用戶和組：
        # /usr/sbin/groupadd oinstall
        # /usr/sbin/groupadd dba
        # /usr/sbin/useradd -m -g oinstall -G dba oracle
        # id oracle
        uid=501(oracle) gid=501(oinstall) groups=501(oinstall),502(dba)

        用戶 ID 和組 ID 在所有集群主機上必須相同。 使用從 id oracle 命令得到的信息，再在其餘

集群主機上創建 Oracle 組和用戶帳戶：

        # /usr/sbin/groupadd -g 501 oinstall
        # /usr/sbin/groupadd -g 502 dba
        # /usr/sbin/useradd -m -u 501 -g oinstall -G dba oracle
        # id oracle
        uid=501(oracle) gid=501(oinstall) groups=501(oinstall),502(dba)

        設置所有節點上 oracle 帳戶的口令：
        # passwd oracle
        Changing password for user oracle.
        New password:
        Retype new password:
        passwd:all authentication tokens updated successfully.

5 確認 nobody 用戶的存在(所有節點，root）

        # id nobody

        如果不存在就創建它
        # /usr/sbin/useradd nobody

6 設置內核參數 (所有節點，root）

        在 /etc/sysctl.conf 後面添加如下10行（如果下面的行不存在的話）

        kernel.shmall = 2097152
        kernel.shmmax = 2147483648
        kernel.shmmni = 4096
        kernel.sem = 250 32000 100 128
        fs.file-max = 65536
        net.ipv4.ip_local_port_range = 1024 65000
        net.core.rmem_default = 262144
        net.core.rmem_max = 262144
        net.core.wmem_default = 262144
        net.core.wmem_max = 262144

        添加好后，使用命令 # /sbin/sysctl -p  來使設置生效。

7 設置oracle用戶Shell限制(建議設置，不設置也可以) (所有節點，root）

        在 /etc/security/limits.conf 後面添加如下4行

        oracle   soft   nproc    2047
        oracle   hard   nproc    16384
        oracle   soft   nofile   1024
        oracle   hard   nofile   65536

        在 /etc/pam.d/login 後面添加如下一行

        session required /lib/security/pam_limits.so

        在 /etc/profile 添加如下行

        if [ $USER = "oracle" ]; then
                if [ $SHELL = "/bin/ksh" ]; then
                        ulimit -p 16384
                        ulimit -n 65536
                else
                        ulimit -u 16384 -n 65536
                fi
        fi

8 創建安裝過程中用到的目錄 (所有節點，root）

        需要創建以下目錄
        Oracle Base Directory                        #/u01/app/oracle
        Oracle Inventory Directory                #/u01/app/oracle/oraInventory
        Oracle Clusterware Home Directory        #/u01/app/oracle/product/10.1.0/crs_1
        Oracle Home Directory                        #/u01/app/oracle/product/10.1.0/db_1

        mkdir -p /u01/app/oracle
        mkdir -p /u01/app/oracle/oraInventory
        mkdir -p /u01/app/oracle/product/10.1.0/crs_1
        mkdir -p /u01/app/oracle/product/10.1.0/db_1
        chown -R oracle:oinstall /u01
        chmod -R 775 /u01

9 配置 Hangcheck 計時器 (所有節點，root）

        察看已經載入的模塊 # /sbin/lsmod
        手工載入 # /sbin/insmod hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

        在 /etc/init.d/boot.local 文件末尾添加如下一行
        /sbin/insmod hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

10 配置 /etc/hosts (所有節點，root）

        #private eth1
          192.168.0.11   ns1-priv
          192.168.0.12   ns2-priv

          #public 注意是在 eth0上
          10.240.144.201  ns1
          10.240.144.202  ns2

          #virtual ip
          10.240.144.231  ns1-vip
          10.240.144.232  ns2-vip

請注意，只需在兩個節點的 /etc/hosts 文件中定義虛擬 IP 地址。當您運行 Oracle Universal

Installer 時，該程序啟動 Oracle 的虛擬互聯網協議配置助手 (VIPCA)，也就說 Oracle 將自動配置公

共虛擬 IP 地址。當運行 srvctl start nodeapps -n <node_name> 命令時，所有的虛擬 IP 地址將被激

活。這就是將要在客戶端 tnsnames.ora 文件中進行配置的主機名/IP 地址（後文詳述）。


11 為Oracle用戶等效性配置 SSH (所有節點，oracle）

        為用戶等效性配置 SSH 之前，/etc/hosts 應該起作用，所以要reboot機器后，再配置等效性

        在每個主機上，以 oracle 用戶身份登錄，執行如下命令，生成秘匙： (所在目錄：直接回車使

用默認；密碼：輸入一個自己容易記憶的密碼)
        $ mkdir ~/.ssh
        $ chmod 755 ~/.ssh
        $ /usr/bin/ssh-keygen -t rsa
        $ /usr/bin/ssh-keygen -t dsa

        然後，首先在第一個主機上，以 oracle 用戶身份登錄（複製本地帳戶的密鑰，以便連接本地主

機的 ssh 能夠起作用）：
        $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
        $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
        $ ssh oracle@ns2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys (提示輸入密碼為

oracle用戶密碼)
        $ ssh oracle@ns2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys (提示輸入密碼為

oracle用戶密碼)
        $ chmod 644 ~/.ssh/authorized_keys

        然後再對第二個主機做同樣的處理。 請注意，這次 SSH 會提示您輸入在創建密鑰時所使用的口

令短語而非 oracle 的口令。 這是因為第一個主機 (ds1) 現在知道了第二個主機的公共密鑰，而 SSH

現在使用的是一種不同的認證協議。
        $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
        $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
        $ ssh oracle@ns1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
        $ ssh oracle@ns1 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
        $ chmod 644 ~/.ssh/authorized_keys

        建立用戶等效性
        $ exec /usr/bin/ssh-agent $SHELL
        $ /usr/bin/ssh-add

        測試連通性
        $ ssh ns2 date

        為了確保 X11 在安裝過程中不出現錯誤, 為oracle用戶生成一個文件 ~oracle/.ssh/config：
       
        Host *
                ForwardX11 no

12 準備共享磁碟(在一個節點，root）

        存儲通過光纖連接到各個節點，我們這裡不討論如何設置存儲。

        使用如下命令查看可用磁碟：
        # fdisk -l

        使用如下命令對目標磁碟進行分區：
        #fdisk /dev/sdX

        下面是我對 /dev/sdf的分區：

# /sbin/fdisk /dev/sdf

The number of cylinders for this disk is set to 8180.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-8180, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-8180, default 8180): +150m

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 2
First cylinder (21-8180, default 21):
Using default value 21
Last cylinder or +size or +sizeM or +sizeK (21-8180, default 8180): +200m

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 3
First cylinder (47-8180, default 47):
Using default value 47
Last cylinder or +size or +sizeM or +sizeK (47-8180, default 8180): +200m

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
e
Partition number (1-4): 4
First cylinder (73-8180, default 73):
Using default value 73
Last cylinder or +size or +sizeM or +sizeK (73-8180, default 8180):
Using default value 8180

Command (m for help): n
First cylinder (73-8180, default 73):
Using default value 73
Last cylinder or +size or +sizeM or +sizeK (73-8180, default 8180): +500m

Command (m for help): n
First cylinder (137-8180, default 137):
Using default value 137
Last cylinder or +size or +sizeM or +sizeK (137-8180, default 8180): +1000m

Command (m for help): n
First cylinder (265-8180, default 265):
Using default value 265
Last cylinder or +size or +sizeM or +sizeK (265-8180, default 8180): +3000m

Command (m for help): n
First cylinder (648-8180, default 648):
Using default value 648
Last cylinder or +size or +sizeM or +sizeK (648-8180, default 8180): +10000m

Command (m for help): n
First cylinder (1923-8180, default 1923):
Using default value 1923
Last cylinder or +size or +sizeM or +sizeK (1923-8180, default 8180): +20000m

Command (m for help): n
First cylinder (4473-8180, default 4473):
Using default value 4473
Last cylinder or +size or +sizeM or +sizeK (4473-8180, default 8180):
Using default value 8180

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: If you have created or modified any DOS 6.x
partitions, please see the fdisk manual page for additional
information.
Syncing disks.



        看看我的分區如下：（測試用，隨便分了一下）

# /sbin/fdisk -l

Disk /dev/sda: 255 heads, 63 sectors, 2233 cylinders
Units = cylinders of 16065 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sda1   *         1        13    104391   83  Linux
/dev/sda2            14       650   5116702+  82  Linux swap
/dev/sda3           651      2233  12715447+  83  Linux

Disk /dev/sdb: 64 heads, 32 sectors, 17522 cylinders
Units = cylinders of 2048 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sdb1   *         1        50     51184   83  Linux
/dev/sdb2            51      2050   2048000   82  Linux swap
/dev/sdb3          2051     17522  15843328   83  Linux

Disk /dev/sdc: 255 heads, 63 sectors, 2233 cylinders
Units = cylinders of 16065 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sdc1   *         1      1275  10241406    7  HPFS/NTFS
/dev/sdc2          1276      2233   7695135    f  Win95 Ext'd (LBA)
/dev/sdc5          1276      2233   7695103+   7  HPFS/NTFS

Disk /dev/sdd: 255 heads, 63 sectors, 2610 cylinders
Units = cylinders of 16065 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sdd3            53       116    514080   83  Linux
/dev/sdd4           117      2610  20033055    5  Extended
/dev/sdd5           117       371   2048256   83  Linux
/dev/sdd6           372       626   2048256   83  Linux
/dev/sdd7           627       754   1028128+  83  Linux
/dev/sdd8           755       805    409626   83  Linux
/dev/sdd9           806       856    409626   83  Linux
/dev/sdd10          857       984   1028128+  83  Linux
/dev/sdd11          985      1112   1028128+  83  Linux
/dev/sdd12         1113      1367   2048256   83  Linux
/dev/sdd13         1368      1622   2048256   83  Linux
/dev/sdd14         1623      1750   1028128+  83  Linux
/dev/sdd15         1751      1878   1028128+  83  Linux
/dev/sdd16         1879      2261   3076416   83  Linux

Disk /dev/sde: 255 heads, 63 sectors, 2610 cylinders
Units = cylinders of 16065 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sde1             1        26    208813+  83  Linux
/dev/sde2            27        90    514080   83  Linux
/dev/sde3            91       345   2048287+  83  Linux
/dev/sde4           346      2610  18193612+   5  Extended
/dev/sde5           346       983   5124703+  83  Linux
/dev/sde6           984      2610  13068846   83  Linux

Disk /dev/sdf: 255 heads, 63 sectors, 8180 cylinders
Units = cylinders of 16065 * 512 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sdf1             1        20    160618+  83  Linux
/dev/sdf2            21        46    208845   83  Linux
/dev/sdf3            47        72    208845   83  Linux
/dev/sdf4            73      8180  65127510    5  Extended
/dev/sdf5            73       136    514048+  83  Linux
/dev/sdf6           137       264   1028128+  83  Linux
/dev/sdf7           265       647   3076416   83  Linux
/dev/sdf8           648      1922  10241406   83  Linux
/dev/sdf9          1923      4472  20482843+  83  Linux
/dev/sdf10         4473      8180  29784478+  83  Linux


在其它集群節點上sfdisk -R  /dev/sdb  這樣可以強迫kernel re-read partition table. 在高版本OS

上運行：partprobe
在創建分區后，建議您重新引導所有 RAC 節點上的內核，以確保所有 RAC 節點上的內核識別所有新分區

。


13 把分區綁定到raw設備(所有節點，root）

文件 /etc/sysconfig/rawdevices 內容如下：


/dev/raw/raw1   /dev/sde1
#200M OCR
/dev/raw/raw18  /dev/sdf1
#150M ocr bk1
/dev/raw/raw19  /dev/sdf2
#150M ocr bk2
/dev/raw/raw2   /dev/sde2
#200M crs voting
/dev/raw/raw20 /dev/sdf3
#200M vote bk1
/dev/raw/raw21  /dev/sdf5
#200M vote bk2

/dev/raw/raw3   /dev/sdd3
#500M Example

/dev/raw/raw4   /dev/sde3
#5G redolog2_1
/dev/raw/raw17  /dev/sde5
#15G redolog2_2

/dev/raw/raw5   /dev/sdd5
#2G System table space
/dev/raw/raw6   /dev/sdd6
#2G Sysaux
/dev/raw/raw7   /dev/sdd7
#1G     Temp
/dev/raw/raw8   /dev/sdd8
#400M   PASSWORD
/dev/raw/raw9   /dev/sdd9
#400M   SPFILE
/dev/raw/raw10  /dev/sdd10
#1G     UNDOTBS1
/dev/raw/raw11  /dev/sdd11
#1G     UNDOTBS2
/dev/raw/raw12  /dev/sdd12
#2G     control1
/dev/raw/raw13  /dev/sdd13
#2G     control2
/dev/raw/raw14  /dev/sdd14
#1G redolog1-1
/dev/raw/raw15  /dev/sdd15
#1G     redolog1-2
/dev/raw/raw16 /dev/sde6
#MAX Users

設置好文件后，重新啟動RAW設備服務，使綁定生效：
# /sbin/service rawdevices restart

查看生效的raw設備：
# raw -qa
/dev/raw/raw1:  bound to major 8, minor 65
/dev/raw/raw2:  bound to major 8, minor 66
/dev/raw/raw3:  bound to major 8, minor 51
/dev/raw/raw4:  bound to major 8, minor 67
/dev/raw/raw5:  bound to major 8, minor 53
/dev/raw/raw6:  bound to major 8, minor 54
/dev/raw/raw7:  bound to major 8, minor 55
/dev/raw/raw8:  bound to major 8, minor 56
/dev/raw/raw9:  bound to major 8, minor 57
/dev/raw/raw10: bound to major 8, minor 58
/dev/raw/raw11: bound to major 8, minor 59
/dev/raw/raw12: bound to major 8, minor 60
/dev/raw/raw13: bound to major 8, minor 61
/dev/raw/raw14: bound to major 8, minor 62
/dev/raw/raw15: bound to major 8, minor 63
/dev/raw/raw16: bound to major 8, minor 70
/dev/raw/raw17: bound to major 8, minor 69
/dev/raw/raw18: bound to major 8, minor 81
/dev/raw/raw19: bound to major 8, minor 82
/dev/raw/raw20: bound to major 8, minor 83
/dev/raw/raw21: bound to major 8, minor 85


14 設置OCR需要的raw設備---注意訪問許可權(所有節點，root）

# chown root:oinstall /dev/raw/raw1
# chown root:oinstall /dev/raw/raw18
# chown root:oinstall /dev/raw/raw19
# chmod 640 /dev/raw/raw1
# chmod 640 /dev/raw/raw18
# chmod 640 /dev/raw/raw19

# chown oracle:oinstall /dev/raw/raw2
# chown oracle:oinstall /dev/raw/raw20
# chown oracle:oinstall /dev/raw/raw21
# chmod 644 /dev/raw/raw2
# chmod 644 /dev/raw/raw20
# chmod 644 /dev/raw/raw21

其實 raw18,raw19,raw20,raw21，我沒有用，是為了將來裝10g2的RAC用。因為10g2需要兩個ocr文件和3

個voting.

15 為其它的raw設備(資料庫使用)設置許可權:(所有節點，root）

# chown oracle:dba /dev/raw/rawn
# chmod 660 /dev/raw/rawn


16 為資料庫配置助手 (DBCA) 創建原始設備映射文件( 所有節點，oracle）

        最後，我們需要為資料庫配置助手 (DBCA) 創建原始設備映射文件。 此文件將您已創建的原始

設備與 DBCA 將要用於創建資料庫的名稱相關聯。

        在 oracle 用戶目錄下 /home/oracle 生成 public_raw.config
$ more publish_raw.conf

example=/dev/raw/raw3
redo2_1=/dev/raw/raw4
redo2_2=/dev/raw/raw17
system=/dev/raw/raw5
sysaux=/dev/raw/raw6
temp=/dev/raw/raw7
pwdfile=/dev/raw/raw8
spfile=/dev/raw/raw9
undotbs1=/dev/raw/raw10
undotbs2=/dev/raw/raw11
control1=/dev/raw/raw12
control2=/dev/raw/raw13
redo1_1=/dev/raw/raw14
redo1_2=/dev/raw/raw15
users=/dev/raw/raw16




17 為安裝 CRS軟體，在 /home/oracle/.bash_profile裡面設置環境變數 ( 所有節點，oracle）

設置 ORACLE_BASE,ORACLE_HOME

        export  ORACLE_BASE=/u01/app/oracle
        export  ORACLE_HOME=/u01/app/oracle/product/10.1.0/crs_1
        export  ORACLE_SID=PUBLISH2
        DBCA_RAW_CONFIG=$HOME/publish_raw.conf
        Export  DBCA_RAW_CONFIG
        umask=022

18 安裝CRS( 一個節點，oracle）

以oracle用戶登陸.
建立用戶等效性.
運行 runInstaller，當OUI顯示歡迎界面時，點擊Next.
分別在各個節點另開終端，以超級用戶運行 /u01/app/oracle/oraInventory/orainstRoot.sh.
選擇一個安裝語言.
輸入節公共點名稱和私有節點名稱。如 ns1 ns1-priv及ns2   ns2-priv
選擇網路介面類型 eth0        10.244.144.0        public及eth1        192.168.0.0        private
提示輸入OCR目錄的時候，輸入 /dev/raw/raw1.
提示輸入Voting目錄的時候，輸入 /dev/raw/raw2.
開始安裝CRS軟體，安裝快結束的時候，提示要以root用戶運

行/u01/app/oracle/product/10.1.0/crs_1/root.sh.
運行root.sh之前，分別以root用戶登陸新終端，更改CRS home directory的許可權，命令如下：
# chmod go-w /u01/app/oracle/product/10.1.0
# chmod go-w /u01/app/oracle/product
# chmod go-w /u01/app/oracle/
# chmod go-w /u01/app/
# chmod go-w /u01

當提示安裝完成的時候，點擊Exit退出此界面.

19 測試CRS( 所有節點，oracle）

節點1測試
$ unset ORACLE_HOME
$ pwd
/u01/app/oracle/product/10.1.0/crs_1/bin
$ ./olsnodes
ns1
ns2
$

節點2測試
$ unset ORACLE_HOME
$ pwd
/
$ ./u01/app/oracle/product/10.1.0/crs_1/bin/olsnodes
ns1
ns2
$

20 CRS的相關進程( 所有節點，oracle）

        oprocd -- 集群監視,Note that this process will only appear on platforms that do not

use vendor clusterware with CRS.
        evmd -- 事件管理後台程序.
        ocssd -- 管理集群節點間的關係.
        crsd -- 執行高性能恢復和管理操作.

查看個節點的自動啟動腳本：
$ ls -l /etc/init.d/init.*
-r-xr-xr-x    1 root     root         1207 Apr 28 15:40 /etc/init.d/init.crs
-r-xr-xr-x    1 root     root         5492 Apr 28 15:40 /etc/init.d/init.crsd
-r-xr-xr-x    1 root     root        18593 Apr 28 15:40 /etc/init.d/init.cssd
-r-xr-xr-x    1 root     root         4553 Apr 28 15:40 /etc/init.d/init.evmd



21 為安裝ORACLE 10G1資料庫設置變數( 所有節點，oracle）

僅在集群的一個節點上執行下列安裝過程！Oracle 資料庫軟體將由 Oracle Universal Installer 安裝

到集群的所有其他節點。

        註銷crs變數,設定資料庫環境變數

        export  ORACLE_BASE=/u01/app/oracle
        export  ORACLE_HOME=/u01/app/oracle/product/10.1.0/db_1
        export  ORACLE_SID=PUBLISH2
        DBCA_RAW_CONFIG=$HOME/publish_raw.conf
        Export  DBCA_RAW_CONFIG
        umask=022

        觀察一下就知道，只有ORACLE_HOME的值變了，也可以這樣解決：
        $ unset ORACLE_HOME
        $ ORACLE_HOME=/u01/app/oracle/product/10.1.0/db_1;export ORACLE_HOME

22  安裝資料庫( 一個節點，oracle）

    運行安裝程序


23 檢測安裝( 所有節點，oracle）

$ ps -ef | grep lsnr
oracle    7903  3768  0 17:20 pts/0    00:00:00 grep lsnr

24 創建集群資料庫( 一個節點，oracle）

        創建 net服務：以oracle用戶運行 netca ，需要配置一個監聽服務，默認埠1521。

        在兩個節點上分別啟動監聽服務：
        $lsnrctl start

        配製資料庫：
        $DBCA

        進入SQLPlus，並建立私有線程：
        $sqlplus "/ as sysdba"

        啟動資料庫：
        sqlplus>startup

Tags: