1. 建立第一个vm，内存需要超过512M

2. 复制vm，修改vmx文件
scsi1.sharedBus = "virtual"
disk.locking = "false"

3. 开启后会发觉第二个vm的eth不再是从0开始
使用root用户修改/etc/udev/rules.d/30-net_persistent_names.rules
确保各node上的private net、public net的网络接口一致
修改/etc/sysconfig/netwrok下的eth-*文件完成ip修改
修改/etc/hosts配置如下三类ip的host名
node node-priv node-vip

4. 建立oracle用户，属于dba组，oracle用户和dba组的id需在各个node上保持一致

5. 配置用户等价
使用oracle用户，在各个节点上运行如下命令
$ mkdir ~/.ssh
$ chmod 700 ~/.ssh
$ cd ~/.ssh
$ /usr/bin/ssh-keygen -t rsa
$ /usr/bin/ssh-keygen -t dsa
在某个node上执行如下命令,其中<node>替换为所有的具体node的名称
ssh <node> cat /opt/oracle/.ssh/id_rsa.pub >> authorized_keys
ssh <node> cat /opt/oracle/.ssh/id_dsa.pub >> authorized_keys
最后将这个文件复制到各个节点上去
scp authorized_keys <node>:/opt/oracle/.ssh/

ssh rac1 cat /opt/oracle/.ssh/id_rsa.pub >> authorized_keys
ssh rac1 cat /opt/oracle/.ssh/id_dsa.pub >> authorized_keys
ssh rac2 cat /opt/oracle/.ssh/id_rsa.pub >> authorized_keys
ssh rac2 cat /opt/oracle/.ssh/id_dsa.pub >> authorized_keys
scp authorized_keys rac2:/opt/oracle/.ssh/

如果要不输入密码就ssh访问的话，可以使用如下命令
exec /usr/bin/ssh-agent $SHELL
/usr/bin/ssh-add
export DISPLAY=<node>:0.0

6. 配置时间同步
使用root用户修改/etc/ntp.conf
同步源node
server 127.127.1.0
fudge  127.127.1.0 stratum 11
broadcastdelay 0.008
其余node
server <ip>  prefer
broadcastdelay 0.008


7. 配置内核参数
使用root用户修改/etc/sysctl.conf
kernel.shmall = 2097152
kernel.shmmax = 2147483648
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 1048576
net.core.rmem_max = 1048576
net.core.wmem_default = 262144
net.core.wmem_max = 262144
disable_cap_mlock = 1

使用root用户运行/sbin/chkconfig boot.sysctl on,使得系统会在重起时读取sysctl.conf

使用root用户修改/etc/security/limits.conf
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

使用root用户修改/etc/pam.d/login
session required pam_limits.so

使用root用户修改/etc/profile.local
if [ $USER = "oracle" ]; then
   if [ $SHELL = "/bin/ksh" ]; then
      ulimit -p 16384
      ulimit -n 65536
   else
      ulimit -u 16384 -n 65536
   fi
fi

使用root用户运行/sbin/lsmod查看hangcheck-timer的module是否被装载
如果没有装载，则使用root用户运行insmod /lib/modules/<kernel_version>/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=30 hangcheck_margin=180

insmod /lib/modules/2.6.16.60-0.21-default/kernel/drivers/char/hangcheck-timer.ko hangcheck_tick=30 hangcheck_margin=180
其中<kernel_version>可以使用uname -r命令获得
为保证每次都运行,需将这个命令加入/etc/init.d/boot.local

8. 配置raw设备
使用root用户修改/etc/raw,配置raw设备的映射
类似如下格式
raw1:sdb1

使用root用户修改/etc/udev/rules.d/50-udev-default.rules,确保raw设备的权限GROUP="dba", MODE="640", OWNER="oracle"
将其中包含KENREL=="raw"的记录修改为如下
KERNEL=="raw[0-9]*", SUBSYSTEM=="raw", NAME="raw/%k", GROUP="dba", MODE="640", OWNER="oracle"

使用命令"/etc/init.d/raw start"即时生效
/sbin/chkconfig raw on



9. 后续需要将安装zip包ftp上传到某个node上
ftp有会出现不能登录等问题，主要修改如下
使用root用户修改/etc/vsftpd.conf
找到 # write_enable=YES，去掉注释
找到 #local_enable=YES 去掉注释；
找到 #listen=YES  去掉注释；
增加 listen_port=21 这一行配置。
找到 #local_umask=022 去掉注释

使用root用户修改/etc/ftpusers
注释需要登录的用户

10. 使用root安装cvuqdisk
rpm -iv cvuqdisk-1.0.1-1.rpm

11. 使用root安装ASM lib相关rpm
oracleasm-<kernel_version>-2.0.4-1.SLE10.i586.rpm
oracleasm-support-2.1.3-1.SLE10.i386.rpm
oracleasmlib-2.0.4-1.sle10.i386.rpm

12. 安装完毕后，使用root用户在各个node上运行/etc/init.d/oracleasm configure，按如下配置

Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.  The following questions will determine whether the driver is
loaded on boot and what permissions it will have.  The current values
will be shown in brackets ('[]').  Hitting <ENTER> without typing an
answer will keep that current value.  Ctrl-C will abort.

Default user to own the driver interface []: oracle
Default group to own the driver interface []: dba
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
Initializing the Oracle ASMLib driver:                               done
Scanning the system for Oracle ASMLib disks:                         done



13. 使用root用户在某个node上运行创建ASM磁盘，对于votedisk和ocr不需要创建ASM，而是作为raw设备处理
/etc/init.d/oracleasm createdisk <VOL1> </dev/sdb1>
创建完毕后，可以使用/etc/init.d/oracleasm listdisks查看创建后的情况

14. 对于其他node，使用root用户运行/etc/init.d/oracleasm scandisks
并使用/etc/init.d/oracleasm listdisks查看是否各node一致


15 安装时需要先建立好目录避免安装过程中无权限报错

16. 安装过程中vipca会报错，需要升级到10.2.0.4以上，升级时，先升级CRS，后Oracle，通过安装中输入的目录加以区分

17. vipca配置时需要设置默认网关，否则会报错