오라클 스터디

rawdevice 설정 및 ASM 삭제

노드 1(root 유저)
# ocrconfig -add /dev/raw/raw1
# ocrconfig -add /dev/raw/raw2
# ocrconfig -delete +DATA
# ocrcheck

crsctl replace votedisk /dev/raw/raw3

# crsctl add css votedisk /dev/raw/raw4
# crsctl add css votedisk /dev/raw/raw5

# crsctl query css votedisk

DB생성

오라클 계정으로 X윈도우화면에서 dbca

“Oracle Real Application Clusters (RAC) database” 체크 → [Next]

“Create a Database” → [Next]

“Custom Database” 체크 → [Next]

Global Database Name, SID Prefix : racdb 입력 →
[Select All] 버튼 클릭하여 모든 노드 선택 → [Next]

[Enterprise Manager] 탭 “Configure Enterprise Manager” 체크 해제

[Automatic Maintenance Tasks] 탭 “Enable automatic maintenance tasks” 체크 해제 → [Next]

“Use the Same Administrativ Password for All Accounts” 체크하여 패스워드 입력 → [Next]

패스워드 유효성 위반 메시지, [Yes] 버튼을 클릭하여 계속 진행

Storage Type : ASM 선택 → “Use Oracle-Managed Files” 체크 →
Database Area : +DATA 입력 → [Next]

“Specify Fast Recovery Area” 체크 해제 → [Next]

데이터베이스 컴퍼넌트 해제를 위해 [Standard Database Components] 클릭

표준 데이터베이스 컴퍼넌트 모두 선택 해제 → [OK]

데이터베이스 컴퍼넌트 선택 해제 확인 후 [Next] 버튼 클릭

[Chracter Sets] 선택 → “Choose from the list of character sets” 체크 →
“KO16MSWIN949” 캐릭터 셋 선택→ [Next]

데이터 저장소 설정은 특이사항 없으므로 [Next] 버튼 클릭

데이터베이스 수동 생성을 위한 스크립트 작성을 위해 “Create Database”는 체크 해제,
“Generate Database Creation Scripts”에 체크 → [Finish]

데이터베이스 생성 요약 정보 확인 후 [OK] 버튼 클릭

데이터베이스 수동 생성을 위한 스크립트 작성 중

스크립트 작성 완료 후 추가 작업이 필요하지 않으므로 [No] 버튼을 클릭하여 종료

임시 DATA 디스크 그룹 삭제

노드 1(root 유저)
# dd if=/dev/zero of=/dev/raw/raw6 bs=8k
# dd if=/dev/zero of=/dev/raw/raw7 bs=8k
# dd if=/dev/zero of=/dev/raw/raw8 bs=8k

데이터베이스 생성 스크립트 수정

노드 1(oracle 유저)
$ cd /app/oracle/admin/racdb/scripts

$ ls -l

$ vi racdb1.sql  (6번째 줄, 14번째 줄 수정)

set verify off
ACCEPT sysPassword CHAR PROMPT 'Enter new password for SYS: ' HIDE
ACCEPT systemPassword CHAR PROMPT 'Enter new password for SYSTEM: ' HIDE
host /app/oracle/11g/db/bin/orapwd file=/app/oracle/11g/db/dbs/orapwracdb1 force=y
host /app/11g/grid/bin/setasmgidwrap o=/app/oracle/11g/db/bin/oracle
host /app/oracle/11g/db/bin/srvctl add database -d racdb -o /app/oracle/11g/db -p /dev/raw/raw21 -n racdb
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb1 -n rac1
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb2 -n rac2
host /app/oracle/11g/db/bin/srvctl disable database -d racdb
@/app/oracle/admin/racdb/scripts/CreateDB.sql
@/app/oracle/admin/racdb/scripts/CreateDBFiles.sql
@/app/oracle/admin/racdb/scripts/CreateDBCatalog.sql
@/app/oracle/admin/racdb/scripts/CreateClustDBViews.sql

host echo "SPFILE='/dev/raw/raw21'" > /app/oracle/11g/db/dbs/initracdb1.ora
@/app/oracle/admin/racdb/scripts/lockAccount.sql
@/app/oracle/admin/racdb/scripts/postDBCreation.sql

여기서부터 원본내용 지우고 복사 붙여넣으세요

$ vi CreateDB.sql 

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDB.log append
startup nomount pfile="/app/oracle/admin/racdb/scripts/init.ora";
CREATE DATABASE "racdb"
MAXINSTANCES 32
MAXLOGHISTORY 1
MAXLOGFILES 192
MAXLOGMEMBERS 3
MAXDATAFILES 1024
DATAFILE '/dev/raw/raw6' SIZE 699M AUTOEXTEND OFF EXTENT MANAGEMENT LOCAL
SYSAUX DATAFILE '/dev/raw/raw7' SIZE 699M AUTOEXTEND OFF
DEFAULT TEMPORARY TABLESPACE TEMP TEMPFILE '/dev/raw/raw9' SIZE 699M AUTOEXTEND OFF
UNDO TABLESPACE "UNDOTBS1" DATAFILE '/dev/raw/raw10' SIZE 199M AUTOEXTEND OFF
CHARACTER SET KO16MSWIN949
NATIONAL CHARACTER SET AL16UTF16
LOGFILE GROUP 1 ('/dev/raw/raw12') SIZE 199M,
GROUP 2 ('/dev/raw/raw13') SIZE 199M,
GROUP 3 ('/dev/raw/raw14') SIZE 199M;
USER SYS IDENTIFIED BY "&&sysPassword" USER SYSTEM IDENTIFIED BY "&&systemPassword";
spool off

$ vi CreateDBFiles.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDBFiles.log append
CREATE UNDO TABLESPACE "UNDOTBS2" DATAFILE '/dev/raw/raw11' SIZE 699M AUTOEXTEND OFF;
CREATE TABLESPACE "USERS" LOGGING DATAFILE '/dev/raw/raw8' SIZE 699M AUTOEXTEND OFF EXTENT
MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO;
ALTER DATABASE DEFAULT TABLESPACE "USERS";
spool off

$ vi postDBCreation.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/postDBCreation.log append
execute DBMS_AUTO_TASK_ADMIN.disable();
@/app/oracle/11g/db/rdbms/admin/catbundle.sql psu apply;
select 'utl_recomp_begin: ' || to_char(sysdate, 'HH:MI:SS') from dual;
execute utl_recomp.recomp_serial();
select 'utl_recomp_end: ' || to_char(sysdate, 'HH:MI:SS') from dual;
select group# from v$log where group# =3;
select group# from v$log where group# =4;
ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 4 ('/dev/raw/raw15') SIZE 199M,
GROUP 5 ('/dev/raw/raw16') SIZE 199M,
GROUP 6 ('/dev/raw/raw17') SIZE 199M;
ALTER DATABASE ENABLE PUBLIC THREAD 2;
host echo cluster_database=true >>/app/oracle/admin/racdb/scripts/init.ora;
host echo remote_listener=rac-scan:1521>>/app/oracle/admin/racdb/scripts/init.ora;
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
create spfile='/dev/raw/raw21' FROM pfile='/app/oracle/admin/racdb/scripts/init.ora';
shutdown immediate;
host /app/oracle/11g/db/bin/srvctl enable database -d racdb;
host /app/oracle/11g/db/bin/srvctl start database -d racdb;
connect "SYS"/"&&sysPassword" as SYSDBA
spool off
exit;

$ vi init.ora

수정 전 (30번째 줄) db_create_file_dest="+DATA"
수정 후(30번째 줄) control_files=('/dev/raw/raw18','/dev/raw/raw19','/dev/raw/raw20')

DB생성 쉘 스크립트 실행

노드 1(oracle 유저)
$ sh /app/oracle/admin/racdb/scripts/racdb1.sh (시간이 좀 걸림 참고기다릴것)

노드 2(oracle 유저)
$ sh /app/oracle/admin/racdb/scripts/racdb2.sh

노드 1 또는 2(oracle 유저)
$ srvctl stop database -d racdb
$ srvctl stop diskgroup -g data
$ srvctl stop asm -n rac1 -f
$ srvctl stop asm -n rac2 -f
$ srvctl remove diskgroup -g data -f
$ srvctl remove asm -f
$ srvctl modify database -d racdb -z
$ srvctl start database -d racdb

노드 1(oracle 유저)
$ crs_stat -t

노드 2(oracle 유저)

$ crs_stat -t

$ srvctl stop database -d racdb
$ sqlplus / as sysdba
    SQL> startup
    SQL> alter system set cluster_database=true scope=spfile sid='*';
    SQL> shutdown immediate
    SQL> exit
$ srvctl start database -d racdb

노드 1(oracle 유저)

$ sqlplus "/as sysdba"
SQL> select instance_name, status from v$instance;
SQL> exit

DB 엔진 설치

노드 1(oracle 유저)
# su - oracle
$ cd /app/install/database

$ ./runInstaller

"I wish to receive security updates via My Oracle Support" 체크 해제 → [Next]

전자우편 지원을 사용하지 않음을 확인 → [Yes] 클릭

소프트웨어 업데이트를 사용하지 않기 위해 “Skip software updates” 체크 → [Next]

"Install database software only” 체크 → [Next]

“Oracle Real Application Clusters database installtion” 선택 →
[Select All] 버튼 클릭하여 모든 노드 선택 → [Next] 버튼 클릭

“Korean” 추가 → [Next]

“Enterprise Edition” 체크 → [Select Options] 버튼 클릭

“Oracle Partitioning” 과 “Oracle Real Application Testing”을 제외한 다른 컴퍼넌트 체크 해제 → [Next]

DB 엔진 설치 위치 (/app/oracle/11g/db) 확인 → [Next]

※아마 디스크 공간이 부족하다고 나올 것인데 /app/install디렉토리로 들어가서 설치를 위해 옮겼던 압축파일들을 다 지워주자

데이터베이스 관리 그룹 : dba 확인 → [Next]

시스템 요구사항 점검, 가상 머신으로 구축 중이므로 우측 상단의 “Ignore All” 체크

설치중

스크립트 입력

노드2(root 유저)
# sh /app/oracle/11g/db/root.sh

완료

1. GRID 설치

winscp를 이용해서 노드1의 /app/install 디렉토리에 오라클 11g 설치파일 업로드

p10098816_112020_LINUX_1of7.zip~p10098816_112020_LINUX_7of7.zip 까지

노드 1(root 유저)
# cd /app/install
# unzip p10098816_112020_LINUX_1of7.zip &&

unzip p10098816_112020_LINUX_2of7.zip && 

unzip p10098816_112020_LINUX_3of7.zip &&

unzip p10098816_112020_LINUX_4of7.zip &&

unzip p10098816_112020_LINUX_5of7.zip &&

unzip p10098816_112020_LINUX_6of7.zip &&
unzip p10098816_112020_LINUX_7of7.zip

디렉토리 권한 부여

노드 1(root 유저)
# chown -R oracle:dba /home/oracle
# chown -R oracle:dba /app

노드 2(root 유저)
# chown -R oracle:dba /home/oracle
# chown -R oracle:dba /app

필수 패키지 설치 및 전송(노드1→노드2)

노드1(root 유저)
# cd /app/install/grid/rpm
# export CVUQDISK_GRP=dba
# rpm -Uvh cvuqdisk-1.0.9-1.rpm

# scp cvuqdisk-1.0.9-1.rpm rac2:/tmp
노드2의 root 유저 암호 입력 ↵

노드2(root 유저)
# cd /tmp
# export CVUQDISK_GRP=dba
# rpm -Uvh cvuqdisk-1.0.9-1.rpm

xwindow에서 GRID 설치 실행

노드1(oracle 유저)
# su - oracle
$ cd /app/install/grid
$ ./runInstaller

“Skip software updates” 선택 → [Next]

“Install and Configure Oracle Grid infrastructure for a Cluster” 선택 → [Next]

“Advanced Installation“ 선택 → [Next]

“Korean” 추가 → [Next] 

* Cluster Name : rac
* SCAN Name : rac-scan
* SCAN port : 1521
“Configure GNS” 체크 해제 → [Next] 

[Add] 버튼 클릭

Hostname : rac2, Virtual IP Name : rac2-vip 추가 → [OK] 버튼 클릭 

추가 정보 확인 후 [SSH Connectivity] 클릭 “OS Password“ 란에 노드2 서버의 oracle 유저의 패스워드 입력 → [Setup] 버튼 클릭

 인증 성공 메시지 확인 후 [OK] 버튼 클릭

“eth0” 카드의 인터페이스 타입이 “Public”인지 확인 

“eth1” 카드의 인터페이스 타입이 “Private”인지 확인 

“Oracle Automatic Storage Management (Oracle ASM) 선택 → [Next]

Disk Group Name : DATA
Redundancy : External
Add Disks : Candidate Disks 체크
/dev/raw/raw6, /dev/raw/raw7, /dev/raw/raw8

* 선택한 파일들의 총 크기가 2G 이상이여야 함

“Use same passords for these accounts” 체크 후 패스워드 입력 → [Next]

※비밀번호 입력이 안될시 비밀번호 치는 란 옆에 열쇠모양 누르고 more 클릭 후 다시 입력하면 됨

패스워드 유효성 메시지 확인 → [Yes] 클릭

Do not use Intelligent Platform Management Interface (IPMI) 선택 → [Next]

ASM Operator Group : “oinstall”로 변경 → [Next] 클릭

동일한 그룹에 속해 있다는 메시지 확인 → [Yes]

GRID설치 위치(GRID_HOME) : /app/11g/grid 입력 → [Next]

Inventory Directory : /app/oraInventory → [Next]

설치중

시스템 요구사항 점검, 가상 머신으로 구축 중이므로 우측 상단의 “Ignore All” 체크 → [Next]

설치 요약 정보 확인 후 [Install] 클릭

설치중 

스크립트 입력창이 뜨면 node1과 node2 터미널창 두개 열어서 입력해준다

※스크립트 입력은 node1, node2 번갈아 가면서 하되 동시에 실행해서는 안된다.

노드 1(root 유저)
# /app/oraInventory/orainstRoot.sh

노드2(root 유저)
# /app/oraInventory/orainstRoot.sh

노드1(root 유저)
# /app/11g/grid/root.sh

노드2(root 유저)
# /app/11g/grid/root.sh

스크립트 모두 입력하고 다시 설치 계속진행

에러메세지가 나와도 OK누르고 설치마무리

설치 종료를 위해 [Next]→[Yes] 클릭

클러스터웨어 구동상태 확인

노드1(root 유저)

# crs_stat -t

노드2(root 유저)
# crs_stat -t 

root계정으로 로그인 

System - Adminstration - Display 가서 해상도를 변경해준다 

Hardware 탭에서 "Generic LCD Display" 에서 1024x768 선택

Settings에서 1024x768로 지정해주고 VMware재시작

1. Node_1 설정

ip주소 확인을 위해 ifconfig 입력

etho 의 inet addr : rac1 ip주소

mask : netmask 주소

eth1 의 inet addr : rac1-private 주소 

ip입력할때 192.168.16.xxx 마지막은 임의로 지정해준다

gateway주소 확인을 위해 "netstat -nr" 입력 

neat 입력해서 네트워크 설정창으로

Edit 버튼을 이용해 eth0, eth1 네트워크 설정 변경 

IP주소, Netmask 주소, gateway 주소 순으로 입력 

eht1 은 gateway주소 제외하고 입력

DNS주소 168.126.63.1 입력

# /etc/init.d/network restart 를 이용해 네트워크 재시작 

연결 확인을 위해 ping 168.126.63.1 입력 

# vi /etc/hosts

127.0.0.1 옆에 rac1을 지워준다 (아래 그림은 지우고 난 상태화면)

# Public

192.168.16.110 rac1
192.168.16.220 rac2

# Private

192.168.233.10 rac1-priv
192.168.233.20 rac2-priv

# Vip 
192.168.16.111 rac1-vip
192.168.16.222 rac2-vip

# Cluster Scan

192.168.16.112 rac-scan

서버운영에 불필요한 서비스 종료 

# chkconfig --level 123456 xinetd off
# chkconfig --level 123456 sendmail off
# chkconfig --level 123456 cups off
# chkconfig --level 123456 cups-config-daemon off
# chkconfig --level 123456 smartd off
# chkconfig --level 123456 iptables off

유저 및 그룹 생성 권한 부여

# groupadd dba
# useradd oracle
# groupadd oper
# groupadd oinstall
# usermod -g oinstall -G dba,oper oracle
# passwd oracle

# chown -R oracle.dba /home/oracle

공유메모리 설정

# vi /etc/sysctl.conf
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.wmem_max = 1048576
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
fs.file-max = 6815744
fs.aio-max-nr = 1048576

수정된 커널 값 적용

# sysctl -p

공유자원 값 추가

# vi /etc/security/limits.conf
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

PAM 설정

# vi /etc/pam.d/login
session required pam_limits.so

ntpd 설정

1. VMware 생성 (Node_1)

새로운 Virtual Machine을 생성하자

Custom

Linux선택하고 Version은 Oracle Enterprise Linux로 

Virtual machine 이름은 rac1로 지정해주고 경로는 내가 미리 지정해둔 곳으로 한다.

메모리는 1024를 주도록 한다 최소 700M

디스크 크기는 35GB 지정

디스크 파일 이름을 localdisk로 주고 next

2. VMware 설정

설정을 위해 Edit virtual machine settings

Floppy, USB Controller, Sound Card, Printer등 불필요한 장치 제거 

장치 제거후 네트워크 카드 추가를 위해 ADD클릭

하드웨어 타입에서 Network Adapter 클릭해서 Next 

Network 접속방식은 Host-only 선택후 Next

네트워크 카드 추가확인후 디스크 추가를위해 다시 ADD 클릭 

하드웨어 타입에서 Hard Disk선택해서 Next

노드와 연결하기위해 디스크 모드에서 Independent에서 Persistent 선택

디스크 크기 15G로 할당하고 "Allocate all disk space now" 옵션과

"Store virtual disk as a single file" 옵션 선택후 Next

저장될 위치와 파일명은 storage디렉토리를 생성해서 disk.vmdk로 지정

디스크 연결 위치 지정을 위해 새로 생성한 rawdevice 선택 후 [Advanced] 버튼 클릭

디스크 위치는 “SCSI 1:0“ 로 지정

셋팅을 끝내고 "rac1" 저장 디렉토리로 와서 rac1.vmx파일을 메모장으로 편집

disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
scsi1.sharedBus = "virtual"

scsi1:0.deviceType = "disk"

정보 추가

OEL5 시디를 넣고 실행

3. Linux 설치

Enter

Skip

Next

설치중 사용할 언어는 English 선택후 Next

키보드 타입은 U.S.English 선택후 Next

파티션 초기화 해야 하므로 sda,sdb 모두 Yes

파티션레이아웃 직접설정을 위해 Create custom layout선택후 Next

New버튼 눌러서 파티션 할당 (파티션은 sda에만 할당 해준다)

/         ----7000

/boot   -----100

/var     ----1000

swap   ----2000 (가상머신 메모리의 1.5~2배)

/home -----8000

/app   ----나머지

Next

부팅시 사용가능하도록 하기위해 Active on Boot 다 체크해주고 Hostname에 rac1 지정

설치지역 Asia/Seoul선택후 Next

root비밀번호 설정후 Next

설치소프트웨어 서정을 위해 Customize now 선택후 Next 

Desktop Environments
- GNOME Desktop Environment

Applications
- Editors
- Graphical Internet

Development
- Development Libraries
- Development Tools
- GNOME Software Development
- Java Development
- Legacy Software Development
- X Software Development

Servers
- Server Configuration Tools

Base System
- Administration Tools
- Base
- Java
- Legacy Software Support
- System Tools (+ sysstat)
- X Window System

System Tools 선택후 Optional packages클릭

“sysstat-7.0.2-3.el5_5.1.i386” 체크 후 [Close]

Languages
- Korean Support 추가 후 [Next]

Next

설치중

Reboot

OS 추가 설정화면, [Forward] 버튼을 클릭하여 계속 진행

라이센스 화면, “Yes, I agree...” 선택 후 [Forward] 클릭

방화벽 설정화면, “Disable”을 선택하여 방화벽 사용안함 설정 후 [Forward]

방화벽 사용안함 확인을 위해 [Yes] 클릭

SELinux 또한 “Disable”을 선택하여 사용안함 설정 후 [Forward]

SELinux 사용안함 확인을 위해 [Yes] 클릭

Kdump 또한 사용 안하기 위해 “Enable kdump” 체크 해제 확인 후 [Forward]

서버에서 사용할 현재 날짜와 시간 설정 확인 후 [Forward]

사용자 생성 화면, 공란으로 남긴 후 [Forward] 클릭

[Continue]를 눌러 계속 진행

사운드카드는 제거하였으므로 별다른 설정 없이 [Forward] 클릭

추가 설치 없이 [Finish]→[OK]를 클릭하면 서버가 리부팅 됨

리스너 구성

오라클 계정으로 node_1 에서 netca

Select all nodes 선택 

리스너 이름 확인 

TCP선택하고 다음 

노드 상태 확인

crs_stat -t

리스너 생성 끝!!

DB생성

dbca 입력해서 db생성 oui띄우기

Select All 선택

Custom Database 선택

DB명을 ※ 오라클 설치 계정(oracle)의 .bash_profile에 SID값 

[oracle@rac1 ~]$ vi .bash_profile

.

.

 export ORACLE_SID=rac1

.

.

.

.

Configure the Database with Enterprise Manager 체크해제 

Raw Devices 선택 

Standard Database Components.. 클릭 

체크 다 풀어주기 

Enterprise Manager Repository 체크해제 

Character Sets에서 언어선택 KO16KSC5601-KSC5601 16-bit Korean 

Parameter File 클릭 아래와 같이 뜨면 그냥 OK눌러줌 

SPFILE 선택

vi /etc/sysconfig/rawdevices 치면 spfile로 할당한 raw파티션 있음

Controlfile로 할당한 파티션 입력 

vi /etc/sysconfig/rawdevices
    /dev/raw/raw12  /dev/rac1/control01
    /dev/raw/raw13  /dev/rac1/control02
    /dev/raw/raw14  /dev/rac1/control03

File Directory 더블클릭해서 설정변경

Name에 sysaux로 할당한 파티션 입력 파일 크기는 할당된 크기 -1MB입력

vi /etc/sysconfig/rawdevices

/dev/raw/raw7   /dev/rac/sysaux

할당된 크기확인 = lvscan

  ACTIVE            '/dev/rac/ocr1' [300.00 MB] inherit
  ACTIVE            '/dev/rac/ocr2' [300.00 MB] inherit
  ACTIVE            '/dev/rac/vote1' [300.00 MB] inherit
  ACTIVE            '/dev/rac/vote2' [300.00 MB] inherit
  ACTIVE            '/dev/rac/vote3' [300.00 MB] inherit
  ACTIVE            '/dev/rac/system' [600.00 MB] inherit
  ACTIVE            '/dev/rac/sysaux' [300.00 MB] inherit
  ACTIVE            '/dev/rac/undotbs1' [200.00 MB] inherit
  ACTIVE            '/dev/rac/undotbs2' [200.00 MB] inherit
  ACTIVE            '/dev/rac/users' [12.00 MB] inherit
  ACTIVE            '/dev/rac/temp' [100.00 MB] inherit
  ACTIVE            '/dev/rac/control01' [52.00 MB] inherit
  ACTIVE            '/dev/rac/control02' [52.00 MB] inherit
  ACTIVE            '/dev/rac/control03' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo01_a' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo01_b' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo02_a' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo02_b' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo03_a' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo03_b' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo04_a' [52.00 MB] inherit
  ACTIVE            '/dev/rac/redo04_b' [52.00 MB] inherit
  ACTIVE            '/dev/rac/spfile' [52.00 MB] inherit
  ACTIVE            '/dev/rac/example' [100.00 MB] inherit

변경된 내용 확인

위에서 변경한거와 같은 방식으로 변경

이름 = /dev/raw/raw6     크기 = 599MB

이름 = /dev/raw/raw11    크기 = 99MB

이름 = /dev/raw/raw8    크기 = 199MB

이름 = /dev/raw/raw9     크기 = 199MB

이름 = /dev/raw/raw10     크기 = 9MB

이름 = /dev/raw/raw15     디렉토리 위치 = /dev/raw/ 

        /dev/raw/raw16     디렉토리 위치 = /dev/raw/

이름 = /dev/raw/raw17     디렉토리 위치 = /dev/raw/ 

        /dev/raw/raw18     디렉토리 위치 = /dev/raw/

이름 = /dev/raw/raw19    디렉토리 위치 = /dev/raw/ 

        /dev/raw/raw20    디렉토리 위치 = /dev/raw/

이름 = /dev/raw/raw21   디렉토리 위치 = /dev/raw/ 

        /dev/raw/raw22   디렉토리 위치 = /dev/raw/

Create Database

DB생성중

노드확인

crs_stat -t

DB확인

DB생성 끝

테스트

재시작

$ crs_stop -f ora.rac.db

$ crs_start -f ora.rac.db

sqlplus / as sysdba 접속해서 db open상태, 컨트롤 파일, 데이타 파일, 로그파일 확인

리스너 확인

rac1에 oltp 서비스 생성 rac2 는 fail-over 용

$ srvctl add service -d RAC -s oltp_service -r RAC1 -a RAC2

oltp 서비스 시작 / 상태 확인

$ srvctl start service -d RAC -s oltp_service

$ sqlplus / as sysdba

sql > show parameter service      ---- rac1 파라미터 조회

$ sqlplus / as sysdba

sql > show parameter service   ---- rac2 파라미터 조회

rac1 비정상 종료후 rac2 파라미터 조회

  rac1

sql > shutdown abort

  rac2

sql > show parameter service

캐시퓨전 발생

oracle10g 엔진설치

oracle10g 엔진설치시 필요 파일 = 10201_database_linux32.zip

/home/oracle/install 디렉토리에 넣고 설치시작하겠음

cd /home/oracle/install

unzip 10201_database_linux32.zip

cd database

./runInstaller

Enterprise Edition 선택하고 Product Languages 선택

Korean 추가해주기

이름이랑 경로 확인

Select All로 모두선택

database software만 설치

설치중

스크립트 입력창이 뜨면 루트계정으로 터미널창 열어서 입력

/home/oracle/product/10.2/db/root.sh

설치끝!

설치된거 확인

node1, node2 모두 확인해보자

sqlplus /nolog

엔진 패치

cd /home/oracle/Disk1

./runInstaller

이름이랑 경로 확인

설치중

루트계정 터미널창 열어서 스크립트 입력 node1, node2 모두 적용

설치 끝!

버전 확인

sqlplus /nolog

오라클 계정으로 로그인해서 clusterware 디렉토리로 이동해서 ./runinstaller 

clusterware 설치시작 

경로를 확인해 주고 넘어가기 

경로 꼭 crs로 확인 (※영어로 설치할 경우 제품언어 선택해서 한국어 추가)

넘어가기

추가 눌러서 노드 추가

아래와 같이 노드추가

추가 된거 확인하고 넘어가기

eth0 편집 눌러서 공용으로 바꿔주기

바뀐거 확인하고 넘어가기

외부 중복성 클릭해서 ocr위치 지정

(※ocr위치 확인하는 방법)

vi /etc/sysconfig/rawdevices

/dev/raw/raw1   /dev/rac/ocr1

/dev/raw/raw2   /dev/rac/ocr2

/dev/raw/raw3   /dev/rac/vote1

/dev/raw/raw4   /dev/rac/vote2

/dev/raw/raw5   /dev/rac/vote3

/dev/raw/raw6   /dev/rac/system

/dev/raw/raw7   /dev/rac/sysaux

/dev/raw/raw8   /dev/rac/undotbs1

/dev/raw/raw9   /dev/rac/undotbs2

/dev/raw/raw10  /dev/rac/users

/dev/raw/raw11  /dev/rac/temp

/dev/raw/raw12  /dev/rac/control01

/dev/raw/raw13  /dev/rac/control02

/dev/raw/raw14  /dev/rac/control03

/dev/raw/raw15  /dev/rac/redo01_a

/dev/raw/raw16  /dev/rac/redo01_b

/dev/raw/raw17  /dev/rac/redo02_a

/dev/raw/raw18  /dev/rac/redo02_b

/dev/raw/raw19  /dev/rac/redo03_a

/dev/raw/raw20  /dev/rac/redo03_b

/dev/raw/raw21  /dev/rac/redo04_a

/dev/raw/raw22  /dev/rac/redo04_b

/dev/raw/raw23  /dev/rac/spfile

/dev/raw/raw24  /dev/rac/example

voting disk 위치 확인 역시 vi /etc/sysconfig/rawdevices로 vote1의 위치 확인

설치시작

설치하다가 아래와 같이 스크립트 입력화면 나오는데 node1, node2 순서대로 설치

node1 >> /home/oracle/oraInventory/orainstRoot.sh

node2 >> /home/oracle/oraInventory/orainstRoot.sh

node1 >> /home/oracle/product/10.2/crs/root.sh

node2 >> /home/oracle/product/10.2/crs/root.sh

설치를 하다가 이러한 오류가 나면 확인을 누르고 다음 단계를 실행한다 

clusterware 설치창은 끄지말고 루트계정의 터미널창을 하나 연다

cd /home/oracle/product/10.2/crs/bin 디렉토리로 이동

./vipca 실행

IP별칭에 rac1-vip, rac2-vip 입력

다시 clusterware 설치창으로 돌아와서 재시도 누르면 설치가 완료 

crs 확인 (rac1, rac2 둘다 확인)

crs_stat -t  

clusterware 설치 끝

Clusterware 패치

준비해야될 파일 = p6810189_10204_Linux-x86.zip 

cd /home/oracle

unzip p6810189_10204_Linux-x86.zip 

cd Disk1

./runInstaller

이름과 경로를 아래와 같이 바꿔준다

스크립트 입력창이 나오는데 node1과 node2에서 모두 적용

node1 >> a 입력후 b 입력

/home/oracle/product/10.2/crs/bin/crsctl stop crs

/home/oracle/product/10.2/crs/install/root102.sh

node2 >> a 입력후 b 입력

/home/oracle/product/10.2/crs/bin/crsctl stop crs

/home/oracle/product/10.2/crs/install/root102.sh

아래와 같이 rac1, rac2 에서 모두적용 

Clusterware 패치 끝

node_1 설정

ifconfig 입력해서 eth0, eth1의 ip주소와 netmask주소 확인

eth0 ip - 192.168.64.139

eth1 ip - 192.168.204.129

netmask 주소 - 255.255.255.0

netstat -nr 사용해서 Gateway주소 확인

192.168.64.2

neat 입력해서 ip주소 바꿔주기

eth0 ip주소가 위에서 확인했던 ip주소 192.168.64.139지만 제일 뒤에 숫자는 임의로 변경하자

주소 : ifconfig => eth0의 IP주소 앞의 3자리(192.168.64.xx), 마지막은 임의로 지정

서브넷 마스크 : ifconfig => eth0의 Mask 값(255.255.255.0) 입력
기본 게이트웨이 주소 : netstat -nr => 게이트웨이 값(192.168.64.2) 입력

eth1 역시 마지막 숫자만 바꿔줌, gateway는 입력 안함

주소 : ifconfig => eth0의 IP주소 앞의 3자리(192.168.64.xx), 마지막은 임의로 지정

서브넷 마스크 : ifconfig => eth0의 Mask 값(255.255.255.0) 입력

DNS 주소 168.126.63.1

설정 변경하고 끄자

/etc/init.d/network restart 로 네트워크 재시작

외부와 통신 확인 ping 168.126.63.1

ifconfig 입력해서 바뀐 ip확인

vi /etc/hosts 입력해서 내용추가

# public

192.168.64.100        rac1

192.168.64.200        rac2

# private

192.168.204.9           rac1-priv

192.168.204.18         rac2-priv

# vip

192.168.64.10         rac1-vip

192.168.64.20         rac2-vip

리눅스 부팅 후 불필요한 서비스 OFF해주기

chkconfig --level 123456 cups off

chkconfig --level 123456 cups-config-daemon off

chkconfig --level 123456 iptables off

chkconfig --level 123456 isdn off

chkconfig --level 123456 pcmcia off

chkconfig --level 123456 sendmail off

chkconfig --level 123456 smartd off

chkconfig --level 123456 xinetd off

또는 ntsysv 입력해서 아래 화면에서 체크 해제해도 됨  

vi /etc/sysctl.conf 입력해서 내용 추가 

kernel.shmall=2097152

kernel.shmmax=2147483648

kernel.shmmni=4096

kernel.sem=250 32000 100 128

fs.file-max=65536

net.ipv4.ip_local_port_range=1024 65000

net.core.rmem_default=4194304

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=262144

sysctl -p 입력해서 확인 및 적용

vi /etc/security/limits.conf 입력해서 내용추가

oracle    soft    nproc    2047

oracle    hard    nproc    16384

oracle    soft    nofile    1024

oracle    hard    nofile    65536

vi /etc/pam.d/login 입력해서 내용추가

session required pam_limits.so

vi /etc/profile 입력해서 내용추가

if [ \$USER = "oracle" ]; then

      if [ \$SHELL = "/bin/ksh" ]; then

            ulimit -p 16384

            ulimit -n 65536

      else

            ulimit -u 16384 -n 65536

      fi

      umask 022

fi

vi /etc/modprobe.conf 입력해서 내용추가

          options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

modprobe -v hangcheck-timer 입력해서 확인 적용 

vi /etc/rc.local 입력해서 내용추가

/sbin/modprobe hangcheck-timer

rdate -s 203.248.240.140

-----------------------------------------

오라클 계정 생성하고 권한 부여

groupadd -g 5000 dba

useradd -g dba oracle

passwd oracle

chown -R oracle.dba /home/oracle

------------------------------------

vi .bash_profile 입력해서 내용추가

PATH=$PATH:$HOME/bin:/home/oracle/product/10.2/crs/bin

oracle 계정으로 로그인해서 vi .bash_profile 입력해서 내용추가

export EDITOR=vi

export LD_ASSUME_KERNEL=2.4.19

export ORACLE_BASE=/home/oracle

export ORA_CRS_HOME=$ORACLE_BASE/product/10.2/crs

export ORACLE_HOME=$ORACLE_BASE/product/10.2/db

export ORA_ASM_HOME=$ORACLE_BASE/product/10.2/asm

export ORACLE_SID=rac1

export LANG=ko_KR.eucKR

export ORACLE_TERM=xterm

export NLS_LANG=AMERICAN_AMERICA.KO16KSC5601

export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib

export PATH=$PATH:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

다시 root 계정으로 접속해서 fdisk -l 로 디스크확인

sdb ~ sde 디스크 파티션을 설정

- n        (새 파티션 생성)

- p        (첫번째 파티션)

- 1        (1번 파티션)

- 엔터   (첫번째 실린더 기본값 1)

- 엔터   (마지막 실린더 끝 값)

- t        (타입지정)

- 8e      (리눅스LVM)

- p        (생성한 파티션 확인)

- w       (파티션 정보 저장)

물리적 볼륨 생성

pvcreate /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

하나의 큰 볼륨 그룹으로 묶음 (볼륨 그룹명 : rac)

vgcreate rac /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

vgdisplay로 생성한 볼륨 그룹 확인

하나의 큰 볼륨 그룹을 여러 개의 논리 볼륨으로 나눔

     lvcreate --name ocr1 --size 300 rac

 lvcreate --name ocr2 --size 300 rac

 lvcreate --name vote1 --size 300 rac

 lvcreate --name vote2 --size 300 rac

 lvcreate --name vote3 --size 300 rac

 lvcreate --name system --size 600 rac

 lvcreate --name sysaux --size 300 rac

 lvcreate --name undotbs1 --size 200 rac

 lvcreate --name undotbs2 --size 200 rac

 lvcreate --name users --size 10 rac

 lvcreate --name temp --size 100 rac

 lvcreate --name control01 --size 50 rac

 lvcreate --name control02 --size 50 rac

 lvcreate --name control03 --size 50 rac

 lvcreate --name redo01_a --size 50 rac

 lvcreate --name redo01_b --size 50 rac

 lvcreate --name redo02_a --size 50 rac

 lvcreate --name redo02_b --size 50 rac

 lvcreate --name redo03_a --size 50 rac

 lvcreate --name redo03_b --size 50 rac

 lvcreate --name redo04_a --size 50 rac

 lvcreate --name redo04_b --size 50 rac

 lvcreate --name spfile  --size 50 rac

 lvcreate --name example  --size 100 rac

lvscan 으로 생성확인 

vi /etc/sysconfig/rawdevices 입력해서 내용추가

/dev/raw/raw1   /dev/rac/ocr1

/dev/raw/raw2   /dev/rac/ocr2

/dev/raw/raw3   /dev/rac/vote1

/dev/raw/raw4   /dev/rac/vote2

/dev/raw/raw5   /dev/rac/vote3

/dev/raw/raw6   /dev/rac/system

/dev/raw/raw7   /dev/rac/sysaux

/dev/raw/raw8   /dev/rac/undotbs1

/dev/raw/raw9   /dev/rac/undotbs2

/dev/raw/raw10  /dev/rac/users

/dev/raw/raw11  /dev/rac/temp

/dev/raw/raw12  /dev/rac/control01

/dev/raw/raw13  /dev/rac/control02

/dev/raw/raw14  /dev/rac/control03

/dev/raw/raw15  /dev/rac/redo01_a

/dev/raw/raw16  /dev/rac/redo01_b

/dev/raw/raw17  /dev/rac/redo02_a

/dev/raw/raw18  /dev/rac/redo02_b

/dev/raw/raw19  /dev/rac/redo03_a

/dev/raw/raw20  /dev/rac/redo03_b

/dev/raw/raw21  /dev/rac/redo04_a

/dev/raw/raw22  /dev/rac/redo04_b

/dev/raw/raw23  /dev/rac/spfile

/dev/raw/raw24  /dev/rac/example

Raw device 재시작

service rawdevices restart

목록확인 하고 권한 오라클로 바꾸기

ls -l /dev/raw

chown -R oracle.dba /dev/raw

vi /etc/udev/permissions.d/50-udev.permissions 입력해서 내용추가

113번째줄 주석 처리해주고 114번째줄 추가

#raw/*:root:disk:0660

raw/*:oracle:dba:0660

node_1 종료 설정끝 

poweroff

node_2 설정

node_1의 파일이 저장된 폴더에서 rac1.vmx 파일과 localdisk.vmdk 파일을 rac폴더로 복사

※rac2 폴더 생성해줘야함

복사한 rac1.vmx파일이름을 rac2.vmx로 바꿔주고 메모장으로 열기

아래 네모친 부분을 rac1->rac2로 변경

rac2 파일을 열어주자

I coped it 선택

아무키나 눌러서 넘어가자

설정삭제

한번더 삭제

설정 선택

동적 IP 주소 자동설정 사용 선택하고 확인

한번더 설정

한번더 설정

vi /home/oracle/.bash_profile 입력해서 내용 변경

rac1 -> rac2 로 변경

neat 실행해서 네트워크 설정

node_1 설정할때 /etc/hosts 에 입력했던 IP주소 입력

주소 : ifconfig => eth0의 IP주소 앞의 3자리(192.168.64.xx), 마지막은 임의로 지정

서브넷 마스크 : ifconfig => eth0의 Mask 값(255.255.255.0) 입력
기본 게이트웨이 주소 : netstat -nr => 게이트웨이 값(192.168.64.2) 입력

eth1 편집

주소 : ifconfig => eth0의 IP주소 앞의 3자리(192.168.64.xx), 마지막은 임의로 지정

서브넷 마스크 : ifconfig => eth0의 Mask 값(255.255.255.0) 입력

DNS 선택해서 호스트명 rac1->rac2 로 변경하고 dns 168.126.63.1 입력

네트워크 재시작 /etc/init.d/network restart

외부와 통신 확인

ping 168.126.63.1

vi /etc/sysconfig/network 입력해서 내용 변경

HOSTNAME=rac1 -> rac2

설정 완료후 재부팅 해서 node_1과 node_2 ORACLE 계정으로 로그인

node_2 설정 끝

node_1, node_2 설정

node_1 에서 아래 입력 적용해주고 node_2 에서도 따라 적용

mkdir .ssh

chmod 700 .ssh

ssh-keygen -t rsa

ENTER

ENTER

ENTER

ENTER

ssh-keygen -t dsa

ENTER

ENTER

ENTER

node_1에서 실행

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh rac2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

ssh rac2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys rac2:~/.ssh/authorized_keys

-------------------------------

node_1 , node_2 모두 실행

ssh 디렉토리가서 권한 부여

cd .ssh

chmod 600 authorized_keys

-------------------------------

node_1

ssh rac1 date

yes

ssh rac1-priv date

yes

ssh rac2 date

ssh rac2-priv date

yes

node_1

ssh rac1 date

ssh rac1-priv date

ssh rac2 date

ssh rac2-priv date

node_2 로가서 똑같이 실행

ssh rac1 date

yes

ssh rac1-priv date

yes

ssh rac2 date

yes

ssh rac2-priv date

yes

위에 입력하고나서 

ssh rac1 date

ssh rac1-priv date

ssh rac2 date

ssh rac2-private

node_1, CRS에 필요  패키지 설치

winscp를 이용해 10201_clusterware_linux32.zip /home/oracle 디렉토리로 이동

root 계정 로그인

cd /home/oracle

unzip 10201_clusterware_linux.zip

cd clusterware/rpm

export CVUQDISK_GRP=dba

rpm -Uvh cvuqdisk-1.0.1-1.rpm

ls -l /usr/sbin/cvuqdisk

chown -R oracle.dba /usr/sbin/cvuqdisk