오라클 스터디

rawdevice 설정 및 ASM 삭제

노드 1(root 유저)
# ocrconfig -add /dev/raw/raw1
# ocrconfig -add /dev/raw/raw2
# ocrconfig -delete +DATA
# ocrcheck

crsctl replace votedisk /dev/raw/raw3

# crsctl add css votedisk /dev/raw/raw4
# crsctl add css votedisk /dev/raw/raw5

# crsctl query css votedisk

DB생성

오라클 계정으로 X윈도우화면에서 dbca

“Oracle Real Application Clusters (RAC) database” 체크 → [Next]

“Create a Database” → [Next]

“Custom Database” 체크 → [Next]

Global Database Name, SID Prefix : racdb 입력 →
[Select All] 버튼 클릭하여 모든 노드 선택 → [Next]

[Enterprise Manager] 탭 “Configure Enterprise Manager” 체크 해제

[Automatic Maintenance Tasks] 탭 “Enable automatic maintenance tasks” 체크 해제 → [Next]

“Use the Same Administrativ Password for All Accounts” 체크하여 패스워드 입력 → [Next]

패스워드 유효성 위반 메시지, [Yes] 버튼을 클릭하여 계속 진행

Storage Type : ASM 선택 → “Use Oracle-Managed Files” 체크 →
Database Area : +DATA 입력 → [Next]

“Specify Fast Recovery Area” 체크 해제 → [Next]

데이터베이스 컴퍼넌트 해제를 위해 [Standard Database Components] 클릭

표준 데이터베이스 컴퍼넌트 모두 선택 해제 → [OK]

데이터베이스 컴퍼넌트 선택 해제 확인 후 [Next] 버튼 클릭

[Chracter Sets] 선택 → “Choose from the list of character sets” 체크 →
“KO16MSWIN949” 캐릭터 셋 선택→ [Next]

데이터 저장소 설정은 특이사항 없으므로 [Next] 버튼 클릭

데이터베이스 수동 생성을 위한 스크립트 작성을 위해 “Create Database”는 체크 해제,
“Generate Database Creation Scripts”에 체크 → [Finish]

데이터베이스 생성 요약 정보 확인 후 [OK] 버튼 클릭

데이터베이스 수동 생성을 위한 스크립트 작성 중

스크립트 작성 완료 후 추가 작업이 필요하지 않으므로 [No] 버튼을 클릭하여 종료

임시 DATA 디스크 그룹 삭제

노드 1(root 유저)
# dd if=/dev/zero of=/dev/raw/raw6 bs=8k
# dd if=/dev/zero of=/dev/raw/raw7 bs=8k
# dd if=/dev/zero of=/dev/raw/raw8 bs=8k

데이터베이스 생성 스크립트 수정

노드 1(oracle 유저)
$ cd /app/oracle/admin/racdb/scripts

$ ls -l

$ vi racdb1.sql  (6번째 줄, 14번째 줄 수정)

set verify off
ACCEPT sysPassword CHAR PROMPT 'Enter new password for SYS: ' HIDE
ACCEPT systemPassword CHAR PROMPT 'Enter new password for SYSTEM: ' HIDE
host /app/oracle/11g/db/bin/orapwd file=/app/oracle/11g/db/dbs/orapwracdb1 force=y
host /app/11g/grid/bin/setasmgidwrap o=/app/oracle/11g/db/bin/oracle
host /app/oracle/11g/db/bin/srvctl add database -d racdb -o /app/oracle/11g/db -p /dev/raw/raw21 -n racdb
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb1 -n rac1
host /app/oracle/11g/db/bin/srvctl add instance -d racdb -i racdb2 -n rac2
host /app/oracle/11g/db/bin/srvctl disable database -d racdb
@/app/oracle/admin/racdb/scripts/CreateDB.sql
@/app/oracle/admin/racdb/scripts/CreateDBFiles.sql
@/app/oracle/admin/racdb/scripts/CreateDBCatalog.sql
@/app/oracle/admin/racdb/scripts/CreateClustDBViews.sql

host echo "SPFILE='/dev/raw/raw21'" > /app/oracle/11g/db/dbs/initracdb1.ora
@/app/oracle/admin/racdb/scripts/lockAccount.sql
@/app/oracle/admin/racdb/scripts/postDBCreation.sql

여기서부터 원본내용 지우고 복사 붙여넣으세요

$ vi CreateDB.sql 

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDB.log append
startup nomount pfile="/app/oracle/admin/racdb/scripts/init.ora";
CREATE DATABASE "racdb"
MAXINSTANCES 32
MAXLOGHISTORY 1
MAXLOGFILES 192
MAXLOGMEMBERS 3
MAXDATAFILES 1024
DATAFILE '/dev/raw/raw6' SIZE 699M AUTOEXTEND OFF EXTENT MANAGEMENT LOCAL
SYSAUX DATAFILE '/dev/raw/raw7' SIZE 699M AUTOEXTEND OFF
DEFAULT TEMPORARY TABLESPACE TEMP TEMPFILE '/dev/raw/raw9' SIZE 699M AUTOEXTEND OFF
UNDO TABLESPACE "UNDOTBS1" DATAFILE '/dev/raw/raw10' SIZE 199M AUTOEXTEND OFF
CHARACTER SET KO16MSWIN949
NATIONAL CHARACTER SET AL16UTF16
LOGFILE GROUP 1 ('/dev/raw/raw12') SIZE 199M,
GROUP 2 ('/dev/raw/raw13') SIZE 199M,
GROUP 3 ('/dev/raw/raw14') SIZE 199M;
USER SYS IDENTIFIED BY "&&sysPassword" USER SYSTEM IDENTIFIED BY "&&systemPassword";
spool off

$ vi CreateDBFiles.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/CreateDBFiles.log append
CREATE UNDO TABLESPACE "UNDOTBS2" DATAFILE '/dev/raw/raw11' SIZE 699M AUTOEXTEND OFF;
CREATE TABLESPACE "USERS" LOGGING DATAFILE '/dev/raw/raw8' SIZE 699M AUTOEXTEND OFF EXTENT
MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO;
ALTER DATABASE DEFAULT TABLESPACE "USERS";
spool off

$ vi postDBCreation.sql

SET VERIFY OFF
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
spool /app/oracle/admin/racdb/scripts/postDBCreation.log append
execute DBMS_AUTO_TASK_ADMIN.disable();
@/app/oracle/11g/db/rdbms/admin/catbundle.sql psu apply;
select 'utl_recomp_begin: ' || to_char(sysdate, 'HH:MI:SS') from dual;
execute utl_recomp.recomp_serial();
select 'utl_recomp_end: ' || to_char(sysdate, 'HH:MI:SS') from dual;
select group# from v$log where group# =3;
select group# from v$log where group# =4;
ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 4 ('/dev/raw/raw15') SIZE 199M,
GROUP 5 ('/dev/raw/raw16') SIZE 199M,
GROUP 6 ('/dev/raw/raw17') SIZE 199M;
ALTER DATABASE ENABLE PUBLIC THREAD 2;
host echo cluster_database=true >>/app/oracle/admin/racdb/scripts/init.ora;
host echo remote_listener=rac-scan:1521>>/app/oracle/admin/racdb/scripts/init.ora;
connect "SYS"/"&&sysPassword" as SYSDBA
set echo on
create spfile='/dev/raw/raw21' FROM pfile='/app/oracle/admin/racdb/scripts/init.ora';
shutdown immediate;
host /app/oracle/11g/db/bin/srvctl enable database -d racdb;
host /app/oracle/11g/db/bin/srvctl start database -d racdb;
connect "SYS"/"&&sysPassword" as SYSDBA
spool off
exit;

$ vi init.ora

수정 전 (30번째 줄) db_create_file_dest="+DATA"
수정 후(30번째 줄) control_files=('/dev/raw/raw18','/dev/raw/raw19','/dev/raw/raw20')

DB생성 쉘 스크립트 실행

노드 1(oracle 유저)
$ sh /app/oracle/admin/racdb/scripts/racdb1.sh (시간이 좀 걸림 참고기다릴것)

노드 2(oracle 유저)
$ sh /app/oracle/admin/racdb/scripts/racdb2.sh

노드 1 또는 2(oracle 유저)
$ srvctl stop database -d racdb
$ srvctl stop diskgroup -g data
$ srvctl stop asm -n rac1 -f
$ srvctl stop asm -n rac2 -f
$ srvctl remove diskgroup -g data -f
$ srvctl remove asm -f
$ srvctl modify database -d racdb -z
$ srvctl start database -d racdb

노드 1(oracle 유저)
$ crs_stat -t

노드 2(oracle 유저)

$ crs_stat -t

$ srvctl stop database -d racdb
$ sqlplus / as sysdba
    SQL> startup
    SQL> alter system set cluster_database=true scope=spfile sid='*';
    SQL> shutdown immediate
    SQL> exit
$ srvctl start database -d racdb

노드 1(oracle 유저)

$ sqlplus "/as sysdba"
SQL> select instance_name, status from v$instance;
SQL> exit

DB 엔진 설치

노드 1(oracle 유저)
# su - oracle
$ cd /app/install/database

$ ./runInstaller

"I wish to receive security updates via My Oracle Support" 체크 해제 → [Next]

전자우편 지원을 사용하지 않음을 확인 → [Yes] 클릭

소프트웨어 업데이트를 사용하지 않기 위해 “Skip software updates” 체크 → [Next]

"Install database software only” 체크 → [Next]

“Oracle Real Application Clusters database installtion” 선택 →
[Select All] 버튼 클릭하여 모든 노드 선택 → [Next] 버튼 클릭

“Korean” 추가 → [Next]

“Enterprise Edition” 체크 → [Select Options] 버튼 클릭

“Oracle Partitioning” 과 “Oracle Real Application Testing”을 제외한 다른 컴퍼넌트 체크 해제 → [Next]

DB 엔진 설치 위치 (/app/oracle/11g/db) 확인 → [Next]

※아마 디스크 공간이 부족하다고 나올 것인데 /app/install디렉토리로 들어가서 설치를 위해 옮겼던 압축파일들을 다 지워주자

데이터베이스 관리 그룹 : dba 확인 → [Next]

시스템 요구사항 점검, 가상 머신으로 구축 중이므로 우측 상단의 “Ignore All” 체크

설치중

스크립트 입력

노드2(root 유저)
# sh /app/oracle/11g/db/root.sh

완료

1. GRID 설치

winscp를 이용해서 노드1의 /app/install 디렉토리에 오라클 11g 설치파일 업로드

p10098816_112020_LINUX_1of7.zip~p10098816_112020_LINUX_7of7.zip 까지

노드 1(root 유저)
# cd /app/install
# unzip p10098816_112020_LINUX_1of7.zip &&

unzip p10098816_112020_LINUX_2of7.zip && 

unzip p10098816_112020_LINUX_3of7.zip &&

unzip p10098816_112020_LINUX_4of7.zip &&

unzip p10098816_112020_LINUX_5of7.zip &&

unzip p10098816_112020_LINUX_6of7.zip &&
unzip p10098816_112020_LINUX_7of7.zip

디렉토리 권한 부여

노드 1(root 유저)
# chown -R oracle:dba /home/oracle
# chown -R oracle:dba /app

노드 2(root 유저)
# chown -R oracle:dba /home/oracle
# chown -R oracle:dba /app

필수 패키지 설치 및 전송(노드1→노드2)

노드1(root 유저)
# cd /app/install/grid/rpm
# export CVUQDISK_GRP=dba
# rpm -Uvh cvuqdisk-1.0.9-1.rpm

# scp cvuqdisk-1.0.9-1.rpm rac2:/tmp
노드2의 root 유저 암호 입력 ↵

노드2(root 유저)
# cd /tmp
# export CVUQDISK_GRP=dba
# rpm -Uvh cvuqdisk-1.0.9-1.rpm

xwindow에서 GRID 설치 실행

노드1(oracle 유저)
# su - oracle
$ cd /app/install/grid
$ ./runInstaller

“Skip software updates” 선택 → [Next]

“Install and Configure Oracle Grid infrastructure for a Cluster” 선택 → [Next]

“Advanced Installation“ 선택 → [Next]

“Korean” 추가 → [Next] 

* Cluster Name : rac
* SCAN Name : rac-scan
* SCAN port : 1521
“Configure GNS” 체크 해제 → [Next] 

[Add] 버튼 클릭

Hostname : rac2, Virtual IP Name : rac2-vip 추가 → [OK] 버튼 클릭 

추가 정보 확인 후 [SSH Connectivity] 클릭 “OS Password“ 란에 노드2 서버의 oracle 유저의 패스워드 입력 → [Setup] 버튼 클릭

 인증 성공 메시지 확인 후 [OK] 버튼 클릭

“eth0” 카드의 인터페이스 타입이 “Public”인지 확인 

“eth1” 카드의 인터페이스 타입이 “Private”인지 확인 

“Oracle Automatic Storage Management (Oracle ASM) 선택 → [Next]

Disk Group Name : DATA
Redundancy : External
Add Disks : Candidate Disks 체크
/dev/raw/raw6, /dev/raw/raw7, /dev/raw/raw8

* 선택한 파일들의 총 크기가 2G 이상이여야 함

“Use same passords for these accounts” 체크 후 패스워드 입력 → [Next]

※비밀번호 입력이 안될시 비밀번호 치는 란 옆에 열쇠모양 누르고 more 클릭 후 다시 입력하면 됨

패스워드 유효성 메시지 확인 → [Yes] 클릭

Do not use Intelligent Platform Management Interface (IPMI) 선택 → [Next]

ASM Operator Group : “oinstall”로 변경 → [Next] 클릭

동일한 그룹에 속해 있다는 메시지 확인 → [Yes]

GRID설치 위치(GRID_HOME) : /app/11g/grid 입력 → [Next]

Inventory Directory : /app/oraInventory → [Next]

설치중

시스템 요구사항 점검, 가상 머신으로 구축 중이므로 우측 상단의 “Ignore All” 체크 → [Next]

설치 요약 정보 확인 후 [Install] 클릭

설치중 

스크립트 입력창이 뜨면 node1과 node2 터미널창 두개 열어서 입력해준다

※스크립트 입력은 node1, node2 번갈아 가면서 하되 동시에 실행해서는 안된다.

노드 1(root 유저)
# /app/oraInventory/orainstRoot.sh

노드2(root 유저)
# /app/oraInventory/orainstRoot.sh

노드1(root 유저)
# /app/11g/grid/root.sh

노드2(root 유저)
# /app/11g/grid/root.sh

스크립트 모두 입력하고 다시 설치 계속진행

에러메세지가 나와도 OK누르고 설치마무리

설치 종료를 위해 [Next]→[Yes] 클릭

클러스터웨어 구동상태 확인

노드1(root 유저)

# crs_stat -t

노드2(root 유저)
# crs_stat -t 

root계정으로 로그인 

System - Adminstration - Display 가서 해상도를 변경해준다 

Hardware 탭에서 "Generic LCD Display" 에서 1024x768 선택

Settings에서 1024x768로 지정해주고 VMware재시작

1. Node_1 설정

ip주소 확인을 위해 ifconfig 입력

etho 의 inet addr : rac1 ip주소

mask : netmask 주소

eth1 의 inet addr : rac1-private 주소 

ip입력할때 192.168.16.xxx 마지막은 임의로 지정해준다

gateway주소 확인을 위해 "netstat -nr" 입력 

neat 입력해서 네트워크 설정창으로

Edit 버튼을 이용해 eth0, eth1 네트워크 설정 변경 

IP주소, Netmask 주소, gateway 주소 순으로 입력 

eht1 은 gateway주소 제외하고 입력

DNS주소 168.126.63.1 입력

# /etc/init.d/network restart 를 이용해 네트워크 재시작 

연결 확인을 위해 ping 168.126.63.1 입력 

# vi /etc/hosts

127.0.0.1 옆에 rac1을 지워준다 (아래 그림은 지우고 난 상태화면)

# Public

192.168.16.110 rac1
192.168.16.220 rac2

# Private

192.168.233.10 rac1-priv
192.168.233.20 rac2-priv

# Vip 
192.168.16.111 rac1-vip
192.168.16.222 rac2-vip

# Cluster Scan

192.168.16.112 rac-scan

서버운영에 불필요한 서비스 종료 

# chkconfig --level 123456 xinetd off
# chkconfig --level 123456 sendmail off
# chkconfig --level 123456 cups off
# chkconfig --level 123456 cups-config-daemon off
# chkconfig --level 123456 smartd off
# chkconfig --level 123456 iptables off

유저 및 그룹 생성 권한 부여

# groupadd dba
# useradd oracle
# groupadd oper
# groupadd oinstall
# usermod -g oinstall -G dba,oper oracle
# passwd oracle

# chown -R oracle.dba /home/oracle

공유메모리 설정

# vi /etc/sysctl.conf
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.wmem_max = 1048576
net.core.rmem_default = 4194304
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
fs.file-max = 6815744
fs.aio-max-nr = 1048576

수정된 커널 값 적용

# sysctl -p

공유자원 값 추가

# vi /etc/security/limits.conf
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536

PAM 설정

# vi /etc/pam.d/login
session required pam_limits.so

ntpd 설정

1. VMware 생성 (Node_1)

새로운 Virtual Machine을 생성하자

Custom

Linux선택하고 Version은 Oracle Enterprise Linux로 

Virtual machine 이름은 rac1로 지정해주고 경로는 내가 미리 지정해둔 곳으로 한다.

메모리는 1024를 주도록 한다 최소 700M

디스크 크기는 35GB 지정

디스크 파일 이름을 localdisk로 주고 next

2. VMware 설정

설정을 위해 Edit virtual machine settings

Floppy, USB Controller, Sound Card, Printer등 불필요한 장치 제거 

장치 제거후 네트워크 카드 추가를 위해 ADD클릭

하드웨어 타입에서 Network Adapter 클릭해서 Next 

Network 접속방식은 Host-only 선택후 Next

네트워크 카드 추가확인후 디스크 추가를위해 다시 ADD 클릭 

하드웨어 타입에서 Hard Disk선택해서 Next

노드와 연결하기위해 디스크 모드에서 Independent에서 Persistent 선택

디스크 크기 15G로 할당하고 "Allocate all disk space now" 옵션과

"Store virtual disk as a single file" 옵션 선택후 Next

저장될 위치와 파일명은 storage디렉토리를 생성해서 disk.vmdk로 지정

디스크 연결 위치 지정을 위해 새로 생성한 rawdevice 선택 후 [Advanced] 버튼 클릭

디스크 위치는 “SCSI 1:0“ 로 지정

셋팅을 끝내고 "rac1" 저장 디렉토리로 와서 rac1.vmx파일을 메모장으로 편집

disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
scsi1.sharedBus = "virtual"

scsi1:0.deviceType = "disk"

정보 추가

OEL5 시디를 넣고 실행

3. Linux 설치

Enter

Skip

Next

설치중 사용할 언어는 English 선택후 Next

키보드 타입은 U.S.English 선택후 Next

파티션 초기화 해야 하므로 sda,sdb 모두 Yes

파티션레이아웃 직접설정을 위해 Create custom layout선택후 Next

New버튼 눌러서 파티션 할당 (파티션은 sda에만 할당 해준다)

/         ----7000

/boot   -----100

/var     ----1000

swap   ----2000 (가상머신 메모리의 1.5~2배)

/home -----8000

/app   ----나머지

Next

부팅시 사용가능하도록 하기위해 Active on Boot 다 체크해주고 Hostname에 rac1 지정

설치지역 Asia/Seoul선택후 Next

root비밀번호 설정후 Next

설치소프트웨어 서정을 위해 Customize now 선택후 Next 

Desktop Environments
- GNOME Desktop Environment

Applications
- Editors
- Graphical Internet

Development
- Development Libraries
- Development Tools
- GNOME Software Development
- Java Development
- Legacy Software Development
- X Software Development

Servers
- Server Configuration Tools

Base System
- Administration Tools
- Base
- Java
- Legacy Software Support
- System Tools (+ sysstat)
- X Window System

System Tools 선택후 Optional packages클릭

“sysstat-7.0.2-3.el5_5.1.i386” 체크 후 [Close]

Languages
- Korean Support 추가 후 [Next]

Next

설치중

Reboot

OS 추가 설정화면, [Forward] 버튼을 클릭하여 계속 진행

라이센스 화면, “Yes, I agree...” 선택 후 [Forward] 클릭

방화벽 설정화면, “Disable”을 선택하여 방화벽 사용안함 설정 후 [Forward]

방화벽 사용안함 확인을 위해 [Yes] 클릭

SELinux 또한 “Disable”을 선택하여 사용안함 설정 후 [Forward]

SELinux 사용안함 확인을 위해 [Yes] 클릭

Kdump 또한 사용 안하기 위해 “Enable kdump” 체크 해제 확인 후 [Forward]

서버에서 사용할 현재 날짜와 시간 설정 확인 후 [Forward]

사용자 생성 화면, 공란으로 남긴 후 [Forward] 클릭

[Continue]를 눌러 계속 진행

사운드카드는 제거하였으므로 별다른 설정 없이 [Forward] 클릭

추가 설치 없이 [Finish]→[OK]를 클릭하면 서버가 리부팅 됨