27
2011
12

在RHEL6 Linux上安装Stornext 4.2 服务器端

安装环境

  • RHEL 6.1 X64服务器两台
  • Rhel64-a 192.168.0.32
  • Rhel64-b 192.168.0.33
  • 存储:Freenas 分配4块iscsi磁盘

RHEL6版本信息。

[root@rhel64-a bin]# uname -a
Linux rhel64-a 2.6.32-131.0.15.el6.x86_64 #1 SMP Tue May 10 15:42:40 EDT 2011 x86_64 x86_64 x86_64 GNU/Linux

Stornext 4.2服务器端目前支持安装在64位版本的RHEL上。

安装iscsi-initiator程序,用来挂载iscsi磁盘

[root@rhel64-a ~]# yum install iscsi-ini*

发现iscsi磁盘,共四块

[root@rhel64-a ~]# iscsiadm -m discovery -t sendtargets -p 192.168.0.250:3260
192.168.0.250:3260,1 iqn.2007-09.jp.ne.peach.istgt:disk0
192.168.0.250:3260,1 iqn.2007-09.jp.ne.peach.istgt:disk1
192.168.0.250:3260,1 iqn.2007-09.jp.ne.peach.istgt:disk2
192.168.0.250:3260,1 iqn.2007-09.jp.ne.peach.istgt:disk3

挂载所需iscsi磁盘

[root@rhel64-a ~]# iscsiadm -m node -T iqn.2007-09.jp.ne.peach.istgt:disk0 -p 192.168.0.250:3260 -l
Logging in to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk0, portal: 192.168.0.250,3260]
Login to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk0, portal: 192.168.0.250,3260] successful.
[root@rhel64-a ~]# iscsiadm -m node -T iqn.2007-09.jp.ne.peach.istgt:disk1 -p 192.168.0.250:3260 -l
Logging in to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk1, portal: 192.168.0.250,3260]
Login to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk1, portal: 192.168.0.250,3260] successful.
[root@rhel64-a ~]# iscsiadm -m node -T iqn.2007-09.jp.ne.peach.istgt:disk2 -p 192.168.0.250:3260 -l
Logging in to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk2, portal: 192.168.0.250,3260]
Login to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk2, portal: 192.168.0.250,3260] successful.
[root@rhel64-a ~]# iscsiadm -m node -T iqn.2007-09.jp.ne.peach.istgt:disk3 -p 192.168.0.250:3260 -l
Logging in to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk3, portal: 192.168.0.250,3260]
Login to [iface: default, target: iqn.2007-09.jp.ne.peach.istgt:disk3, portal: 192.168.0.250,3260] successful.

查看RHEL上的磁盘,下面省略部分信息,确定stornext所用的磁盘数量及容量即可。

[root@rhel64-a ~]# fdisk -l

Disk /dev/sda: 32.2 GB, 32212254720 bytes
255 heads, 63 sectors/track, 3916 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000b571c

Disk /dev/sdb: 5368 MB, 5368709120 bytes
256 heads, 63 sectors/track, 650 cylinders
Units = cylinders of 16128 * 512 = 8257536 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdc: 5368 MB, 5368709120 bytes
256 heads, 63 sectors/track, 650 cylinders
Units = cylinders of 16128 * 512 = 8257536 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdd: 5368 MB, 5368709120 bytes
256 heads, 63 sectors/track, 650 cylinders
Units = cylinders of 16128 * 512 = 8257536 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sde: 5368 MB, 5368709120 bytes
256 heads, 63 sectors/track, 650 cylinders
Units = cylinders of 16128 * 512 = 8257536 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Stornext服务器端的安装

将stornext 4.2的安装程序上传到/tmp目录

sftp> cd /tmp
sftp> lcd f:/stornext/
sftp> lcd snfs_full_RedHat60AS_26x86_64/
sftp> put snfs_full_RedHat60AS_26x86_64.bin
Uploading snfs_full_RedHat60AS_26x86_64.bin to /tmp/snfs_full_RedHat60AS_26x86_64.bin
  100% 30674KB  15337KB/s 00:00:02     A
sftp>

将上传的安装文件增加执行权限

[root@rhel64-a tmp]# chmod +x snfs_full_RedHat60AS_26x86_64.bin
[root@rhel64-a tmp]# ll
-rwxr-xr-x. 1 root root 31410771  9月 20 09:42 snfs_full_RedHat60AS_26x86_64.bin

解压安装包:

[root@rhel64-a tmp]# ./snfs_full_RedHat60AS_26x86_64.bin
Press Enter to view the End User License Agreement
******************************************************
                            Quantum Corporation

                        End User License Agreement

After End User License Agreement is accepted,
the installer files will be extracted to /tmp/stornext
Do you accept the End User License Agreement? (y/n): y
Extracting archive..............................
Files extracted to /tmp/stornext 

解压后产生3个rpm安装包,其中snfs-RedHat60AS是stornext的内核安装文件,snfs-client-RedHat60AS是客户端的安装文件,snfs-server-RedHat60AS是服务器端安装文件。

[root@rhel64-a tmp]# cd stornext/
[root@rhel64-a stornext]# ll
总用量 30296
-rw-r--r--. 1 root root   832288  9月 12 15:56 snfs-client-RedHat60AS_2632-4.2.0.21780.x86_64.rpm
-rw-r--r--. 1 root root 13443184  9月 12 15:55 snfs-RedHat60AS-4.2.0.21780.x86_64.rpm
-rw-r--r--. 1 root root 16738608  9月 12 15:56 snfs-server-RedHat60AS-4.2.0.21780.x86_64.rpm

修改selinux配置,将其设置为disabled,否则无法安装stornext

[root@rhel64-a stornext]# vi /etc/sysconfig/selinux
SELINUX=disabled

安装stornext需要gcc perl make kernel-devel这几个软件包的支持,如果没有安装需要先安装上。

[root@rhel64-b ~]# yum install gcc perl make kernel-devel

安装stornext内核程序。

[root@rhel64-a stornext]# rpm -ivh snfs-RedHat60AS-4.2.0.21780.x86_64.rpm

安装stornext服务器端

[root@rhel64-a stornext]# rpm -ivh snfs-server-RedHat60AS-4.2.0.21780.x86_64.rpm

Stornext服务器端的初始化配置

Stornext的管理命令在/usr/cvfs/bin/目录下

查看磁盘标签

[root@rhel64-a bin]# /usr/cvfs/bin/cvlabel -l
/dev/sda   [VMware, VMware Virtual S1.0 ] MBR  Sectors: 62896095. Sector Size: 512.
/dev/sdb   [FreeBSD iSCSI DISK      0001] SNFS-EFI "Cvfs_MD"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.
/dev/sdc   [FreeBSD iSCSI DISK      0001] SNFS-EFI "CvfsData_3"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.
/dev/sdd   [FreeBSD iSCSI DISK      0001] SNFS-EFI "CvfsData_1"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.
/dev/sde   [FreeBSD iSCSI DISK      0001] SNFS-EFI "CvfsData_2"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.

将cvlabel结果输出到/usr/cvfs/config/cvlabels文件

[root@rhel64-a bin]# /usr/cvfs/bin/cvlabel -c > /usr/cvfs/config/cvlabels

将/usr/cvfs/config/cvlabels文件修改为如下,主要修改磁盘名称,及记下sectors值,这两个参数在配置文件中需要调用。

Disk_MD /dev/sdb 10467295 EFI    # host 3 lun 0 sectors 10467295 sector_size 512 inquiry [FreeBSD iSCSI DISK      0001] serial 3000000035230A3A
Disk_1 /dev/sdc 10467295 EFI    # host 4 lun 0 sectors 10467295 sector_size 512 inquiry [FreeBSD iSCSI DISK      0001] serial 30000000EEAFAAF9
Disk_2 /dev/sdd 10467295 EFI    # host 5 lun 0 sectors 10467295 sector_size 512 inquiry [FreeBSD iSCSI DISK      0001] serial 30000000DA136123
Disk_3 /dev/sde 10467295 EFI    # host 6 lun 0 sectors 10467295 sector_size 512 inquiry [FreeBSD iSCSI DISK      0001] serial 30000000019FC1E0

对磁盘进行标记,此操作会清空磁盘数据,并且标记后这些磁盘只能stornext使用。

[root@rhel64-a bin]# /usr/cvfs/bin/cvlabel /usr/cvfs/config/cvlabels

标记后的cvlabel属性如下:

[root@rhel64-a bin]# /usr/cvfs/bin/cvlabel -l
/dev/sda   [VMware, VMware Virtual S1.0 ] MBR  Sectors: 62896095. Sector Size: 512.
/dev/sdb   [FreeBSD iSCSI DISK      0001] SNFS-EFI "Disk_MD"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.
/dev/sdc   [FreeBSD iSCSI DISK      0001] SNFS-EFI "Disk_1"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.
/dev/sdd   [FreeBSD iSCSI DISK      0001] SNFS-EFI "Disk_2"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.
/dev/sde   [FreeBSD iSCSI DISK      0001] SNFS-EFI "Disk_3"Sectors: 10467295. Sector Size: 512.  Maximum sectors: 10467295.

修改/usr/cvfs/config/fsnameservers,加入stornext服务器的ip地址

[root@rhel64-a bin]# vi /usr/cvfs/config/fsnameservers

192.168.0.32

将/usr/cvfs/examples/example.cfg 的示例配置复制到/usr/cvfs/config/fs1.cfg,fs1为你建立stornext文件系统的名称。

[root@rhel64-a bin]# cp /usr/cvfs/examples/example.cfg /usr/cvfs/config/fs1.cfg

编辑/usr/cvfs/config/fs1.cfg。这里修改磁盘的名称,sector数值以及各卷组所包含的磁盘。

修改如下:

[root@rhel64-a bin]# vi /usr/cvfs/config/fs1.cfg

# Globals

ABMFreeLimit no
AllocationStrategy Round
HaFsType HaUnmonitored
FileLocks No
BrlResyncTimeout 20
BufferCacheSize 32M   # 如果存储的文件多为大文件可修改为64M
CvRootDir /
DataMigration No
DataMigrationThreadPoolSize 128
Debug 0x0
DirWarp Yes
ExtentCountThreshold 48K
EnableSpotlight No
ForcePerfectFit No
FsBlockSize 16K   # 如果存储的文件多为大文件可修改为32K或64K,修改参数需要重新初始化文件系统。
GlobalSuperUser Yes
InodeCacheSize 32K
InodeExpandMin 0
InodeExpandInc 0
InodeExpandMax 0
InodeDeleteMax 0
InodeStripeWidth 0
JournalSize 16M
MaxConnections 32
MaxLogs 4
PerfectFitSize 128K
RemoteNotification No
ReservedSpace Yes
FSMRealtime No
FSMMemlock No
OpHangLimitSecs 180
Quotas No
RestoreJournal No
RestoreJournalMaxHours 0
RestoreJournalMaxMB 0
StripeAlignSize -1
TrimOnClose 0
ThreadPoolSize 32
UnixDirectoryCreationModeOnWindows 0755
UnixIdFabricationOnWindows No
UnixFileCreationModeOnWindows 0644
UnixNobodyUidOnWindows 60001
UnixNobodyGidOnWindows 60001
WindowsSecurity Yes
EventFiles Yes
AllocSessionReservationSize 0m
# Disk Types

[DiskType MetaDrive]  ##元数据META的LUN,建议为raid 1, Sectors、SectorSize值为"cvlabel -l"中对应的数值
Sectors 10467295
SectorSize 512
[DiskType DataDrive]  ##数据的LUN,建议为raid 5、6,Sectors、SectorSize值为"cvlabel -l"中对应的数值
Sectors 10467295
SectorSize 512
# Disks

[Disk Disk_MD]   ## Disk Disk_MD,为该LUN在"cvlabel -l"中预定义的cvlabel名称
Type MetaDrive  ## Type MetaDrive,该Disk_MD的Sectors、SectorSize引用上文中定义磁盘类型的MetaDrive
Status UP  ## Status UP 必须为UP,说明此磁盘在文件系统中被使用
[Disk Disk_1]
Type DataDrive
Status UP
[Disk Disk_2]
Type DataDrive
Status UP
[Disk Disk_3]
Type DataDrive
Status UP
# Stripe Groups

##[StripeGroup MetaFiles]中MetaFiles名称自行定义,习惯上命名与该StripeGroup作用相关。
##一个文件系统,必须有一个StripeGroup是MetaData Yes、Journal Yes的。
##元数据与日志可以在一个StripeGroup,也可以分离在两个StripeGroup
##若该StripeGroup只做元数据用,必须设置Exclusive Yes
##可以只有一个StripeGroup,即数据和元数据在同一个StripeGroup组里。
##在只有一个StripeGroup中,若想写入非元数据,必须将Exclusive Yes改为Exclusive No.

[StripeGroup MetaFiles]
Status Up
StripeBreadth 256K
Metadata Yes
Journal Yes
Exclusive Yes
Read Enabled
Write Enabled
Rtmb 0
Rtios 0
RtmbReserve 0
RtiosReserve 0
RtTokenTimeout 0
MultiPathMethod Rotate
Node Disk_MD 0


[StripeGroup RegularFiles]
Status Up
StripeBreadth 256K
Metadata No
Journal No
Exclusive No
Read Enabled
Write Enabled
Rtmb 0
Rtios 0
RtmbReserve 0
RtiosReserve 0
RtTokenTimeout 0
MultiPathMethod Rotate
Node Disk_1 0
Node Disk_2 1
Node Disk_3 2

## StripeBreadth 参数是一个优化存储性能的参数,其理论优化的数值为RAID中数据盘个数与RAID的Segement Size的积的倍数。如: 如512*8=4m 该LUN有8个磁盘组成的,对于用户的数据存储的StripeGroup来讲,由于这个参数是一个近似优化值,与客户存储的数据文件大小和存储方式存在一定关系,因此确定此参数值时,可以考虑0.5倍、1倍、两倍等值,进行测试,选择最为优化的值作为StripeBreadth的参数。
## Node data中的Disk_1要与上文中[Disk Disk_1]对应
## 从根本上来说,一个文件系统中用于数据存储的StripeGroup越多,文件系统的数据存储的安全性越强。缺省配置下StripeGroup是文件存储的最小单元,因此理论在一个文件系统中,用于用户客户数据信息存储中的StripeGroup只包含一条LUN将是最好的,当然前提是这一条LUN就能满足客户应用对这一个文件进行访问时的存储带宽。如果一条LUN不能满足客户应用对这个文件的并发访问带宽,则只能增加这个StripeGroup中的LUN的条数
##建议创建多个StripeGroup用于数据的存储,每个StripeGroup中只包含一个或两个LUN,最多不要超过4个为宜。

启动stornext服务

[root@rhel64-a bin]# /etc/init.d/cvfs start

建立名称为fs1的stornext文件系统

[root@rhel64-a bin]# /usr/cvfs/bin/cvmkfs fs1

建立fsmlist文件,将当前的StorNext FS文件系统的配置文件fs1.cfg的文件名写入fsmlist

[root@rhel64-a bin]# vi /usr/cvfs/config/fsmlist

fs1 . 0
##其中的 . 表示当前机器的ip地址,0是优先,可为一个0~7. 但当前默认的为0是activate

进入stornext管理程序

[root@rhel64-a bin]# /usr/cvfs/bin/cvadmin

启动fs1文件系统

snadmin> start fs1
Starting FSS locally.
Start FSS "fs1"

FSS 'fs1' start initiated.
FSS 'fs1' started.

激活fs1文件系统

snadmin> activate fs1
Activate FSM "fs1"

 Created           :    Mon Dec 26 20:40:06 2011
 Active Connections:    0
 Fs Block Size     :    16K
 Msg Buffer Size   :    4K
 Disk Devices      :    4
 Stripe Groups     :    2
 Fs Blocks         :    981264 (14.97 GB)
 Fs Blocks Free    :    710544 (10.84 GB) (72%)

到这里stornext的服务器端就已经安装完成了。

« 上一篇下一篇 »

评论列表:

1.广达来了  2012-2-10 10:08:24 回复该留言
你好,你有没有stornext的安装包,能不能给我发一下,谢谢了
.广达来了  2012-2-10 10:11:57 回复该留言
我的qq344943536
十分感谢

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。