晴栀初眸 - StarRocks
type: channel
link: https://shackles.cn/index.php/tag/StarRocks
items: 二进制安装StarRocks 存算一体 3.4.0版本(单机版)
items: StarRocks 导入导出
items: 二进制安装StarRocks 存算分离 3.3.0版本
items: StarRocks部署（docker-compose）

二进制安装StarRocks 存算一体 3.4.0版本(单机版)
type: item
date: 2025-03-17T07:22:00+00:00
description: 二进制安装StarRocks 存算一体 3.4.0版本(单机版)基础环境系统环境软件版本IP地址FEBECPU指令集Ubuntu 22.04.1 LTSStarRocks-3.4.010.84.91.10LEADERBEAVX2安装之前须查看系统CPU是否支持AVX2指令集cat /proc/cpuinfo | grep avx2注意：StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力,因此CPU指令集必须存在AVX2否则服务将无法正常工作。环境配置官网地址：https://docs.starrocks.io/zh/docs/deployment/environment_configurations/JDK环境配置安装JDK依赖apt install openjdk-11-jdk配置JDK环境变量export JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64/ >> /etc/profile export PATH=/usr/lib/jvm/java-1.11.0-openjdk-amd64/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin >> /etc/profile export LANG=en_US.UTF8 >> /etc/profile ##配置 LANG 变量 source /etc/profile禁用Transparent Huge Pages(Ubuntu默认就是madvise,可跳过)# 临时变更。 echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/enabled echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/defrag # 永久变更。 cat >> /etc/rc.d/rc.local << EOF if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo madvise > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo madvise > /sys/kernel/mm/transparent_hugepage/defrag fi EOF禁用 Swap Space#临时关闭 Swap Space。 swapoff -a #永久关闭swapoff #从 /etc/fstab 文件中删除 Swap Space 信息。 [root@starrocks ~]# cat /etc/fstab ........................................................................... #/dev/mapper/rl-swap none swap defaults 0 0 #重启机器后确认 Swap Space 已关闭。 [root@starrocks ~]# free -h total used free shared buff/cache available Mem: 15Gi 583Mi 11Gi 8.0Mi 3.9Gi 14Gi Swap: 0B 0B 0B禁用 SELinux (Ubuntu默认没有SELinux,可跳过)# 临时变更。 setenforce 0 # 永久变更。 sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config sed -i 's/SELINUXTYPE/#SELINUXTYPE/' /etc/selinux/config关闭防火墙(Ubuntu默认防火墙关闭的,可跳过)systemctl stop firewalld.service && systemctl disable firewalld.service内核参数优化cat > /etc/sysctl.conf << EOF vm.overcommit_memory = 1 vm.swappiness = 0 net.ipv4.tcp_abort_on_overflow=1 net.core.somaxconn=1024 vm.max_map_count = 262144 EOF sysctl -p #使修…

StarRocks 导入导出
type: item
date: 2024-07-18T06:08:00+00:00
description: 导出表数据至MiniOEXPORT TABLE users TO "s3://backup/" WITH BROKER ( "aws.s3.endpoint" = "http://192.168.8.197:9000", "aws.s3.access_key" = "backup", "aws.s3.secret_key" = "backup1111" );users: 是tables名字s3://backup/：Bucket名字aws.s3.endpoint ：对象存储地址aws.s3.access_key：访问对象存储时所用到的AK（Access Key）aws.s3.secret_key：访问对象存储时所用到的SK(Secret Key)从MiniO中导入表数据1、先创建表结构找研发要创建表结构的SQL语句2、使用LOAD BROKER方式导入minio中的CSV格式的表数据LOAD LABEL prod ( DATA INFILE("s3://greenpioneeriotuat/data_b38cbe2a-4a27-11ef-9277-0242ac180003_0_0.csv") INTO TABLE total_combine_active_energy ) WITH BROKER ( "aws.s3.endpoint" = "http://10.84.3.128:9000", "aws.s3.enable_ssl" = "false", "aws.s3.access_key" = "backup", "aws.s3.secret_key" = "backup1111", "aws.s3.use_aws_sdk_default_behavior" = "false", "aws.s3.use_instance_profile" = "false", "aws.s3.enable_path_style_access" = "true" ) PROPERTIES ( "timeout" = "72000" );3、检查是否导入成功或者导入进度SELECT * FROM information_schema.loads;total_combine_active_energy: 导入数据后生成的表名字aws.s3.endpoint ：对象存储地址DATA INFILE：数据源路径，上方例子是从对象存储的greenpioneeriotuat桶中导入data_b38cbe2a-4a27-11ef-9277-0242ac180003_0_0.csv文件aws.s3.enable_ssl：是否启用ssl加密方式传输aws.s3.access_key：访问对象存储时所用到的AK（Access Key）aws.s3.secret_key：访问对象存储时所用到的SK(Secret Key)aws.s3.use_aws_sdk_default_behavior：不使用AWS SDK的默认行为，AWS SDK有其预设的认证和配置机制aws.s3.use_instance_profile：是否使用EC2实例的IAM角色（Instance Profile）作为认证来源aws.s3.enable_path_style_access：使用路径样式访问S3timeout：导入数据时的超时时间，单位s从本地导入表数据curl --location-trusted -u root -H "label:label1" \ -H "Expect:100-continue" \ -H "column_separator:|" \ -H "max_filter_ratio:0.2" \ -T ./data_dir/lineorder.tbl -XPUT \ -H "timeout: 86400" \ http://192.168.8.198:8030/api/ssb/lineorder/_stream_load注意：本地导入，前提是表结构提前准备好--location-trusted：curl信任重定向，为了处理可能的重定向请求，通常在内部网络中使用。-u root: HTTP基本认证，其中root是用于认证的用户名。密码通常在-u之后用冒号分隔，或者curl会提示输入密码。-H "label:label1": HTTP头，其中label是流式加载任务的唯一标识符。它可以帮助追踪和管理导入任务的状态。-H "Expect:100-continue": 这个HTTP头告诉服务器客户端准备好发送数据体，等待服务器确认后再继续发送数据。这在发送大文件时有助于节省带宽和处理时间。-H "column_separator:|": 这个头指定了数据文件中列与列之间的分隔符。…

二进制安装StarRocks 存算分离 3.3.0版本
type: item
date: 2024-07-18T05:25:00+00:00
description: 基础环境系统环境软件版本IP地址FECNCPU指令集Rocky Linux release 9.4StarRocks-3.3.0192.168.8.198LEADERCNAVX2Rocky Linux release 9.4StarRocks-3.3.0192.168.8.195FOLLOWERCNAVX2Rocky Linux release 9.4StarRocks-3.3.0192.168.8.194FOLLOWERCNAVX2Ubuntu 20.04minio:latest192.168.8.197nonenonenone安装之前须查看系统CPU是否支持AVX2指令集cat /proc/cpuinfo | grep avx2注意：StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力,因此CPU指令集必须存在AVX2否则服务将无法正常工作。环境配置官网地址：https://docs.starrocks.io/zh/docs/deployment/environment_configurations/JDK环境配置dnf install java-11-openjdk-devel echo "export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.23.0.9-3.el9.x86_64/" >> /etc/profile echo "export PATH=/usr/lib/jvm/java-11-openjdk-11.0.23.0.9-3.el9.x86_64/bin/:$PATH" >> /etc/profile echo "export LANG=en_US.UTF8" >> /etc/profile #配置 LANG 变量 source /etc/profile禁用Transparent Huge Pages# 临时变更。 echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/enabled echo madvise | sudo tee /sys/kernel/mm/transparent_hugepage/defrag # 永久变更。 cat >> /etc/rc.d/rc.local << EOF if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo madvise > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo madvise > /sys/kernel/mm/transparent_hugepage/defrag fi EOF禁用 Swap Space#临时关闭 Swap Space。 swapoff -a #永久关闭swapoff #从 /etc/fstab 文件中删除 Swap Space 信息。 [root@starrocks ~]# cat /etc/fstab ........................................................................... #/dev/mapper/rl-swap none swap defaults 0 0 #重启机器后确认 Swap Space 已关闭。 [root@starrocks ~]# free -h total used free shared buff/cache available Mem: 15Gi 583Mi 11Gi 8.0Mi 3.9Gi 14Gi Swap: 0B 0B 0B禁用 SELinux# 临时变更。 setenforce 0 # 永久变更。 sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config sed -i 's/SELINUXTYPE/#SELINUXTYPE/' /etc/selinux/config关闭防火墙systemctl stop firewalld.service && systemctl disable firewalld.service内核参数优化cat > /etc/sysctl.conf << EOF vm.overcommit_memory = 1 vm.swappiness = 0 net.ipv4.tcp_abort_on_overflow=1 net.core.somaxconn=1024 vm.max_…

StarRocks部署（docker-compose）
type: item
date: 2024-07-04T02:48:00+00:00
description: 环境检查：部署的前提条件：https://docs.starrocks.io/zh/docs/deployment/deployment_prerequisites/StarRocks 依靠 AVX2 指令集充分发挥其矢量化能力。因此，在生产环境中，必须保证AVX2 指令集存在检查AVX2 指令集：root@starrocks002:~# cat /proc/cpuinfo | grep avx2 flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc cpuid pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch cpuid_fault invpcid_single ssbd ibrs ibpb stibp ibrs_enhanced fsgsbase tsc_adjust bmi1 avx2 smep bmi2 invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt c lwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves wbnoinvd arat avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid md_clear flush_l1d arch_capabilities flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx pdpe1gb rdtscp lm constant_tsc arch_perfmon nopl xtopology tsc_reliable nonstop_tsc cpuid pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch cpuid_fault invpcid_single ssbd ibrs ibpb stibp ibrs_enhanced fsgsbase tsc_adjust bmi1 avx2 smep bmi2 invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt c lwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves wbnoinvd arat avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid md_clear flush_l1d arch_capabilities 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。注意：如果执行后，无打印，说明机器没有AVX2 指令集，运行不了starrocksdocker-compose版本root@starrocks002:~# docker-compose -v Docker Compose version v2.27.2 编排文件cat > docker-compose.yaml << EOF version: "3" services: minio: container_name: minio environ…