修改Hosts文件加速访问GitHub
在公司使用中国电信的公司宽带访问Github速度虽然不是飞快，但还是能够下载的。不过回家是用的移动宽带，访问github时能打开首页就算时烧高香了。那么首先想到的就是修改Hosts直接访问Github的地址，避免国内的CDN污染和线路瞎JB跳。 先说成果：
# Github52.74.223.119 github.com140.82.114.3 github.com185.199.108.154 github.githubassets.com185.199.109.154 github.githubassets.com185.199.110.153 github.io185.199.111.153 github.io140.82.113.10 nodeload.github.com69.171.234.29 github.global.ssl.fastly.net
效果么，只能说能用了。 方法很简单，就是打开站长之家的DNS检测工具，然后观察GitHub访问会用到那些域名，再把域名对应的IP查出来，把TTL值最小的写入hosts文件。虽然无聊，但是有效。
使用CDH示例程序进行字数统计
Wordcount程序是Hadoop上的经典“HelloWorld”程序。CDH系统自带了wordcount程序来检测部署的成功与否。
# 解压提前准备好的莎士比亚全集[sujx@elephant ~]$ gzip -d shakespeare.txt.gz# 上传至hadoop文件系统[sujx@elephant ~]$ hdfs dfs -mkdir /user/sujx/input[sujx@elephant ~]$ hdfs dfs -put shakespeare.txt /user/sujx/input# 查看有哪些测试程序可用[sujx@elephant ~]$ hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarAn example program must be given as the first argument.Valid program names are: aggregatewordcount: An Aggregate based m ...
HDFS初步使用
HDFS(Hadoop Distributed File System)是可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取，主要负责存储。其概念和内容可以参考[1]。这里就做一个简单的实验来看一下其文件管理的功能。更多的Hadoop命令可以参考[2]。
用户建立在实验环境中，不建议使用root账号直接登录运行，所以建立一个普通账号。
# Elephant主机执行# 安装ansible[root@elephant ~]# yum install -y ansible# 在/etc/ansible/hosts中新增所有主机名# 建立ansible文件[root@elephant ~]# mkdir playbook[root@elephant ~]# vim ./playbook/useradd.yaml---- hosts: hadoop remote_user: root vars_prompt: - name: user_name prompt: Enter Username private: no - name: user_pas ...
离线部署CDH5.16.2
在实践了CDH6的离线部署之后，发现Cloudera的官方教程是基于CDH5.10的。同时，CDH6的内存占用比较高，我的机器有点遭不住，所以又把CDH5的部署实施走了一遍。
模板部署
安装CentOS7.10，并完成yum升级；
所有主机时间与阿里云时间服务器同步；
关闭selinux和firewalld；
安装JDK和mysql-connect；
[root@localhost ~]# wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.rpm[root@localhost ~]# yum localinstall jdk-8u202-linux-x64.rpm[root@localhost ~]# mv mysql-connector-java-5.1.39-bin.jar /usr/share/java/mysql-connector-java.jar
关闭透明大页；
[root@localhost ~]# vim /etc/rc.d/rc.local# 在最后一行添加如下内 ...
wHAT is HDFS?
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
概念
HDFS集群分为两大角色：NameNode、DataNode；
NameNode负责管理整个文件系统的元数据,second namenode是namenode的冷备；
DataNode 负责管理用户的文件数据块；
文件会按照固定的大小（blocksize）(128M)切成若干块后分布式存储在若干台datanode上；
每一个文件块可以有多个副本，并存放在不同的datanode上；
Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量；
HDFS的内部工作机制对客户端保 ...
离线部署CDH6.3
部署练习的环境有六台主机，主机的配置是4核心4G内存(内存还是低了，建议8G起步)：
主机名
IP地址
Elephant
192.168.174.184
Lion
192.168.174.185
Horse
192.168.174.186
Monkey
192.168.174.187
Tiger
192.168.174.188
环境准备
主机环境配置
按照各个主机配置修改相应值，下面以elephant为例：
[root@localhost ~]# nmcli c m ens33 ipv4.method manual ipv4.addresses 192.168.174.184/24 ipv4.gateway 192.168.174.2 ipv4.dns 192.168.174.2[root@localhost ~]# nmcli c d ens33 && nmcli c u ens33[root@localhost ~]# hostnamectl set-hostname elephant
文件复制 将离线部署CDH6.3.1的文件复制到每一台主机上。其中包括：
...
CentOS8的软件库
相对于华为和阿里云的mirrors，中国科技大学的mirrors的完整性和速度要好一些，而且配置文件也方便一些。现在把相关文件记一下：
系统repo[BaseOS]name=CentOS-$releasever - Base#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$basearch&repo=BaseOS&infra=$infrabaseurl=https://mirrors.ustc.edu.cn/centos/$releasever/BaseOS/$basearch/os/gpgcheck=1enabled=1gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-centosofficial#additional packages that may be useful[extras]name=CentOS-$releasever - Extras#mirrorlist=http://mirrorlist.centos.org/?rel ...
使用脚本一键部署堡垒机
部门领导要求研究一下堡垒机的使用，所以花了两天时间研究了一下开源堡垒机的部署和使用。因为官方文档中有些已经有了部分错误，现在以官方的CentOS8版本的安装文档为蓝本把部署过程以脚本的形式备份一下。 其中，主要的变化是使用了官方源的nginx、修改了python安装的几个组件的版本、部署了堡垒机jms服务、koko服务和guacamole服务的systemd自启动脚本。
#!/bin/bash# 2020.01.15# sujx@live.cn# 安装依赖包yum update -yyum -y install wget gcc epel-release git telnet openssh-clients dnf-utils vim yum update -y# 下载 Jumpservercd /opt/git clone --depth=1 https://github.com/jumpserver/jumpserver.git# 防火墙 与 selinux 设置说明, 如果已经关闭了 防火墙 和 Selinux 的用户请跳过设置systemctl start firewalld# ...
基于CentOS8快速部署iTop
iTop是一个用PHP编写的基于ITIL理念打造的开源ITSM系统。本次将在CentOS8的虚机上安装部署一套iTOP系统。
系统准备 首先是准本LAMP环境，使用系统默认的Apache2.4.3、PHP7.2、Mariadb10.3.
yum update -yyum install -y cmake make autoconf gcc gcc-g++ unzip graphviz libzip-devel libzip-toolsyum install -y httpd php php-fpm php-ldap php-soapyum install -y php-xmlrpc php-gd php-opcache php-mysqlnd php-json php-develyum install -y libmcrypt libmcrypt-devel php-pecl-apcu mhashyum install -y php-odbc php-mbstring php-snmpyum install -y mariadb mariadb-serverfirewall-cmd ...