大数据成长之路:谈谈那些必须学习的Linux基础知识

栏目: IT技术 · 发布时间: 4年前

内容简介:作者| Roy瑞士

大数据成长之路:谈谈那些必须学习的 <a href='https://www.codercto.com/topics/18170.html'>Linux</a> 基础知识

大数据成长之路:谈谈那些必须学习的Linux基础知识

作者| Roy瑞士

责编| Carol

封图|  CSDN│下载于视觉中国

这里主要介绍学习大数据过程中用到的Linux基础知识,现在主攻的方向是大数据开发,欢迎大家共同交流。

大数据成长之路:谈谈那些必须学习的Linux基础知识

环境

推荐安装VMware虚拟机并安装CentOS操作系统,具体资源的下载和安装可以查到,如果踩到坑可以留言讨论。

大数据成长之路:谈谈那些必须学习的Linux基础知识

通过远程连接 工具 可以直接操作虚拟机中的Linux系统,比如Xshell、SecureCRT等,熟悉Linux指令后推荐使用。


注:
这里需要将虚拟机网络设置为NAT模式: [编辑——>虚拟网络编辑器]

大数据成长之路:谈谈那些必须学习的Linux基础知识

在主机电脑的[ 网络共享中心 ]可以查看到VMnet8网络适配器,其中IPv4地址与虚拟机网络在同一网段下即可。


最后在虚拟机中使用ifconfig命令查看IP地址,使用远程连接工具即可连接。

大数据成长之路:谈谈那些必须学习的Linux基础知识

常见的Linux指令

  1. history显示历史命令,可使用!命令序号再次执行

  2. ctrl+a/e让光标移动到首尾部

  3. pwd查看当前目录

  4. ls列出当前目录文件

  • -l除文件名称外,亦将文件型态、权限、拥有者、文件大小等资讯详细列出

  • -r将文件以相反次序显示

  • -t将文件依建立时间之先后次序列出

  • -a显示所有文件及目录,开头为"."的视为隐藏档

5.vim编辑器的使用

大数据成长之路:谈谈那些必须学习的Linux基础知识

  • vim test编辑名为test的文档,如果不存在则创建

  • a/i进入插入模式开始编辑

  • ESC键返回到命令行模式

  • 在命令模式下:

  • :q/:q!不保存退出/强制退出

  • :wq保存并退出

  • :set nu显示行号 set nonu不显示行号

  • gg回到首行

  • G跳到尾行

  • dd删除光标所在行

  • yy复制光标所在行 p粘贴在下一行,4yy向下复制四行

  • wc即word count命令,可以查阅脚本的行数字节数等信息,可以使用wc --help查看具体命令

6.文件管理命令:

  • cat test1 test2 > test3将文件拼接到另一个文件中

  • cat -n test3带行号打印显示

  • touch新建文件touch newFile 更改文件编辑时间为当前touch test3

  • chmod更改文件操作权限,可以使用ll命令查看当前目录下的个文件权限,依次是文件拥有者、群组、其他,权限级别分为w可写、r可读、x可执行,可分别用数字4 2 1代表,例如chmod 777 test3

  • chown更改文件拥有者,文件拥有者分为用户和组

  • 注:在root用户权限下才可执行上述两条命令 su root

大数据成长之路:谈谈那些必须学习的Linux基础知识

  • find查找命令,find -name '*.txt'查找txt文件,通常可以配合管道命令查询

  • more类似cat,但一页一页展示,使用ctrl+f向下翻页

  • less类似more,但是可以向上翻页ctrl+b

  • head -n 5 test3查看test3文件的前5行,tail -n 5 test3查看后五行

  • mv重命名文件mv test1 test4 移动文件或目录mv test4 /opt即剪切功能

  • cp复制文件或目录,参数-r表示递归复制

  • mkdir创建目录 mkdir -p a/b/c递归创建目录a/b/c

  • tar解压缩文件

  • -f<备份文件>或–file=<备份文件> 指定备份文件

  • -v或–verbose 显示指令执行过程

  • -x或–extract或–get 从备份文件中还原文件

  • -z或–gzip或–ungzip 通过gzip指令处理备份文件

  • -C<目的目录>或–directory=<目的目录> 切换到指定的目录

  • 一般我们使用tar -zxvf XXXX -C /usr/即可

7.磁盘管理:

  1. df -h磁盘使用情况

  2. mount挂载Linux系统外的文件 ,umount卸除文件系统,一般系统外文件挂载在/mnt下

8.用户管理

  • useradd建立用户账号

  • -m自动建立用户的登录目录

  • -g指定用户所属的群组

  • -d指定用户登入时的家目录

  • -u 600 在0——499之间表示系统用户,500——232之间表示普通用户

  • passwd更改使用者的密码

  • kill杀死执行中的程序或工作,使用kill -l查看所有进程,kill -9 pid强制杀死此pid的进程

9.ssh操作

为后面的集群搭建做准备,需要掌握虚拟机之间通过ssh登录的方法,准备两台虚拟机操作系统。

  • 使用ifconfig命令查看IP地址

  • 使用ping命令查看是否连通

  • 使用ssh root@IP登录,root为登录时的用户名,由于没有使用免密操作需要输入密码,可以使用exit退出

免密操作

  • 打开ssh功能 systemctl start sshd.service,一般默认是打开的

  • 启动root用户su root

  • 使用命令ssh-keygen -t rsa,一路回车,会创建公钥和私钥文件

  • 将私钥文件拷给另一个虚拟机即可:ssh-copy-id -i ~/.ssh/id_rsa.pub 目标IP

  • 现在可以直接使用ssh 'IP'登录另一台虚拟机

注:由于我们刚才切换到root用户进行操作,所以免密登录对root用户有效,同理可切换到其他用户创建密钥链接。

   10.scp远程拷贝

scp命令用于Linux之间复制文件和目录。


使用scp -r 本地路径 目标路径即可,例如:scp -r test3 '192.168.154.11':/tmp,-r表示递归。

大数据成长之路:谈谈那些必须学习的Linux基础知识

《原力计划【第二季】- 学习力挑战》 正式开始! 即日起至 3月21日, 千万流量支持原创作者! 更有专属【勋章】等你来挑战

大数据成长之路:谈谈那些必须学习的Linux基础知识

推荐阅读:不看就亏系列!这里有完整的 Hadoop 集群搭建教程,和最易懂的 Hadoop 概念!| 附代码
时间复杂度的表示、分析、计算方法……一文带你看懂时间复杂度!
30万行数据,Python 分析科比二十年职业生涯 | 原力计划
谈论新型冠状病毒、比特币、苹果公司……沃伦•巴菲特受访中的 18 个金句,值得一看!
一张图对比阿里、腾讯复工的区别
Python数据清理终极指南(2020版)
真香,朕在看了!

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

程序是怎样跑起来的

程序是怎样跑起来的

[日] 矢泽久雄 / 李逢俊 / 人民邮电出版社 / 2015-4 / 39.00元

本书从计算机的内部结构开始讲起,以图配文的形式详细讲解了二进制、内存、数据压缩、源文件和可执行文件、操作系统和应用程序的关系、汇编语言、硬件控制方法等内容,目的是让读者了解从用户双击程序图标到程序开始运行之间到底发生了什么。同时专设了“如果是你,你会怎样介绍?”专栏,以小学生、老奶奶为对象讲解程序的运行原理,颇为有趣。本书图文并茂,通俗易懂,非常适合计算机爱好者及相关从业人员阅读。一起来看看 《程序是怎样跑起来的》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具