Spark源码包的编译

2017年02月05日 17 阅读

Spark源码包的编译和部署生成，其本质只有两种：Maven和SBT （Simple Build Tool）, 只不过针对不同的场景而已：Maven编译SBT编译IntelliJ IDEA编译（可采用Maven或者SBT插件编译），适用于开发人员包部署生成（内嵌Maven编译），使用维护人员编译的目的是生成特定环境下运行Spark本身或者开发Spark Application的JAR包，本次编译的目的生成运行在Hadoop2.5.2上的Spark JAR包...

VirtualBox修改虚拟机磁盘VDI的大小

2017年02月05日 16 阅读

VirtualBox虚拟机在使用的过程中，有时会遇到磁盘大小不够用，如果设置了”动态分配存储“，可以通过下面的方法对磁盘的空间进行手动扩展。1.启动CMD命令行，进入VirtualBox的安装目录。如cdE:Program FilesOracleVirtualBox2.查看需要修改的虚拟硬盘：E:Program FilesOracleVirtualBox>VBoxManage.exe list hddsUUID: e8e...

在Linux上为指定IP端口模拟网络收发包延迟

2017年02月05日 17 阅读

编写网络应用程序时，我们一般都是在网络状况良好的局域网甚至是本机内进行测试调试。有没有办法在网络状况良好的内网环境中，在不改动程序自身代码的前提下，为应用程序模拟复杂的外网环境——尤其是网络延迟呢？这是我在学校写网络程序时就有过的想法，只是一直没认真研究，直到最近在公司编写跨服代码。 跨服涉及多台服务器之间，还有服务器与客户端之间的通讯，流程很复杂，其中每一步都要正确处理网络异常延迟与断开的情况。测试人员通过改代码或下断点的方式来...

Windows 7下硬盘安装Debian笔记

2017年02月05日 16 阅读

Windows 7下硬盘安装Debian笔记第一、到这个链接http://cdimage.debian.org/debian-cd/6.0.5/i386/iso-cd/，下载debian-6.0.5-i386-CD-1.iso，就下这一个，其他的不要下，当然，这是针对i386架构的，选择与自己的CPU相符的就ok。第二、这个iso文件要放在一个分区的顶层里！用虚拟光驱打开这个iso文件，执行它的setup.exe程序，它会在C盘下产生个Win32-load...

Windows&Ubuntu双系统一键Ghost，提示grub rescue的解决方法

2017年02月05日 18 阅读

Windows 7&Ubuntu 10.10双系统下一键Ghost，出现提示grub rescue的解决方法。本人安装的是Windows 7+Ubuntu 10.10,硬盘直接安装。因为Windows 7下装了几个大软件，所以决定一键Ghost备份一下，结果重启之后，就进入了grub rescue界面:error:unknown filesystem grub rescue>研究了半天，才解决这个问题。先说说是怎么回事。 安装Ubuntu时，...

Win7上从硬盘安装Debian

2017年02月05日 15 阅读

最近一直想将笔记本搞成Win7+Debian双系统，因为不管如何优化，2G内存的Win7笔记本上开个Linux虚拟机都实在吃力。经过一段时间的资料搜索，并阅读Debian官方的安装文档，今天终于实现。看网上很多文章的方法都感觉很麻烦，又要下载grub4dos，又要改boot.ini（Win7上没有boot.ini，取代的是bcdedit），又要改什么menu.lst。其实如果仅仅是想从Win7安装Debian，实现双系统并存，而没有其它要求的话，步骤并没有...

更改磁盘分区后修复GRUB启动

2017年02月05日 16 阅读

上次为了通过硬盘引导安装Linux（见上一篇文章 http://www.linuxidc.com/Linux/2015-01/111190.htm），专门分了一个1GB的FAT32分区。今天回到Win7中，用磁盘管理工具把这个分区撤销且合并后，重启后就进入了grub rescue终端，并且提示：error:unknown filesystemgrub rescue>还好有了解决方案（见 http://www.linuxidc.com/Linux/20...

Linux 上使用 backup-manager 进行系统备份

2017年02月05日 15 阅读

无论简单与否，我们都有机会去了解这么一件事，那就是备份的重要性从来都不可以被低估。考虑到备份的方法真的多如牛毛，你可能想要知道怎样来有效地为你的系统选择正确的工具和和合适的策略。在本文中，我将为你介绍backup-manager，一个简单易用的命令行备份工具，在大多数的Linux发行版的标准软件库中都能见到它的身影。是什么让备份管理器在众多的备份工具或备份策略中脱颖而出呢？让我来简单介绍一些它的与众不同的特性吧：简单的设计与管理：配置文件易于读懂和编辑，即...

wget 命令用法详解

2017年02月05日 17 阅读

wget是在Linux下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括Windows在内的各个平台上。它有以下功能和特点：（1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了；（2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用HTTP方式下载，但是，有些时候，仍然需要使用FTP方式下载软件；（3）支持代理服务器；对安全强度很...

Linux例行性工作排程

2017年02月05日 18 阅读

1.例行性排程有两中方式：1）每隔一定周期就要来办的事项，用crontab指令实现2）突发性的，就是这次做完后，就没有了用at指令实现，不过这个需要atd服务的支持2.Linux常见的例行性任务有：1）进行登录档的轮替：Linux会将系统所发生的各种信息都记录下来，这就是登录档，随着系统的运行这些登录档会越来越大，导致系统读写效能下降，因此就需要将这些数据按时间的新旧分别存放，这就是登录档的轮替任务2）登录文件分析：如果系统发生了软件问题，硬件错误，资源安...

Linux磁盘虚拟化

2017年02月05日 16 阅读

1.LVM（Logical Volume Manager）:逻辑滚动条管理员，LVM可以将几个实体的partions（或disk）透过软件组合成为一块看起来是独立的大磁盘（VG），然后将这块大磁盘再经过分割成为可使用分隔槽（LV），最终就能够挂载使用了。2.PV（Physical Volume）：实体滚动条，我们实际的partition需要调整系统标识符（system ID）称为8e（LVM的标识符），然后再经过pvcreate的指令将它转成LVM最底层的...

Linux磁盘配额相关指令

2017年02月05日 18 阅读

Linux磁盘配额相关指令1.Quota的作用主要有：1）限制某一群组所能使用的最大磁盘配额2）限制某一用户的最大磁盘配额3）以Link的方式，来使邮件可以作为限制的配额（更改/var/spool/mail这个路径）2.Quota的使用限制1）仅能针对整个filesystem2）核心必须支持quota3）Quota的记录文件4）只针对一般身份使用者有效，root是不能设定quota，因为整个系统所有的数据几乎都是他的3.quota针对整个filesyste...

Linux ACL权限设定

2017年02月05日 15 阅读

1.ACL（Access Control List）可以针对单一使用者、单一档案或目录来进行r、w、x的权限规范。ACL主要针对以下方面来控制权限：1）使用者：可以针对使用者。来设定权限2）群组：针对群组为对象来设定其权限3）默认属性：还可以针对在该目录下建立新档案、目录时，规范数据默认权限2.ACL是传统的Unix-Like操作系统额外支持的项目，因此ACL必须要有文件系统的支持才行。目前大部分文件系统都支持ACL的功能，包括ReiserFS,EXT2/...

Linux账号群组删除等相关操作

2017年02月05日 17 阅读

1.userdel [-r] username:删除用户，用户想过的数据有，/etc/passwd,/etc/shadow,/etc/group,/etc/gshadow,/home/username,/var/spool/mail/username,参数1）连同用户的家目录一起删除2.finger [-s] username:查询用户相关的信息，参数，1）-s：仅列出用户的账号，全名，终端机与登入时间等2）-m:列出与后面接的账号相同者，而不是利用部分比...

Linux账号管理添加相关指令

2017年02月05日 16 阅读

Linux账号管理添加相关指令1.useradd [-u UID][-g 初始群组][-G 次要群组][-mM][-c 说明栏][-d 家庭目录][-s shell] 使用者账号，参数：1）-u：设定添加账号的UID2）-g：设定初始组名，该群组的GID会被放在/etc/passwd的第四个字段中3）-G：该账号还可以加入的组，这个选项参数会修改/etc/group内的相关资料4）-M：强制不建立用户家目录（系统账号默认值）5）-m：强制要建立家目录（一般...

Linux账号相关文档解读

2017年02月05日 17 阅读

Linux账号相关文档解读1.passwd解读：这个档案是这样构造的，每一行代表一个账号，有几行就代表有几个账号，里面有好多账号是系统正常运行所必须的，如bin，daemon，adm等,路径/etc/passwdeg：root:x:0:0:root:/bin/bash每一行用：分开，共七段，分别是：1）账号名称，用来对应UID2）密码：早起Unix系统直接在这里存放密码，但因为这个档案所有程序都能够读取，这样一来容易造成密码数据被窃取，因此这个字段的密码数...

Windows利用VNC远程连接Linux桌面

2017年02月05日 16 阅读

经常见到客户利用VNC连接Linux图形化桌面，自己也动手弄来实际操作下。1.Linux上面安装vnc serveryum install vnc*2. /etc/init.d/vncserver start失败vi /etc/sysconfig/vncservers最后两行3./etc/init.d/vncserver start失败，提示could not open default font "fixed"错误主要是缺少相关字体，yum安装即可：4.v...

CentOS 5.5下安装KVM

2017年02月05日 16 阅读

动手在Linux（CentOS 5.5）下面安装KVM，整理了一下具体步骤：1.查看cpu是否支持虚拟化，执行命令#cat /proc/cpuinfo |grep flags出现vmx或svm表示cpu支持，其中svm针对AMD平台，vmx针对Intel平台。2.KVM安装包已经包含在系统盘的安装包里面，直接挂载光盘，设置好yum源为本地光盘yum --disablerepo=* --enablerepo=c5-media groupinstall "KV...

Linux下chkconfig设置开机自启动

2017年02月05日 16 阅读

Linux下某些新安装服务或者脚本需要开机自启动，可以有2种办法进行设置：一是利用chkconfig进行设置，二是将启动文件添加到rc.local中开机自起。chkconfig设置方法简介：1）将启动文件cp到 /etc/init.d/或者/etc/rc.d/init.d/（前者是后者的软连接）下2）vim 启动文件，文件前面务必添加两行，否侧会提示chkconfig不支持#chkconfig: 35 20 80 分别代表运行级别，启动优先权，关闭优先权#...

Ubuntu Linux下安装软件方法

2017年02月05日 16 阅读

Linux系统中，软件通常以源代码或者预编译包的形式提供。（1）软件源代码需要编译为二进制的机器代码才能够使用，安装比较耗时，不过您可以自行调节编译选项，决定需要的功能或组件，或者针对硬件平台作一些优化。（2）预编译的软件包，通常是由软件的发布者进行编译，您只要将软件拷贝到系统中就可以 了。考虑到预编译软件包的适用性，预编译软件包通常不会针对某种硬件平台优化。它所包含的功能和组件也是通用的组合。1、deb包的安装方式deb是debian系Linux的包管理...