如何在 VMware 中安装 Hadoop
Android 学习笔记
Android 基本概念
Android 简介
通信技术
- 第一代通信技术:是指最初的模拟、仅限语音的蜂窝电话标准。
- 第二代通信技术:代表为 GSM,以数字语音传输技术为核心。
- 第三代通信技术:是指将无线通信与国际互联网等多媒体通信结合的新一代移动通信系统。
- 第四代通信技术:全 IP 数据网络时代,是目前正在被广泛使用的一代,是革命的一代。
- 第五代通信技术:低时延、低功耗、高可靠,基于高速数据传输的 AR、VR、物联网等技术的诞生和普及。
手机操作系统
- Android 安卓手机操作系统
- iOS 苹果手机操作系统
- Windows Mobile 移动设备操作系统
- Windows Phone 移动设备操作系统
- BlackBerry 黑莓手机操作系统
特性
- 第一:开放性
- 第二:挣脱束缚
- 第三:丰富的硬件选择
- 第四:开发不受限制
- 第五:与 Google 应用无缝结合
如何在 Docker 使用 systemctl
异常
现象为在命令行执行 systemctl
命令,报如下错误:
1 | System has not been booted with systemd as init system (PID 1). Can't operate. |
解决方法
参考了之后给出如下解决方案:
- 安装 daemonize 和 fontconfig
1 | sudo apt install -y fontconfig daemonize |
- 编辑
/etc/profile
脚本,加入如下内容:
1 | SYSTEMD_PID=$(ps -ef | grep '/lib/systemd/systemd --system-unit=basic.target$' | grep -v unshare | awk '{print $2}') |
- 修改
/etc/sudoers
文件,加入如下内容:
1 | %sudo ALL=(ALL) NOPASSWD: /usr/sbin/daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target |
- 执行
source /etc/profile
或者是重新打开 terminal,执行 systemctl 验证是否能够正常操作。
附件
相关连接
如何在 Docker 中安装 Hadoop
Java 后端开发学习路线
Spark 的设计与运行原理
概述
Spark 简介
Spark 最初由美国加州大学伯克利分校(UC Berkeley)的 AMP 实验室于 2009 年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序
2013 年 Spark 加入 Apache 孵化器项目后发展迅猛,如今已成为 Apache 软件基金会最重要的三大分布式计算系统开源项目之一(Hadoop、Spark、Storm)
Spark 在 2014 年打破了 Hadoop 保持的基准排序纪录
- Spark/206 个节点 / 23 分钟 / 100TB 数据
- Hadoop/2000 个节点 / 72 分钟 / 100TB 数据
- Spark 用十分之一的计算资源,获得了比 Hadoop 快 3 倍的速度
Spark 具有如下几个主要特点:
- 运行速度快:使用 DAG 执行引擎以支持循环数据流与内存计算
- 容易使用:支持使用 Scala、Java、Python 和 R 语言进行编程,可以通过 Spark Shell 进行交互式编程
- 通用性:Spark 提供了完整而强大的技术栈,包括 SQL 查询、流式计算、机器学习和图算法组件
- 运行模式多样:可运行于独立的集群模式中,可运行于 Hadoop 中,也可运行于 Amazon EC2 等云环境中,并且可以访问 HDFS、Cassandra、HBase、Hive 等多种数据源
Spark 如今已吸引了国内外各大公司的注意,如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了 Spark 来构建大数据分析应用,并应用到实际的生产环境中
Scala 学习指南
Scala 简介
Scala 是一门类 Java 的多范式语言,它整合了面向对象编程和函数式编程的最佳特性。具体来讲:
- Scala 运行于 Java 虚拟机(JVM)之上,并且兼容现有的 Java 程序,可以与 Java 类进行互操作,包括调用 Java 方法,创建 Java 对象,继承 Java 类和实现 Java 接口。
- Scala 是一门纯粹的面向对象的语言。在 Scala 语言中,每个值都是对象,每个操作都是方法调用。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径,一种途径是子类继承,另一种途径是灵活的混入机制,这两种途径能避免多重继承的种种问题
- Scala 也是一门函数式语言。在 Scala 语言中,每个函数都是一个值,并且和其他类型(如整数、字符串等)的值处于同一地位。Scala 提供了轻量级的语法用以定义匿名函数,支持高阶函数,允许嵌套多层函数,并支持柯里化
Scala 安装
Scala 运行在 Java 虚拟机(JVM)之上,因此只要安装有相应的 Java 虚拟机,所有的操作系统都可以运行 Scala 程序,包括 Window、Linux、Unix、Mac OS 等。
JDK 安装
下载
首先打开 JDK 的下载页面
【深度学习】手把手教你用卷积神经网络做垃圾分类
WIN10 WSL VIM 颜色调整
问题
在 win10 上装了 bash on ubuntu,自配的颜色真是看不清,看到知乎上推荐的 molokai 配色挺不错的,我们来记录一下解决的过程
教程
打开 bash on ubuntu,运行下面的命令,进入 vim 的配置文件夹
1 | cd /etc/vim |
从 github 上 clone 下 molokai 的配色方案
1 | git clone https://github.com/tomasr/molokai.git |
clone 完毕后会得到一个 molokai,然后运行下面的命令,将 colors 文件夹拷贝出来,然后就可以删除 molokai 文件夹了
1 | cp -rf molokai/colors/ ./colors |
之后通过编辑 vimrc 文件
1 | vi vimrc |
添加
1 | colorscheme molokai |
然后保存退出就可以了
附件
相关链接