编程学习

流峰鱼的编程学习

发表于 更新于 分类于

本教程是在 VMware 的环境下搭建 Hadoop 集群，并在其基础上安装 HBase。

本教程更新时间为：2024 年 04 月 28 日，在此之后官方版本更新，请酌情参考。

版本

  • VMware: 17.0.5
  • JDK: Adoptium 1.8.0_402
  • Hadoop: 3.3.6
  • HBase: 2.5.8
阅读全文 »

发表于 更新于 分类于

本教程是在 VMware 的环境下搭建 Hadoop 集群，如果不使用 VMware ，可以跳过 VMware 部分。

本教程更新时间为：2023 年 3 月 20 日，在此之后官方版本更新，请酌情参考。

版本

  • VMware: 17.0.1
  • JDK: Adoptium 8
  • Hadoop: 3.3.4

VMware

优点

  • vmware 是行业领先的多云服务提供商，提供面向各式应用的多云服务，助力企业级控制力的同时实现数字创新。
  • vmware 支持许多 Linux 发行版直接安装虚拟机添加件，稳定，随意升级。
  • vmware 可以选择单个文件存储虚拟机，方便管理和迁移。
阅读全文 »

发表于 更新于 分类于

Android 基本概念

Android 简介

通信技术

  • 第一代通信技术：是指最初的模拟、仅限语音的蜂窝电话标准。
  • 第二代通信技术：代表为 GSM，以数字语音传输技术为核心。
  • 第三代通信技术：是指将无线通信与国际互联网等多媒体通信结合的新一代移动通信系统。
  • 第四代通信技术：全 IP 数据网络时代，是目前正在被广泛使用的一代，是革命的一代。
  • 第五代通信技术：低时延、低功耗、高可靠，基于高速数据传输的 AR、VR、物联网等技术的诞生和普及。

手机操作系统

  • Android 安卓手机操作系统
  • iOS 苹果手机操作系统
  • Windows Mobile 移动设备操作系统
  • Windows Phone 移动设备操作系统
  • BlackBerry 黑莓手机操作系统

特性

  • 第一：开放性
  • 第二：挣脱束缚
  • 第三：丰富的硬件选择
  • 第四：开发不受限制
  • 第五：与 Google 应用无缝结合
阅读全文 »

发表于 更新于 分类于

异常

现象为在命令行执行 systemctl 命令，报如下错误：

1
2
System has not been booted with systemd as init system (PID 1). Can't operate.
Failed to connect to bus: Host is down

解决方法

参考了之后给出如下解决方案：

  1. 安装 daemonize 和 fontconfig
1
sudo apt install -y fontconfig daemonize
  1. 编辑 /etc/profile 脚本，加入如下内容：
1
2
3
4
5
6
7
8
9
10
SYSTEMD_PID=$(ps -ef | grep '/lib/systemd/systemd --system-unit=basic.target$' | grep -v unshare | awk '{print $2}')

if [ -z "$SYSTEMD_PID" ]; then
   sudo /usr/bin/daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target
   SYSTEMD_PID=$(ps -ef | grep '/lib/systemd/systemd --system-unit=basic.target$' | grep -v unshare | awk '{print $2}')
fi

if [ -n "$SYSTEMD_PID" ] && [ "$SYSTEMD_PID" != "1" ]; then
    exec sudo /usr/bin/nsenter -t $SYSTEMD_PID -a su - $LOGNAME
fi
  1. 修改 /etc/sudoers 文件，加入如下内容：
1
2
%sudo ALL=(ALL) NOPASSWD: /usr/sbin/daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target
%sudo ALL=(ALL) NOPASSWD: /usr/bin/nsenter -t [0-9]* -a su - [a-zA-Z0-9]*
  1. 执行 source /etc/profile 或者是重新打开 terminal，执行 systemctl 验证是否能够正常操作。

附件

相关连接

发表于 更新于 分类于

本教程是在 Docker 的环境下搭建 Hadoop 集群，如果不使用 Docker，可以跳过 Docker 部分。

本教程更新时间为：2021 年 4 月 26 日，在此之后官方版本更新，请酌情参考。

版本

  • Docker: version 20.10.6, build 370c289
  • JDK: 1.8.0_291
  • Hadoop: 3.2.2

Docker

为什么选择 Docker

Docker 相比较于以前使用的虚拟机软件 (VMware,VirtualBox)，有着更少的抽象层，使用起来更加轻便，占用资源少。

阅读全文 »

发表于 更新于 分类于

Java 后端开发学习路线

1. 编程基础

Java 语言

  • 语言基础

    • 基础语法
    • 面向对象
    • 接口
    • 容器
    • 异常
    • 泛型
    • 反射
    • 注解
    • I/O
    • 图形化（如 Swing）

  • JVM

    • 类加载机制
    • 字节码执行机制
    • jvm 内存模型
    • GC 垃圾回收
    • jvm 性能监控与故障定位
    • jvm 调优

  • 并发 / 多线程

    • 并发编程基础
    • 线程池
    • 锁
    • 并发容器
    • 原子类
    • juc 并发工具类
阅读全文 »

发表于 更新于 分类于

概述

Spark 简介

  • Spark 最初由美国加州大学伯克利分校（UC Berkeley）的 AMP 实验室于 2009 年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序

  • 2013 年 Spark 加入 Apache 孵化器项目后发展迅猛，如今已成为 Apache 软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）

  • Spark 在 2014 年打破了 Hadoop 保持的基准排序纪录

    • Spark/206 个节点 / 23 分钟 / 100TB 数据
    • Hadoop/2000 个节点 / 72 分钟 / 100TB 数据
    • Spark 用十分之一的计算资源，获得了比 Hadoop 快 3 倍的速度

Spark 具有如下几个主要特点：

  • 运行速度快：使用 DAG 执行引擎以支持循环数据流与内存计算
  • 容易使用：支持使用 Scala、Java、Python 和 R 语言进行编程，可以通过 Spark Shell 进行交互式编程
  • 通用性：Spark 提供了完整而强大的技术栈，包括 SQL 查询、流式计算、机器学习和图算法组件
  • 运行模式多样：可运行于独立的集群模式中，可运行于 Hadoop 中，也可运行于 Amazon EC2 等云环境中，并且可以访问 HDFS、Cassandra、HBase、Hive 等多种数据源

Spark 如今已吸引了国内外各大公司的注意，如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了 Spark 来构建大数据分析应用，并应用到实际的生产环境中

阅读全文 »

发表于 更新于 分类于

Scala 简介

Scala 是一门类 Java 的多范式语言，它整合了面向对象编程和函数式编程的最佳特性。具体来讲：

  • Scala 运行于 Java 虚拟机（JVM）之上，并且兼容现有的 Java 程序，可以与 Java 类进行互操作，包括调用 Java 方法，创建 Java 对象，继承 Java 类和实现 Java 接口。
  • Scala 是一门纯粹的面向对象的语言。在 Scala 语言中，每个值都是对象，每个操作都是方法调用。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径，一种途径是子类继承，另一种途径是灵活的混入机制，这两种途径能避免多重继承的种种问题
  • Scala 也是一门函数式语言。在 Scala 语言中，每个函数都是一个值，并且和其他类型（如整数、字符串等）的值处于同一地位。Scala 提供了轻量级的语法用以定义匿名函数，支持高阶函数，允许嵌套多层函数，并支持柯里化

Scala 安装

Scala 运行在 Java 虚拟机（JVM）之上，因此只要安装有相应的 Java 虚拟机，所有的操作系统都可以运行 Scala 程序，包括 Window、Linux、Unix、Mac OS 等。

JDK 安装

下载

首先打开 JDK 的下载页面

阅读全文 »

发表于 更新于 分类于

前言

目前我国垃圾分类存在的主要问题有三点：

1，垃圾分类正确率不高。

2，居民缺乏垃圾分类的意识和相关知识。

3，没有真正意义上的高效的垃圾分类系统。

基于以上，我们用深度学习的方法做垃圾分类。从技术上旨在通过深度学习，实现垃圾的高精确度分类。

神经网络

神经网络简介

人工神经网络（ Artificial Neural Network， 简写为 ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。经典的神经网络结构包含三个层次的神经网络。分别为输入层，输出层以及隐藏层。

阅读全文 »

发表于 更新于 分类于

问题

在 win10 上装了 bash on ubuntu，自配的颜色真是看不清，看到知乎上推荐的 molokai 配色挺不错的，我们来记录一下解决的过程

教程

打开 bash on ubuntu，运行下面的命令，进入 vim 的配置文件夹

1
cd /etc/vim

从 github 上 clone 下 molokai 的配色方案

1
git clone https://github.com/tomasr/molokai.git

clone 完毕后会得到一个 molokai，然后运行下面的命令，将 colors 文件夹拷贝出来，然后就可以删除 molokai 文件夹了

1
2
cp -rf molokai/colors/ ./colors
rm -rf molokai

之后通过编辑 vimrc 文件

1
vi vimrc

添加

1
colorscheme molokai

然后保存退出就可以了

附件

相关链接

0%