编程学习

流峰鱼的编程学习

发表于 更新于 分类于

本教程是在 VMware 的环境下搭建 Hadoop 集群，并在其基础上安装HBase。

本教程更新时间为：2024 年 04 月 28 日，在此之后官方版本更新，请酌情参考。

版本

  • VMware: 17.0.5
  • JDK: Adoptium 1.8.0_402
  • Hadoop: 3.3.6
  • HBase: 2.5.8
阅读全文 »

发表于 更新于 分类于

本教程是在 VMware 的环境下搭建 Hadoop 集群，如果不使用 VMware ，可以跳过 VMware 部分。

本教程更新时间为：2023 年 3 月 20 日，在此之后官方版本更新，请酌情参考。

版本

  • VMware: 17.0.1
  • JDK: Adoptium 8
  • Hadoop: 3.3.4

VMware

优点

  • vmware 是行业领先的多云服务提供商，提供面向各式应用的多云服务，助力企业级控制力的同时实现数字创新。
  • vmware 支持许多 Linux 发行版直接安装虚拟机添加件，稳定，随意升级。
  • vmware 可以选择单个文件存储虚拟机，方便管理和迁移。
阅读全文 »

发表于 更新于 分类于

Android基本概念

Android简介

通信技术

  • 第一代通信技术：是指最初的模拟、仅限语音的蜂窝电话标准。
  • 第二代通信技术：代表为GSM，以数字语音传输技术为核心。
  • 第三代通信技术：是指将无线通信与国际互联网等多媒体通信结合的新一代移动通信系统。
  • 第四代通信技术：全IP数据网络时代，是目前正在被广泛使用的一代，是革命的一代。
  • 第五代通信技术：低时延、低功耗、高可靠，基于高速数据传输的AR、VR、物联网等技术的诞生和普及。

手机操作系统

  • Android安卓手机操作系统
  • iOS苹果手机操作系统
  • Windows Mobile移动设备操作系统
  • Windows Phone移动设备操作系统
  • BlackBerry黑莓手机操作系统

特性

  • 第一：开放性
  • 第二：挣脱束缚
  • 第三：丰富的硬件选择
  • 第四：开发不受限制
  • 第五：与Google应用无缝结合
阅读全文 »

发表于 更新于 分类于

异常

现象为在命令行执行systemctl命令，报如下错误：

1
2
System has not been booted with systemd as init system (PID 1). Can't operate.
Failed to connect to bus: Host is down

解决方法

参考了之后给出如下解决方案：

  1. 安装daemonize和fontconfig
1
sudo apt install -y fontconfig daemonize
  1. 编辑/etc/profile脚本，加入如下内容：
1
2
3
4
5
6
7
8
9
10
SYSTEMD_PID=$(ps -ef | grep '/lib/systemd/systemd --system-unit=basic.target$' | grep -v unshare | awk '{print $2}')

if [ -z "$SYSTEMD_PID" ]; then
   sudo /usr/bin/daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target
   SYSTEMD_PID=$(ps -ef | grep '/lib/systemd/systemd --system-unit=basic.target$' | grep -v unshare | awk '{print $2}')
fi

if [ -n "$SYSTEMD_PID" ] && [ "$SYSTEMD_PID" != "1" ]; then
    exec sudo /usr/bin/nsenter -t $SYSTEMD_PID -a su - $LOGNAME
fi
  1. 修改/etc/sudoers文件，加入如下内容：
1
2
%sudo ALL=(ALL) NOPASSWD: /usr/sbin/daemonize /usr/bin/unshare --fork --pid --mount-proc /lib/systemd/systemd --system-unit=basic.target
%sudo ALL=(ALL) NOPASSWD: /usr/bin/nsenter -t [0-9]* -a su - [a-zA-Z0-9]*
  1. 执行source /etc/profile或者是重新打开terminal，执行systemctl验证是否能够正常操作。

附件

相关连接

发表于 更新于 分类于

本教程是在 Docker 的环境下搭建 Hadoop 集群，如果不使用 Docker，可以跳过 Docker 部分。

本教程更新时间为：2021 年 4 月 26 日，在此之后官方版本更新，请酌情参考。

版本

  • Docker: version 20.10.6, build 370c289
  • JDK: 1.8.0_291
  • Hadoop: 3.2.2

Docker

为什么选择 Docker

Docker 相比较于以前使用的虚拟机软件(VMware,VirtualBox)，有着更少的抽象层，使用起来更加轻便，占用资源少。

阅读全文 »

发表于 更新于 分类于

Java后端开发学习路线

1.编程基础

Java语言

  • 语言基础

    • 基础语法
    • 面向对象
    • 接口
    • 容器
    • 异常
    • 泛型
    • 反射
    • 注解
    • I/O
    • 图形化（如Swing）

  • JVM

    • 类加载机制
    • 字节码执行机制
    • jvm内存模型
    • GC垃圾回收
    • jvm性能监控与故障定位
    • jvm调优

  • 并发/多线程

    • 并发编程基础
    • 线程池
    • 锁
    • 并发容器
    • 原子类
    • juc并发工具类
阅读全文 »

发表于 更新于 分类于

概述

Spark简介

  • Spark最初由美国加州大学伯克利分校（UC Berkeley）的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序

  • 2013年Spark加入Apache孵化器项目后发展迅猛，如今已成为Apache软件基金会最重要的三大分布式计算系统开源项目之一（Hadoop、Spark、Storm）

  • Spark在2014年打破了Hadoop保持的基准排序纪录

    • Spark/206个节点/23分钟/100TB数据
    • Hadoop/2000个节点/72分钟/100TB数据
    • Spark用十分之一的计算资源，获得了比Hadoop快3倍的速度

Spark具有如下几个主要特点：

  • 运行速度快：使用DAG执行引擎以支持循环数据流与内存计算
  • 容易使用：支持使用Scala、Java、Python和R语言进行编程，可以通过Spark Shell进行交互式编程
  • 通用性：Spark提供了完整而强大的技术栈，包括SQL查询、流式计算、机器学习和图算法组件
  • 运行模式多样：可运行于独立的集群模式中，可运行于Hadoop中，也可运行于Amazon EC2等云环境中，并且可以访问HDFS、Cassandra、HBase、Hive等多种数据源

Spark如今已吸引了国内外各大公司的注意，如腾讯、淘宝、百度、亚马逊等公司均不同程度地使用了Spark来构建大数据分析应用，并应用到实际的生产环境中

阅读全文 »

发表于 更新于 分类于

Scala简介

Scala是一门类Java的多范式语言，它整合了面向对象编程和函数式编程的最佳特性。具体来讲：

  • Scala运行于Java虚拟机（JVM）之上，并且兼容现有的Java程序，可以与Java类进行互操作，包括调用Java方法，创建Java对象，继承Java类和实现Java接口。
  • Scala是一门纯粹的面向对象的语言。在Scala语言中，每个值都是对象，每个操作都是方法调用。对象的数据类型以及行为由类和特质描述。类抽象机制的扩展有两种途径，一种途径是子类继承，另一种途径是灵活的混入机制，这两种途径能避免多重继承的种种问题
  • Scala也是一门函数式语言。在Scala语言中，每个函数都是一个值，并且和其他类型（如整数、字符串等）的值处于同一地位。Scala提供了轻量级的语法用以定义匿名函数，支持高阶函数，允许嵌套多层函数，并支持柯里化

Scala安装

Scala运行在Java虚拟机（JVM）之上，因此只要安装有相应的Java虚拟机，所有的操作系统都可以运行Scala程序，包括Window、Linux、Unix、Mac OS等。

JDK安装

下载

首先打开JDK的下载页面

阅读全文 »

发表于 更新于 分类于

前言

目前我国垃圾分类存在的主要问题有三点：

1，垃圾分类正确率不高。

2，居民缺乏垃圾分类的意识和相关知识。

3，没有真正意义上的高效的垃圾分类系统。

基于以上，我们用深度学习的方法做垃圾分类。从技术上旨在通过深度学习，实现垃圾的高精确度分类。

神经网络

神经网络简介

人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。经典的神经网络结构包含三个层次的神经网络。分别为输入层，输出层以及隐藏层。

阅读全文 »

发表于 更新于 分类于

问题

在win10上装了bash on ubuntu，自配的颜色真是看不清，看到知乎上推荐的molokai配色挺不错的，我们来记录一下解决的过程

教程

打开bash on ubuntu，运行下面的命令，进入vim的配置文件夹

1
cd /etc/vim

从github上clone下molokai的配色方案

1
git clone https://github.com/tomasr/molokai.git

clone完毕后会得到一个molokai，然后运行下面的命令，将colors文件夹拷贝出来，然后就可以删除molokai文件夹了

1
2
cp -rf molokai/colors/ ./colors
rm -rf molokai

之后通过编辑vimrc文件

1
vi vimrc

添加

1
colorscheme molokai

然后保存退出就可以了

附件

相关链接

0%