分类目录归档:大数据

【置顶】WMware三种网络模式区别和配置


WMware三种网络模式区别和配置

WMware三种网络模式区别

Bridged桥接模式

特点:a. 默认使用VMnet0,不提供DHCP服务(DHCP服务是指由服务器控制的一段IP地址范围,当 客户机登录服务器时会自动获取服务器分配的IP地址与子网掩码)b. 虚拟机与外部主机需要在同一个网段上,与局域网的其它机器没有区别。c. 可以与局域网内其它主机通信,可以与外部网络通信d. 容易与局域网其他主机引起ip地址冲突

Host-Only仅主机模式

特点:a. 默认使用VMnet1,提供DHCP服务b. 虚拟机可以和物理主机互相访问,但虚拟机无法访问外部网络

NAT模式

特点:a. 默认使用VM

Read more

Markdown基本语法


Markdown基本语法

这里仅介绍最常见的使用语法:

1. 标题

标题前使用#,例如下述代码块:

# 一级标题
## 二级
### 三级
#### 四级

copy

2. 列表

有序列表前使用数字1. ,2. 等,例如:

1. 我是第一个item
2. 我是第二个
3. 我是第三个

copy 无序列表更简单,前面加-即可:

- 不知道第几个item
- 不知道第几个
- 不知道

copy

3. 代码

代码很简单,需要在代码块前后各加上```。

4. 链接和图片

插入链接的样式为显示文本,例如:

[我是一个超链接](https://www.shiyanlou.com)

copy

Read more

如何写好一份软件开发设计文档


前言

设计文档 - 也被称作技术规范和实现手册,描述了你如何去解决一个问题,是确保正确完成工作最有用的工具,其目的是迫使你对设计展开缜密的思考,并收集他人的反馈,进而完善你的想法,同时在软件交付和交接的过程中,能让其他人更通俗易懂的了解之前的设计目的和思路

一、什么是软件开发设计文档

  • 设计文档 - 也被称作技术规范和实现手册,描述了你如何去解决一个问题,是确保正确完成工作最有用的工具
  • 一般来说,设计文档的生命周期有如下几个步骤:
    1. 创建并快速迭代 - 通过不断的思考论证和缜密思考,完善出第一版稳定的文档
    2. 评审(可能有多轮) - 头脑风暴,直面他人的疑问,收集他人的反馈和意见,完善文档
    3. 实现和

Read more

Linux ntp时间服务器


安装ntp服务安装ntp服务

yum –y install ntp

配置详解 /etc/ntp.conf

1. restrict

作用:对ntp做权限控制 - ignore:忽略所有类型的NTP连接请求 - nomodify:限制客户端不能使用命令ntpc和ntpq来修改服务器端的时间 - noquery:不提供NTP网络校时服务 - notrap:不接受远程登录请求 - notrust:不接受没有经过认证的客户端的请求

【如果没有用任何参数,那么表示不做任何限制】

例子:restrict 192.168.31.0 mask 255.255.255.0 nomodify #允许网段:19

Read more

大数据~Hadoop3.3.1+CentOs7 分布式原创


简介

最近在接触大数据相关的项目,项目需求:Hadoop3.3.1 数据库 + CentOs7 环境部署,本着自以为很简单的心态开始部署,结果由于网上教程过于老旧,导致部署过程中查找资料较多,踩过的坑不计其数,本着技术共享的心态特将此次实际部署过程完整的发布出来,以便大家少走弯路,保证如果细心看完之后能够通过本篇文章一站式部署成功,不用在东奔西走去搜集各种资料和踩坑。 想要完全掌握一个新架构,就需要知其然再知其所以然,这样以便日后进行修改和维护,所以本文将从零开始直至完全部署完毕,细节和重点将给各位画出来。

一、Hadoop数据库是什么

Hadoop数据库是一个分布式框架数据库,属于非关系型数

Read more

如何在谷歌开发者工具中寻找元素的xpath路径


如何在谷歌开发者工具中寻找元素的xpath路径?

关于这个问题,有不少同学比较疑惑,这里录了几个小视频请同学参考:

取总页数方法取总页数方法

http://i.hddly.cn/media/0jZaWtmKEF.mp4

取数据项目中的名称

http://i.hddly.cn/media/9eedQaRsuz.mp4

Read more

加载webdriver异常的问题


原先脚本如下

def __init__(self):
        self.browser = webdriver.Chrome()
        self.browser.set_page_load_timeout(30)

Error:

D:\app\python3\python.exe D:/demo/musics/__init__.py
2021-12-15 22:58:10 [scrapy.utils.log] INFO: Scrapy 2.5.1 started (bot: musics)
2021-12-15 22:58:10 [scrapy.utils.log] IN

Read more

终端协议分析工具Fiddler


原视频: 进入

想要Fiddler抓取移动端设备的数据包,其实很简单,先来说说移动设备怎么去访问网络,看了下面这张图,就明白了

可以看得出,移动端的数据包,都是要走wifi出去,所以我们可以把自己的电脑开启热点,将手机连上电脑,Fiddler开启代理后,让这些数据通过Fiddler,Fiddler就可以抓到这些包,然后发给路由器(如图):

  1. 打开Wifi热点,让手机连上(我这里用的360wifi,其实随意一个都行)

  1. 打开Fidder,点击菜单栏中的 [Tools] –> [Fiddler Options]

  1. 点击 [Connections] ,设置代理端口是8888, 勾选

Read more