Docker-SpringBoot
1 | #基础镜像选择alpine 小巧安全流行方便 |
1 | HEALTHCHECK --start-period=40s --interval=30s --timeout=5s --retries=5 CMD (wget http://localhost:9303/actuator/health -q -O -) | grep UP || exit 1 |
0%
docker 配置 tls 安全远程连接
说明
官方设置Protect the Docker daemon socket
tls(https)安全连接是通过证书进行验证，因为连接协议是https，所以连接的时候端口变成了2376
阿里云开放端口: 2376
1 | #服务端需要的文件 |
生成证书
1 | mkdir /docker_data/cert/ |
修改vim /etc/docker/daemon.json文件
1 | { |
配置完成后重启docker
1 | systemctl daemon-reload |
测试
1 | #服务端测试 |
portioner 连接
idea客户端连接方式
拷贝ca.pem 、cert.pem、key.pem 三个文件到cert目录，然后idea指向cert目录，url用https://ip:2376
docker入门学习
docker 名词解释
下面简单解释下名词的含义，后面会详细介绍：
- docker：docker代表这一个技术的名词，下面一个docker代表一台机器上装的一个docker服务
- container：docker容器，相当于一个轻量的沙盒系统（可以暂时理解一个运行好的虚拟机系统）一个容器只运行一个服务
- images：docker镜像，相当于一个安装包（可以暂时理解成一个系统iso镜像）
- service：docker服务，多个相同的容器组成的一个服务，相当于容器的多个复制，提高了扩展性
- swarm：docker集群，将一个docker或多个docker组成的一个资源集合，包含了网络、负载均衡、多个服务节点、服务发现、服务伸缩
- node：docker节点，一台实际机器上的一个docker算一个节点，节点只有在docker初始化为集群才存在该概念
- docker-compose.yml：服务编排脚本，该脚本只支持单机docker服务编排，相当于服务的启动参数，服务数量都在该脚本配置
- stack：docker集群服务编排模式,stack.yml为集群部署模式的配置文件，文件name可以自定义，这个是多节点服务编排部署模式，在单机的基础上面多支持了容器在那个节点运行，及运行个数等
- DockerFile：docker镜像编排脚本
- Docker-hub：官方docker仓库
- registry：可搭建的私有镜像仓库
- 集群-无状态服务vs有状态服务(共享存储/NAS)
- 分布式集群
docker swarm服务关系
docker编排部署流程
docker简介
容器是打包代码及其所有依赖项的软件的标准单元，因此应用程序可以从一个计算环境快速可靠地运行到另一个计算环境。Docker容器映像是一个轻量级的，独立的，可执行的软件软件包，其中包含运行应用程序所需的一切：代码，运行时，系统工具，系统库和设置。
优势：
- 标准： Docker创建了容器的行业标准，因此它们可以在任何地方移植
- 轻巧：容器共享计算机的OS系统内核，因此不需要每个应用程序都具有OS，从而提高了服务器效率，并降低了服务器和许可成本
- 安全：容器中的应用程序更安全，Docker提供业界最强大的默认隔离功能
虚机vs容器
容器虚化的是操作系统而不是硬件，容器更加便携和高效
docker安装部署
centos安装
1 | sudo yum install -y yum-utils |
docker swarm 初始化
DockerFile镜像编排
1 | # 镜像编排命令 |
dockerfile常见命令说明
1 | #基础镜像选择alpine 小巧安全流行方便 |
Docker-hub 和 registry
docker-compose
docker swarm VS k8s(Kubernetes)
平台安装部署流程
springboot和docker 环境变量
springboot 支持系统环境变量
docker 支持容器环境变量设置
设计原理，不改变基础镜像的情况下，适应不同的环境
1 | 优先级由高到低 |
python-base
python pip 国内仓库代理
在改配置文件 vim ~/.pip/pip.conf添加如下内容，没有该文件创建该文件及目录
1 | [global] |
python 版本切换工具-pyenv
常用命令commands
常见问题issues
1 | #更新安装 |
python包管理工具
包管理工具是指类似maven/gradle的管理工具，和maven包管理不同的是，python还要考虑虚拟环境，有了虚拟环境，才能在不同的虚拟环境安装不同版本的包，就相当于一个项目对应一个虚拟环境，一个虚拟环境安装不同的包
名词介绍
pip包管理
virtualenv虚拟环境
不同的管理工具及方案
方案一：传统模式pip+virtualenv
包依赖管理文件requirements.txt
问题：在pycharm中莫名其妙的找不到已经安装的包(eg:pandas_bokeh)
方案二：pipenv
包依赖管理文件Pipfile
问题：网上说依赖慢，依赖乱
1 | brew install pipenv |
方案三：poetry
问题：放弃有各种bug，对PyCharm兼容差，安装依赖经常失败，pycharm不能自动识别poetry
包依赖管理文件pyproject.toml
1 | # mac zsh安装步骤,注意后面用python3安装 |
PyCharm安装插件Poetry
poetry虚拟环境目录~/Library/Caches/pypoetry/virtualenvs
1 | #查看虚拟环境 |
pyproject.toml 配置文件详解
1 | [tool.poetry] |
python使用数据库
python与mongodb
1 | import pymongo |
python之pandas
DataFrame
loc
1 | #返回为'列标'的那列数据 |
参考
python-dataview
python数据可视化
Pandas支持的可视化后端:matplotlib、bokeh、plotly等
Pandas-matplotlib
老版绘图工具，不支持交互，但是资料较多，支持图表多，pandas的默认绘图后端
1 | import matplotlib.pyplot as plt |
Pandas-Bokeh
首先安装pip install pandas-bokeh
1 | import matplotlib.pyplot as plt |
Pandas-plotly
Pandas-hvplot
hvPlot提供了基于HoloViews和Bokeh的高级绘图API
Pyecharts
支持交互，基于Echarts，运行后会生成个html在项目目录，要在浏览器打开就可以看到图标了
1 | import pyecharts.options as opts |
参考
tools-autosub
AI字幕
安装
1 | #一定要使用http代理，不能用socke5代理，错误详细信息见常见错误1 |
使用
1 | #dcy1.wmv视频日语(ja-jp)生成中文(zh-cn)字幕 |
常见错误
错误1：
1 | ERROR: Could not install packages due to an EnvironmentError: Missing dependencies for SOCKS support. |
解决：原因是安装包不支持socks代理，两种解决方法，一是让它支持，二是采用http代理，这里用第二种方法解决，执行export all_proxy=http://127.0.0.1:58591
错误2：
1 | return value.encode(encoding or "ascii") |
解决：原因环境变量编码的问题，执行
1 | export LANG=en_US.UTF-8 |
上述还无法解决见https://github.com/BingLingGroup/autosub/issues/127上面解决是在dev分支2020.07.02提交的当时还没修复到alpha分支
1 | #升级dev分支 |
tools-ffmpeg
简介
视频转换
常用命令
1 | #查看视频信息 |
基础
1 | #基础格式 |
安装
1 | #mac |
spring logback
spring logback 简介
依赖图
可以发现logback在spring-boot-starter依赖里面，所以引入了springboot都自带logback
graph LR logback-->spring-boot-starter-logging-->spring-boot-starter
1 | +--- org.springframework.boot:spring-boot-starter -> 2.2.2.RELEASE |
logback-spring.xml介绍
1 |
|
application.properties
1 | spring.application.name=testDemo |
log 日志脱敏和超长日志处理
需求：
因为日志里面含有大量的base64的图片数据，各处都有打印，导致日志过大，日志不美观排查问题不方便
参考
spring 国际化
国际化配置
spring自带，所以不需要添加任何依赖
在
resources目录添加1
2
3
4
5
6
7
8#创建message.properties文件并添加
user.name=userName
----------------------------
#创建message_en.properties文件并添加
user.name=user name
---------------------------
#创建message_zh.properties文件并添加
user.name=用户名spring配置文件添加配置
spring.messages.basename=message其中message为国际化的文件，就是上面添加的文件名，如果有文件夹包裹，从resources带上文件相对路径添加测试类,关键类
MessageSource是读取国际化文件1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.MessageSource;
import org.springframework.context.i18n.LocaleContextHolder;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
public class TestControl {
private final Logger logger = LoggerFactory.getLogger(getClass());
MessageSource messageSource;
public String glob() {
String userNmae = messageSource.getMessage("user.name", null, LocaleContextHolder.getLocale());
logger.info("glob :" + userNmae);
return userNmae;
}
}测试，使用postman请求该接口，然后请求
headers里面添加Accept-Language:ch或Accept-Language:en就能返回对应的翻译了
常见问题
出现
No message found under code 'user.name' for locale 'ch'.错误解决：在配置文件
application.properties配置#spring.messages.basename=<你的国际化文件>，或者检查国际化文件是否存在和配置的文件是否匹配
springboot打包套壳
需求
客户需要git自动化部署，但是又不能提供源码，所以打包成jar包，然后在套壳，依赖jar进行部署
原理
graph LR A(springboot源项目)-->G(打包发布成jar,含main class)--做为依赖-->L[springboot套壳项目]-->E[自动部署]
利用maven仓库打包步骤
删除源项目
pom.xml里面的<build></build>标签及里面的内容如果项目里面有公共项目本地依赖(common等)，都要上传，因为打包jar不会打包依赖到jar包里面，上传需要在
pom.xml里面添加，然后执行mave lifecycle 里面的 deploy1
2
3
4
5
6
7
8<distributionManagement>
<repository>
<!--这里的id要和maven里的的settings.xml的id一致-->
<id>nexus</id>
<name>Nexus Release Repository</name>
<url>http://ipaddress/repository/maven-third/</url>
</repository>
</distributionManagement>注意:
上传报错的话，检查依赖包是否设置
<version>0.0.1-SNAPSHOT</version>需要改成<version>0.0.1</version>因为SNAPSHOT上传需要特殊权限上传没有权限，需要添加nexus中仓库的角色权限
nx-repository-view-*-*-edit检查maven的设置文件
setting.xml1
2
3
4
5
6
7<servers>
<server>
<id>nexus</id>
<username>read</username>
<password>read***</password>
</server>
</servers>如果是多项目结构，外面的父项目框架，不需要deploy，在
pom.xml添加下面这个设置1
2
3<properties>
<maven.deploy.skip>true</maven.deploy.skip>
</properties>
新建个maven空项目，其中pom.xml如下
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<!-- 这个千万不能添加，添加会提示找不到main class-->
<!-- <parent>-->
<!-- <groupId>org.springframework.boot</groupId>-->
<!-- <artifactId>spring-boot-starter-parent</artifactId>-->
<!-- <version>2.1.12.RELEASE</version>-->
<!-- </parent>-->
<groupId>com.zy</groupId>
<!-- id不能和原项目一样，不然会提示自己依赖自己-->
<artifactId>bpf_pf_router_zy</artifactId>
<version>1.0.0</version>
<packaging>jar</packaging>
<name>bpf_pf_router_zy</name>
<properties>
<java.version>1.8</java.version>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<skipTests>true</skipTests>
</properties>
<dependencies>
<!-- 源项目打包成的jar-->
<dependency>
<groupId>com.nantian</groupId>
<artifactId>bpf_pf_router</artifactId>
<version>1.0.0</version>
</dependency>
</dependencies>
<!-- 添加主类，主类在原项目，也就是第一步里面删除的那部分里面有-->
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<executions>
<execution>
<goals>
<goal>repackage</goal>
</goals>
<configuration>
<mainClass>com.nantian.bpf.router.App</mainClass>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
利用maven-dependency-plugin进行本地打包
在壳项目pom.xml添加如下配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26.......
<repositories>
<repository>
<id>lib</id>
<url>file:${project.basedir}/lib</url>
</repository>
</repositories>
<build>
........
<plugin>
<artifactId>maven-dependency-plugin</artifactId>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>copy-dependencies</goal>
</goals>
<configuration>
<outputDirectory>${project.build.directory}/lib</outputDirectory>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
......把maven本地库里面的原项目的依赖放到壳项目的lib目录里面
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20├── README.md
├── lib
│ └── com
│ └── nantian
│ └── bpf_pf_router
│ ├── 1.0.0
│ │ ├── _remote.repositories
│ │ ├── bpf_pf_router-1.0.0.jar
│ │ └── bpf_pf_router-1.0.0.pom
│ ├── maven-metadata-local.xml
│ ├── maven-metadata-nexus.xml
│ └── resolver-status.properties
├── pom.xml
├── src
│ └── main
│ ├── java
│ └── resources
│ └── bootstrap.properties
└── target
└── cnpc_dj_business_facerouter-1.0.0.jar更新时将jar更新到lib目录时，如果只更新了jar，需要注意清除maven本地库(lib 加载到 maven本地库，本地库在打包进jar)，否则就更新lib里面的其他文件，这样就能识别出来lib发生了更新
graph LR a[lib]-->b[maven本地库]-->c[jar]
利用lib打包步骤(废弃暂时不能解决)
改造壳项目pom.xml,修改依赖为本地依赖
1
2
3
4
5
6
7
8
9<dependencies>
<dependency>
<groupId>com.nantian</groupId>
<artifactId>bpf_pf_router</artifactId>
<version>1.0.0</version>
<scope>system</scope>
<systemPath>${project.basedir}/src/libs/bpf_pf_router-1.0.0.jar</systemPath>
</dependency>
</dependencies>把原项目jar包放到项目src目录
改造壳项目pom.xml,修改打包参数，不修改，不会把lib打包进jar包
1
2
3
4
5
6
7
8<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
<configuration>
<!--添加下面这句 -->
<includeSystemScope>true</includeSystemScope>
</configuration>
</plugin>
问题
- jar包里面包含依赖，利用本地jar包打包时，依赖不自动打入(暂时未能解决)