Flyway指南

教程

2022-11-06

Flyway指南

flyway工作流程如下：

项目启动，应用程序完成数据库连接池的建立后，Flyway自动运行。
初次使用时，flyway会创建一个 flyway_schema_history 表，用于记录sql执行记录。
Flyway会扫描项目指定路径下(默认是 classpath:db/migration )的所有sql脚本，与 flyway_schema_history 表脚本记录进行比对。如果数据库记录执行过的脚本记录，与项目中的sql脚本不一致，Flyway会报错并停止项目执行。
如果校验通过，则根据表中的sql记录最大版本号，忽略所有版本号不大于该版本的脚本。再按照版本号从小到大，逐个执行其余脚本。

让我们开始使用Flyway进行数据库管理.

1.配置

创建一个springboot的项目,添加maven插件

			<plugin>
				<groupId>org.flywaydb</groupId>
				<artifactId>flyway-maven-plugin</artifactId>
      </plugin>

导包

<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<dependency>
   <groupId>mysql</groupId>
   <artifactId>mysql-connector-java</artifactId>
</dependency>
<dependency>
   <groupId>org.flywaydb</groupId>
   <artifactId>flyway-core</artifactId>
</dependency>
<dependency>
   <groupId>org.flywaydb</groupId>
   <artifactId>flyway-mysql</artifactId>
</dependency>
<dependency>
   <groupId>org.projectlombok</groupId>
   <artifactId>lombok</artifactId>
   <optional>true</optional>
</dependency>

application配置文件

spring:
  flyway:
    # 文件位置
    locations: classpath:db/sql
    # 是否启用
    enabled: true
    # 文件版本
    baseline-version: 1
    # 文件前缀 社区版会报错
    # baselineMigrationPrefix is not supported by Flyway Community Edition Try Flyway Teams Edition for free: https://rd.gt/2VzHpkY
    # baseline-migration-prefix: V
    # 在没有元数据表的情况下，针对非空Schema执行迁移时是否自动调用基线。 （默认值：false）
    baseline-on-migrate: true
    # 迁移时是否进行校验，默认true
    validate-on-migrate: true
    # 编码格式，默认UTF-8
    encoding: UTF-8
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://${mysql.ip}:${mysql.port}/flyway?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2b8
    username: ${mysql.username}
    password: ${mysql.password}

2.定义第一次迁移

可以通过配置看到默认的路径是classpath:db/migration但是上面我们通过locations的配置改成了db/sql,所以我们在resources文件夹中创建目录db/sql

Flyway 遵循以下迁移脚本命名约定：

<前缀><版本>__<说明>.sql

<前缀>–默认前缀是V，我们可以在上面的配置文件中使用flyway.sqlMigrationPrefix属性进行更改。
<版本> – 迁移版本号。主要版本和次要版本可以用下划线分隔。迁移版本应始终以 1 开头。
<描述> – 迁移的文本描述。双下划线将说明与版本号分开。

示例：V1.0.0__Base_version.sql

现在让我们在项目的 resources/db/sql目录下面创建一个文件夹 1.0.0,再创建一个名为V1.0.0__Base_version.sql的迁移脚本

DROP TABLE IF EXISTS user ;
CREATE TABLE `user` (
                        `id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键',
                        `name` varchar(20) NOT NULL COMMENT '姓名',
                        `age` int DEFAULT NULL COMMENT '年龄',
                        PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;


DROP TABLE IF EXISTS student ;
CREATE TABLE `student` (
                           `id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键',
                           `name` varchar(20) NOT NULL COMMENT '姓名',
                           `age` int DEFAULT NULL COMMENT '年龄',
                           PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

这个时候启动springboot项目,就可以在数据库中看到三个表flyway_schema_history,user,student;

3.定义第二次迁移

在项目的 resources/db/sql目录下面创建一个文件夹 1.1.0,再创建一个名为V1.1.0__20221106_insert.sql的迁移脚本

insert into user(name,age) values ('张三',13);
insert into user(name,age) values ('李四',14);
insert into user(name,age) values ('王五',15);

启动springboot项目,就可以在数据库user表中看到插入的数据,而且还可以看到flyway_schema_history表多了两行数据对应我们刚刚的两个迁移脚本

installed_rank|version|description    |type|script                            |checksum   |installed_by|installed_on       |execution_time|success|
--------------+-------+---------------+----+----------------------------------+-----------+------------+-------------------+--------------+-------+
             1|1.0.0  |Base version   |SQL |v1.0.0/V1.0.0__Base_version.sql   | -852860158|root        |2022-11-06 10:10:47|           520|      1|
             2|1.1.0  |20221106 insert|SQL |v1.1.0/V1.1.0__20221106_insert.sql|-1054580649|root        |2022-11-06 10:10:48|           306|      1|

4.定义第三次迁移

在项目的 resources/db/sql目录下面创建一个文件夹1.2.0,再创建一个名为V1.2.0__20221106_insert.sql的迁移脚本

insert into student(name,age)values ('张三',13);
insert into student(name,age)values ('李四',14);
insert into student(name,age)values ('王五',15);

启动springboot项目,就可以在数据库student表中看到插入的数据

5.定义第五次迁移

我们更改db/sql/v1.2.0/V1.2.0__20221106_insert.sql这个文件,新加一条数据

insert into student(name,age)values ('张三',13);
insert into student(name,age)values ('李四',14);
insert into student(name,age)values ('王五',15);
insert into student(name,age)values ('刘六',16);

启动springboot项目,我们就会得到一个错误Validate failed: Migrations have failed validation,这是因为检查到V1.2.0__20221106_insert.sql已经发生改变了与flyway_schema_history checksum的不一致


org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'flywayInitializer' defined in class path resource [org/springframework/boot/autoconfigure/flyway/FlywayAutoConfiguration$FlywayConfiguration.class]: Invocation of init method failed; nested exception is org.flywaydb.core.api.exception.FlywayValidateException: Validate failed: Migrations have failed validation
Migration checksum mismatch for migration version 1.2.0
-> Applied to database : -860246032
-> Resolved locally    : 461714632
Either revert the changes to the migration, or run repair to update the schema history.
Need more flexibility with validation rules? Learn more: https://rd.gt/3AbJUZE
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1804) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:620) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:542) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractBeanFactory.lambda$doGetBean$0(AbstractBeanFactory.java:335) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.DefaultSingletonBeanRegistry.getSingleton(DefaultSingletonBeanRegistry.java:234) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:333) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:208) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBean(AbstractBeanFactory.java:322) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:208) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.DefaultListableBeanFactory.preInstantiateSingletons(DefaultListableBeanFactory.java:955) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.context.support.AbstractApplicationContext.finishBeanFactoryInitialization(AbstractApplicationContext.java:918) ~[spring-context-5.3.23.jar:5.3.23]
	at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:583) ~[spring-context-5.3.23.jar:5.3.23]
	at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:734) [spring-boot-2.7.5.jar:2.7.5]
	at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:408) [spring-boot-2.7.5.jar:2.7.5]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:308) [spring-boot-2.7.5.jar:2.7.5]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1306) [spring-boot-2.7.5.jar:2.7.5]
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1295) [spring-boot-2.7.5.jar:2.7.5]
	at com.example.flyway.FlywayApplication.main(FlywayApplication.java:10) [classes/:na]
Caused by: org.flywaydb.core.api.exception.FlywayValidateException: Validate failed: Migrations have failed validation
Migration checksum mismatch for migration version 1.2.0
-> Applied to database : -860246032
-> Resolved locally    : 461714632
Either revert the changes to the migration, or run repair to update the schema history.
Need more flexibility with validation rules? Learn more: https://rd.gt/3AbJUZE
	at org.flywaydb.core.Flyway$1.execute(Flyway.java:130) ~[flyway-core-8.5.13.jar:na]
	at org.flywaydb.core.Flyway$1.execute(Flyway.java:124) ~[flyway-core-8.5.13.jar:na]
	at org.flywaydb.core.FlywayExecutor.execute(FlywayExecutor.java:205) ~[flyway-core-8.5.13.jar:na]
	at org.flywaydb.core.Flyway.migrate(Flyway.java:124) ~[flyway-core-8.5.13.jar:na]
	at org.springframework.boot.autoconfigure.flyway.FlywayMigrationInitializer.afterPropertiesSet(FlywayMigrationInitializer.java:66) ~[spring-boot-autoconfigure-2.7.5.jar:2.7.5]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.invokeInitMethods(AbstractAutowireCapableBeanFactory.java:1863) ~[spring-beans-5.3.23.jar:5.3.23]
	at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1800) ~[spring-beans-5.3.23.jar:5.3.23]
	... 17 common frames omitted

解决办法

手动修正这一条数据,但是改动的数据不会执行,相当于跳过. update flyway_schema_history set checksum = 461714632 where version = '1.2.0';
删除这条数据 delete from flyway_schema_history where version = '1.2.0';

6.重复运行的SQL

可重复运行的SQL，则以大写的“R”开头，后面再以两个下划线分割，其后跟文件名称例如:R__empty_data.sql 他是不会被flyway检测的所以在flyway_schema_history中他的checksum的值是0;

7.插件管理

配置插件

			<plugin>
				<groupId>org.flywaydb</groupId>
				<artifactId>flyway-maven-plugin</artifactId>
				<configuration>
					<user>${mysql.username}</user>
					<password>${mysql.password}</password>
					<url>jdbc:mysql://${mysql.ip}:${mysql.port}/flyway?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=GMT%2b8</url>
					<locations>
						<location>classpath:db/sql</location>
					</locations>
					<schemas>
						<schema>flyway</schema>
					</schemas>
				</configuration>
			</plugin>

命令:

baseline

对已经存在数据库Schema结构的数据库一种解决方案。实现在非空数据库新建MetaData表，并把Migrations应用到该数据库；也可以在已有表结构的数据库中实现添加Metadata表。
clean

清除掉对应数据库Schema中所有的对象，包括表结构，视图，存储过程等，clean操作在dev 和 test阶段很好用，但在生产环境务必禁用。
info

用于打印所有的Migrations的详细和状态信息，也是通过MetaData和Migrations完成的，可以快速定位当前的数据库版本。
repair

repair操作能够修复metaData表，该操作在metadata出现错误时很有用。
undo

撤销操作，社区版不支持。
validate

验证已经apply的Migrations是否有变更，默认开启的，原理是对比MetaData表与本地Migrations的checkNum值，如果值相同则验证通过，否则失败。

7.flyway知识补充

flyway执行migrate必须在空白的数据库上进行，否则报错。
对于已经有数据的数据库，必须先baseline，然后才能migrate。
clean操作是删除数据库的所有内容，包括baseline之前的内容。
尽量不要修改已经执行过的SQL，即便是R开头的可反复执行的SQL，它们会不利于数据迁移。
当需要做数据迁移的时候，更换一个新的空白数据库，执行下migrate命令，所有的数据库更改都可以一步到位地迁移过去。

8.flyway配置清单

flyway.baseline-description对执行迁移时基准版本的描述.
flyway.baseline-on-migrate当迁移时发现目标schema非空，而且带有没有元数据的表时，是否自动执行基准迁移，默认false.
flyway.baseline-version开始执行基准迁移时对现有的schema的版本打标签，默认值为1.
flyway.check-location检查迁移脚本的位置是否存在，默认false.
flyway.clean-on-validation-error当发现校验错误时是否自动调用clean，默认false.
flyway.enabled是否开启flywary，默认true.
flyway.encoding设置迁移时的编码，默认UTF-8.
flyway.ignore-failed-future-migration当读取元数据表时是否忽略错误的迁移，默认false.
flyway.init-sqls当初始化好连接时要执行的SQL.
flyway.locations迁移脚本的位置，默认db/migration.
flyway.out-of-order是否允许无序的迁移，默认false.
flyway.password目标数据库的密码.
flyway.placeholder-prefix设置每个placeholder的前缀，默认${.
flyway.placeholder-replacementplaceholders是否要被替换，默认true.
flyway.placeholder-suffix设置每个placeholder的后缀，默认}.
flyway.placeholders.[placeholder name]设置placeholder的value
flyway.schemas设定需要flywary迁移的schema，大小写敏感，默认为连接默认的schema.
flyway.sql-migration-prefix迁移文件的前缀，默认为V.
flyway.sql-migration-separator迁移脚本的文件名分隔符，默认__
flyway.sql-migration-suffix迁移脚本的后缀，默认为.sql
flyway.tableflyway使用的元数据表名，默认为schema_version
flyway.target迁移时使用的目标版本，默认为latest version
flyway.url迁移时使用的JDBC URL，如果没有指定的话，将使用配置的主数据源
flyway.user迁移数据库的用户名
flyway.validate-on-migrate迁移时是否校验，默认为true

2022-12-10

2022-10-22

Flyway指南

Flyway指南

1.配置

2.定义第一次迁移

3.定义第二次迁移

4.定义第三次迁移

5.定义第五次迁移

6.重复运行的SQL

7.插件管理

7.flyway知识补充

8.flyway配置清单

JavaCV 视频流抽帧

函数式接口