1.@Component,@Service,@Controller,@Repository是spring注解，注解后可以被spring框架所扫描并注入到spring容器来进行管理2.@Component是通用注解，其他三个注解是这个注解的拓展，并且具有了特定的功能3.如果想使用自定义的组件注解，那么只要在你定义的新注解中加上@Component即可:4.@Repository注解在持久层中，具有将数据库操作抛出的原生异常翻译转化为spring的持久层异常的功能。5.@Controller层是spring-mvc的注解，具有将请求进行转发，重定向的功能。6.@Service层是业务逻辑层注解，这个注解只是标注该类处于业务逻辑层。7.用这些注解对应用进行分层之后，就能将请求处理，义务逻辑处理，数据库操作处理分离出来，为代码解耦，也方便了以后项目的维护和开发。
汇总节点安装Logstash。Logstash运行需要JDK环境，所以需要首先配置相应JAVA_HOME环境变量。下载与filebeat对应版本压缩包：官网地址根据操作系统选择对应的版本下载解压测试：与Filebeat配置连接，新建beat-logstash.conf：指定配置文件启动logstash（cd$LOGSTASH_HOME）：bin/logstash-fconfig/beat-logstash.conf后台启动使用nohupnohup./bin/logstash-fconfig/beat-logstash.conf--config.reload.automatic>/dev/null2>&1&
下载与ES对应的版本：官网地址解压修改$KIBANA_HOME/config/kibana.yml文件启动Kibana：sudo$KIBANA_HOME/bin/kibana浏览器输入host:5601能正常打开页面即可KAAE插件安装KAAE为Kibana的插件，主要用来监控和报警，用户可以根据需求配置相应的监控条件，达到某个条件会发出报警消息，同时KAAE也提供有报告Report功能，能够将查询到的结果生成图表发送到指定邮箱。安装：$KIBANA_HOME/bin/kibana-pulgininstallhttps://github.com/sirensolutions/sentinl/releases/download/tag-6.2.3-3/sentinl-v6.2.4.zip配置kibana.yml文件，在最后加上：重启Kibana后，浏览器输入：http://ip:5601出现以下界面说明插件安装成功可以在页面上按照需求配置监听报警
1.在使用mybatis的动态sql时，有时候遇到根据条件判断添加where后面的筛选条件的情况，会出现多余的AND或者OR：2.使用where关键字:2.1当第一个参数为空时,拼接后的sql为:select*fromtdwhereandphone=.......;2.2当所有的参数都为空时,拼接后的sql为:select*fromtdwhere.....,显然这样的sql不是完整的sql,执行时会报错.3.使用where标签时:3.1当第一个参数为空时,拼接后的sql为:select*fromtdwherephone=......(若语句的开头为AND或者OR时,where元素会将他们去除).3.2当所有的参数都为空时,拼接后的sql为:select*fromtd.(where元素只会在至少有一个子元素的条件返回SQL子句的情况下才去插入“WHERE”子句)。
1.建基础包/文件夹2.application.propertis编写application.propertis基础配置和数据库连接3.index.ftl注:在index.ftl页面可以输入感叹号!,然后按tab键一键生成HTML代码4.IndexController.java5.启动服务启动服务,后再浏览器输入http://localhost:8080,是否能成功访问:
ELK日志分析系统介绍1.系统概述本系统为业务日志分析监控系统，使用ELK+Beats实现对系统业务日志的收集、存储、分析，业务系统运行期间将相关日志输出到一个指定的文件夹/文件内，使用FileBeat组件实现对日志文件夹/文件的监听，可以直接将新增的数据发往设定好的Logstash中过滤，或直接发往ElasticSearch分类存储，当系统运行出现问题时，运维人员可以使用Kibana对存储在ES中的日志数据根据相关字段搜索查找，Kibana也支持对数据进行相应的可视化图表展现。2.系统实现描述2.1采集-filebeat对于日志数据收集使用Filebeat部署在业务服务器后台监听日志文件的方式。Filebeat运行环境没有任何依赖，后台运行占用内存资源极低，相比于Logstash可以忽略不计，不影响服务器正常的业务。Filebeat可以运行在MacOS、Windows、Linux等系统下。Filebeat监听指定的文件（可以使用通配符），一旦文件中有新的一行内容追加则会将这条数据发往配置好的output路径。Filebeat的output支持logstash、ElastciSearch、file、console等，一般的不需要复杂过滤的可以直接发往ES存储，多节点日志采集也可以经过Logstash汇总过滤后，再存储进ES。在Filebaet运行过程中，每个Prospector的状态信息都会保存在内存里。当Filebeat进行了重启后，会从注册表文件里恢复重启之前的状态信息，让FIlebeat继续从之前已知的位置开始进行数据读取。2.2解析-Logstash对于数据解析主要包括：(1)对汇总多节点后的日志进行区分(2)将不规则格式数据转换为规则数据(3)将不符合格式要求的数据过滤去除因为Filebeat只支持简单的数据解析，对于日志的解析过滤整体可以使用Logstash。Logstash内置许多解析格式：grok、date、ip、json...，支持对不规则的数据字符串进行规则化输出，也能够在数据传输过程中添加或删除某些指定字段。将采集到的日志数据经过logstash过滤转换后发往ES建立索引存储。因为logstash占用内存资源较大(默认1G)，为不影响业务尽量不部署在业务服务器上。2.3存储-ElasticSearch日志数据存储使用ElasticSearch，由logstash将过滤完成后的规则化数据存入ES指定索引中。ES有自动发现功能，初期使用ElasticSearch的单节点集群模式，后续想要添加节点只需指定elasticsearch集群名称保持一致,就能自动加入集群，ES就会按照配置将索引分片到新加入的节点上。2.4展现-Kibana(1)ELK中Kibana专门为ES中的数据提供可视化展现的，支持搜索、汇总计算，图表展现等。(2)ElasticSearch也提供有RESTAPI，支持调用接口的方式访问操作索引数据。(3)使用插件进行数据异常监控报警功能实现，如系统日志出现异常报错则可配置发送邮件通知相关人员。(4)Kibana也支持对系统日志进行可视化监控展现，包括CPU、内存、硬盘等。3.系统可用性测试系统运行过程中，logstash宕机：Filebeat会记录发送不成功的数据，并尝试连接logstash，成功连接后会再次将数据发往logstash，下图为再次发送成功后的日志。系统运行过程中，Filebeat宕机：在Filebaet运行过程中，每个Prospector的状态信息都会保存在内存里。当Filebeat进行了宕机重启后，会从注册表文件里恢复重启之前的状态信息，让FIlebeat继续从之前已读取的位置开始往后进行数据读取。系统运行过程中，ES集群宕机：:::hljs-centerLogstash日志::::::hljs-centerFilebeat日志:::logstash没有数据存储功能，ES集群宕机，logstash数据无法发送，Filebeat会记录未成功发送的数据，同时logstash定时尝试连接ES，直到连接成功，数据会再次发送。
FastDFS服务器迁移1.1目标服务器安装FastDFS首先按照上一篇文章《FastDFS介绍和安装》搭建好新的FastDFS服务器(Tracker,Storage),先配置好不用启动1.2修改配置文件修改新的Storage配置文件/etc/fdfs/storage.conf将tracker_server的IP修改为旧的Tracker服务器IP1.3启动目标Storage进程,同步数据servicefdfs_storagedrestart查看同步进程,在旧tracker服务器执行：fdfs_monitor/etc/fdfs/client.conf可以看到同步状态:等待数据同步...ACTIVE标识表示数据已经同步完成数据同步完成后,停掉Storage服务servicefdfs_storagedstop1.4修改storage配置文件修改/etc/fdfs/storage.conf文件将tracker_server的IP修改为新的tracker服务器IP1.5修改.data_init_flag文件该文件所在位置为storage.conf文件中所配置的base_path路径后面的data路径下,如配置为/home/data/fastdfs/storage,则文件所在位置为/home/data/fastdfs/storage/data/下将文件中sync_src_server配置项留空，其它配置项不变sync_src_server=1.6启动进程启动新的storage服务器进程,启动新的tracker服务器进程,在新tracker服务器下fdfs_monitor/etc/fdfs/client.conf查看Storage状态
1.、@RequestParam与@RequestPart主要用来接收文件,两者都能用于后端接收文件2.@RequestPart这个注解用在multipart/form-data表单提交请求的方法上。支持的请求方法的方式MultipartFile，属于Spring的MultipartResolver类。这个请求是通过http协议传输的。3.@RequestParam也同样支持multipart/form-data请求。当请求方法的请求参数类型是String类型的时候。4.@RequestParam适用于name-valueString类型的请求域，@RequestPart适用于复杂的请求域（像JSON，XML）5.@RequestPart注解会生成临时文件，而@RequestParam则不会生成临时文件，效率上ReqeustParam会比RequestPart快一些
Centos安装ApacheHadoop2.7.7准备文件:hadoop-2.7.7.tar.gz一、安装JDK安装Hadoop之前需要保证JDK8成功安装java-version二、上传Hadoop压缩包上传成功后解压文件：tar-zxvfhadoop-2.7.7.tar.gz假设解压后的Hadoop目录为:/home/hadoop/hadoop-2.7.7注意配置HADOOP_HOME环境变量exportHADOOP_HOME=/home/hadoop/hadoop-2.7.7exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin三、配置服务器免密登录$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys$chmod0600~/.ssh/authorized_keys执行完成后:sshmaster命令则能够跳过输入密码阶段直接连接四、修改配置==配置文件所在位置:$HADOOP_HOME/etc/hadoop==core-size.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property></configuration>hdfs-size.xml<configuration><property><name>dfs.replication</name><value>1</value></property></configuration>mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.application.classpath</name><value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value></property></configuration>yarn-site.xml<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property></configuration>五、启动初始化HDFShdfsnamenode-format启动HDFSstart-dfs.sh启动YARNstart-yarn.sh启动成功后访问http://master:50070查看HDFS状态六、相关命令start-dfs.sh启动HDFS(namenode/datanode/SecondaryNamenode)stop-dfs.sh停止HDFSstart-yarn.sh启动Yarnstop-yarn.sh停止Yarnstart-all.sh启动HDFS和Yarnstop-all.sh停止HDFS和Yarn
一、FastDFS介绍1.1介绍FastDFS是一个C语言实现的开源轻量级分布式文件系统，支持Linux、FreeBSD、AID等Unix系统，解决了大数据存储和读写负载均衡等问题，适合存储4KB~500MB之间的小文件，如图片网站、短视频网站、文档、app下载站等，UC、京东、支付宝、迅雷、酷狗等都有使用，其中UC基于FastDFS向用户提供网盘、广告和应用下载的业务的存储服务FastDFS与MogileFS、HDFS、TFS等都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。1.2架构FastDFS服务有三个角色:跟踪服务器(TrackerServer)、存储服务器(storageserver)和客户端(client)TrackerServer:跟踪服务器，主要做调度工作，起到均衡的作用;负责管理所有的storageserver和group，每个storage在启动后会连接Tracker，告知自己所属group等信息，并保持周期性心跳，Tracker根据storage心跳信息，建立group--->[storageserverlist]的映射表;tracker管理的元数据很少，会直接存放在内存;tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，tracker之间是对等关系，因此扩展tracker服务非常容易，之间增加tracker服务器即可，所有tracker都接受stroage心跳信息，生成元数据信息来提供读写服务(与其他Master-Slave架构的优势是没有单点，tracker也不会成为瓶颈，最终数据是和一个可用的StorageServer进行传输的)StorageServer:存储服务器，主要提供容量和备份服务;以group为单位，每个group内可以包含多台storageserver，数据互为备份，存储容量空间以group内容量最小的storage为准;建议group内的storageserver配置相同;以group为单位组织存储能够方便的进行应用隔离、负载均衡和副本数定制;缺点是group的容量受单机存储容量的限制，同时group内机器坏掉，数据恢复只能依赖group内其他机器重新同步(坏盘替换，重新挂载重启fdfs_storaged即可)1.3Group存储策略多个group之间的存储方式有3种策略:roundrobin(轮询)、loadbalance(选择最大剩余空间的组上传文件)、specifygroup(指定group上传)group中storage存储依赖本地文件系统，storage可配置多个数据存储目录，磁盘不做raid，直接分别挂载到多个目录，将这些目录配置为storage的数据目录即可storage接受写请求时，会根据配置好的规则，选择其中一个存储目录来存储文件;为避免单个目录下的文件过多，storage第一次启时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中1.4工作流程1.4.1上传FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。StorageServer会定期的向TrackerServer发送自己的存储信息。当TrackerServerCluster中的TrackerServer不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storageserver。当分配好storageserver后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。FastDFS上传时序图:1.4.2同步写文件时，客户端将文件写至group内一个storageserver即认为写文件成功，storageserver写完文件后，会由后台线程将文件同步至同group内其他的storageserver。每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。1.4.3下载客户端uploadfile成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。跟uploadfile一样，在downloadfile时客户端可以选择任意trackerserver。tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。FastDFS下载时序图：二、FastDFS安装2.1下载安装libfastcommon下载libfastcommonwgethttps://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz解压tar-zxvfV1.0.38.tar.gzcdlibfastcommon-1.0.38编译安装./make.sh./make.shinstall2.2安装fastDFS下载wgethttps://github.com/happyfish100/fastdfs/archive/V5.10.tar.gz解压tar-zxvfV5.10.tar.gzcdfastdfs-5.10编译安装./make.sh./make.shinstallFastdfs的文件目录A、服务脚本：/etc/init.d/fdfs_storaged/etc/init.d/fdfs_trackerdB、配置文件模板:/etc/fdfs/client.conf.sample/etc/fdfs/storage.conf.sample/etc/fdfs/tracker.conf.sample2.3配置跟踪器(Tracker)进入/etc/fdfs，复制FastDFS跟踪器样例配置文件tracker.conf.sample，并重命名为tracker.conf。cd/etc/fdfscptracker.conf.sampletracker.confvimtracker.conf编辑tracker.conf，加粗的需要修改下，其它的默认即可。#配置文件是否不生效，false为生效disabled=false#提供服务的端口port=22122#Tracker数据和日志目录地址(根目录必须存在,子目录会自动创建)base_path=/home/data/fastdfs/trackerhttp.server_port=80创建tracker基础数据目录，即base_path对应的目录mkdir-p/home/data/fastdfs/tracker防火墙中打开跟踪端口（默认的22122）vim/etc/sysconfig/iptables最下面添加一行:-AINPUT-mstate--stateNEW-mtcp-ptcp--dport22122-jACCEPT重启iptables:serviceiptablesrestart启动Tracker初次成功启动，会在/home/data/fdfsdfs/tracker/(配置的base_path)下创建data、logs两个目录。可以用这种方式启动:/etc/init.d/fdfs_trackerdstartservicefdfs_trackerdstart查看FastDFSTracker是否已成功启动，22122端口正在被监听，则算是Tracker服务安装成功。netstat-unltp|grepfdfs关闭Tracker命令：servicefdfs_trackerdstop2.4配置存储(Storage)进入/etc/fdfs目录，复制FastDFS存储器样例配置文件storage.conf.sample，并重命名为storage.conf#cd/etc/fdfs#cpstorage.conf.samplestorage.conf#vimstorage.conf编辑storage.conf,加粗的需要修改，其它的默认即可。#配置文件是否不生效，false为生效disabled=false#指定此storageserver所在组(卷)group_name=group1#storageserver服务端口port=23000#心跳间隔时间，单位为秒(这里是指主动向trackerserver发送心跳)heart_beat_interval=30#Storage数据和日志目录地址(根目录必须存在，子目录会自动生成)base_path=/home/data/fastdfs/storage#存放文件时storageserver支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。store_path_count=1#逐一配置store_path_count个路径，索引号基于0。#如果不配置store_path0，那它就和base_path对应的路径一样。store_path0=/home/data/fastdfs/file#FastDFS存储文件时，采用了两级目录。这里配置存放文件的目录个数。#如果本参数只为N（如：256），那么storageserver在初次运行时，会在store_path下自动创建N*N个存放文件的子目录。subdir_count_per_path=256#tracker_server的列表，会主动连接tracker_server#有多个trackerserver时，每个trackerserver写一行tracker_server=192.168.1.161:22122#允许系统同步的时间段(默认是全天)。一般用于避免高峰同步产生一些问题而设定。sync_start_time=00:00sync_end_time=23:59#访问端口http.server_port=80创建Storage基础数据目录，对应base_path目录mkdir-p/home/data/fastdfs/storage这是配置的store_path0路径mkdir-p/home/data/fastdfs/file防火墙中打开存储器端口（默认的23000）vim/etc/sysconfig/iptables添加如下端口行：-AINPUT-mstate--stateNEW-mtcp-ptcp--dport23000-jACCEPT重启防火墙:serviceiptablesrestart启动Storage启动Storage前确保Tracker是启动的。初次启动成功，会在/home/data/fastdfs/storage目录下创建data、logs两个目录。可以用这种方式启动/etc/init.d/fdfs_storagedstartservicefdfs_storagedstart查看Storage和Tracker是否在通信：/usr/bin/fdfs_monitor/etc/fdfs/storage.conf
- SpringBoot+Thymleaf项目初入(五) - 图片验证码
- SpringBoot+Thymleaf项目初入(四) - 用户登录页面优化
- SpringBoot+Thymleaf项目初入(三) - 用户登录
- SpringBoot+Thymleaf项目初入(二) - 配置基础页面访问
- SpringBoot+Thymleaf项目初入(一) - 基础项目搭建
- MyBatis之where关键字与<where>标签的区别
- 文件上传之@RequestParam与@RequestPart
- Spring注解之@Component
- SpringBoot框架之@Controller和@RestController的区别?
- Centos安装ApacheHadoop2.7.7