Hazelcast数据分发和集群平台管理中心

2020-03-28 categories:资料 author:快乐成长

Hazelcast简介

是Hazelcast公司开源的一款分布式内存数据库产品，提供弹性可扩展、高性能的分布式内存计算。基于Apache v2许可证发布，可用于实现分布式数据存储、数据缓存、消息代理器以及分布式计算平台。Hazelcast强调高速访问分布式数据（通常是分布式的缓存）、分布式计算和分布式消息。
Github地址：https://github.com/hazelcast/hazelcast
官方网站：https://hazelcast.org/
API文档：https://docs.hazelcast.org/docs/latest/manual/html-single/index.html

Hazelcast特性：

1.强大的分布式计算：允许任意业务逻辑执行位置引用，并支持跨集群的分布式扩展。作为完全内存数据存储，Hazelcast IMDG可以在几微秒内转换和提取数据，提供吞吐量和查询。在Hazelcast里所有的数据结构都是分布式的，把多个节点当作一个节点使用，最常用的是map，其它的有Queue（队列），MultiMap，Set，List，跟java里的是一样的，因为实现了java里的泛型接口。
2.支持多种语言：Java, C++, .NET/C#, Python, Scala, and NodeJs
3.持久化：Hazelcast主要是解决访问分布式数据和进行分布式计算时保持低延迟。默认情况下，Hazelcast不涉及磁盘或其它持久化的存储。
4.简易性： Hazelcast 功能只需引用一个jar包，除此之外，不依赖任何第三方包。因此可以非常便捷高效的将其嵌入到各种应用服务器中，而不必担心带来额外的问题（jar包冲突、类型冲突等等）。他仅仅提供一系列分布式功能，而不需要绑定任何框架来使用，因此适用于任何场景。扩展，故障处理和恢复都是自动化的，以便于操作管理
5.自治集群（无中心化）：Hazelcast 没有任何中心节点，在运行的过程中，它自己选定集群中的某个节点作为中心点来管理所有的节点

Hazelcast客户端(管理中心)下载

下载地址：https://hazelcast.org/download/

下载完解压即可，双击start.bat即可启动

这个是管理中心的登录URL

需要先设置账户密码，密码需要字母大小写还有数字

登录页面

与springboot进行集成

SpringBoot官方明确表示支持Hazelcast

https://docs.spring.io/spring-boot/docs/current/reference/html/boot-features-hazelcast.html
引入依赖

<dependency>
       <groupId>com.hazelcast</

… 阅读全文

Java中使用AntiSamy开源项目防御XSS攻击

2020-03-23 categories:资料 author:快乐成长

之前公司有接了一个国土的项目，虽然是内部小项目，但是可能是zhengfu项目竟然找软件测试公司大概测了一下。。。然后出现了以下三种问题：sql注入，XSS攻击，接口访问频率。下面是解决XSS攻击。

研究：

一开始的想法是，弄个过滤器把那些关键字过滤掉不就好了，例如script、eval、document等等，确实网上也有这些例子。可参考此博客https://www.cnblogs.com/myyBlog/p/8890365.html

但是人家可是请专业的软件测试工程师测试的，我这么混过去肯定是不行滴，上面的主要只是简单地过滤掉用户的输入参数，而且过滤得非常的不全面，可能还有很多方面的攻击呢？然后继续的百度找找有没有此方面的开源项目。结果真的找到了一个，就是AntiSamy，OWASP的一个开源项目，通过对用户输入的 HTML / CSS / JavaScript 等内容进行检验和清理，确保输入符合应用规范。AntiSamy被广泛应用于Web服务对存储型和反射型XSS的防御中。这个就相当的强大了啊。

方案：

参考上面的博客的做法：弄一个过滤器XSSFilter，拦截所有路径。再使用HttpServletRequestWrapper来装饰一下HttpServletRequest，已达到XSS清洗来防御XSS攻击。嗯，就这么大概了，网友真强大~

开工：

1、引入Maven依赖：

<!– OWASP AntiSamy 防止XSS攻击–>
<dependency>
<groupId>org.owasp.antisamy</groupId>
<artifactId>antisamy</artifactId>
<version>1.5.5</version>
</dependency>
2、策略文件：

Maven下载下来的依赖里面是带有策略文件，之前试过前一点的版本例如1.5.3好像是没有的。下面我使用的策略文件将是antisamy-ebay.xml，毕竟eBay 是当下最流行的在线拍卖网站之一，防御策略肯定是非常好的。关于AntiSamy的策略文件的详解大家可以去搜一下，毕竟可能以后要改里面的处理规则呢。

3、怎么使用AntiSamy：

想当的简单，首先要指定策略文件生成Policy，然后新建AntiSamy，再对需要进行XSS清洗的内容进行扫面即可。

String xsshtml = “hyf<script>alert(1)</script>”;
Policy policy = Policy.getInstance(“antiSamyPath”);
AntiSamy antiSamy = new … 阅读全文

antisamy的策略文件使用详解

2020-03-23 categories:资料 author:快乐成长

1 前言

Antisamy是OWASP（open web application security project）的一个开源项目，其能够对用户输入的html/css/javascript 脚本进行过滤，确保输入满足规范，无法提交恶意脚本。Antisamy被应用在web服务中对存储型和反射性的xss防御，尤其是在存在富文本输入的场景，antisamy能够很好的解决用户输入体验和安全要求之间的冲突。

Antisamy的对包含非法字符的用户输入的过滤依赖于策略文件，策略文件规定了antisamy对各个标签、属性的处理方法。策略文件定义的严格与否，决定了antisamy对xss漏洞的防御效果。

OWASP中antisamy有java和.net两个项目，这篇文档中仅对java项目进行介绍。从安装、使用及策略文件的定制几个方面讲解如何将antisamy应用到实际项目当中。

2 工具安装

Antisamy的官方下载路径:++https://code.google.com/archive/p/owaspantisamy/downloads++。下载列表中包含antisamy的jar包，同时也包含了几个常用的策略文件。官方下载的链接需要翻墙，为方便使用，将最新版本的antisamy和策略文件放到文档的附件中（见附件1）。

Antisamy直接导入到java的工程即可，但是其运行依赖另外三个库：

xercesImpl.jar http://xerces.apache.org/mirrors.cgi#binary

batik.jar http://xmlgraphics.apache.org/batik/download.cgi

nekohtml.jar http://sourceforge.net/projects/nekohtml/

可以通过链接下载，也可以从marven中直接下载。测试过程中使用的是从marven中下载，使用的版本信息如下：

<orderEntry type=”library” name=”xerces:xercesImpl:2.11.0″ level=”project” />

<orderEntry type=”library” name=”com.nrinaudo:kantan.xpath-nekohtml_2.12:0.1.9″ level=”project” />

<orderEntry type=”library” name=”org.apache.xmlgraphics:batik-script:1.8″ level=”project” />

在导入完成后，在java工程中新建一个类，输入如下代码进行测试，确认安装是否正确。
1. public

… 阅读全文

XSS的防御

2020-03-23 categories:资料 author:快乐成长

简介

XSS 的防御很复杂，并不是一套防御机制就能就解决的问题，它需要具体业务具体实现。

目前来说，流行的浏览器内都内置了一些 XSS 过滤器，但是这只能防御一部分常见的 XSS，而对于网站来说，也应该一直寻求优秀的解决方案，保护网站及用户的安全，我将阐述一下网站在设计上该如何避免 XSS 的攻击。

`HttpOnly`

HttpOnly 最早是由微软提出，并在 IE 6 中实现的，至今已经逐渐成为一个标准，各大浏览器都支持此标准。具体含义就是，如果某个 Cookie 带有 HttpOnly 属性，那么这一条 Cookie 将被禁止读取，也就是说，JavaScript 读取不到此条 Cookie，不过在与服务端交互的时候，Http Request 包中仍然会带上这个 Cookie 信息，即我们的正常交互不受影响。

Cookie 是通过 http response header 种到浏览器的，我们来看看设置 Cookie 的语法：

… 阅读全文

XSS 防御方法总结

2020-03-23 categories:资料 author:快乐成长

1. XSS攻击原理

XSS原称为CSS(Cross-Site Scripting)，因为和层叠样式表(Cascading Style Sheets)重名，所以改称为XSS(X一般有未知的含义，还有扩展的含义)。XSS攻击涉及到三方：攻击者，用户，web server。用户是通过浏览器来访问web server上的网页，XSS攻击就是攻击者通过各种办法，在用户访问的网页中插入自己的脚本，让其在用户访问网页时在其浏览器中进行执行。攻击者通过插入的脚本的执行，来获得用户的信息，比如cookie，发送到攻击者自己的网站(跨站了)。所以称为跨站脚本攻击。XSS可以分为反射型XSS和持久性XSS，还有DOM Based XSS。(一句话，XSS就是在用户的浏览器中执行攻击者自己定制的脚本。)

1.1 反射型XSS

反射性XSS，也就是非持久性XSS。用户点击攻击链接，服务器解析后响应，在返回的响应内容中出现攻击者的XSS代码，被浏览器执行。一来一去，XSS攻击脚本被web server反射回来给浏览器执行，所以称为反射型XSS。

特点：

1> XSS攻击代码非持久性，也就是没有保存在web server中，而是出现在URL地址中；

2> 非持久性，那么攻击方式就不同了。一般是攻击者通过邮件，聊天软件等等方式发送攻击URL，然后用户点击来达到攻击的；

1.2 持久型XSS

区别就是XSS恶意代码存储在web server中，这样，每一个访问特定网页的用户，都会被攻击。

特点：

1> XSS攻击代码存储于web server上；

2> 攻击者，一般是通过网站的留言、评论、博客、日志等等功能(所有能够向web server输入内容的地方)，将攻击代码存储到web server上的；

有时持久性XSS和反射型XSS是同时使用的，比如先通过对一个攻击url进行编码(来绕过xss filter)，然后提交该web

… 阅读全文

微服务核心研究之–编排

2020-03-23 categories:资料 author:快乐成长

一、微服务编排的必要性
二：3种常见的微服务编排方式
1、Orchestration（编制）
2、Choreography（编排）
3、API网关
三、微服务编排的框架（Orchestration方式）
1、流程编排的思路
2、流程编排的模型
3、适配参数
4、流水号
5、调用链分析
四、微服务编排的事务一致性
五、微服务编排的监控工具支撑

一、微服务编排的必要性

微服务是目前流行的一种新兴的软件架构风格，在微服务体系结构中，可以将应用分解为多个更小颗粒度的服务, 各个服务可以由不同的团队并行独立开发、部署。

（图片来源：https://www.nginx.com/blog/introduction-to-microservices/）

以一个出租车调度软件为例，最开始是一个单体应用，应用核心是业务逻辑，由定义服务、域对象和事件的模块完成。尽管也是模块化逻辑，但是最终它还是会打包并部署为单体式应用。随着时间增加，功能逐渐增多，代码越来越多，这个软件就会越来越难维护。这时使用微服务架构就是不错的选择。一个微服务一般完成某个特定的功能，比如定单管理、客户管理等等。每一个微服务都有自己的业务逻辑和适配器。一些微服务还会发布API给其它微服务和应用客户端使用。其它微服务完成一个Web UI，运行时，每一个微服务实例可能是一个Docker容器。

《The Art of Scalability》(中文书名：架构即未来) 一书介绍了一个应用横向扩展所需要遵守的AKF扩展模型。根据AKF扩展模型，横向扩展实际上包含了三个维度，而横向扩展解决方案则是这三个维度上所做工作的结合。X轴表示水平复制，Y轴表示应用功能拆解，Z轴表示按数据拆分。微服务架构模式对应于代表可扩展模型的Y轴。

当一个系统采用了微服务架构后，原有的业务可能并没有发生变化，但系统已被拆分成了很多新的微服务，与传统架构相比，微服务架构下会更依赖通过各微服务之间的协作来实现一个完整的业务流程，这种协作就是服务编排。编排涉及到RPC、分布式事务等，需要有完善的编排框架来支撑。

二：3种常见的微服务编排方式

目前有3种常见的微服务编排方式，实现微服务的组合与协调，可根据开发项目的实际情况进行选择。

1、Orchestration（编制）

Orchestration面向可执行的流程：通过一个可执行的流程来协同内部及外部的服务交互，通过流程来控制总体的目标、涉及的操作、服务调用顺序。

Orchestration和BPM、ESB的思想很相似，首先要有一个流程控制服务，该服务接收请求，依照业务逻辑规则，依次调用各个微服务，并最终完成处理逻辑。可以把控制服务视作BPM、ESB引擎，微服务视作BPM、ESB的各种组件。

Orchestration实现方案多是同步的。

优点：

… 阅读全文

DNS BIND主辅同步之TSIG加密

2020-03-21 categories:资料 author:快乐成长

Transaction signatures(TSIG)通常是一种确保DNS消息安全，并提供安全的服务器与服务器之间通讯(通常是在主从服务器之间)的机制。TSIG可以保护以下类型的DNS服务器：Zone转换、Notify、动态升级更新、递归查询邮件。TSIG适用于BIND v8.2及以上版本。TSIG使用共享秘密和单向散列函数来验证的DNS信息。 TSIG是易于使用的轻便解析器和命名机制。TSIG是一个安全的访问控制机制，保护信息在传输的过程中不会被改变。
一、工作原理
1、每个域名服务器增加了一个TSIG记录DNS服务器间的查询和信息的数据块
2、TSIG中记录了DNS消息签名，证明该邮件发件人与收件人共有一个共享密钥，并且在消息发送后不可被修改。
3、TSIG使用单向散列函数来验证身份和判断数据完整性。
要求：时间必须是准确的。

二、生成TSIG

使用bind提供的工具dnsssec-kengen生成共享密钥。

/home/slim/bind/sbin/dnssec-keygen -a HMAC-MD5 -b 128 -n HOST “test_key”

生成Ktest_key.+157+45410.key公用和Ktest_key.+157+45410.private私钥文件

# cat Ktest_key.+157+45410.private
Private-key-format: v1.3
Algorithm: 157 (HMAC_MD5)
Key: epYaIl5VMJGRSG4WMeFW5g==
Bits: AAA=
Created: 20150418165400
Publish: 20150418165400
Activate: 20150418165400

将生成的key写到secret文件中
vi … 阅读全文

谈谈我所理解的业务流程编排

2020-03-21 categories:资料 author:快乐成长

名词

能力

指完成某一单一的业务行为，比如限购，限流等，流程编排中被编排的即“能力”，他可以由一个或者一组执行组件共同完成，执行组件可以是一个类或者一个spring bean，取决于执行引擎的支持，“能力”应该具有明确的语义，一定的通用性，一般而言，在项目迭代中，无法避免的会遇到一些“能力”被细化拆解，在我们定义能力的时候，需要尽可能去合理的细化“能力”的作用域。

业务身份

描述一条业务的唯一id，通过业务行为(比如下单，退款等)和从业务中抽离的特殊属性(比如商品属性，活动类型等)唯一确定一条业务的身份，业务身份可以使单个维度，也可是多个维度的聚合，只要能够唯一匹配一条业务规则即可。

业务规则

业务能力的聚合，一个业务身份对应一条业务规则，执行引擎按照业务规则调度各个能力，业务规则在执行引擎中会被解释成指令清单，执行引擎利用指令清单去动态或者预生产执行链。

流程编排

使用各种“能力”进行编排来完成某一业务，各个“能力”被有序的编织起来，聚合成一条特定的执行链。流程编排几乎适用于所有的业务型系统，特别是在业务身份非常多的系统中更受青睐。

流程编排的优势

流程配置化

通过配置化的方式形成业务规则，通过插拔某些组件形成新的规则，每条规则对应一个业务身份(比如，“虚拟商品下单”就是一个业务身份)，当我们需要新增业务身份，其实就是在对能力进行聚合编排，最终配置成我们需要的业务规则。

能力复用

在更多的业务身份产生的同时，更多的业务能力也被我们沉淀下来，能力会被编排进更多的业务规则中，在各个规则中复用。

业务细节聚合

在传统模式中，随着需求的不断迭代以及开发人员不同的编码习惯，越来越多的业务逻辑被分散在各个代码模块，给后续业务的理解和迭代造成很大的困难，而通过流程编排，不同的能力被分组聚合，各个能力职责单一，校验只做校验，装配只做装配。

统一开发思维

流程编排“约束”了编码方式，让开发者将注意力集中在业务线的设计和实现点的编码，按照“一切业务皆可编排”原则，所有的业务先按照相对固定的思维去设计“线”，再扣“点”，当开发者结合产品需求对“线”的设计完备以后，完全可以沉浸于“点”的实现，并且可以按照“点”的特性安排不同的开发人员进行完成。

有助于实现可视化的业务地图

根据规则，对应实现可视化的业务地图

通过执行引擎，实现技术细节和业务逻辑的分离

开发人员只需要定规则，具体的执行完全由执行引擎调度，强大的执行引擎通过其本身复杂的实现而让开发者获得更好的编码体验，如跨组件事务，依赖注入，监控等。

缩短项目周期

流程编排提倡能力复用，通过编排大部分已经实现的能力和少量新编码的能力来完成业务流程，并不断沉淀新能力以面对更多需求迭代。这是一个不断进化和自我成长的过程。

有助于业务理解

在我之前的公司中，可视化的规则配置中心，对新人以及非开发同学了解业务有很大帮助，在业务身份非常多的系统中，贯通所有的需求场景对任何人来说都不是一件容易的事情，而配置中心正好体现了所有的场景以及其细节，它的职责不仅仅是“配置规则”和“管控规则”，更在于对规则的描述。

如何定义一条业务流程

规则设计优先基于对需求的理解，并且考虑规则的通用性和前瞻性，以满足未来可能的迭代。

列举能力

对需求有了整体的了解之后，流程需要的能力也变得清晰，我们以“限购”这个case为例，分析他需要调配的能力为：
【普通限购参数检查】【用户信息检查】【店铺信息检查】【商品信息装配】【限购逻辑执行】
以上，我们会复用【用户信息检查】【店铺信息检查】【商品信息装配】这三个已经在别的业务流程中沉淀下来的能力，那么本次需求即专注于【普通限购参数检查】和【限购逻辑执行】能力的实现，在设计规则聚合的时候，尽可能的使用已经实现的能力，这些能力相对稳定，低bug，同时也避免重复造轮子，加快研发进程。

能力分组

根据各个能力行为上的差异，我们将能力进行分组：

image.png

能力实现

大多数情况下会有一些能力未实现或者现有的能力不满足我们的项目需求，此时需要开发同学去实现这些新的能力，根据执行引擎的不同，编码会有不同的约束，有些需要继承特定的接口，有些需要在注解中申明执行方法，但是能力的实现一定会遵循一些原则：

原则	说明

… 阅读全文

如何使用开源组件解决web应用中的XSS漏洞

2020-03-19 categories:资料 author:快乐成长

本文包含以下内容：

XSS概述
XSS的防御原则
开源组件的使用

XSS（跨站脚本攻击）漏洞是Web应用程序中最常见的漏洞之一，它指的是恶意攻击者往Web页面里插入恶意html代码，当用户浏览该页之时，嵌入其中Web里面的html代码会被执行，从而达到恶意攻击用户的特殊目的，比如获取用户的cookie，导航到恶意网站，携带木马等。根据其触发方式的不同，可以分为反射型XSS、存储型XSS和DOM-base型XSS。漏洞“注入理论”认为，所有的可输入参数，都是不可信任的。通常我们说的不可信任的数据是指来源于HTTP客户端请求的URL参数、form表单、Headers以及Cookies等，但是，与HTTP客户端请求相对应的，来源于数据库、WebServices、其他的应用接口数据也同样是不可信的，这即是反射型XSS与存储型XSS的本质区别。+

一般来说，我们可以通过XSS漏洞的表现形式来区分漏洞是反射型、存储型、DOM-base三种中的哪一种类型。

反射型XSS是指通过给别人发送带有恶意脚本代码参数的URL，当URL地址被打开时，带有恶意代码参数被HTML解析、执行。它的特点是非持久化，必须用户点击带有特定参数的链接才能引起。它的连接形式通常如下：http://localhost/vulnerabilities/xss_r/?name=%3Cscript%3Ealert%281%29%3B%3C%2Fscript%3E

其name参数的值为<script>alert(1);</script>，这样的参数值进入程序代码后未做任何处理，从而被执行。其代码如下图：

存储型XSS是指恶意脚本代码被存储进数据库，当其他用户正常浏览网页时，站点从数据库中读取了非法用户存储的非法数据，导致恶意脚本代码被执行。通常代码结构如下图：

其发生XSS的根本原因是服务器端对写入数据库中的内容未做javascript脚本过滤。

DOM-base型XSS是指在前端页面进行DOM操作时，带有恶意代码的片段被HTML解析、执行，从而导致XSS漏洞。

无论是哪种类型的XSS漏洞，其解析完成后，漏洞利用的代码基本雷同的。在日常工作中，常见的XSS漏洞Exploit攻击点有：

恶意js的引用

Img标签（以img为例，下同）

大小写绕过安全检测

破坏原始标签结构

基于标签事件触发

fromCharCode编码绕过

javascript 转码

HTML转码

混合型

CSS文本

CSS属性值

基于XSS上面所述的特性，在XSS的频发代码中，我们通常遵循以下处理规则:

从上表中我们可以看出，ESAPI、HeadLines、AntiSamy、HTML Sanitizer 是开源组件中防御功能比较全面的4个，其中ESAPI、HeadLines除了对XSS具有很好的防御能力外，还对OWASP TOP 10中其他的安全漏洞都具有规范处理的能力。在单纯性地讨论其对XSS的防御能力时，我们需要看具体的应用场景或者需求点。如果仅仅是对客户端提交的简单的请求参数（通常指form表单域，不包含复杂文本和可编辑文本）做安全过滤，则HTML Sanitizer、Java Encoder都可以作为首选解决方案；如果不但对客户端提交的简单的请求参数做安全处理，而且，应用中会涉及复杂文本，类似于BBCode文本之类的数据处理，通常会首选AntiSamy作为解决方案；如果除了以上两点外，还需要做同源策略安全、Http Header安全、Cookies安全，则通常会首选HeadLines作为解决方案；如果还有更多层次的用户安全、Session会话安全、口令或随机数安全等，则ESAPI和Apache Shiro将会被考虑。那么，具体到某个软件项目中，是如何使用开源组件对XSS漏洞进行防护的呢？下面就以Java语言为例，对处理过程做简要的阐述。

第一步：确定使用的开源组件

首选是确定使用的开源组件，只有开源组件确定下来，才能确定解决方案的细节部分。在选择开源组件之前，要理解业务涉及的需求点，以免遗漏。一般来说，简单文本参数使用HTML Sanitizer，复杂文本参数使用AntiSamy。

第二步：定义安全过滤器

… 阅读全文

Hazelcast 配置教程

2020-03-10 categories:资料 tags:hazelcast author:快乐成长

在入门及使用案例一文介绍了什么是Hazelcast，并展示了一个简单的使用例子。原理大家都懂了，后面的篇章会给兄弟们更多干货。

本篇博文将细说如何配置Hazelcast，听我慢慢给你们侃。

XML基本配置

如果用户没有指定或提供任何配置文件，Hazelcast默认会使用jar包中自带的配置文件——”hazelcast-default.xml“来配置Hazelcast的运行环境。Hazelcast默认采用XML格式作为配置文件，当然也支持其他配置方法，后文会详细说明。我们先看看下面这个简单的配置文件例子。

<hazelcast xsi:schemaLocation="//" xmlns="//" xmlns:xsi="">
    <group>
        <name>dev</name>
        <

… 阅读全文

快乐成长

Hazelcast简介

Hazelcast特性：

Hazelcast客户端(管理中心)下载

与springboot进行集成

SpringBoot官方明确表示支持Hazelcast

1 前言

2 工具安装

简介

HttpOnly

目录：

一、微服务编排的必要性

二：3种常见的微服务编排方式

1、Orchestration（编制）

名词

能力

业务身份

业务规则

流程编排

流程编排的优势

流程配置化

能力复用

业务细节聚合

统一开发思维

有助于实现可视化的业务地图

通过执行引擎，实现技术细节和业务逻辑的分离

缩短项目周期

有助于业务理解

如何定义一条业务流程

列举能力

能力分组

能力实现

XML基本配置

`HttpOnly`