ignite分布式计算

在ignite中，有传统的MapReduce模型的分布式计算，也有基于分布式存储的并置计算，当数据分散到不同的节点上时，根据提供的并置键，计算会传播到数据所在的节点进行计算，再结合数据并置，相关联的数据存储在相同节点，这样可以避免在计算过程中涉及到大量的数据移动，有效保证计算的性能。

ignite分布式计算的主要特点如下：

1.分布式闭包:

Ignite计算网格可以对集群或者集群组内的任何闭包进行广播和负载平衡，包括纯Java的runnables和callables

ComputeTestController.java

    /** broadCast测试*/
    @RequestMapping("/broadcast")
    String broadcastTest(HttpServletRequest request, HttpServletResponse response) {

使用ignite的一个常见思路就是将现有的关系型数据库中的数据导入到ignite中，然后直接使用ignite中的数据，相当于将ignite作为一个缓存服务，当然ignite的功能远不止于此，下面以将ignite集成进java服务的方式进行演示ignite的数据存储和查询相关的功能。由于个人习惯，示例演示没有使用测试代码，而是使用rest接口演示。

​ 在讲数据加载之前，ignite中存储的几种模式(LOCAL, REPLICATED, PARTITIONED):

LOCAL：本地模式，数据都存储在本地，无数据再平衡，类似常见的存储服务；

PARTITIONED：分区模式，数据分散到集群中的各个节点，分区模式适合存储数量庞大的数据

如图所示是设置了Backup备份数的，默认备份数是0，如果分区模式下不设置备份数的话则会存在丢失数据的风险。

REPLICATED：复制模式，有数据再平衡过程，主节点(Primary)数据与分区模式的一致，只是复制模式默认备份了除主节点数据外的其余数据。复制模式适合存储数据量小，增长不快的数据。

分区模式和复制模式各有优点和缺点，具体选择要根据实际场景的特点去权衡:

1，数据加载

这里使用mybatis查询MYSQL里的数据然后存入ignite，完整代码可以参考:

https://github.com/cording/ignite-example

为了演示，需要先在MYSQL中生成样本数据，相关sql脚本为ignite-example\src\main\resources\import.sql,执行该SQL脚本即可完成表的创建和测试数据的初始化。

在配置文件中定义缓存

                <bean class="org.apache.ignite.configuration.CacheConfiguration">
                    <property name

数据库的选择简单而复杂。简单指的是对于大部分互联网公司MySQL或者mongoDB之类的加上缓存就够用了。复杂指的是大家对大数据的预期，导致在数据库技术上的选型颇为难。今天就对比下现在流行的几种SQL之间的区别。

NoSQL

之前在大学创业时做的是一款移动端视频交友APP，在数据库的选择上用的就是mongoDB+redis缓存的底层数据管理架构。这也是我第一次接触NoSQL。当时使用的感觉是方便简单，足够快。那么我们来看下，什么是NoSQL。

NoSQL并无明确的定义，泛指非关系型数据库。NoSQL数据库们具备一些共同的特征：不需要预定义模式；无共享架构，弹性可扩展；可分区；异步复制；最终一致性（弱一致性）。下面列举四类数据库进行比较。

四类数据库比较

其中，KV数据库和文档型数据库是比较相似的，不同的是，文档型数据库能够了解value的内容。文档型数据库将常用的数据存储在同一个文档中，而不是存在表中。如果一个应用程序需要存储不同的属性以及大量的数据，那么文档型数据库会是一个很好的选择（这也是我们以前为什么选mongoDB的原因）。而KV数据库大多用来当缓存。

NewSQL

NewSQL兼具传统数据库的ACID模型和NoSQL所需的高扩展性。NewSQL一直在尝试解决的问题是摆脱人工运维的束缚，在存储层实现真正的自增长自维护，同时用户可以以最自然大的编程接口访问和存储数据。当实现这点后，业务才可以摆脱存储的介质和容量的限制，而专注于逻辑的实现。目前NewSQL比较典型的代表是FoundationDB和VoltDB。

数据库场景对比

在数据库的选型上，始终要关注3个关键词：数据量、实时性、一致性。NoSQL就是牺牲强一致性来增强其扩展性的。下面用一张图来看各种数据库的对比情况。

数据价值密度：数据价值密度的高低与数据总量的大小成反比，即数据价值密度越高数据总量越小，数据价值密度越低数据总量越大。

 

多元化架构

在大数据的推动下，数据库的架构逐渐走向多元化，已经从一种架构支持多类应用转变成多种架构支持多类应用。

End(^-^)

如果有需要文中原图，或者有什么需要交流的问题，可以加微信~

来源：https://www.jianshu.com/p/e99d710355e5… 阅读全文

极客侠网站导航（全部书单资源导航页）：https://pymlovelyq.github.io/archives/

极客侠网站导航（全部书单资源导航页）：https://pymlovelyq.github.io/archives/

http://phoenix.apache.org/

1. Phoenix定义
Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。

put the SQL back in NoSQL

Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。

HBase的查询工具有很多，如：Hive、Tez、Impala、Spark SQL、Phoenix等。

Phoenix通过以下方式使我们可以少写代码，并且性能比我们自己写代码更好：

• 将SQL编译成原生的HBase scans。
• 确定scan关键字的最佳开始和结束
• 让scan并行执行
• …

使用Phoenix的公司

Paste_Image.png

2. 历史演进

• 3.0/4.0 release

ARRAY Type. 支持标准的JDBC数组类型

Sequences. 支持 CREATE/DROP SEQUENCE, NEXT VALUE FOR, … 阅读全文

递推法是一种重要的数学方法，在数学的各个领域中都有广泛的运用，也是计算机用于数值计算的一个重要算法。这种算法特点是：一个问题的求解需一系列的计算，在已知条件和所求问题之间总存在着某种相互联系的关系，在计算时，如果可以找到前后过程之间的数量关系（即递推式），那么，从问题出发逐步推到已知条件，此种方法叫逆推。无论顺推还是逆推，其关键是要找到递推式。这种处理问题的方法能使复杂运算化为若干步重复的简单运算，充分发挥出计算机擅长于重复处理的特点。

递推算法的首要问题是得到相邻的数据项间的关系（即递推关系）。递推算法避开了求通项公式的麻烦，把一个复杂的问题的求解，分解成了连续的若干步简单运算。一般说来，可以将递推算法看成是一种特殊的迭代算法。