快乐成长



每天进步一点点

flume中sink到hdfs示例

  categories:资料  tags:  author:

一。 什么flume

     Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
现在这个项目是 apache的一个顶级项目，地址如下：http://flume.apache.org/
原文信息:

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It

… 阅读全文

玩耍的猫

  categories:儿童作品  author:

mao01

秋日里 玩耍的猫… 阅读全文

配置redis为自动启动的服务

  categories:资料  tags:,   author:

本文是讲述， 如何在centos6.x 系统下如何配置 redis为一个自动启动的服务的过程

在操作过程中 始终需要 root权限

一． Redis安装

redis-service-install-002

 

特别注意 redis的安装目录 如上图

  1. 下载redis 安装程序

wget http://download.redis.io/releases/redis-2.8.19.tar.gz

  1. 解压缩redis安装源代码

tar xzvf redis-2.8.19.tar.gz

cd redis-2.8.19/

  1. 安装redis

make PREFIX=/usr/local/redis install

一定要安装到特定目录中

  1. 拷贝redis配置文件到安装目录

cp   redis.conf    /usr/local/redis/

vi /usr/local/redis/redis.conf

 

二．安装Redis启动服务的辅助程序

  1. 下载

wget http://developer.axis.com/download/distribution/apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gz

  1. 解压缩
… 阅读全文

树莓派上screen安装

  categories:资料  tags:  author:
使用ssh和xrdp进行远程登录，当连接断开后当前运行的工作也会中断。很多时候需要后台长时间执行，怎么办呢？ 使用screen这个小工具，问题就解决了。screen是一个虚拟终端管理器。我们可以用它在后台管理终端界面，这样SSH断开后就不用怕正在进行的操 作中断了。

 

    Screen是一个虚拟终端管理器。我们可以用它在后台管理终端界面，这样SSH断开后就不用怕正在进行的操作中断了。

关于screen 参考：
linux screen—-让您处理终端游刃有余
linux下screen命令的使用

一、安装

一定先执行下面的命令， 否则可能安装不成功
pai-apt-get-screen001
sudo apt-get update
执行完成更新后， 就可以安装了！
sudo apt-get install screen

 

 

二、使用

 

1、创建一个虚拟终端

使用putty登录树莓派后执行：

screen -S terminal1

样就创建好一个名为terminal1的终端了。此时我们可以随便执行操作了，比如执行sudo apt-get upgrade，或者其它消耗时间比较长的工作，像编译内核等等。

按ctrl+a后再按d这样就保存好一个虚拟终端了，系统会提示deatached。

SSH什么的可以完全断开不管了，让虚拟终端自己运行去吧。

 

2、访问已经创建好的终端

screen -
… 阅读全文

maven仓库

  categories:java资料  author:

来源：http://www.oschina.net/question/698806_159140

1 . 仓库简介

没有 Maven 时，项目用到的 .jar 文件通常需要拷贝到 /lib 目录，项目多了，拷贝的文件副本就多了，占用磁盘空间，且难于管理。Maven 使用一个称之为仓库的目录，根据构件的坐标统一存储这些构件的唯一副本，在项目中通过依赖声明，可以方便的引用构件。

2 . 仓库的布局

构件都有唯一的坐标，Maven 根据坐标管理构件的存储。如以下对 spring-orm-3.2.0 的存储：

文件路径对应了：groupId/artifactId/version/artifactId-version.packaging

3 . 仓库的分类

Maven 仓库分为本地仓库和远程仓库，寻找构件时，首先从本地仓库找，找不到则到远程仓库找，再找不到就报错；在远程仓库中找到了，就下载到本地仓库再使用。中央 仓库是 Maven 核心自带的远程仓库，默认地址：http://repo1.maven.org/maven2。除了中央仓库，还有其它很多公共的远程仓库。私服是架设在 本机或局域网中的一种特殊的远程仓库，通过私服可以方便的管理其它所有的外部远程仓库。

3 . 1 . 本地仓库

Maven 本地仓库默认地址为：${user.home}/.m2/repository。

通过修改 %MAVEN_HOME%/conf/settings.xml （或者：${user.home}/.m2/settings.xml，针对当前用户（推荐））配置文件可以更改本地仓库的位置。

3 … 阅读全文

LDAP目录搜索

  categories:java资料  author:

LDAP搜索是目录服务最常用的功能之一。在LDAP服务中搜索要用到相应的Filter语句。Filter语句由3个部分组成：

1． 属性，如：cn ，uid ，操作属性如:objectClass , nsroledn

2． 比较操作符 ，如 < , > ,= ,…

3． 逻辑预算符，如: 与操作& , 或操作| , 非操作！

基本 LDAP 语法

• =（等于）

此 LDAP 参数表明某个属性等于某个值的条件得到满足。例如，如果希望查找“名“属性为“John”的所有对象，可以使用：

(givenName=John)

这会返回“

… 阅读全文

Spring LDAP 使用

  categories:java资料  tags:  author:

JNDI/LDAP和JDBC/DB

JNDI是用来做LDAP的编程，正如JDBC是用来SQL编程一样。尽管他们有着完全不同各有优缺点的API，但是它们还是有一些共性：

  • They require extensive plumbing code, even to perform the simplest of tasks.
  • All resources need to be correctly closed, no matter what happens.
  • Exception handling is difficult

Spring JDBC提供了jdbcTemplate等简便的方式来操作数据库，Spring LDAP也提供了类似的方式操作LDAP—-ldapTemplate。

 

xml 配置(LdapContextSource、ldapTemplate)

<bean id="contextSourceTarget" class="org.springframework.ldap.core.support.LdapContextSource">
    <property name="url"
… 阅读全文

OpenDS安装过程

  categories:java原创  tags:  author:

一．Opends简介

OpenDS 是一个基于 CDDL （ Common Development and Distribution License ）协议，开源 , 免费，使用 LDAP 与 DSML 标准的综合的下一代 Directory Service 。 OpenDS 是用纯 Java 编写的处理大数据量，高性能，高可扩展性，很容易地部署，管理和监控。 Directory Service 不仅包括 DirectoryServer ，还有其它与 directory 相关的基本 service 如： directoryproxy 、 virtualdirectory 、 namespacedistribution 和数据同步。 DirectoryServer

… 阅读全文

利用OpenDS统一管理部门内部的账号

  categories:资料  tags:  author:

现在要为部门搭建一个绿色的环境，将JIRA、WiKi用统一的账号管理。
服务器选择了tomcat6.0，LDAP选择了OpenDS2.2.0，JDK1.6
由于要的是绿色环境，那么把这些东西全部放在一个文件夹下，希望如果要把环境装到别的机器上，只用把这个文件夹COPY走就行。
目录结构如图：

因此要先配置一下TOMCAT，让tomcat去一个相对路径找JDK，在TOMCAT_HOME/bin 下编辑catalina.bat。在里边加上一句

set JAVA_HOME=..\..\jdk

安装OpenDS的步骤：http://www.opends.org/ 通过Java Web Start执行QuickSetup（必须要有JDK，在windows上可行，在Ubuntu上没执行）。

OpenDS服务器配置好以后，双击OpenDS_HOME/bat/control-panel.bat
打开控制台，启动服务。

把一下内容保存成一个ldif文件，如E:\environment\OpenDS\ldif\duke.ldif

# add group

dn: ou=Groups,dc=example,dc=com

changetype: add

ou: Groups

description: Group ou

objectClass: top

objectClass: organizationalUnit

# add people ou

dn: ou=People,dc=example,dc=com

changetype: add

ou: 

… 阅读全文

LDAP快速入门

  categories:资料  author:

来源：http://www.cnblogs.com/obpm/archive/2010/08/28/1811065.html

1. LDAP简介

LDAP（轻量级目录访问协议，Lightweight Directory Access Protocol)是实现提供被称为目录服务的信息服务。目录服务是一种特殊的数据库系统，其专门针对读取，浏览和搜索操作进行了特定的优化。目录一般用 来包含描述性的，基于属性的信息并支持精细复杂的过滤能力。目录一般不支持通用数据库针对大量更新操作操作需要的复杂的事务管理或回卷策略。而目录服务的 更新则一般都非常简单。这种目录可以存储包括个人信息、web链结、jpeg图像等各种信息。为了访问存储在目录中的信息，就需要使用运行在TCP/IP 之上的访问协议—LDAP。

 

LDAP目录中的信息是是按照树型结构组织，具体信息存储在条目(entry)的数据结构中。条目相当于关系数据库中表的记录；条目是具有区别 名DN （Distinguished Name）的属性（Attribute），DN是用来引用条目的，DN相当于关系数据库表中的关键字（Primary Key）。属性由类型（Type）和一个或多个值（Values）组成，相当于关系数据库中的字段（Field）由字段名和数据类型组成，只是为了方便检 索的需要，LDAP中的Type可以有多个Value，而不是关系数据库中为降低数据的冗余性要求实现的各个域必须是不相关的。LDAP中条目的组织一般 按照地理位置和组织关系进行组织，非常的直观。LDAP把数据存放在文件中，为提高效率可以使用基于索引的文件数据库，而不是关系数据库。类型的一个例子 就是mail，其值将是一个电子邮件地址。

 

LDAP的信息是以树型结构存储的，在树根一般定义国家(c=CN)或域名(dc=com)，在其下则往往定义一个或多个组织 (organization)(o=Acme)或组织单元(organizational units) (ou=People)。一个组织单元可能包含诸如所有雇员、大楼内的所有打印机等信息。此外，LDAP支持对条目能够和必须支持哪些属性进行控制，这是 有一个特殊的称为对象类别(objectClass)的属性来实现的。该属性的值决定了该条目必须遵循的一些规则，其规定了该条目能够及至少应该包含哪些 属性。例如：inetorgPerson对象类需要支持sn(surname)和cn(common name)属性，但也可以包含可选的如邮件，电话号码等属性。

 

2. LDAP简称对应

  1. o– organization（组织-公司）
  2. ou – organization unit（组织单元-部门）
  3. c – countryName（国家）
  4. dc
… 阅读全文

<< older

快乐成长 每天进步一点点      京ICP备18032580号-1