Clik here to view.
Hive运行架构及配置部署
Hive 运行架构由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具； 构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库； 设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据： 使用HQL作为查询接口； 使用HDFS作为存储底层；...
View ArticleClik here to view.
分布式日志收集收集系统：Flume
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 Flume 功能的扩展，Flume OG...
View ArticleClik here to view.
分布式流式处理框架：Storm
Storm是一个免费开源、分布式、高容错的实时计算系统。它与其他大数据解决方案的不同之处在于它的处理方式。Hadoop 在本质上是一个批处理系统，数据被引入 Hadoop 文件系统 (HDFS) 并分发到各个节点进行处理。当处理完成时，结果数据返回到 HDFS...
View ArticleClik here to view.
Android这一仗还没打完 果冻壳诺基亚X2国内上市
微软的政策还没贯彻到底，诺基亚得把手中的牌全面亮出去，就像是今天正式登陆中国的诺基亚X2双卡双待手机。对诺基亚X系列熟识的同学对于这款手机身在微软阵营却采用Android系统的本质应该相当了解了，这个系列的手机即便有着AOSP的内里，服务却是一水儿的微软特色，包括必应搜索、OneDrive存储、MixRadio音乐等。这次推广的诺基亚X2除了同样秉持微软风格，在配置上相比一代的X也有了些升级，包括1...
View ArticleClik here to view.
如何安全地关闭MySQL实例
本文分析了mysqld进程关闭的过程，以及如何安全、缓和地关闭MySQL实例，对这个过程不甚清楚的同学可以参考下。关闭过程：1、发起shutdown，发出 SIGTERM信号2、有必要的话，新建一个关闭线程(shutdown thread) 如果是客户端发起的关闭，则会新建一个专用的关闭线程 如果是直接收到 SIGTERM...
View ArticleClik here to view.
MySQL大数据量主库如何部署从库
我们在部署MySQL Replication从库时，通常是一开始就做好一个从库，然后随着业务的变化，数据也逐渐复制到从服务器。但是，如果我们想对一个已经上线较久，有这大数据量的数据库部署复制从库时，应该怎么处理比较合适呢？本文以我近期所做Zabbix数据库部署MySQL Replication从库为例，向大家呈现一种新的复制部署方式。由于Zabbix历史数据非常多，...
View ArticleClik here to view.
百度是如何使用hadoop的
标签： hadoop 百度 百度作为全球最大的中文搜索引擎公司，提供基于搜索引擎的各种产品，几乎覆盖了中文网络世界中所有的搜索需求,因此，百度对海量数据处理的要求是比较高的， 要在线下对数据进行分析，还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求要通过性能较好的云平台进行处理了，Hadoop就是很好 的选择。在百度，Hadoop主要应用于以下几个方面：...
View ArticleClik here to view.
Linux系统巡检常用命令
标签： 巡检 检查 Linux系统需要定期巡检，以检查服务器软硬件使用情况，相当于对人的体检，确保可以及时发现问题、解决问题，降低损失，常用的巡检命令如下： # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname #...
View ArticleClik here to view.
Tomcat 的三种(bio,nio.apr) 高级 Connector 运行模式
tomcat的运行模式有3种.修改他们的运行模式.3种模式的运行是否成功,可以看他的启动控制台,或者启动日志.或者登录他们的默认页面http://localhost:8080/查看其中的服务器状态。 1)bio 默认的模式,性能非常低下,没有经过任何优化处理和支持. 2)nio 利用java的异步io护理技术,no blocking IO技术....
View ArticleClik here to view.
Clik here to view.
影响服务器高性能的四大杀手
本文将与你分享我多年来在服务器开发方面的一些经验。对于这里所说的服务器，更精确的定义应该是每秒处理大量离散消息或者请求的服务程序，网络服务器更符合这种情况，但并非所有的网络程序都是严格意义上的服务器。使用“高性能请求处理程序”是一个很糟糕的标题，为了叙述起来简单，下面将简称为“服务器”。...
View ArticleClik here to view.
20个设计模式和软件设计面试问题
不管是参加Java面试还是C#面试， 设计模式和软件设计都是任何编程面试中的必问问题。实际上，编程能力和设计技巧是对彼此很好的补充。一个好的程序员通常都是一个好的软件设计人员。他们知道怎么把一个问题分割成一段段代码或者软件设计，但这些能力和技巧并不能凭空而来。你需要持续做大型、小型系统的设计和编码，并且不断从错误中学习。从...
View ArticleClik here to view.
远程视频监控之驱动篇（LED）
转载请注明出处：http://blog.csdn.net/ruoyunliufeng/article/details/38515205 之前一直在考虑该不该写这篇，因为我之前在博客里有写过LED的驱动，但是没有详细的讲解。后来本着叫大家都能看懂驱动的想法，我还是决定要写一下。我想通过LED的驱动，让不了解驱动的小伙伴，能够有一个感性的认识。一.代码#include...
View ArticleClik here to view.
springmvc框架配置
web.xml<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/j2ee"...
View ArticleClik here to view.
Linux下gdb调试
关于gdb的其他客套话不多说，直接进入正题。一、gdb基本命令列表：命令解释简写file装入想要调试的可执行文件无list列出产生执行文件源代码的一部分lnext执行一行源代码但不进入函数内部nstep执行一行源代码而且进入函数内部srun执行当前被调试的程序rcontinue继续执行程序cquit终止gdbqprint输出当前指定变量的值pbreak在代码里设置断点binfo...
View ArticleClik here to view.
Linux下Java线程详细监控和其dump的分析使用----分析Java性能瓶颈
这里对linux下、sun(oracle) JDK的线程资源占用问题的查找步骤做一个小结；linux环境下，当发现java进程占用CPU资源很高，且又要想更进一步查出哪一个java线程占用了CPU资源时，按照以下步骤进行查找：(一)：通过【 top -p 12377 -H】 查看java进程的有哪些线程的运行情况； 和通过【jstack 12377 >...
View ArticleClik here to view.
Hadoop 2.5.0新特性和改进
Apache Hadoop 2.5.0是一个在2.x.y发布线上的一个小版本，建立在之前稳定的发布版本2.4.1之上。主要特性和改进：1. Commona) 使用HTTP代理服务器时认证改进。当通过代理服务器使用WebHDFS时这是非常有用的。b) 增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。c) Hadoop文件系统兼容相关的规范工作。2. HDFSa) 支持...
View ArticleClik here to view.
SpringAOP拦截Controller,Service实现日志管理(自定义注解的方式)
从业近二，三年了，第一次写博客，平时做做脚手架或者架构一些基础框架然后给大家使用或者自己总结翻译一些文档。虽然是第一次但是我还是要拿Spring开刀。希望张开涛，涛兄看到的时候不要喷我，给我一点指导。...
View ArticleClik here to view.
一次优化引发的血案
前些天一个Nginx+PHP项目上线后遭遇了性能问题，于是打算练练手，因为代码并不是我亲自写的，所以决定从系统层面入手看看能否做一些粗线条的优化。首先，我发现服务的Backlog设置过小，这点可以通过ss命令查询Send-Q来确认：shell> ss -ln Recv-Q Send-Q Local Address:Port Peer Address:Port 0 511 *:80 *:* 0...
View ArticleClik here to view.
postgresql wal日志参数浅析
之前一直没有认真的学习pg的wal日志相关的参数，发现对这一部分有些不清楚，结合文档又梳理了一遍，浅浅的记录一下，因为wal日志非常重要，并且对性能影响很大，在生产库上要小心调整。 1.fsync fsync...
View Article