2008-02-25
用jamon来监控你的sql执行效率
/**
*作者:张荣华
*日期:2008-2-25
**/
之前有一篇文章讲到如何使用jamon来监控请求以及方法得调用(原文地址见:http://www.javaeye.com/post/354575 ),本文属于其姊妹篇,使用jamon监控系统的sql调用及其调用效率。
需求:
1我们知道在使用hibernate得时候,我们可以打开show sql选项,可以直接查看sql语句调用的情况,那么当我们使用其他持久技术的时候我们也需要这个功能怎么办呢,没有关系,jamon能够帮我们做到。
2 很多时候,不同的程序员会写出不同的性能的sql,有时候可能会不小心或者因为不知道而写出性能很差的sql,我自己曾经就发生过这种事情,在500w条数据的表里使用了一个limit来分页,到后面,执行一条sql都需要几分钟,诸如此类的时候可能大家都有碰到过,如果能有监控sql性能的工具嵌在应用里该多好,当然有jamon就可以帮我们做到。
对于jamon来说,每一个query的执行之后的统计结果都会被保存下来,这些概要统计都以MonProxy-SQL开头。这些统计中包括查询执行的时间,有比如平均时间,执行总时间,最小执行时间,最大执行时间,这些东西难道不是我们正想要的吗。
那么让我们开始吧,我们知道,这些query执行的统计应该是在connection中被统计的,也就是说我们要代理一般的connection,而connection又是由datasource产生的,所以我们可以代理datasource,说干就干。
一个datasource接口中关于connection的方法只有两个:
也就是说我们只要override这两个方法即可。
根据这个思路我写了以下代码:
显然这个一个代理模式。接下来就是生成这个代理类,我是在spring中注册了这么一个类:
writeMonitorDataSource 所依赖的writeDataSource就是我们真正配置的datasource,比如:
好了,那么在使用datasource的时候,我们应该用哪个呢,当然是writeMonitorDataSource这个里,我们可以把它注入给jdbcTemplate,或者sessionfactory,或者其他需要用到datasource的地方。
到这里,就一切准备完毕了,我们可以看看我们sql语句的执行效率了(这个页面的地址为sql.jsp):
见图1
当然要我们的应用能够显示这个页面,我们需要把jamon的一组页面拷到我们的应用中,这一组页面包含在我提供下载的包中,最新的jamon版本是2.7。
我们可以看到id为153的那条sql语句执行了78ms,我要去看看这条sql语句是不是有点什么问题或者是否有优化的可能性。
当然,刚才说到每一条sql语句都是有统计平均时间,最大最小执行时间等等,没错,在另外一个页面jamonadmin.jsp上就包含这些内容
见图2
上面的图片代表hits表示执行次数,avg表示sql执行的平均时间,后面的min和max表示sql执行的最小耗时和最大耗时。从这里我们能够更直观的看到我们每条sql语句执行的情况。很有用的一个功能。
而且在上面那两个页面上,我们还可以选择把sql执行的结果导出来,可以导成xml或excel格式。
总结:使用jamon来监控我们的sql语句我觉得很有使用意义,而且使用jamon对我们的应用来说完全是松耦合的,根本不需要更改我们的业务逻辑代码,完全是可插拔的,我们也可以开发时使用jamon,部署时拔掉jamon。有了它能够使一些程序员能够更多一点的关注自己所写的sql的效率,当然如果之前开发的时候没有使用jamon也没有关系,即使上线后也可以查看一下sql语句是否有问题,比如哪些sql语句执行得比较频繁,是否存在给其做缓存得可能性等等。总之使用jamon在应用程序中来监控我们得sql语句具有很强得实用意义,
再次总结:jamon,很好,很强大。
*作者:张荣华
*日期:2008-2-25
**/
之前有一篇文章讲到如何使用jamon来监控请求以及方法得调用(原文地址见:http://www.javaeye.com/post/354575 ),本文属于其姊妹篇,使用jamon监控系统的sql调用及其调用效率。
需求:
1我们知道在使用hibernate得时候,我们可以打开show sql选项,可以直接查看sql语句调用的情况,那么当我们使用其他持久技术的时候我们也需要这个功能怎么办呢,没有关系,jamon能够帮我们做到。
2 很多时候,不同的程序员会写出不同的性能的sql,有时候可能会不小心或者因为不知道而写出性能很差的sql,我自己曾经就发生过这种事情,在500w条数据的表里使用了一个limit来分页,到后面,执行一条sql都需要几分钟,诸如此类的时候可能大家都有碰到过,如果能有监控sql性能的工具嵌在应用里该多好,当然有jamon就可以帮我们做到。
对于jamon来说,每一个query的执行之后的统计结果都会被保存下来,这些概要统计都以MonProxy-SQL开头。这些统计中包括查询执行的时间,有比如平均时间,执行总时间,最小执行时间,最大执行时间,这些东西难道不是我们正想要的吗。
那么让我们开始吧,我们知道,这些query执行的统计应该是在connection中被统计的,也就是说我们要代理一般的connection,而connection又是由datasource产生的,所以我们可以代理datasource,说干就干。
一个datasource接口中关于connection的方法只有两个:
/**
* <p>Attempts to establish a connection with the data source that
* this <code>DataSource</code> object represents.
*
* @return a connection to the data source
* @exception SQLException if a database access error occurs
*/
Connection getConnection() throws SQLException;
/**
* <p>Attempts to establish a connection with the data source that
* this <code>DataSource</code> object represents.
*
* @param username the database user on whose behalf the connection is
* being made
* @param password the user's password
* @return a connection to the data source
* @exception SQLException if a database access error occurs
* @since 1.4
*/
Connection getConnection(String username, String password)
throws SQLException;
也就是说我们只要override这两个方法即可。
根据这个思路我写了以下代码:
/**
* @author ahuaxuan(aaron zhang)
* @since 2008-2-25
* @version $Id$
*/
public class MonitorDataSource implements DataSource {
public DataSource realDataSource;
public void setRealDataSource(DataSource realDataSource) {
this.realDataSource = realDataSource;
}
public DataSource getRealDataSource() {
return realDataSource;
}
public Connection getConnection() throws SQLException {
//表示由jamon来代理realDataSource返回的Connection
return MonProxyFactory.monitor(realDataSource.getConnection());
}
public Connection getConnection(String username, String password)
throws SQLException {
//表示由jamon来代理realDataSource返回的Connection
return MonProxyFactory.monitor(realDataSource.getConnection(username,
password));
}
}
显然这个一个代理模式。接下来就是生成这个代理类,我是在spring中注册了这么一个类:
<bean id="writeMonitorDataSource" class="org.ahuaxuan.MonitorDataSource" destroy-method="close"> <property name="realDataSource" ref="writeDataSource"/> </bean>
writeMonitorDataSource 所依赖的writeDataSource就是我们真正配置的datasource,比如:
<bean id="writeDataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
<property name="driverClassName">
<value>${jdbc.driverClassName}</value>
</property>
<property name="url">
<value>${jdbc.url}</value>
</property>
<property name="username">
<value>${jdbc.username}</value>
</property>
<property name="password">
<value>${jdbc.password}</value>
</property>
<property name="maxActive">
<value>${jdbc.maxActive}</value>
</property>
<property name="maxIdle">
<value>${jdbc.maxIdle}</value>
</property>
<property name="maxWait">
<value>${jdbc.maxWait}</value>
</property>
</bean>
好了,那么在使用datasource的时候,我们应该用哪个呢,当然是writeMonitorDataSource这个里,我们可以把它注入给jdbcTemplate,或者sessionfactory,或者其他需要用到datasource的地方。
到这里,就一切准备完毕了,我们可以看看我们sql语句的执行效率了(这个页面的地址为sql.jsp):
见图1
当然要我们的应用能够显示这个页面,我们需要把jamon的一组页面拷到我们的应用中,这一组页面包含在我提供下载的包中,最新的jamon版本是2.7。
我们可以看到id为153的那条sql语句执行了78ms,我要去看看这条sql语句是不是有点什么问题或者是否有优化的可能性。
当然,刚才说到每一条sql语句都是有统计平均时间,最大最小执行时间等等,没错,在另外一个页面jamonadmin.jsp上就包含这些内容
见图2
上面的图片代表hits表示执行次数,avg表示sql执行的平均时间,后面的min和max表示sql执行的最小耗时和最大耗时。从这里我们能够更直观的看到我们每条sql语句执行的情况。很有用的一个功能。
而且在上面那两个页面上,我们还可以选择把sql执行的结果导出来,可以导成xml或excel格式。
总结:使用jamon来监控我们的sql语句我觉得很有使用意义,而且使用jamon对我们的应用来说完全是松耦合的,根本不需要更改我们的业务逻辑代码,完全是可插拔的,我们也可以开发时使用jamon,部署时拔掉jamon。有了它能够使一些程序员能够更多一点的关注自己所写的sql的效率,当然如果之前开发的时候没有使用jamon也没有关系,即使上线后也可以查看一下sql语句是否有问题,比如哪些sql语句执行得比较频繁,是否存在给其做缓存得可能性等等。总之使用jamon在应用程序中来监控我们得sql语句具有很强得实用意义,
再次总结:jamon,很好,很强大。
评论
e3002
2008-03-02
spring中已经集成了jamon
leadyu
2008-02-26
ahuaxuan 写道
leadyu 写道
它不仅仅可以监控j2ee工程(包括EJB以及WebModule)的所有的jdbc调用,包括调用的堆栈(什么程序打开的连接),还可以监控方法的调用,以及http的请求,所有的这一切,只需要部署一个jar,以及配置一个配置文件。
你提供的功能jamon都有,但是你的界面看起来更好看,更耐看一点,赞一个。
jamon的界面太差劲了
看了下jamon,应该说jwebap在部署方面真的简单太多了。
首先,jwebap对于jdbc的监控,根本不需要代理数据源,也不需要实现特定的代理驱动。而且jamon这种方式应该是没法监控jndi数据源的(从我初步从它的配置文档了解到的,我只能说应该:-) )
另外,对于EJB的监控,Jwebap也根本不需要配EJB的代理,只要在method plugin的'detect-class'参数里,配置想监控的包名即可,如"test.ejb.*;com.ejb.*;"
jwebap的部署,只需要丢个jar包,配下jwebap.xml 和对应的web.xml即可。
我觉得可以这么归结:
第一代prfiling tools:基于代理,代理,又代理的思想,实现monitor。缺点是,部署麻烦,甚至是还需要修改项目代码才能部署,功能也不强。比如jamon和P6SQL
第二代prfiling tools:基于专属平台JVMPI,缺点:给系统带来了10-20倍的性能负担,同时部署复杂,但是,功能强大,如jprofiler
第三代prfiling tools:出现了BCEL,后更有ASM等字解码指令操作框架,介于jdk14-15之间。基于字解码操作,profiling实现了真正意义的动态monitor。这种profiling部署简单,性能高,但是功能不算非常强大。
第四代prfiling tools:出现jdk instrument。更有aspectJ。这时profiling功能得到增强,但是丢失了大量停留在jdk14的用户,同时部署也不简单。
Jwebap从这种划分,应该说,处于第三代和第四代之间,Jwebap-core采用第三代技术,plugin则很任意,介于第四代技术。
leadyu
2008-02-26
jamon我了解不多,所以不好说,jwebap目前jdbc,method,http三个功能的plugin,应该说是jwebap-core初步完成以来实现的第一个扩展plugin的例子。
jwebap前期更专注于实现core部分,类静态增强,轨迹容器,和plugin管理,当core逐步成型后,我打算,把精力移到plugin这方面来,由于plugin我可以针对平台来做,所以,慢慢功能强大的多。
现在,有不少想法,初步打算实现的plugin:内存监控plugin,和JVM Reviewer。
后面,我还会开发一些基于测试人员使用的Debug的plugin。
总结:我希望jwebap一直能够做到针对不同人群和环境按需使用,同时在功能不断庞大后还能保持较轻的架子,这是一个好的profiling应该重视的
jwebap前期更专注于实现core部分,类静态增强,轨迹容器,和plugin管理,当core逐步成型后,我打算,把精力移到plugin这方面来,由于plugin我可以针对平台来做,所以,慢慢功能强大的多。
现在,有不少想法,初步打算实现的plugin:内存监控plugin,和JVM Reviewer。
后面,我还会开发一些基于测试人员使用的Debug的plugin。
总结:我希望jwebap一直能够做到针对不同人群和环境按需使用,同时在功能不断庞大后还能保持较轻的架子,这是一个好的profiling应该重视的
ahuaxuan
2008-02-26
leadyu 写道
它不仅仅可以监控j2ee工程(包括EJB以及WebModule)的所有的jdbc调用,包括调用的堆栈(什么程序打开的连接),还可以监控方法的调用,以及http的请求,所有的这一切,只需要部署一个jar,以及配置一个配置文件。
你提供的功能jamon都有,但是你的界面看起来更好看,更耐看一点,赞一个。
jamon的界面太差劲了
leadyu
2008-02-26
是的,js放在jar包
galaxystar
2008-02-26
楼上的,界面是用ext做的吗?
leadyu
2008-02-26
性能监控方面,也推荐下我的项目:jwebap.sourceforge.net
它不仅仅可以监控j2ee工程(包括EJB以及WebModule)的所有的jdbc调用,包括调用的堆栈(什么程序打开的连接),还可以监控方法的调用,以及http的请求,所有的这一切,只需要部署一个jar,以及配置一个配置文件。
另外,jwebap基于plugin架构,core部分基于jdk14,所有的监控组件都是plugin,大部分的plugin基于jdk14,以后会开发一些针对专属平台的plugin, 下阶段准备开发基于jdk15的memory_monitor_plugin。
它同时提供Web Console,界面也相当美观,全部通过jar包实现。下面贴几张出来:
它不仅仅可以监控j2ee工程(包括EJB以及WebModule)的所有的jdbc调用,包括调用的堆栈(什么程序打开的连接),还可以监控方法的调用,以及http的请求,所有的这一切,只需要部署一个jar,以及配置一个配置文件。
另外,jwebap基于plugin架构,core部分基于jdk14,所有的监控组件都是plugin,大部分的plugin基于jdk14,以后会开发一些针对专属平台的plugin, 下阶段准备开发基于jdk15的memory_monitor_plugin。
它同时提供Web Console,界面也相当美观,全部通过jar包实现。下面贴几张出来:
galaxystar
2008-02-26
用来统计一个页面到底有多少数据库请求不错。
性能方面,我所在的公司更重视SQL review,(因为有非常牛的DBA,ORACLE ACE)。
低性能sql基本都会被review这关挡掉。
而数据库压力,是在定技术方案时,就已经有底的。如果sql数据吞吐量会超标,会在这个阶段想好对策。
性能方面,我所在的公司更重视SQL review,(因为有非常牛的DBA,ORACLE ACE)。
低性能sql基本都会被review这关挡掉。
而数据库压力,是在定技术方案时,就已经有底的。如果sql数据吞吐量会超标,会在这个阶段想好对策。
ahuaxuan
2008-02-26
sorphi 写道
看起来不错。不过你是否问过DBA能够利用数据库提供的工具统计到类似的结果呢?或者说,对比后者,jamon有啥优点,有啥缺点?
这些问题我也想过
第一个问题,
数据库提供得工具来统计?
1 是两个部分要同时抓,数据库统计得是所有请求,一定程度上加大得数据库的压力,当然如果数据库压力不大的情况下这样做完全没有问题。
2 可以使用sniffer抓包来分析数据库的压力情况,但这种数据无法收集起来供我们所用。当然如果我们不需要这些数据,只是随便看看,遇到问题分析一下,使用sniffer不失为一个比较好的方案。
而对比jamon来说,jamon搜集的数据对我们来说失可以随意存储分析的,比如上面所说到的做一个负载分析系统,那么使用它来搜集数据对编程来说其实是非常方便的。
sorphi
2008-02-26
看起来不错。不过你是否问过DBA能够利用数据库提供的工具统计到类似的结果呢?或者说,对比后者,jamon有啥优点,有啥缺点?
ahuaxuan
2008-02-26
wener 写道
好东西,支持
用它我们可以做很多东西,比如性能监控系统,一个企业中必定有很多的app,那么所有的app都可以利用它来搜集请求的数据,不管是http请求,还是jdbc,这些数据都可以搜集起来,然后再统计分析,所以jamon是一个很有用的东西,虽然原理简单,但是自己开发一个成本也比较大,直接扩展它比如方便,真的是一个很好的东西,可惜没有人认识到它的价值
发表评论
提醒: 该博客已发表在公共论坛,博客所有留言会成为论坛回贴,留言请注意遵守论坛发贴规则
- 浏览: 106275 次
- 性别:

- 来自: 上海

- 详细资料
搜索本博客
我的相册
100_2076
共 4 张
共 4 张
最新评论
-
如何解决mysql的master-s ...
在实际环境中,使用jdbc:mysql:replication://有一些问题, ...
-- by ahuaxuan -
请问责任链真的是一种设计 ...
用第一种方式实现的职责链可以在runtime选择下一个handler是谁,但是用 ...
-- by taowen -
请问责任链真的是一种设计 ...
如果是gof定义的设计模式,它算是设计模式如果是lz定义的设计模式,或者他不算是 ...
-- by hunter001201 -
xml和annotation的是是非 ...
Readonly 写道ahuaxuan 写道 Model一个field上挂了O/ ...
-- by imKenny -
如何解决mysql的master-s ...
Readonly 写道偶只用过单纯的ReplicationDriver,不过从源 ...
-- by ahuaxuan






评论排行榜