반응형

엑셀을 처리하는 방법

1. 일반적인 방법

   - DB <---> WAS (JAVA) 파일 생성 <---> JSP 다운로드

   - 문제점 : WAS에 메모리에서 엑셀 파일을 만들기 때문에 메모리 할당 공간이 부족할 때는 OOM(Out Of Memory)으로

                 힙 덤프를 사정없이 발사 !

 

2. 대용량 엑셀 처리 방법

    - 엑셀을 생성할 때 XML 방식으로 생성함

      http://en.wikipedia.org/wiki/Microsoft_Office_XML_formats#Excel_XML_Spreadsheet_example

    - outputStream으로 행별로 Text를 써야 메모리에 한꺼번에 올리지 않아 WAS가 OOM를 뿜으면서 죽지 않음.

       ※ 첨부된 자바파일을 참고함

    - 대용량이므로 속도에 신경 쓰지 않을 수 없다 !!!

      그러므로 Fetch Size(JAVA에서 Oracle를 사용할 때 가지고오는 row의 양...)을 조절하여 성능향샹의 효과 까지 볼수 있다.

 

후후... 재미있는건... 난 자바를 잘 모른다...

개발자들도 원인을 잘 찾지 않는다...

귀찮은 걸까... 해결하고 싶지 않을껄까...

난 인프라 담당인데 하하하 -_-

 

BigGridDemo.java

반응형
저작자표시

'Language > JAVA' 카테고리의 다른 글

Java 성능 모니터링에 대해 모르고 있던 5가지 사항, Part 1  (0) 2012.05.02
개발자의 실수를 줄여주는 java.sql.Connection 만들기(퍼옴)  (0) 2012.04.20
OOM(Out Of Memory) 없이 IBM Heapdump 파일 분석하기  (0) 2012.02.15
System.out.println()은 잊어라 log4sql이 온다.  (0) 2011.03.15
Log for SQL (PL/SQL 개발환경에서 로그 정보 확인하기)  (0) 2011.03.15
반응형


참고 사이트 (Reference Site)

  1.MAT (Eclipse Memory Analyzer) 메모리 분석 GUI 툴
    http://www.eclipse.org/mat/downloads.php 

  2. IBM Diagnostic Tool Framework for Java Version 1.5
    http://www.ibm.com/developerworks/java/jdk/tools/dtfj.html  

  3.일본 MAT 적용 참고 사이트   
     http://d.hatena.ne.jp/kakku22/20110910/1315646914 
 


heapdump는 시스템 운영 중 항상 발생할 수 있는 문제이며,

빵빵한 시스템에서는 IBM Heap Analyzer를 사용하여 분석한다

다만,

위와 같은 빵빵한(?) 시스템이 지원되지 않는 환경(Windows 32bit)에서는

분석하는 방법이 없을까 많은 고민을 하였고, 찾다보니 아에 방법이 없지만은 않았다.


1. GUI 툴 다운로드
    - 이클립스 사이트에서 dump 분석을 위한 툴을(MAT) 제공한다.
    - 위의 참고사이트 1번 항목을 방문하면 다운로드 가능하다.

 
     - 다운 받은 파일의 압축을 풀고 해당 디렉토이에 들어가면 MemoryAnlyzer.exe와 MemoryAnalyzer.ini 파일등이 보인다.
     - 32bit 환경에서 최대 할당 가능한 heap 사이즈로 로딩 가능하도록 MemoryAnlyzer.ini 파일을 수정한다.

  -vmargs
 -Xmx1372m
 
2. IBM Heapdump 분석을 위해서는 별도의 plug-in을 추가한다.
   (인터넷 검색하면 많은 내용이 나오지만 위의 DTFJ 파일 방식이 대용량의 힙 덤프 분석에는 최고다..)
   - 2번 사이트 방문하여 다운로드 한다.


위의 클릭을 하면 zip 파일을 받을 수 있다.
   
받은 zip 파일을 MAT 압축을 풀은 디렉토리 내에 DTFJ 폴더를 만들어 그안에 복사하여 놓는다.

3. MAT에 Plug-IN 설치
    - MemoryAnlyzer.exe 더블 클릭하여 MAT 를 실행함.
    - 실행화면
     

 
     -  Help -> Install New Software... 실행


   - Add.. 를 크릭하여 설치 가능한 소프트웨어를 추가함.


     - Name에는 명칭을 적고, Location 부분은 우측의 Archive를 클릭하여 다운받은 dtfj-updatesite.zip를 직접 지정함

 
    - Check 후 Next를 클릭 -> Next

 
 - 라이센스 동의 후 Finish 클릭

 

- local 설치이다 보니 보안 땜시 한번더 묻는거임... ok 살포시 눌러줌

 
 - 다시 시작함(Restart Now를 눌러)

 
  - File -> Open Heap Dump... 를 눌러 IBM Heapdump 파일을 선택하여 분석함..

 
나머지 분석과 관련된 상세한 사항은 인터넷 검색 ㄱㄱ 
반응형
저작자표시

'Language > JAVA' 카테고리의 다른 글

개발자의 실수를 줄여주는 java.sql.Connection 만들기(퍼옴)  (0) 2012.04.20
엑셀 대용량 다운로드 가능하게 자바 만들기  (0) 2012.04.05
System.out.println()은 잊어라 log4sql이 온다.  (0) 2011.03.15
Log for SQL (PL/SQL 개발환경에서 로그 정보 확인하기)  (0) 2011.03.15
CLOB 파일 다루기 예제  (0) 2011.01.11
반응형

관련 오류 및 해결 방법

1. VM 구동시 heap 사이즈 부족

   Error occurred during initialization of VM
   Could not reserve enough space for object heap 

기본적으로 할당되는 힙 사이즈가 VM에서 사용할 사이즈보다 작아서 생기는 문제

해결 방법

명시적으로 해결함

첫번째 방법

 sqldeveloper\bin\sqldeveloper.conf 파일안에   아래의 한줄을 추가함.

    AddVMOption -Xmx256M 
 
   (최대 256M로 할당함.)   
 

두번째 방법

 환경 변수를 설정함

On Linux
setenv EXTRA_JAVA_PROPERTIES "-Xms512m -Xmx512m"

On Windows
set EXTRA_JAVA_PROPERTIES="-Xms512m -Xmx512m"

출처 : http://itknowledgeexchange.techtarget.com/itanswers/vm-could-not-reserve-enough-space-for-object-heap-from-oracle-jdeveloper11g/

위와 같이 BAT 파일을 반들어 위 줄을 추가하는 방식 또는

사실 환경변수 설정(JAVA_HOME 설정하듯이)을 통해 가능하게 함.
 


 2. Java 찾는 중 에러

    Unable to create an instance of the java virtual machine located at path

위의 1번 방법을 통해 대부분 해결되나

혹,

sqldeveloper\bin\sqldeveloper.conf   파일안에

SetJavaHome 환경 변수에

../../jdk 라고 되어 있는 값 때문에 안될 수 있음(윈도우 환경)

즉,

 SetJavaHome ../../jdk  ====>  SetJavaHome ..\..\jdk

로 변경 해주면 됨...
   
반응형
저작자표시

+ Recent posts

티스토리툴바