workload

  • 개발자
    조재혁(Mminzkn@minzkn.com)

  • 기록사항
    2010년 어느날 ~ : 개인의 목적에 맞게 구현
    2019년 3월 20일 : 공개


개요

Filesystem 을 경유한 Random R/W access부하를 주어 성능을 측정하는 프로그램

workload는 이러한 Random 특성을 기본적인 옵션 및 설정을 통해서 부하를 발생시킵니다. (Random 특성은 실제 다양한 flow가 있을 수 있기 때문에 정량화된 측정방식은 아니라는 점)

workload_1.png
[PNG image (21.37 KB)]


사용권한

workload source 는 수정없이 사용하신다면 누구나 그대로 사용하셔도 좋습니다. 단, source를 수정하셔서 사용하시려고 한다면 해당 수정사항에 대한 부분을 저에게 알려주시길 바랍니다.

사용방법

  • normal 실행
    # workload
    
  • verbose mode로 실행 (기동시 자세한 초기화 과정이 표시됩니다.)
    # workload -v
    
  • background 로 실행 ( 이렇게 실행하면 상태 view는 확인할 수 없지만 좀더 높은 성능으로 부하를 줄 수 있습니다. )
    # workload -d
    
  • threads 수치 설정 (CPU Core 개수의 2배 이상을 지정하면 다소나마 부하를 높일 수 있습니다. threads를 1로 지정하)
    # workload --threads 16
    
  • 특정 시간동안만 부하를 주려면
    # workload --duration <msec>
    
  • 최대 부하를 주기위해서는 (threads는 Core의 2배수, filecount는 많을수록, filesize는 작을수록 단편화 심한 작업 => 랜덤 부하는 그 특성에 따른 parameter가 다를 필요가 있다는 것.)
    # workload -v --threads 64 --filecount 1000 --filesize 4096
    
  • workload Ramdom access 방식 조정 옵션에 대한 주요 옵션 정리.
    • --threads <I/O를 일으킬 thread 개수>
    • --filecount <생성/삭제/변경등의 접근을 위한 임시 파일 개수>
    • --filesize <하나의 파일에 접근시 단일 I/O 크기>
  • 측정 성능 수치가 높게 나오려면
    1. thread 수치를 Core의 2배수로 설정 (단, 16이하인 경우 16으로 설정)
    2. filecount 수치를 Core의 2배수로 설정
    3. filesize 수치를 크게 잡을수록 (Ramdom 보다는 순차적인 접근률이 높아집니다.)
  • 측정 수치가 극악으로 나오게 하려면
    1. thread수치를 1
    2. filecount 를 1 또는 매우 큰값
    3. filesize를 1
  • 순수 MySQL(None-thread, Table lock) 특성과 가장 유사한 접근을 위해서는 (유사하다고 생각되는 R/W 특성에 따른 예)
    1. thread 수치를 1
    2. filecount를 10
    3. filesize를 4096
  • 현재 workload 기본값 (즉, 아무런 인자 없이 실행하는 경우)
    1. threads 16
    2. filecount 1000
    3. filesize 4096
  • 추가적인 특성을 부여하기 위한 옵션
    • -v : 초기 구동시 구동내용을 표시하고 syslog 로 관련 내용을 기록
    • -d : view를 표시하지 않고 daemonize 로 실행 (순수 I/O를 일으키고 상태를 모니터링하지 않고자 할 때 사용)
    • --left <value> --right <value> : 임시파일들을 균등하게 접근하지 않고 비율로 접근하는 값 (기본값은 7:1)
    • --interval <msec> : I/O 접근 간격 강제 조정
    • --duration <msec> : 측정 시간 (이 시간이 지나면 workload는 자동 종료)
    • --assign-method <random|ordered|even> : 임시 파일을 disk경로 단위로 분산하는 알고리즘 선택 (기본값: even)
    • --relocate : 임시 파일을 비율에 따라서 재배치(파일 move) 병행
  • 그 밖에 본래 구현은 있으나 빌드시 기본적으로 포함되지 않은 기능
    • sqlite3 또는 Mysql 또는 MS-SQL 로 workload 실행 결과를 리포팅(push) 생성하는 기능 (이를 통해서 리포팅된 DB를 기반으로 분석하기 위한 기능)
      • 중간중간에 리포팅을 모니터링하는 기능인 --dump-disk, --dump-file 옵션이 여기에 관여함.

다운로드

  • 소스
    • @workload-source-20190320.tar.gz (75.96 KB)
    • [https]https://www.minzkn.com/public/release/workload/[]
    • 설정파일 예시 ("/etc/workload.xml"로 저장하고 적절히 수정하여 사용. 설정파일이 없는 경우 내장된 기본 설정으로 동작.)
      • [https]https://www.minzkn.com/public/release/workload/workload.xml[]
        <?xml version="1.0" encoding="UTF-8"?>
        <workload>
          <config>
            <!-- type=sqlite3|mysql -->
            <meta type="none">
              <!-- SQLite3 (too slow !!!)  -->
              <pathname>./workload.db</pathname>
              <!-- MySQL -->
              <hostname>127.0.0.1</hostname>
              <port>0</port>
              <username>workload</username>
              <password>workload</password>
              <database>workload</database>
            </meta>
            <operation pause="no">
              <left>7</left>
              <right>1</right>
              <interval>0</interval>
        
              <!-- maximum 1000000, assign=random|ordered|even -->
              <files remove="yes" assign="even">1000</files>
        
              <prefix>workload</prefix>
              <suffix>.bin</suffix>
              <filesize>4096</filesize>
              <duration>0</duration>
        
              <!-- (r)ead, (w)rite, rw -->
              <access sync="yes" sendfile="yes" threads="16">rw</access>
            </operation>
            <storage>
              <disk>
                <!-- <name>volume1</name> -->
                <path create="yes">./test/disk1</path>
              </disk>
              <disk>
                <path create="yes">./test/disk2</path>
              </disk>
              <disk>
                <path create="yes">./test/disk3</path>
              </disk>
              <disk>
                <path create="yes">./test/disk4</path>
              </disk>
              <disk>
                <path create="yes">./test/disk5</path>
              </disk>
              <disk>
                <path create="yes">./test/disk6</path>
              </disk>
              <disk>
                <path create="yes">./test/disk7</path>
              </disk>
              <disk>
                <path create="yes">./test/disk8</path>
              </disk>
              <disk>
                <path create="yes">./test/disk9</path>
              </disk>
              <disk>
                <path create="yes">./test/disk10</path>
              </disk>
              <disk>
                <path create="yes">./test/disk11</path>
              </disk>
              <disk>
                <path create="yes">./test/disk12</path>
              </disk>
              <disk>
                <path create="yes">./test/disk13</path>
              </disk>
              <disk>
                <path create="yes">./test/disk14</path>
              </disk>
              <disk>
                <path create="yes">./test/disk15</path>
              </disk>
              <disk>
                <path create="yes">./test/disk16</path>
              </disk>
            </storage>
          </config>
        </workload>
        <!-- vim: set expandtab: -->
        <!-- End of config -->
        


참고자료

  • dd 명령은 Sequential 한 Write 성능을 측정
    dd if=/dev/zero of=<device 또는 파일> bs=<block size> count=<count> conv=fsync
    
  • iotop 명령은 각 프로세스별 R/W 속도와 총합에 대한 속도를 실시간 정보로 표시
    • Generic Netlink protocol을 이용한 TASKSTATS정보로 계산
    • "/proc/<pid>/io" 정보를 활용하는 방법도 있으나 iotop은 Netlink 로 구현됨.
  • netlink_iotop 예제소스(하기 링크) 현재 실행되고 있는 각 프로세스별 R/W 총량을 정보로 표시. 즉, process 중에서 어떤게 제일 많은 I/O를 일으켰는가를 실시간이 아닌 누적 총량으로 확인
  • hdparm/sdparm/smartctl 명령등은 Filesystem 과 상관없는 access 성능 측정 (즉, Disk I/O는 어느정도 의미 있으나 Filesystem을 고려하지 않음)
  • Filesystem의 성능에 크게 영향을 주는 사항
    • mount option
      • nobarrier vs barrier
      • noatime vs relatime
    • jounal 유무
    • Disk 탐색(seek) 응답 시간



/*
[ FrontPage | PrintView | RawView | RSS ]

Copyright ⓒ MINZKN.COM
All Rights Reserved.

MINZKN
*/