빅데이터 다루기 with DBMS

대량 데이터 프로젝트하면서, 빠르고 가벼운 DB로 뭘 쓸까 하다가…

3

최초로 고민했던게, sqlite3 였다. 간단하고 가벼워서 빠를것 같아서였다. 가벼우니 구동은 빨랐던것 같다. 하지만, 데이터가 커질수록 한계가 느껴졌다. 1년치 코스피 시가/종가,등락폭 등 자료를 모아서 쿼리를 하는데… 참아줄만한 수준이 아니었다. https://www.sqlite.org/whentouse.html 페이지에 보면, 비~~~~익 데이터 말고는 충분히 커버할것처럼 설명되어 있지만, 아니더라.

그땐 몰랐는데, 지금 생각해보면… sqlite3모듈을 python을 사용했는데, 파이썬의 속도때문이 아니었나 하는 생각도 든다. java나 c library로 wrapping했다면, 좀더 빠를 수 있지 않았을까.. 싶다.

그다음으로 테스트해본게 mysql 이었다. 많은 사람들이 사용하고, 심플하니까 빠를지 모른다고 생각했다. 테스트 해보니 실제로 성능이 나오지 않았다. 오픈소스 DB선택 1순위였는데, 항상 만족할만한 결과를 주는건 아니었다.

다음 대안으로 선택한 DBMS인데, 아직까지는 생각보다 괜찮다. 게다가 앞서의 두 DB보다 다양한 쿼리와 인덱스를 제공하여서, 지금 당장 퍼포먼스가 늦는다고 해도 튜닝해볼만한 요소가있어서 안심이 된다. 일단 진행을 좀 더 해보고 의견을 좀 정리해봐야겠다.

답글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.