Solr Cloud over 100 million( 1억 ) docs.

내부적으로 실험적인 프로젝트로 시작한 Solr Cloud 가 여러 베타 테스트 및 스트레스 테스트를  거쳐 운영환경에 포팅한지 약 6개월 정도 지났는데요.

6개월 동안 크롤링 머신이 지속적으로 색인을 하여 현재 색인량이 1억건(100 million)을 넘어섰습니다.

아래는 운영중인 Solr 서버의 조회결과 스크린샷 입니다.

Cache 를 사용했다고 하지만, Full text search engine 에서 1억건 전체 카운트를 가져오는데 1562 millisecond(1.5 seconds) 걸리는 군요.

쓰면 쓸수록 어디까지가 Solr 의 한계인지 모르겠습니다. 시스템 자원이 허락하는 만큼 try 를 해보고 싶은것이 너무도 많네요.

아래는 4대의 서버와 2개의 Shards 로 구성한 Solr Cloud 스크린샷 입니다.

Lucene/Solr 가 현재까지의 검색 플랫폼에 커다란 획을 긋는 Architecture 인것은 확실한것 같습니다.

No SQL 비교, (Hbase, Cassandra, MongoDB)

평소에 Cassandra 아키텍쳐 에 매료되어 관심을 가지고 있었는데,

Cassandra 로 상용 솔루션을 출시한 DataStax 에서 아래와 같이 메일이 왔더군요.

재밌는 내용이 많아 공유합니다.

- 메일 원문 -

Hi Jinho,

DataStax is driving the Apache Cassandra database to be the first viable alternative to Oracle for companies who are transforming the way they interact with customers.
From startups to Fortune 100 Enterprises, the evidence is clear that a change is required.  Applications must now scale to levels that were unimaginable just a few years ago, but scaling alone isn't enough. Companies also require that their applications are always available and lightning fast, and that is where traditional databases fail.
Cassandras beautifully simple and elegant architecture handles these problems in ways no other database can.  Its fully distributed nature allows for amazing performance at extreme data velocities.  And for availability, we can forget about the days when simply worrying about an outage of a machine here or there was all that was needed. Cassandra delivers a world where you can lose an entire datacenter and still perform as your customers expect -- thats availability!
Netflix, Adobe, eBay to name a few, have all switched to DataStax Enterprise (DSE) and below are just some of the reasons why they arent looking back:
Faster access to data
Quicker time to market
80-90% reduced costs over RDMS
Smart bundle: Enterprise ready Cassandra, Apache Hadoop for analytics, and Apache Solr for search.
I have included a recent webinar that includes a simple guide of how to choose: How To Tell if your Business Needs NoSQL  
If your next generation applications need to run at the speed of now then we should connect soon.  When would be a good time for us or direction to someone on your team to speak briefly?


Michael Hammer
Business Development
DataStax (Powered by Apache Cassandra & Hadoop)

650-281-1906 - Mobile
650-389-6034- Office
michael.hammer99- Skype

Cassandra could wreak havoc on Oracle" - USA TODAY

특히, NoSQL 솔루션 벤치마크 결과 를 눈여겨 보시기 바랍니다.