2021년 11월 28일 일요일

기술관련 포스팅 - 2021.11.28


Tech


간단한 추천엔진 제작기 (w/h Postgres & Python)

데이터베이스에서 SQL 을 분석하고, 실행계획(Optimizer 라고도 하죠) 을 체계화 하여 계획대로 실행 하는 것은 DBMS 엔진이라면 당연한 것입니다.


SQL 뿐 아니라 다른 Language 도 인간이 작성한 언어(Code)를 컴파일러가 분석, 컴파일/실행 하는 것은 논리적으로 크게 다르지 않습니다.

Python 같은 Interpreter 언어도 마찬가지죠.


위 내용은 Postgres DB 와 Python 을 사용하여 추천엔진을 간단하게(?) 만드는 글입니다.


DBMS 내부에서 Pandas, Numpy, SciPy 등을 사용하여 User function 을 작성, 커스터마이징하는 간단한 소개글인데 보면 볼수록 사용법과 응용방안이 흥미 진진(?) 하군요 :)




AI 코드 자동완성 출시(베타)

goorm 에서 GPT-2 모델기반 코드 자동 완성기능 (코드바이저)를 베타로 출시 하였습니다.


베타기간 동안은 모든 유저가 무료로 사용가능하다고 하네요.

지원 가능한 언어는 Java, Javascript, Python 등이 있습니다.


아직은 초보(?) 수준의 완성도이지만 이것도 계속 학습해 나가는 것이겠죠?





DevLake : Dev Data Lake

오픈소스로된 DataLake 프로젝트가 있어 소개합니다.


흥미로운건 DevOps 와 접목시켜 관련 프로세스와 Data Lake 기술을 혼합해서 사용할수 있도록 만들었군요.


Jira, Git, Jenkins ,Grafana, MariaDB 같은 오픈소스 s/w 로 되어있고, Docker 로 패키징 되어있습니다.





한글라이즈 - 외래어 한글 변환 프로그램

네이버 클로바에서 소프트웨어 엔지니어로 근무 하고 있는 개발자가 외래어를 한글로 표기하는 프로그램을 공개하였습니다.


영어같은 경우는 발음기호를 통해 발음하는 것이 일반적이지만,

다른 언어들의 경우 외래어 표기 규칙이 천차만별이죠.


프로그램은 해당 언어에 맞는 규칙을 사용하여 한글로 전사하는 것을 도와줍니다.





크로스 플랫폼 터미널 - Tabby

윈도우, 맥, 리눅스에서 모두 사용할수 있는 Multi Terminal Client 가 공개되었군요.


Local shell(PowerShell 등), SSH, Telnet 등을 하나의 플랫폼에서 사용이 가능하고,

다양한 플러그인을 설치하여 기능 확장이 가능합니다.

2021년 11월 9일 화요일

기술 관련 포스팅 (21.11.09)


Tech


2021년 AI/ML/BD 업계 지도와 트렌드


1장의 Landscape 로 정리한 2021년 Bigdata & AI 업계 트렌드와 설명이 포스팅 되었네요.

다양한 관점에서 (기술,투자,M&A 등) 상세하게 설명되어있고 products 의 history 를 중심으로 풀어나갑니다.

Hot 키워드를 정리하자면,

  • Data Mesh
  • Real time Now (이제는 실시간)
  • Reverse ETL
  • Feature Store
  • ModelOps 의 부상
  • China AI Stack 의 발전

등인데,  

Datawarehouse-> Data Lake -> Lakes on Everywhere 관련 아티클도 소개되어 있습니다.

Persistence infra 관련, Hadoop 이 Bigdata 에 대한 초석을 닦아놓았다면, 이제는 클라우드와 결합한 

진정한 의미(?)의 Bigdata 솔루션들이 시장에 나오고 있고, 눈여겨볼 선두주자들은 Snowflake 와 Lakehouse 가 명시되어 있네요.

Lakehouse 는 Spark 를 인수한 Databricks 에서 야심차게 만든 솔루션입니다.

Databricks 는 불과 몇년전만 하더라도 Gartner's magic quadrant 에서 visionary 의 한부분을 차지하고 있었지만,

2021년은 IBM, SAS 등 전통적인 업계 리더들과 함께 Leaders 파트로 등재해 있지요. (참조)

그밖에 업계들간의 sharing 동향, friend and foe 전략등 눈여겨 볼만한 아티클이 많습니다.