기술관련 포스팅 - 2021.11.28

Tech

---

간단한 추천엔진 제작기 (w/h Postgres & Python)

데이터베이스에서 SQL 을 분석하고, 실행계획(Optimizer 라고도 하죠) 을 체계화 하여 계획대로 실행 하는 것은 DBMS 엔진이라면 당연한 것입니다.

SQL 뿐 아니라 다른 Language 도 인간이 작성한 언어(Code)를 컴파일러가 분석, 컴파일/실행 하는 것은 논리적으로 크게 다르지 않습니다.

Python 같은 Interpreter 언어도 마찬가지죠.

위 내용은 Postgres DB 와 Python 을 사용하여 추천엔진을 간단하게(?) 만드는 글입니다.

DBMS 내부에서 Pandas, Numpy, SciPy 등을 사용하여 User function 을 작성, 커스터마이징하는 간단한 소개글인데 보면 볼수록 사용법과 응용방안이 흥미 진진(?) 하군요 :)

AI 코드 자동완성 출시(베타)

goorm 에서 GPT-2 모델기반 코드 자동 완성기능 (코드바이저)를 베타로 출시 하였습니다.

베타기간 동안은 모든 유저가 무료로 사용가능하다고 하네요.

지원 가능한 언어는 Java, Javascript, Python 등이 있습니다.

아직은 초보(?) 수준의 완성도이지만 이것도 계속 학습해 나가는 것이겠죠?

DevLake : Dev Data Lake

오픈소스로된 DataLake 프로젝트가 있어 소개합니다.

흥미로운건 DevOps 와 접목시켜 관련 프로세스와 Data Lake 기술을 혼합해서 사용할수 있도록 만들었군요.

Jira, Git, Jenkins ,Grafana, MariaDB 같은 오픈소스 s/w 로 되어있고, Docker 로 패키징 되어있습니다.

한글라이즈 - 외래어 한글 변환 프로그램

네이버 클로바에서 소프트웨어 엔지니어로 근무 하고 있는 개발자가 외래어를 한글로 표기하는 프로그램을 공개하였습니다.

영어같은 경우는 발음기호를 통해 발음하는 것이 일반적이지만,

다른 언어들의 경우 외래어 표기 규칙이 천차만별이죠.

프로그램은 해당 언어에 맞는 규칙을 사용하여 한글로 전사하는 것을 도와줍니다.

크로스 플랫폼 터미널 - Tabby

윈도우, 맥, 리눅스에서 모두 사용할수 있는 Multi Terminal Client 가 공개되었군요.

Local shell(PowerShell 등), SSH, Telnet 등을 하나의 플랫폼에서 사용이 가능하고,

다양한 플러그인을 설치하여 기능 확장이 가능합니다.

기술 관련 포스팅 (21.11.09)

Tech

---

2021년 AI/ML/BD 업계 지도와 트렌드

1장의 Landscape 로 정리한 2021년 Bigdata & AI 업계 트렌드와 설명이 포스팅 되었네요.

다양한 관점에서 (기술,투자,M&A 등) 상세하게 설명되어있고 products 의 history 를 중심으로 풀어나갑니다.

Hot 키워드를 정리하자면,

• Data Mesh
• Real time Now (이제는 실시간)
• Reverse ETL
• Feature Store
• ModelOps 의 부상
• China AI Stack 의 발전

등인데,  

Datawarehouse-> Data Lake -> Lakes on Everywhere 관련 아티클도 소개되어 있습니다.

Persistence infra 관련, Hadoop 이 Bigdata 에 대한 초석을 닦아놓았다면, 이제는 클라우드와 결합한 

진정한 의미(?)의 Bigdata 솔루션들이 시장에 나오고 있고, 눈여겨볼 선두주자들은 Snowflake 와 Lakehouse 가 명시되어 있네요.

Lakehouse 는 Spark 를 인수한 Databricks 에서 야심차게 만든 솔루션입니다.

Databricks 는 불과 몇년전만 하더라도 Gartner's magic quadrant 에서 visionary 의 한부분을 차지하고 있었지만,

2021년은 IBM, SAS 등 전통적인 업계 리더들과 함께 Leaders 파트로 등재해 있지요. (참조)

그밖에 업계들간의 sharing 동향, friend and foe 전략등 눈여겨 볼만한 아티클이 많습니다.

기술 관련 포스팅 (21.06.09)

Tech

---

Webcontainers

혁신적인 제품이나 기술들은 언제나 그렇듯, 세상을 바꿉니다.

2013년 첫 등장한 Linux Container 기반의 OS 가상화 도구인 Docker 는 현재 서버의 가상환경뿐 아니라 End user 인 윈도우 사용자와 맥 User 의 가상환경 까지도 편리하게 바꾸어 놓았죠.

예를들어 개발자가 Apache Spark 관련 어플리케이션 개발을 하려고 한다면,

전통적으로는 Java + Spark 설치 후 Winhadoop 과 Jupyter notebook 설치. 그리고 필요하다면 Anaconda 등을 설치해야만 했지만,

Docker 를 사용한다면 아래의 command 면 바로 사용할수 있죠.

$ docker pull jupyter/all-spark-notebook

$ docker run -p 8888:8888 jupyter/scipy-notebook:33add21fab64

이런 컨테이너 기술을 일반적인 서버나 컴퓨터 환경이 아닌 웹브라우져 에서도 실행하게끔 개발하는 곳이 있습니다.

개발환경을 만드는 stackblitz 라는 곳에서 Google 과 협업하여 웹브라우져에서 Next/Node.js 및 GraphQL 등의 Backend 실행이 가능하게끔 WebContainer Beta 버전을 공개하였습니다.

현재는 Chrome 과 Edge 일부 버전에서만 지원한다고 하지만,

공개한 내용을 보니 웹브라우져 내부 에서 HTTP Server 를 새로 띄워 브라우저와 서로 Socket 통신하는 것이 가능하군요.

개발자 도구로 디버깅도 가능하다고 하니, 머지 않아 브라우져가 Middle ware 역할을 하는 기술들도 나올듯..

 

웹브라우저 사용통계

위의 WebContainers 기술과 함께 보면 도움이 될만한 자료입니다.

글로벌 마켓셰어 사이트의 브라우져 사용량 통계 입니다.

한국의 경우 2021.05 기준으로 아래와 같네요.

• Chrome : 54.31%
• Samsung Internet : 12.69%
• Safari : 12.51%
• Whale : 7.99%
• Edge : 6.32%
• IE : 3.15%

IE 가 3% 로만 표기되는 것 보니 인트라넷이나 공공기관 사이트는 통계에 포함되지 않은듯 합니다만, 어쨌든 사용자 기준으로 알려주는듯 하군요.

관심 있으신 분은 한국 사용자들의 소셜 미디어 사용 통계 도 눈여겨 보시기 바랍니다.

 

Datanymizer

개인정보 데이터를 보안 요구사항에 맞게 재처리 하는 기술은 전세계적으로 상품성이 높은 기술입니다.

Datanymizer 는 DB 내용을 읽어 원하는 테이블/필드 를 Anonymous(익명) 하게 바꾸어 주는 Rust 로 만든 Open S/W 입니다.

• yaml 설정 기반
• Tera 템플릿 엔진 연동
• 중간 저장 단계를 없애서 GDPR 준수

현재로서는 PostgreSQL 만 지원하고 MySQL 은 조만간 release 된다고 하는군요.

기타

---

 

손목의 문제인줄..

손목 터널 증후군으로 고생하다 수술까지 해본 개발자가 이후에 각종 장비(?)를 섭렵한 후기를 포스팅 하였군요.

블로거 당사자도 예전 손목 터널증후군으로 고생을 많이 해본적이 있던터라 공감되는 내용들이 꽤 있습니다.

 

메타버스가 대체 뭐야?

전세계적으로 요새 화두죠.

국내 기업들도 앞다투어 메타버스에 투자계획을 밝히거나 서비스에 나선다고 속속들이 밝히고 있습니다.

위 영상은 VR Oasis 의 Mike 가 가상환경에서 로지텍 키보드를 사용, 가상과 실제환경을 인터페이스 하여 메타버싱 하는 영상입니다.

영상과 같이 클라우드 기술, 그리고 VR 기술이 합쳐지면 앞으로 영화 Matrix 의 세계관이 펼쳐질수 있을까요?

 

기술 관련 포스팅 (21.05.27)

비 정기적으로 기술문서와 IT 관련 뉴스 Crawling 내용을 선별하여 포스팅 합니다.

Tech

파이썬 메모리 관리

런타임 기술의 내부 메커니즘을 깊숙히 이해한다는 것은 향후 어플리케이션 설계나 구현에 많은 도움이 됩니다.

이 글에서는 파이썬 (정확히는 Cpython 이죠) 에서 메모리 관리를 어떻게 하는지, C 언어로 만들어진 파이썬 내부 구조를 파악하여 알기 쉽게 설명합니다.

마찬가지로 C/C++ 로 만들어진 언어인 Java 와 가비지 콜렉션을 어떻게 차별화 하는지,

그리고 파이썬으로 concurrency 한 작업을 진행할 경우 한번쯤 맞닥드리게 될 악명높은 GIL 을 파이썬 재단에서 왜 선택하였는지에 대한 이유와,

반대로 이것을 버리지 못하는 이유도 함께 기술되어 있네요.

파이썬 개발자 뿐 아니라 Java 개발자 에게도 도움이 되는 글이니 한번쯤 읽어 보시기 바랍니다.

여기를 클릭하여 확인 가능 합니다.

 

모바일 과 양자컴퓨팅

퀄컴에서 신경망에 양자 컴퓨팅 기술을 접목시키려는 내용을 블로그에 포스팅 하였네요.

퀄컴 테크놀로지 네덜란드 기술 부사장인 맥스 웰링 박사(Dr. Max Welling) 가 모바일에 양자 컴퓨팅 기술을 설계하기 까지의 과정을 퀄컴코리아에 포스팅 하였군요.

클릭

 

초보자를 위한 리눅스 서버 보안용 팁

간단한 apt-get 업데이트 부터 deep scan port 까지 유용한 정보들이 꽤 많습니다.

울 회사에도 코인 마이너에 여러번 당했었죠..

이젠 보안은 선택이 아니라 필수 인듯.

클릭

---

책

사용자를 끌어들이는 UX-UI 의 비밀

“인터페이스 디자인에 대해 진지하게 생각하는 사람이라면

누구나 책장에 꽂아 둬야 할 책.

플랫폼에 상관없이 적용할 수 있는 검증된 인터페이스 패턴을 다룬다.”

– 댄 새퍼, 《인터랙션 디자인》 저자

클릭

 

올바른 방법으로 Python 배우기

유명한 책인 "컴퓨터 과학자처럼 생각하며 배우는 파이썬" 개정판이 무료 E북 으로 공개되었네요.

파이썬을 설치하지 않고 온라인에서 진행도 가능하게 만들어서 쉽게 실행 가능. (Repl.it)

여기 서 확인.

 

---

기타

국내 코딩학원 + 코딩 캠프 요약 정리

멀티캠퍼스에서 한 수강생이 질문하여 알려주게 되었는데, 여기에도 같이 공유 합니다.

학원관련하여 정보수집 하여 추출, 요약 작업을 하려고 하였는데...

이미 누군가가 작성해 놓은게 있더군요. (훌륭하게)

그런데 찾아보니 실리콘 밸리에서 진행하는 코스도 있네요 (돈만 있다면야 어딘들..)

클릭

IT 기술 관련 포스팅 (05.18)

안녕하세요.

오랜만에 포스팅 하네요. 이글은 제 회사 메일에도 올린것을 그대로 공유 합니다.

Web framework benchmark

10년 전에도 그렇고 현재에도 WWW 기술은 기업의 규모를 떠나서 중요한것 같습니다.

모바일도 장치에 특화된 App을 개발하지 않는 이상, 모바일 웹기술이 대세를 이루고 있는것을 보면 당분간 웹서비스의 발전은 지속될것 같습니다.

아래는 Benchmarker 라는 비영리 단체에서 Java, Python, PHP, ruby 등 현재 시장에 나와있는 거의 모든 Web 프레임워크 속도를 벤치마크하여 결과를 포스팅한 결과입니다.

1위는 마이크로 서비스에 최적화된 JVM 프레임워크인 ActiveJ 가 차지하였는데, (반드시 필요한 libraries 만 implements 하였으니 당연한 걸수도..)

눈에 띄는건 Node.js 의 마이크로 프레임워크인 Nanoexpress 가 그 뒤를 바짝 뒤쫓고 있군요. 성능 차이도 ActiveJ 와 별로 나지 않는걸 보면 조만간 역전할 수도..

링크는 여기서 참조 가능합니다.

 

무료 도메인 발급

아래는 SSL 이나 도메인 테스팅에 캐쥬얼하게 테스트 할수 있는 무료 도메인 발급이 가능한 방법을 소개 하였네요.

데벨롭

 

암호화폐 트레이딩 봇

전세계에서 암호화폐가 hot issue 죠. 아래글은 한국의 가상화폐 거래소인 업비트 에서 트레이딩을 할수 있는 Bot 을 만든 블로그 입니다.

파이썬 개발자인데 Go 로 만들었다고 하네요.

hELLO

 

코더

실리콘 밸리에서 일하고 있는 개발자인데, 박사 학위 취득후 아직도(?) 개발을 하고 있는 열정적인 박상민이라는 블로거 입니다.

오랜 경험에서 나오는 코더를 보는 세상의 시각. 그리고 고급개발자 일 수록 실제로 코딩을 해야 한다는 그의 철학이 잘 녹아있는 글인것 같아 공유 합니다.

sangmin.park