프로젝트

생각보다 어려운 굴러가는 바퀴 만들기여러 인원이 모여서 사이드 프로젝트를 진행해 보신 경험들이 있으신가요? 처음에 시작할 때에는 여러 사람들이 모여 협업하기 때문에 내가 혼자하는 것보다 몇 배는 빨라질 것이라 생각하지만 실제 체감해보면 생각보다 느린 속도를 경험해 보셨을 것입니다. 그래서 이를 해결하기 위해 여러 규칙들을 만들고 프로세스를 정의하다가 결국 배보다 배꼽이 더 커져 프로젝트 인원들이 나가게 되는 경험들도 해보셨을 거라 생각됩니다. 저희 누구나리포터 LAB도  다른 사이드 프로젝트와 마찬가지로 무려 13명이라는 인원들이 모여 프로젝트를 진행하는 과정 속에서 여러 시행착오들과 잘못된 선택들을 한 순간들이 다수 존재했습니다. 그런 순간들을 어떻게 이겨내고 문제들을 해결해 나갔는지 소개하면서 누구나..

서버리스를 쓰게 된 배경 이번에 테크포임팩트라는 활동을 통해서 비영리 기업을 지원하는 프로젝트에 참여하게 되었는데요. 해당 기업에서는 내부적으로 Lambda라는 기술을 사용하고 있어서 신규 프로젝트도 서버리스 환경에 맞춰 구축하고 운영하기 위해 고려해야 되는 점들을 조사하여 정리해보려고 합니다. 일단 프로젝트를 개발하고 운영하는 전략을 알아보기 전에 서버리스는 어떤 장점을 가지고 있기에 스타트업부터 대기업까지 다양한 규모의 기업들이 활용하고 있는지에 대해 자세히 알아봅시다. 서버리스의 가장 큰 장점 중 하나는 적은 러닝커브에 있습니다. 개발자가 일반적인 웹서버를 구축하기 위해 어떤 지식들이 필요한지 나열해보면 아래의 내용처럼 많은 지식들을 요구하는 것을 알 수 있었습니다. 그래서 초기에 개발을 배우고 서..

HTML 파싱 이전에 URL로 요청을 보내고 HTML까지 저장하는 데까지 마무리하고 다음은 저장한 HTML에서 특정 태그를 파싱하여 가져오는 것을 진행했다. 그과정에서 자바에서 제공해주는 joup라는 html parser를 활용하여 글자를 추출해오는데 여기서 가장 큰 걸림돌은 어떻게 해야 글내용만 추출해올 수 있을까? 였다. 모든 글이 각자 다른 플랫폼을 활용하고 있었고 각기 다른 컨텐츠 영역을 가지고 있었기 때문에 셀렉터나 아이디를 활용하여 글영역만 가져오기 쉽지 않았다. 전처리를 하기위한 선택지 플랫폼마다 글영역의 아이디를 저장하고 등록된 플랫폼만 글을 파싱하여 전처리한다. 데이터 품질을 신경쓰지 않고 모든 내용들을 파싱한다. 게시글에 자주 사용되는 태그를을 중심으로 파싱하여 전처리 한다. 머신러닝을..