JMob

외부에서 데이터를 가져오다 보면 Public API를 사용하더라도 Call Limit이 있어서 데이터 요청에 제약이 있는 경우가 있습니다.이럴 경우 많이 사용하는게 Proxy 서비스로 일정 비용을 내고 사용할 수 있습니다.보통 인기 있는 프록시는 다음과 같습니다.https://www.thordata.com/v1 Thordata - High-Quality Proxy Service for Web Data ScrapingChoose Thordata for top-tier proxy solutions that ensure seamless data collection. Enjoy the best prices and services tailored for your needs.www.thordata.comhttps:..

1. Windows 터미널에서 Ubuntu Shell을 실행합니다. 2. Ubuntu에서 aws cli를 설치합니다.curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/install 3. configure 설정을 합니다.# 로그인 설정aws configure# 입력AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: json# 정보 확인aws sts get-caller-identity  4. kubectl을 설치합..

Windows 10부터 WSL이 추가되고, 어느덧 WSL2 버전이 나왔습니다.이전에는 기본 WSL에서 WSL2를 쓰기 위해서는 직접 설치를 해주어야 했지만, 이제는 따로 설정 없이 바로 WSL2를 바로 사용할 수 있습니다. 1. Windows 기능 켜기/끄기에서 아래 항목들을 활성화 해줍니다.- Linux용 Windows 하위 시스템- Windows 하이퍼바이저 플랫폼 2. 터미널에서 WSL 명령어를 실행합니다. 혹시나 오류가 있더라도 자동으로 복구를 진행합니다. 3. wsl.exe --list --online 명령어를 통해 설치 가능한 Linux 버전을 확인합니다. 4. 간단히 Ubuntu 최신 버전을 설치합니다. 이를 위해 wsl install Ubuntu-24.04 입력합니다.설치가 완료되면 재부팅..

AWS EMR에 DataLake를 구축하면서 데이터 테스트를 진행하던 중 EMR Workspce(Jupyter Notebook)에서 '_xsrf' argument missing from post 에러가 발생하면서 진행이 되지 않더군요.  해당 문제는 EMR Workspace가 아니더라도, 주피터 노트북에서 자주 발생하는 문제더군요.  해결 방법은 간단했습니다.1. 해당 Workspace 링크 복사2. 새 탭을 열어서 복사한 링크 오픈3. 변경 사항 저장 및 작업 지속(이전 탭은 닫기) 연결상의 문제인 듯 하고 간단히 해결 할 수 있었습니다!  참고: https://repost.aws/knowledge-center/emr-studio-kernel-issues

맥에서는 여러 패키지를 설치하고 관리 할 때, Homebrew를 대부분 사용하는데, 윈도우에서는 Homebrew를 사용할 수 없다. 그래서 대신 사용할 수 있는 프로그램을 찾아보다 크게 3가지가 있었어요.- Chocolatey- Winget- Scoop Winget은 기본으로 설치가 되어 있지만, 사용성이 편리하진 않았고, 예전에 Chocolatey를 사용 했을 때 편하긴 한데... 불편했어요. 또 비지니스에서는 유료가 있더군요. Scoop은 Homebrew랑 비슷한 철학을 가지고 설계되었다고 설명하고 있고 명령어도 Homebrew랑 비슷하게 되어 있더군요. 그래서 저는 맥도 같이 사용해야해서 Scoop으로 결정했습니다.  간단히 PowerShell에서 명령어를 복사해서 설치 할 수 있습니다.  설치 후..

갤북 5를 구입하면서 오래간만에 Windows 노트북을 사용하게 되면서 개발 환경을 처음부터 세팅하면서 정리했습니다!1. 터미널 앱 사용예전에는(사실 완전 오래전이지만, 아직도 있어서..) 윈도우에서는 CMD 창이라는 엄청 불편한 창을 사용했고, 쉘 명령어도 윈도우 만의 명령어를 사용해서 Linux 랑 너무 달랐습니다. 하지만 윈도우는 개발자보다는 일반 사용자가 우선이였고, CMD에 대한 불편을 개선할 생각이 없었던 거 같지만, 어느 순간 개발자들이 맥으로 많이 갈아타면서 MS에서 직접 터미널 앱을 만들었죠. 처음에는 직접 설치를 해야 했지만, 이번에 Windows 11에서 보니 기본으로 설치가 되어 있네요!처음 소개 유튭 영상인데 이게 벌써 5년 전이군요..! (한 때 이걸 보고 다시 서피스 북 3을 ..

스마트폰에서 데이터 무제한을 사용해도 핫스팟은 공유 데이터로 따로 잡혀서 막 사용하다 보면 어느 순간 핫스팟을 사용할 수 없습니다. 아래처럼 보면 데이터는 무제한이지만, 공유 가능은 따로 표시가 되는데요.저는 청년 89 요금제를 사용해서 공유 데이터도 80GB를 사용할 수 있지만, 노트북으로 이것저것 하다 보면 금방 다 사용합니다.  예전에는 숨겨진 설정을 변경해서 수정하는 것이 가능했지만, 요즘 나오는 폰에서는 막혀 있더군요 ㅠ자급제 폰에서는 가능하다는 이야기도 있던데... 전 SKT 폰이라 막혀서 못하더군요. 이럴 때는 보통 Android Proxy Server - Google Play 앱 을 설치해서 많이 사용했는데, 어느 순간부터 잘 안되더군요.. 그래서 저는 최근에  every proxy - A..

Docker 명령어 LifeCycle Docker Image 검색 | docker search ex) docker search nginx Docker image 다운로드 | docker pull ex) docker pull nginx (or tomcat) Docker image List 확인 | docker images Image 삭제(rmi -> remove image) | docker rmi Docker image를 이용해서 contrainer 생성 및 확인 | docker create ex) docker create nginx | docker ps -a > status가 create인걸 확인 가능 Container 실행 및 확인 | docker start ex) docker start f8ad946..

이번에 새로나온 Mac OS로 업데이트를 했더니 git도 안되고 이것저것 안되네요... 해결 방법 ! 아래 명령어를 통해 소프트웨어를 설치하면 됩니다! xcode-select --install

이번에 Windows 11이 드디어 정식 출시했습니다. beta 버전을 살짝 써보고 있었지만, 정식 출시가 되었으니 최신 버전으로 업데이트 후 Windows 초기화를 진행했으며, 다시 개발 환경을 셋팅을 해보면서 글을 남겨보려 합니다. 0. Edge 설치 먼저 초기화 후 당황스러웠던건... Windows 11의 경우 더 이상 Internet Explorer를 지원하지 않고 Edge를 지원하는데 Edge가 실행이 되지 않더군요... 인터넷을 할 수 없어서 매우 당황스러웠는데... 다행이 찾은 방법은 Windows Store에서 Edge를 설치 했습니다. (Store가 생각보단 깔끔하더군요) 여러 업데이트를 진행 한 뒤 Edge를 설치하고 인터넷을 할 수 있었습니다... 1. Chocolate 설치 Mac에..