JMob

외부에서 데이터를 가져오다 보면 Public API를 사용하더라도 Call Limit이 있어서 데이터 요청에 제약이 있는 경우가 있습니다.이럴 경우 많이 사용하는게 Proxy 서비스로 일정 비용을 내고 사용할 수 있습니다.보통 인기 있는 프록시는 다음과 같습니다.https://www.thordata.com/v1 Thordata - High-Quality Proxy Service for Web Data ScrapingChoose Thordata for top-tier proxy solutions that ensure seamless data collection. Enjoy the best prices and services tailored for your needs.www.thordata.comhttps:..

1. Windows 터미널에서 Ubuntu Shell을 실행합니다. 2. Ubuntu에서 aws cli를 설치합니다.curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"unzip awscliv2.zipsudo ./aws/install 3. configure 설정을 합니다.# 로그인 설정aws configure# 입력AWS Access Key ID [None]: AWS Secret Access Key [None]: Default region name [None]: Default output format [None]: json# 정보 확인aws sts get-caller-identity  4. kubectl을 설치합..

Windows 10부터 WSL이 추가되고, 어느덧 WSL2 버전이 나왔습니다.이전에는 기본 WSL에서 WSL2를 쓰기 위해서는 직접 설치를 해주어야 했지만, 이제는 따로 설정 없이 바로 WSL2를 바로 사용할 수 있습니다. 1. Windows 기능 켜기/끄기에서 아래 항목들을 활성화 해줍니다.- Linux용 Windows 하위 시스템- Windows 하이퍼바이저 플랫폼 2. 터미널에서 WSL 명령어를 실행합니다. 혹시나 오류가 있더라도 자동으로 복구를 진행합니다. 3. wsl.exe --list --online 명령어를 통해 설치 가능한 Linux 버전을 확인합니다. 4. 간단히 Ubuntu 최신 버전을 설치합니다. 이를 위해 wsl install Ubuntu-24.04 입력합니다.설치가 완료되면 재부팅..

AWS EMR에 DataLake를 구축하면서 데이터 테스트를 진행하던 중 EMR Workspce(Jupyter Notebook)에서 '_xsrf' argument missing from post 에러가 발생하면서 진행이 되지 않더군요.  해당 문제는 EMR Workspace가 아니더라도, 주피터 노트북에서 자주 발생하는 문제더군요.  해결 방법은 간단했습니다.1. 해당 Workspace 링크 복사2. 새 탭을 열어서 복사한 링크 오픈3. 변경 사항 저장 및 작업 지속(이전 탭은 닫기) 연결상의 문제인 듯 하고 간단히 해결 할 수 있었습니다!  참고: https://repost.aws/knowledge-center/emr-studio-kernel-issues

맥에서는 여러 패키지를 설치하고 관리 할 때, Homebrew를 대부분 사용하는데, 윈도우에서는 Homebrew를 사용할 수 없다. 그래서 대신 사용할 수 있는 프로그램을 찾아보다 크게 3가지가 있었어요.- Chocolatey- Winget- Scoop Winget은 기본으로 설치가 되어 있지만, 사용성이 편리하진 않았고, 예전에 Chocolatey를 사용 했을 때 편하긴 한데... 불편했어요. 또 비지니스에서는 유료가 있더군요. Scoop은 Homebrew랑 비슷한 철학을 가지고 설계되었다고 설명하고 있고 명령어도 Homebrew랑 비슷하게 되어 있더군요. 그래서 저는 맥도 같이 사용해야해서 Scoop으로 결정했습니다.  간단히 PowerShell에서 명령어를 복사해서 설치 할 수 있습니다.  설치 후..

갤북 5를 구입하면서 오래간만에 Windows 노트북을 사용하게 되면서 개발 환경을 처음부터 세팅하면서 정리했습니다!1. 터미널 앱 사용예전에는(사실 완전 오래전이지만, 아직도 있어서..) 윈도우에서는 CMD 창이라는 엄청 불편한 창을 사용했고, 쉘 명령어도 윈도우 만의 명령어를 사용해서 Linux 랑 너무 달랐습니다. 하지만 윈도우는 개발자보다는 일반 사용자가 우선이였고, CMD에 대한 불편을 개선할 생각이 없었던 거 같지만, 어느 순간 개발자들이 맥으로 많이 갈아타면서 MS에서 직접 터미널 앱을 만들었죠. 처음에는 직접 설치를 해야 했지만, 이번에 Windows 11에서 보니 기본으로 설치가 되어 있네요!처음 소개 유튭 영상인데 이게 벌써 5년 전이군요..! (한 때 이걸 보고 다시 서피스 북 3을 ..

스마트폰에서 데이터 무제한을 사용해도 핫스팟은 공유 데이터로 따로 잡혀서 막 사용하다 보면 어느 순간 핫스팟을 사용할 수 없습니다. 아래처럼 보면 데이터는 무제한이지만, 공유 가능은 따로 표시가 되는데요.저는 청년 89 요금제를 사용해서 공유 데이터도 80GB를 사용할 수 있지만, 노트북으로 이것저것 하다 보면 금방 다 사용합니다.  예전에는 숨겨진 설정을 변경해서 수정하는 것이 가능했지만, 요즘 나오는 폰에서는 막혀 있더군요 ㅠ자급제 폰에서는 가능하다는 이야기도 있던데... 전 SKT 폰이라 막혀서 못하더군요. 이럴 때는 보통 Android Proxy Server - Google Play 앱 을 설치해서 많이 사용했는데, 어느 순간부터 잘 안되더군요.. 그래서 저는 최근에  every proxy - A..

비트코인(Bitcoin)은 분산형 디지털 화폐로, 중앙 기관 없이 P2P 네트워크를 통해 거래가 이루어지며, 블록체인이라는 공개 장부에 모든 거래 내역이 기록된다. 개발자 관점에서 주요 특징은 아래와 같다.1. 분산 원장 시스템 (Distributed Ledger System)비트코인은 블록체인 기술을 사용해 각 거래를 블록에 기록하고, 이러한 블록들을 시간 순서대로 연결하여 모든 거래 내역을 투명하게 공개한다.. 개발자는 이 블록체인 구조를 이해하고, 블록에 데이터를 추가하거나 검증하는 방식으로 네트워크에 참여할 수 있다.2. P2P 네트워크 (Peer-to-Peer Network)비트코인은 중앙 서버 없이 네트워크에 참여하는 노드들이 상호 간에 직접 거래를 검증하고 기록한다. 이 시스템은 신뢰할 수 ..

Docker 명령어 LifeCycle Docker Image 검색 | docker search ex) docker search nginx Docker image 다운로드 | docker pull ex) docker pull nginx (or tomcat) Docker image List 확인 | docker images Image 삭제(rmi -> remove image) | docker rmi Docker image를 이용해서 contrainer 생성 및 확인 | docker create ex) docker create nginx | docker ps -a > status가 create인걸 확인 가능 Container 실행 및 확인 | docker start ex) docker start f8ad946..

Metamask란? Metamask는 우선 간단하게는 Ethereum의 주소를 가지고 있는 지갑(+ a)을 이야기합니다. 기본적으로는 아래처럼 이더리움에 나의 계정과 주소관리하고, 해당 주소에 있는 Eth의 양을 확인할 수 있습니다. 하지만 최근에는 DApp, DeFi, Web3 등 다양한 기능들을 사용할 때 마치 ID처럼 사용할 수 있습니다. 특히, 최근에는 Web3를 활용한 다양한 서비스들이 생겨나고 있기 때문에 Metamast와 같은 서비스들이 많이 사용될걸로 추측됩니다. 설치방법 기본적으로 크롬에서 시작하는걸 추천 드립니다. 그러면 크롬 웹스토어에서 간단하게 설치 할 수 있습니다. 아래 링크로 접속 후 Chrome에 추가를 누르면 간단하게 설치 가능합니다. https://chrome.google...