분류 전체보기 48

Conda 환경 관리

Conda 를 통해 서로 다른 버전의 Python 과 패키지를 가지고 있는 환경을 만들 수 있습니다. 지금부터 Conda 에서 환경을 관리하는 방법에 대해 소개드리고자 합니다. 1. 환경 생성 기본 생성 conda create --name myenv Python 버전 지정 conda create -n myenv python=3.6 특정 패키지를 포함한 환경 생성 conda create -n myenv scipy # 버전 지정 conda create -n myenv scipy=0.15.0 # Python과 패키지 버전 지정 및 여러 패키지 설치 conda create -n myenv python=3.6 scipy=0.15.0 astroid babel

Language/Python 2022.02.03

Apache Kudu

Kudu 란? Hadoop Platform 용으로 개발 된 Columnar Storage Kudu 의 특징 OLAP 의 workload 를 빠르게 처리 MapReduce, Spark 등 Hadoop Ecosystem 과 통합 Impala 와 통합 강력하고 유연한 일관성 모델 제공 Sequential/Random Access 를 동시에 처리 운영 편의성 고가용성 제공 정형 데이터 모델 Kudu 를 활용하기 적합한 Application Reporting Application Time-serise Application Predictive-model Application Kudu-Impala 통합 Impala 를 이용하여 kudu 를 SQL 로 질의할 수 있음 CREATE/ALERT/DROP INSERT/UPD..

Big Data 2020.03.30

Data Lake

Data Lake 정의 자연/원시 포맷 형태로 저장된 데이터의 시스템 또는 저장소 원시 데이터와 변환된 데이터를 포함한 기업의 모든 데이터를 저장하는 단일 저장소 (출처 : https://en.wikipedia.org/wiki/Data_lake) Data Lake 는 한 마디로 자연/원시 포맷 형태를 저장하는 단일 저장소 라고 할 수 있습니다. Data Lake 의 특징 Data Lake 는 아래와 같이 몇 가지 특징들이 있습니다. 다양한 형태(Format) 지원(정형/반정형/비정형/바이너리 데이터) Sacle-out 구조를 통한 대용량 데이터 저장 데이터 추출과 탐색 Data Lake 설계 시, 데이터 추출과 탐색 등 데이터 관리 측면 을 고려하지 않는다면 데이터 늪(Data Swamp) 이 될 가능성..

Big Data 2020.03.25

아이폰X 직구후기 & 개봉기 & 초간단 리뷰

애플 미국 홈페이지에서 예약구매일에 구매했던 아이폰X 가 드디어 도착했습니다.예약구매 때 정말 열심히 광클릭 하였지만, 슬프게도 사이트가 열리지 않아 10분이 지나서야 주문할 수 있었던.... 그 결과, 발매일에 맞춰 받으신 분들보다 약 1주일 가량 늦게 받아 볼 수 있었습니다. (심지어 한진 택배의 오배송 사고까지.......)그럼 간단하게 직구후기 부터 개봉기 그리고 초간단 리뷰까지 진행해보기로 하겠습니다.1. 직구직구는 이하넥스(ehanex) 의 오레곤(OR) 배대지를 이용하였습니다.지난 아이폰7 직구 때 사용하였던 애플아이디를 사용해서인지 다행히도 배대지 숙청을 무사히 통과하였습니다.배송지연이 발생할 수 있는 모든 가능성을 제거하기 위해 배송비는 포인트를 통해 자동결제로 세팅해놓았습니다.(포인트결..

기타 2017.11.20

샤오미 Xiaomi Mi A1 개봉기&간단 리뷰

아이폰X 를 들이기 위해 그동안 사용했던 아이폰7 을 팔고, 아이폰X 출시 전까지 사용할 폰으로 순정 안드로이드 OS(안드로이드 원) 가 탑재된 샤오미 Mi A1 을 들여왔습니다. 예전에 홍미노트 4X 를 사용했었지만, MIUI에 흥미를 못느껴 처분했었던 터라 A1에 대한 기대가 더욱 컸습니다. 그럼 지금부터 개봉기와 약 2주간의 사용경험을 바탕으로 간단한 리뷰를 진행해 보겠습니다.참고로 제품의 구입은 직구 전문 쇼핑몰인 qoo10 을 이용하였습니다. [제품구성] 먼저 이렇게 박스는 겉박스와 속박스로 이루어져 있습니다. 사용설명서, USB 타입 C 케이블, 충전 어댑터, 그리고 본체로 구성되어 있습니다.(유심 트레이 핀도 포함되어 있습니다.) [디자인] 디자인은 군더더기 없고 무난합니다. 전면부에는 안드..

기타 2017.10.26

맥북(뉴맥북 레티나) 2017 개봉기

맥북 2017 CTO(i5, 16g) 를 결제하고, 드디어 일주일만에 도착했습니다!!!!! 결정장애로 인해 메모리 8g를 주문했다 취소하고 16g를 다시 주문하는 우여곡절 끝에 제 품으로 들어왔습니다.ㅠㅠ CTO주문인지라 예상 배송일보다 혹시나 일찍 오지는 않을까 하는 기대를 가지며 기다리다 보니 너무나도 길고 길었던 일주일이었네요​​.(결국 예상 배송일을 꽉꽉 채웠다는....) 맥북은 DHL 에서 우체국으로 이관하여 우체국 택배를 통해 수령했습니다. ​ 박스안에 아무문제 없이 영롱한 모습으로 들어있네요. ​​​ 겉 박스 모습들입니다. 맥북의 옆모습 사진들이 프린팅 되어있네요. 박스도 별거 없는것 같은데도 참 예쁩니다. ​​ 박스안에 맥북이 보이네요. 혹시 빼다가 떨어뜨릴 수 있는 불상사를 위해 쉽게 꺼..

기타 2017.07.21

macOS 환경설정에서 Java 제어판이 실행되지 않을 때

macOS 가 업그레이드가 될 수록 오히려 점점 안정성은 떨어져만 가고 있는 것 같은 요즘입니다....최근 macOS 환경설정에서 "Java 제어판" 이 열리지 않는 증상이 있어 해결 경험을 공유드리고자 합니다."Java 제어판" 을 실행하면, 아래의 팝업창이 뜨고 난 후, 아무 것도 실행되지 않는데요.이러한 증상이 발생하는 경우, 해결책은 환결성정의 "언어 및 지역" 을 선택 후, 기존 국가에서 다른 국가로 변경 하는 것이었습니다........ 아주 황당한 해결책이 아닐 수 없는데요.자, 아래 화면처럼 국가를 기존 대한민국에서 일본으로 변경해보았습니다.이렇게 설정하고 나서, 다시 "Java 제어판" 을 실행해보니 아래와 같이 정상적으로 실행이 되네요......macOS 의 문제인지 Java 의 문제인지..

System/macOS 2017.02.14

CentOS 에 R 설치하기

CentOS 배포판은 기본적으로 R 패키지를 포함하고 있지 않습니다.그래서 CentOS 에 R 을 설치하기 위해서는 Fedora Project 의 EPEL(Extra Packages for Enterprise Linux) 을 설치해야 R 패키지를 가져올 수 있습니다.먼저, CentOS 에 EPEL 을 설치 해보도록 하겠습니다.$ sudo su -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'[sudo] password for ruser:http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm(을)를 복구합니다경..

Language/R 2017.01.18

centos - 일반 계정 sudoer 만들기

sudoer 란 일반 계정이 sudo 명령어를 이용하여, 임시로 root 권한을 얻을 수 있는 것을 말합니다.일반 계정에 sudo 권한을 주기 위해선 /etc/sudoers 파일에 대한 수정이 필요합니다.하지만, 아래와 같이 리눅스에서는 /etc/sudoers 파일의 쓰기 권한을 부여하고 있지 않습니다.[root@dataplatform10 etc]# ll /etc/sudoers-r--r-----. 1 root root 3729 2015-12-08 21:43 /etc/sudoers[root@dataplatform10 etc]#Colored by Color Scriptercschmod 명령어를 이용하여 /etc/sudoers 에 쓰기 권한을 부여 하도록 하겠습니다.[root@dataplatform10 ~]#..

System/Linux 2017.01.18