初始化均价系统
This commit is contained in:
@@ -0,0 +1,3 @@
|
|||||||
|
/PriceSystem/config/__pycache__
|
||||||
|
/PriceSystem/PriceSystem/.idea
|
||||||
|
.idea
|
||||||
@@ -0,0 +1,53 @@
|
|||||||
|
import json
|
||||||
|
import multiprocessing
|
||||||
|
import time
|
||||||
|
import redis
|
||||||
|
import config
|
||||||
|
import sell_price
|
||||||
|
import fangjia
|
||||||
|
import datetime
|
||||||
|
|
||||||
|
QUEUE = "calc_cmd"
|
||||||
|
redis_pool = redis.ConnectionPool(host=config.get_redis_host(), port=6379, db=1)
|
||||||
|
logger = fangjia.get_logger("CalcCmdReceiver")
|
||||||
|
|
||||||
|
|
||||||
|
def worker():
|
||||||
|
client = redis.Redis(connection_pool=redis_pool)
|
||||||
|
while True:
|
||||||
|
try:
|
||||||
|
cmd = client.lpop(QUEUE)
|
||||||
|
except:
|
||||||
|
cmd = None
|
||||||
|
if cmd is None:
|
||||||
|
time.sleep(3)
|
||||||
|
logger.info("等待接受计算命令")
|
||||||
|
else:
|
||||||
|
cmd = format_cmd(cmd)
|
||||||
|
start_time = time.clock()
|
||||||
|
try:
|
||||||
|
sell_price.calc_sell_price(cmd)
|
||||||
|
end_time = time.clock()
|
||||||
|
logger.info("Calc :" + str(cmd) + "\t计算成功,耗时:" + str(end_time - start_time))
|
||||||
|
except Exception as ex:
|
||||||
|
print(ex)
|
||||||
|
logger.exception(ex)
|
||||||
|
end_time = time.clock()
|
||||||
|
logger.error("Calc :" + str(cmd) + "\t计算失败,耗时:" + (end_time - start_time), ex)
|
||||||
|
|
||||||
|
|
||||||
|
def format_cmd(cmd):
|
||||||
|
cmd = json.loads(cmd)
|
||||||
|
cmd["weekend"] = datetime.datetime.strptime(cmd["weekend"], "%Y-%m-%d %H:%M:%S")
|
||||||
|
return cmd
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
|
||||||
|
pro_num = config.get_worker_num()
|
||||||
|
pool = multiprocessing.Pool(processes=pro_num)
|
||||||
|
for pid in range(1, pro_num):
|
||||||
|
pool.apply_async(worker, ())
|
||||||
|
pool.close()
|
||||||
|
logger.info("均价系统启动成功")
|
||||||
|
pool.join()
|
||||||
@@ -0,0 +1,49 @@
|
|||||||
|
import json
|
||||||
|
import redis
|
||||||
|
import fangjia
|
||||||
|
import config
|
||||||
|
from datetime import datetime, date
|
||||||
|
|
||||||
|
|
||||||
|
class CJsonEncoder(json.JSONEncoder):
|
||||||
|
def default(self, obj):
|
||||||
|
if isinstance(obj, datetime):
|
||||||
|
return obj.strftime('%Y-%m-%d %H:%M:%S')
|
||||||
|
elif isinstance(obj, date):
|
||||||
|
return obj.strftime('%Y-%m-%d')
|
||||||
|
else:
|
||||||
|
return json.JSONEncoder.default(self, obj)
|
||||||
|
|
||||||
|
|
||||||
|
QUEUE = "calc_cmd"
|
||||||
|
redisPool = redis.ConnectionPool(host=config.get_redis_host(), port=6379, db=1)
|
||||||
|
client = redis.Redis(connection_pool=redisPool)
|
||||||
|
|
||||||
|
|
||||||
|
def get_district():
|
||||||
|
seaweeds = []
|
||||||
|
keys = {"city": 1, "region": 1, "name": 1, "_id": 0}
|
||||||
|
for dis in fangjia.get_collection("fangjia", "seaweed").find({"cat": "district", "status": 0, "city": "上海"}, keys):
|
||||||
|
dis["weekend"] = datetime.strptime("2018-03-11", "%Y-%m-%d")
|
||||||
|
seaweeds.append(dis)
|
||||||
|
|
||||||
|
return seaweeds
|
||||||
|
|
||||||
|
|
||||||
|
def send_cmd(seaweed):
|
||||||
|
"""
|
||||||
|
cmd = {}
|
||||||
|
cmd["city"] = seaweed["city"]
|
||||||
|
cmd["region"] = seaweed["region"]
|
||||||
|
cmd["name"] = seaweed["name"]
|
||||||
|
"""
|
||||||
|
|
||||||
|
json_cmd = json.dumps(seaweed, ensure_ascii=False, cls=CJsonEncoder)
|
||||||
|
client.rpush(QUEUE, json_cmd)
|
||||||
|
print("命令发送成功:" + json_cmd)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
for seaweed in get_district():
|
||||||
|
if len(seaweed) > 2:
|
||||||
|
send_cmd(seaweed)
|
||||||
@@ -0,0 +1,27 @@
|
|||||||
|
import json
|
||||||
|
import multiprocessing
|
||||||
|
import time
|
||||||
|
import redis
|
||||||
|
|
||||||
|
QUEUE = "calc_cmd"
|
||||||
|
redis_pool = redis.ConnectionPool(host='192.168.0.144', port=6379, db=0)
|
||||||
|
|
||||||
|
|
||||||
|
def monitor(pname):
|
||||||
|
client = redis.Redis(connection_pool=redis_pool)
|
||||||
|
while True:
|
||||||
|
pre_counter = client.llen(QUEUE)
|
||||||
|
time.sleep(60)
|
||||||
|
print(pname + "#####################################:".zfill(100) + str(
|
||||||
|
pre_counter - client.llen(QUEUE)) + "/min")
|
||||||
|
|
||||||
|
|
||||||
|
def format_cmd(cmd):
|
||||||
|
return json.loads(cmd)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
pool = multiprocessing.Pool(processes=1)
|
||||||
|
pool.apply_async(monitor, ("Monitor-001",))
|
||||||
|
pool.close()
|
||||||
|
pool.join()
|
||||||
@@ -0,0 +1,35 @@
|
|||||||
|
logging_config = {
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
def get_logging_config():
|
||||||
|
return logging_config
|
||||||
|
|
||||||
|
|
||||||
|
def get_worker_num():
|
||||||
|
return 20
|
||||||
|
|
||||||
|
|
||||||
|
def get_redis_host():
|
||||||
|
return "192.168.0.144"
|
||||||
|
|
||||||
|
|
||||||
|
def get_mongodb_host():
|
||||||
|
return "192.168.10.182"
|
||||||
|
|
||||||
|
|
||||||
|
def get_mongodb_port():
|
||||||
|
return 27017
|
||||||
|
|
||||||
|
|
||||||
|
def get_log_mongodb_host():
|
||||||
|
return "192.168.0.136"
|
||||||
|
|
||||||
|
|
||||||
|
def get_log_mongodb_port():
|
||||||
|
return 52005
|
||||||
|
|
||||||
|
|
||||||
|
def get_timeout():
|
||||||
|
return 0.3
|
||||||
@@ -0,0 +1,23 @@
|
|||||||
|
from elasticsearch import Elasticsearch
|
||||||
|
from pypinyin import lazy_pinyin
|
||||||
|
from fangjia import mongoClients as mongoClients
|
||||||
|
|
||||||
|
city_province_map = {}
|
||||||
|
es = Elasticsearch(['192.168.0.18'])
|
||||||
|
|
||||||
|
server_area = mongoClients.MongoClients("fangjia", "server_area", "mongo.db.fangjia.com").collection
|
||||||
|
for area in server_area.find({"display": {'$ne': "全国"}}, {"display": 1, "province": 1}):
|
||||||
|
city_province_map[area["display"]] = area["province"]
|
||||||
|
|
||||||
|
|
||||||
|
def to_pinyin(hans):
|
||||||
|
return "".join(lazy_pinyin(hans))
|
||||||
|
|
||||||
|
|
||||||
|
def get_index_name(city, region):
|
||||||
|
big_city = ["北京", "上海", "广州", "深圳", "天津", "杭州", "成都", "苏州", "重庆", "苏州", "南京", "武汉", "厦门"]
|
||||||
|
if big_city.count(city) > 0:
|
||||||
|
return "seawater-" + to_pinyin(city) + "-" + to_pinyin(region)
|
||||||
|
if list(city_province_map.keys()).count(city) == 0:
|
||||||
|
return "seawater-unknown"
|
||||||
|
return "seawater-" + to_pinyin(city)
|
||||||
@@ -0,0 +1,281 @@
|
|||||||
|
import pandas
|
||||||
|
import time
|
||||||
|
import logging
|
||||||
|
import config
|
||||||
|
from fangjia import mongoClients as mongoClients
|
||||||
|
from fangjia import ElasticsearchClient as es
|
||||||
|
|
||||||
|
formatter = logging.Formatter('%(processName)s %(asctime)s %(name)-6s %(levelname)-6s %(message)s')
|
||||||
|
|
||||||
|
|
||||||
|
def get_logger(name):
|
||||||
|
logger = logging.getLogger(name)
|
||||||
|
handler = logging.StreamHandler()
|
||||||
|
handler.setFormatter(formatter)
|
||||||
|
logger.addHandler(handler)
|
||||||
|
|
||||||
|
file_handler = logging.FileHandler("/home/goojia/logs/price.log")
|
||||||
|
file_handler.setFormatter(formatter)
|
||||||
|
logger.addHandler(file_handler)
|
||||||
|
logger.setLevel("INFO")
|
||||||
|
|
||||||
|
return logger
|
||||||
|
|
||||||
|
|
||||||
|
def get_performance_logger(name):
|
||||||
|
logger = logging.getLogger(name)
|
||||||
|
handler = logging.StreamHandler()
|
||||||
|
handler.setFormatter(formatter)
|
||||||
|
logger.addHandler(handler)
|
||||||
|
|
||||||
|
file_handler = logging.FileHandler("/home/goojia/logs/price.performance.log")
|
||||||
|
file_handler.setFormatter(formatter)
|
||||||
|
logger.addHandler(file_handler)
|
||||||
|
logger.setLevel("INFO")
|
||||||
|
|
||||||
|
return logger
|
||||||
|
|
||||||
|
|
||||||
|
performance_logger = get_performance_logger("performance")
|
||||||
|
|
||||||
|
|
||||||
|
def timer(func):
|
||||||
|
def _timer(*args, **kw):
|
||||||
|
begin = time.clock()
|
||||||
|
rs = func(*args, **kw)
|
||||||
|
end = time.clock()
|
||||||
|
elapsed = end - begin
|
||||||
|
if elapsed > config.get_timeout():
|
||||||
|
arg_list = list()
|
||||||
|
for arg in args:
|
||||||
|
arg_list.append(str(arg))
|
||||||
|
performance_logger.info("函数名:(%s) 参数:(%s) 耗时:%f" % (func.__name__, arg_list, end - begin))
|
||||||
|
return rs
|
||||||
|
|
||||||
|
return _timer
|
||||||
|
|
||||||
|
|
||||||
|
def get_collection(db, name, host="192.168.0.136", port=27017):
|
||||||
|
return mongoClients.MongoClients(db, name, host, port).collection
|
||||||
|
|
||||||
|
|
||||||
|
def get_seawater_index_name(city, region):
|
||||||
|
return es.get_index_name(city, region)
|
||||||
|
|
||||||
|
|
||||||
|
@timer
|
||||||
|
def findHouse(query, fields=None):
|
||||||
|
# s = time.time()
|
||||||
|
seawater105 = get_collection("fangjia", "seawater", "192.168.0.105", 27777)
|
||||||
|
for err_count in range(0, 10):
|
||||||
|
|
||||||
|
try:
|
||||||
|
|
||||||
|
# lt = seawater105.count(query)
|
||||||
|
|
||||||
|
# print('flag1')
|
||||||
|
lt = 1000
|
||||||
|
# seawater.find(query,{"p_date":-1}).sort([("p_date",-1)])
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
# print("==================>", time.time() - s)
|
||||||
|
return data
|
||||||
|
except:
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
raise Exception("样本查询失败!")
|
||||||
|
|
||||||
|
|
||||||
|
@timer
|
||||||
|
def find_house_from_elastic_search(city, region, alias, roots=None, pdate=None, cat="sell", limit=100):
|
||||||
|
index_name = get_seawater_index_name(city, region)
|
||||||
|
|
||||||
|
routing_set = [cat + "_" + city + "_" + region + "_" + alia for alia in alias]
|
||||||
|
must = [
|
||||||
|
{
|
||||||
|
"term": {"city": city}
|
||||||
|
}, {
|
||||||
|
"term": {"cat": cat}
|
||||||
|
}, {
|
||||||
|
"term": {"format_region": region}
|
||||||
|
}, {
|
||||||
|
"terms": {"district_name.raw": alias}
|
||||||
|
}
|
||||||
|
|
||||||
|
]
|
||||||
|
if roots is not None:
|
||||||
|
must.append({
|
||||||
|
"terms": {"root": roots}
|
||||||
|
})
|
||||||
|
|
||||||
|
if pdate is not None:
|
||||||
|
must.append({"range": {"p_date": {"gt": pdate}}})
|
||||||
|
|
||||||
|
body = {
|
||||||
|
|
||||||
|
"query": {
|
||||||
|
"bool": {
|
||||||
|
"must": must
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"from": 0,
|
||||||
|
"size": limit,
|
||||||
|
"sort": [{"p_date": "desc"}],
|
||||||
|
"aggs": {}
|
||||||
|
}
|
||||||
|
response = es.es.search(index_name, "doc", routing=",".join(routing_set), body=body)
|
||||||
|
return pandas.DataFrame([doc["_source"] for doc in response["hits"]["hits"]])
|
||||||
|
|
||||||
|
|
||||||
|
@timer
|
||||||
|
def find_sample_pool(query, fields=None):
|
||||||
|
# s = time.time()
|
||||||
|
seawater105 = get_collection("fangjia", "seawater", "192.168.0.105 ", 27777)
|
||||||
|
for err_count in range(0, 10):
|
||||||
|
|
||||||
|
try:
|
||||||
|
|
||||||
|
# lt = seawater105.count(query)
|
||||||
|
lt = 300
|
||||||
|
# print('flag2')
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
# print("==================>", time.time() - s)
|
||||||
|
return data
|
||||||
|
|
||||||
|
except:
|
||||||
|
|
||||||
|
# err_count = err_count + 1
|
||||||
|
# lt = seawater105.count(query)
|
||||||
|
lt = 300
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
raise Exception("样本查询失败!")
|
||||||
|
|
||||||
|
|
||||||
|
def find_disanganf_price(query, fields=None):
|
||||||
|
# client1 = pymongo.MongoClient('192.168.0.136',27017)
|
||||||
|
# db1 = client1.fangjia
|
||||||
|
# dsf = db1.average_statistics
|
||||||
|
# s = time.time()
|
||||||
|
seawater105 = get_collection("fangjia", "average_statistics", "192.168.0.136", 27017)
|
||||||
|
for err_count in range(0, 10):
|
||||||
|
|
||||||
|
try:
|
||||||
|
# print('flag3')
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
# print("==================>", time.time() - s)
|
||||||
|
return data
|
||||||
|
|
||||||
|
except:
|
||||||
|
|
||||||
|
# err_count = err_count + 1
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
raise Exception("yang ben cha xun shi bai1")
|
||||||
|
|
||||||
|
|
||||||
|
def dis_feature(query, fields=None):
|
||||||
|
# client1 = pymongo.MongoClient('192.168.0.136',27017)
|
||||||
|
# db1 = client1.fangjia
|
||||||
|
# dsf = db1.average_statistics
|
||||||
|
# s = time.time()
|
||||||
|
seawater105 = get_collection("luogan", "distric_feature_0119", "192.168.0.136", 27017)
|
||||||
|
for err_count in range(0, 10):
|
||||||
|
|
||||||
|
try:
|
||||||
|
# print('flag4')
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
# print("==================>", time.time() - s)
|
||||||
|
return data
|
||||||
|
|
||||||
|
except:
|
||||||
|
|
||||||
|
# err_count = err_count + 1
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
raise Exception("yang ben cha xun shi bai1")
|
||||||
|
|
||||||
|
@timer
|
||||||
|
def find_seaweed(query, fields=None):
|
||||||
|
# dirlt=p[0]
|
||||||
|
|
||||||
|
# client1 = pymongo.MongoClient('192.168.0.136',27017)
|
||||||
|
# db1 = client1.fangjia
|
||||||
|
# seaweed1 = db1.seaweed
|
||||||
|
# s = time.time()
|
||||||
|
seawater105 = get_collection("fangjia", "seaweed", "192.168.0.136", 27017)
|
||||||
|
for err_count in range(0, 10):
|
||||||
|
|
||||||
|
try:
|
||||||
|
# print('flag5')
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
# print("==================>", time.time() - s)
|
||||||
|
return data
|
||||||
|
|
||||||
|
except:
|
||||||
|
|
||||||
|
# err_count = err_count + 1
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
raise Exception("yang ben cha xun shi bai1")
|
||||||
|
|
||||||
|
|
||||||
|
def find_region_district_list_name(query, fields=None):
|
||||||
|
# import pandas
|
||||||
|
# client1 = pymongo.MongoClient('192.168.0.136',27017)
|
||||||
|
# db1 = client1.fangjia
|
||||||
|
# seaweed1 = db1.seaweed
|
||||||
|
seawater105 = get_collection("fangjia", "seaweed", "192.168.0.136", 27017)
|
||||||
|
for err_count in range(0, 10):
|
||||||
|
|
||||||
|
try:
|
||||||
|
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
except:
|
||||||
|
|
||||||
|
# err_count = err_count + 1
|
||||||
|
lt = seawater105.count(query)
|
||||||
|
pos = list(seawater105.find(query).limit(lt))
|
||||||
|
data = pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
@@ -0,0 +1,33 @@
|
|||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
"""
|
||||||
|
Created on Wed Nov 15 22:45:06 2017
|
||||||
|
|
||||||
|
@author: wenyan
|
||||||
|
"""
|
||||||
|
|
||||||
|
from pymongo import MongoClient
|
||||||
|
|
||||||
|
|
||||||
|
class MongoClients:
|
||||||
|
|
||||||
|
cache = {}
|
||||||
|
|
||||||
|
def __init__(self, db, name, host="127.0.0.0", port=27017):
|
||||||
|
|
||||||
|
key = db + "_" + name + "_" + host + "_" + str(port)
|
||||||
|
if key in MongoClients.cache.keys():
|
||||||
|
self.collection = MongoClients.cache[key]
|
||||||
|
else:
|
||||||
|
print("init " + key)
|
||||||
|
collection = MongoClient(host, port).get_database(db).get_collection(name)
|
||||||
|
MongoClients.cache[key] = collection
|
||||||
|
self.collection = MongoClients.cache[key]
|
||||||
|
"""
|
||||||
|
def find(self, *args, **kwargs):
|
||||||
|
return self.collection.find(*args, **kwargs)
|
||||||
|
|
||||||
|
def find2(self, query, fields, call):
|
||||||
|
|
||||||
|
for item in self.collection.find(query):
|
||||||
|
call(item)
|
||||||
|
"""
|
||||||
@@ -0,0 +1,8 @@
|
|||||||
|
class CalcCommand:
|
||||||
|
|
||||||
|
def __init__(self, city, region, name, weekend):
|
||||||
|
self.city = city
|
||||||
|
self.region = region
|
||||||
|
self.name = name
|
||||||
|
self.weekend = weekend
|
||||||
|
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
import sell_price.zhuge0118A as sellPrice
|
||||||
|
|
||||||
|
|
||||||
|
def calc_sell_price(cmd):
|
||||||
|
sellPrice.out_put_price(cmd["city"], cmd["region"], cmd["name"], cmd["weekend"])
|
||||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,12 @@
|
|||||||
|
import zhuge0118A
|
||||||
|
import time
|
||||||
|
s = time.time()
|
||||||
|
ct='上海'
|
||||||
|
rl='奉贤'
|
||||||
|
lk='杨王村公寓'
|
||||||
|
|
||||||
|
|
||||||
|
zhuge0118A.out_put_price(ct, rl, lk)
|
||||||
|
zhuge0118A.out_put_price(ct, rl, lk)
|
||||||
|
e = time.time()
|
||||||
|
print(e -s)
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
from zhuge import zhuge2
|
||||||
@@ -0,0 +1,487 @@
|
|||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
"""
|
||||||
|
Created on Tue Nov 28 13:15:49 2017
|
||||||
|
|
||||||
|
@author: Administrator
|
||||||
|
"""
|
||||||
|
import pymongo
|
||||||
|
import pandas
|
||||||
|
from collections import Counter
|
||||||
|
import numpy
|
||||||
|
import collections
|
||||||
|
import re
|
||||||
|
|
||||||
|
def url_lable(dmi1):
|
||||||
|
|
||||||
|
company_list=['lianjia','zhuge','5i5j','iwjw','fangdd','centanet',
|
||||||
|
'cityhouse','esf','baixing','ganji','anjuke','58']
|
||||||
|
|
||||||
|
for p in company_list:
|
||||||
|
#print('p=',p)
|
||||||
|
for k in dmi1.index:
|
||||||
|
#print('k=',k)
|
||||||
|
#print(dmi1['url'][k])
|
||||||
|
ff=dmi1['url'][k]
|
||||||
|
if type(ff)==str:
|
||||||
|
|
||||||
|
if p in dmi1['url'][k]:
|
||||||
|
dmi1.loc[k,'url']=p
|
||||||
|
return dmi1
|
||||||
|
|
||||||
|
|
||||||
|
def drop_rubbish(dd1):
|
||||||
|
|
||||||
|
for i in dd1.index:
|
||||||
|
pp=dd1['url'][i]
|
||||||
|
|
||||||
|
# print(pp)
|
||||||
|
|
||||||
|
if type(pp)==str:
|
||||||
|
|
||||||
|
if len(pp)>12 :
|
||||||
|
dd1=dd1.drop(i)
|
||||||
|
return dd1
|
||||||
|
|
||||||
|
|
||||||
|
#dd=drop_rubbish(dd1)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def zhuge_out(ddd):
|
||||||
|
|
||||||
|
#print('我在诸葛文件内',ddd)
|
||||||
|
|
||||||
|
|
||||||
|
def url_lable(company_list,dmi1):
|
||||||
|
|
||||||
|
for p in company_list:
|
||||||
|
#print('p=',p)
|
||||||
|
for k in dmi1.index:
|
||||||
|
#print('k=',k)
|
||||||
|
#print(dmi1['url'][k])
|
||||||
|
ff=dmi1['url'][k]
|
||||||
|
if type(ff)==str:
|
||||||
|
|
||||||
|
if p in dmi1['url'][k]:
|
||||||
|
dmi1['url'][k]=p
|
||||||
|
return dmi1
|
||||||
|
|
||||||
|
def drop_rubbish(dd1):
|
||||||
|
|
||||||
|
for i in dd1.index:
|
||||||
|
pp=dd1['url'][i]
|
||||||
|
|
||||||
|
# print(pp)
|
||||||
|
|
||||||
|
if type(pp)==str:
|
||||||
|
|
||||||
|
if len(pp)>12 :
|
||||||
|
dd1=dd1.drop(i)
|
||||||
|
return dd1
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def k_means(pp,clus):
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
pv=list(pp)
|
||||||
|
if len(set(pv))>3:
|
||||||
|
gf=numpy.array([pv]).T
|
||||||
|
estimator = KMeans(n_clusters=clus)#构造聚类器
|
||||||
|
estimator.fit(gf)#聚类
|
||||||
|
label_pred = estimator.labels_ #获取聚类标签
|
||||||
|
|
||||||
|
aa=collections.Counter(label_pred)
|
||||||
|
|
||||||
|
#print('aa=',aa)
|
||||||
|
v=pandas.Series(aa)
|
||||||
|
gg=list(v)
|
||||||
|
index_max=gg.index(max(gg))
|
||||||
|
|
||||||
|
centroids = estimator.cluster_centers_ #获取聚类中心
|
||||||
|
#inertia = estimator.inertia_ # 获取聚类准则的总和
|
||||||
|
center=centroids[index_max][0]
|
||||||
|
return int(center)
|
||||||
|
else:
|
||||||
|
return int(pp.mean())
|
||||||
|
|
||||||
|
def spilit_number_from_string(dd):
|
||||||
|
|
||||||
|
for pl in dd.index:
|
||||||
|
bte=dd['build_date'][pl]
|
||||||
|
if bte!=None:
|
||||||
|
dd['build_date'][pl]=re.sub("\D", "", str(bte))
|
||||||
|
|
||||||
|
most_build=Counter(dd['build_date']).most_common(1)
|
||||||
|
dd['build_date']=dd['build_date'].fillna(most_build[0][0])
|
||||||
|
|
||||||
|
return dd[dd['build_date']==most_build[0][0]]
|
||||||
|
|
||||||
|
def lower_dimention(dd):
|
||||||
|
|
||||||
|
url_set=list( set(dd['url']) )
|
||||||
|
|
||||||
|
url_price=pandas.Series()
|
||||||
|
|
||||||
|
index_list=[]
|
||||||
|
for i in url_set:
|
||||||
|
dd1=dd[dd['url']==i]
|
||||||
|
if dd1.shape[0]<=2:
|
||||||
|
index_list.extend(list(dd1.index))
|
||||||
|
else:
|
||||||
|
most_price=k_means(dd1['total_price'],3)*1.0
|
||||||
|
|
||||||
|
url_price[i]=round(most_price,2)
|
||||||
|
|
||||||
|
for j in index_list:
|
||||||
|
url_price[dd['url'][j]]=dd['total_price'][j]
|
||||||
|
|
||||||
|
return url_price
|
||||||
|
|
||||||
|
|
||||||
|
def k_means_ratio(pp,clus):
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
pv=list(pp)
|
||||||
|
if len(set(pv))>3:
|
||||||
|
gf=numpy.array([pv]).T
|
||||||
|
estimator = KMeans(n_clusters=clus)#构造聚类器
|
||||||
|
estimator.fit(gf)#聚类
|
||||||
|
label_pred = estimator.labels_ #获取聚类标签
|
||||||
|
|
||||||
|
aa=collections.Counter(label_pred)
|
||||||
|
|
||||||
|
#print('aa=',aa)
|
||||||
|
v=pandas.Series(aa)
|
||||||
|
v=v.sort_values(ascending=False)
|
||||||
|
|
||||||
|
ratio=v.iloc[0]/v.iloc[1]
|
||||||
|
|
||||||
|
return round(ratio,2)
|
||||||
|
else:
|
||||||
|
return 1
|
||||||
|
|
||||||
|
|
||||||
|
def popo(dmi,columns):
|
||||||
|
|
||||||
|
most=Counter(dmi[columns]).most_common(1)
|
||||||
|
#print(dmi)
|
||||||
|
dmi2=dmi[dmi[columns]==most[0][0]]
|
||||||
|
#print('dmi2=',dmi2)
|
||||||
|
|
||||||
|
dmiy=lower_dimention(dmi2)
|
||||||
|
#print(dmiy)
|
||||||
|
ratio2=(dmiy.max()-dmiy.min())/dmiy.mean()
|
||||||
|
ww1=round(k_means( dmiy ,3 ),2)
|
||||||
|
ww2=round(k_means(dmi2['area'].dropna(),3),2)
|
||||||
|
ww3=round(k_means(dmi2['room'].dropna(),3),2)
|
||||||
|
ww4=list(dmiy.index)
|
||||||
|
|
||||||
|
#ww5=round(k_means_ratio(dmi['total_price'].dropna(),3),2)
|
||||||
|
ww5=round(k_means_ratio(dmiy,3),2)
|
||||||
|
#print('dmi2=',dmi2)
|
||||||
|
|
||||||
|
if (ratio2<0.15 and len(dmiy)>1) or (ratio2>1.2 and len(dmiy)>1) :
|
||||||
|
|
||||||
|
return [round(ww1,2),round(ww2,2),round(ww3,2),round(100,2),ww4,ww5]
|
||||||
|
|
||||||
|
#print('area_filter',dd)
|
||||||
|
"""
|
||||||
|
else:
|
||||||
|
return [round(ww1,2),round(ww2,2),round(ww3,2),round(len(dmiy),2),ww4,ww5]
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def room_define(dd,j):
|
||||||
|
|
||||||
|
pdd=numpy.array([[None,None,None,None,None,None],
|
||||||
|
[None,None,None,None,None,None],
|
||||||
|
[None,None,None,None,None,None]])
|
||||||
|
|
||||||
|
|
||||||
|
d4=dd[dd['room']==j]
|
||||||
|
|
||||||
|
#print('room=',j,'的样本个数为',d4.shape[0])
|
||||||
|
|
||||||
|
pdd[0]=popo(d4,'room')
|
||||||
|
|
||||||
|
most_area=Counter(d4['area']).most_common(1)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
if most_area[0][1]>=2:
|
||||||
|
|
||||||
|
d4area=d4[d4['area']==most_area[0][0]]
|
||||||
|
|
||||||
|
pdd[1]=popo(d4area,'area')
|
||||||
|
|
||||||
|
most_floor=Counter(d4area['floor']).most_common(1)
|
||||||
|
|
||||||
|
if most_floor[0][1]>=2:
|
||||||
|
d4floor=d4area[d4area['floor']==most_floor[0][0]]
|
||||||
|
#print('d4floor=',d4floor)
|
||||||
|
pdd[2]=popo(d4floor,'floor')
|
||||||
|
|
||||||
|
return ( pdd )
|
||||||
|
|
||||||
|
|
||||||
|
def dout(room_pair,dd):
|
||||||
|
|
||||||
|
bbb=[]
|
||||||
|
#print('room_pair=',room_pair)
|
||||||
|
#print('dd=',dd)
|
||||||
|
for j in room_pair.index:
|
||||||
|
|
||||||
|
kgg=pandas.DataFrame(room_define(dd,j),
|
||||||
|
columns=['total_price','area','room','credit','url_list','choose_index'])
|
||||||
|
kgg['avg_price']=kgg['total_price']/kgg['area']
|
||||||
|
|
||||||
|
#print('kgg=',kgg)
|
||||||
|
|
||||||
|
bbb.append(kgg)
|
||||||
|
return bbb
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def dsf_average_price(ct,rl,lk,timd,timm):
|
||||||
|
|
||||||
|
client = pymongo.MongoClient('192.168.0.136',27017) #'192.168.0.65',27777
|
||||||
|
db = client.fangjia
|
||||||
|
seawater = db.average_statistics
|
||||||
|
|
||||||
|
timd1=timd//100
|
||||||
|
timm1=timm//100
|
||||||
|
|
||||||
|
query = {"city":ct,"region":rl,
|
||||||
|
"name":{"$in":lk},
|
||||||
|
"s_date":{"$gt":timd1,"$lt":timm1}}
|
||||||
|
#lt= seawater.count(query)
|
||||||
|
#print(lt)
|
||||||
|
pos = list(seawater.find(query).limit(3000))
|
||||||
|
|
||||||
|
data=pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
|
||||||
|
dsf_name_list={'soufang_new_price','soufang_esf_price',
|
||||||
|
'anjuke_new_price','anjuke_esf_price',
|
||||||
|
'sina_new_price','sina_esf_price',
|
||||||
|
'ganji_esf_price','cric_new_price',
|
||||||
|
'cric_esf_price',
|
||||||
|
'lianjia_esf_price','zhugezhaofang_esf_price'
|
||||||
|
|
||||||
|
'fanggugu_esf_price','yungujia_esf_price'
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
company_list=['lianjia','zhuge','5i5j','iwjw','fangdd','centanet',
|
||||||
|
'cityhouse','esf','baixing','ganji','anjuke','58']
|
||||||
|
|
||||||
|
company_name=['链家','诸葛找房','我爱我家','爱屋吉屋','房多多','中原',
|
||||||
|
'城市房产','二手房','百姓','赶集','安居客','58同城']
|
||||||
|
company_values=[10, 10, 5, 5, 3, 2,
|
||||||
|
1 , 1, 1, 1, 1, 1]
|
||||||
|
|
||||||
|
#companypp=[]
|
||||||
|
import numpy as np
|
||||||
|
|
||||||
|
a=np.array([company_name,company_values])
|
||||||
|
|
||||||
|
company_pandas=pandas.DataFrame(a.T,columns=['name','values'],index=company_list)
|
||||||
|
name_pair=pandas.Series(company_list,index=company_name)
|
||||||
|
|
||||||
|
|
||||||
|
def add_floor(ppd):
|
||||||
|
if 'floor' not in ppd.columns:
|
||||||
|
ppd['floor']= 6
|
||||||
|
return ppd
|
||||||
|
|
||||||
|
#ddd=url_lable(company_list,ddd)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def opfm(ddo,fm):
|
||||||
|
|
||||||
|
floor_column=ddo[fm].dropna()
|
||||||
|
if len(floor_column)>0:
|
||||||
|
|
||||||
|
#print('floor_column=',floor_column)
|
||||||
|
most_floor=Counter(floor_column).most_common(1)
|
||||||
|
#print('floor=',ddo['floor'])
|
||||||
|
ddo[fm]=ddo[fm].fillna(most_floor[0][0])
|
||||||
|
return ddo
|
||||||
|
else:
|
||||||
|
ddo[fm]=ddo[fm].fillna(2)
|
||||||
|
return ddo
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def export_pp(ddd):
|
||||||
|
|
||||||
|
ddo=ddd
|
||||||
|
#ddo=ddo.drop(0)
|
||||||
|
#print('ddo=',ddo)
|
||||||
|
ddo=add_floor(ddo)
|
||||||
|
#print('ddo=',ddo)
|
||||||
|
|
||||||
|
if ddo.shape[0]>1:
|
||||||
|
|
||||||
|
|
||||||
|
ddo=opfm(ddo,'floor')
|
||||||
|
ddo=opfm(ddo,'room')
|
||||||
|
|
||||||
|
"""
|
||||||
|
floor_column=ddo['floor'].dropna()
|
||||||
|
print('floor_column=',floor_column)
|
||||||
|
most_floor=Counter(floor_column).most_common(1)
|
||||||
|
print('floor=',ddo['floor'])
|
||||||
|
ddo['floor']=ddo['floor'].fillna(most_floor[0][0])
|
||||||
|
|
||||||
|
room_column=ddo['room'].dropna()
|
||||||
|
most_room=Counter(room_column).most_common(1)
|
||||||
|
ddo['room']=ddo['room'].fillna(most_room[0][0])
|
||||||
|
"""
|
||||||
|
|
||||||
|
ddo['area']=(ddo['area']//2)*2+1
|
||||||
|
|
||||||
|
#dd1=url_lable(company_list,ddo)
|
||||||
|
|
||||||
|
#dd=drop_rubbish(dd1)
|
||||||
|
|
||||||
|
#print(Counter(dd['url']))
|
||||||
|
dd=ddo
|
||||||
|
mr=Counter(dd['room'])
|
||||||
|
room_pair=pandas.Series(mr)
|
||||||
|
room_pair1=room_pair.sort_values(ascending=False)
|
||||||
|
room_pair=room_pair1.iloc[:3]
|
||||||
|
opt=dout(room_pair,dd)
|
||||||
|
return opt
|
||||||
|
else:
|
||||||
|
return pandas.DataFrame()
|
||||||
|
|
||||||
|
opt=export_pp(ddd)
|
||||||
|
|
||||||
|
#print('opt=',opt)
|
||||||
|
|
||||||
|
def k_means22(pp,clus):
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
pv=list(pp)
|
||||||
|
if len(set(pv))>1:
|
||||||
|
gf=numpy.array([pv]).T
|
||||||
|
estimator = KMeans(n_clusters=clus)#构造聚类器
|
||||||
|
estimator.fit(gf)#聚类
|
||||||
|
label_pred = estimator.labels_ #获取聚类标签
|
||||||
|
|
||||||
|
aa=collections.Counter(label_pred)
|
||||||
|
|
||||||
|
#print('aa=',aa)
|
||||||
|
v=pandas.Series(aa)
|
||||||
|
gg=list(v)
|
||||||
|
index_max=gg.index(max(gg))
|
||||||
|
|
||||||
|
centroids = estimator.cluster_centers_ #获取聚类中心
|
||||||
|
#inertia = estimator.inertia_ # 获取聚类准则的总和
|
||||||
|
center=centroids[index_max][0]
|
||||||
|
return round(center,2)
|
||||||
|
else:
|
||||||
|
return pp.mean()
|
||||||
|
|
||||||
|
|
||||||
|
def out_put_price(opt):
|
||||||
|
|
||||||
|
re = pandas.concat(opt)
|
||||||
|
|
||||||
|
#print(re)
|
||||||
|
|
||||||
|
oo=re[re['credit']==100]
|
||||||
|
oo1=re.dropna()
|
||||||
|
|
||||||
|
#print(oo)
|
||||||
|
if oo.shape[0]>1:
|
||||||
|
return round(k_means22( oo['avg_price'] ,2 ),2)
|
||||||
|
elif oo1.shape[0]>0:
|
||||||
|
|
||||||
|
re1=re.sort_values(by='credit',ascending=False)
|
||||||
|
re2=re1.sort_values(by='choose_index',ascending=False)
|
||||||
|
#print(re2)
|
||||||
|
#print('#'*20)
|
||||||
|
return (re2['avg_price'].iloc[0])
|
||||||
|
else:
|
||||||
|
#print(ddd['avg'].dropna())
|
||||||
|
kkm=k_means(ddd['avg'].dropna(),2)
|
||||||
|
return kkm
|
||||||
|
|
||||||
|
return int(out_put_price(opt))
|
||||||
|
|
||||||
|
#ddd=pandas.read_excel('ddd11.xls')
|
||||||
|
|
||||||
|
#df=zhuge_out(ddd)
|
||||||
|
"""
|
||||||
|
ct='上海'
|
||||||
|
rl='崇明'
|
||||||
|
lk=['风伟四村']
|
||||||
|
|
||||||
|
|
||||||
|
timd=20170301
|
||||||
|
timm=20171205
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def some_district_information(ct,rl,lk,timd,timm):
|
||||||
|
client = pymongo.MongoClient('192.168.0.105',27777) #'192.168.0.65',27777
|
||||||
|
db = client.fangjia
|
||||||
|
seawater = db.seawater
|
||||||
|
seawater.find_one()
|
||||||
|
query = {"city":ct,"cat":"sell","region":rl,
|
||||||
|
"district_name":{"$in":lk},
|
||||||
|
"p_date":{"$gt":timd,"$lt":timm}}
|
||||||
|
lt= seawater.count(query)
|
||||||
|
#print(lt)
|
||||||
|
pos = list(seawater.find(query).limit(lt))
|
||||||
|
|
||||||
|
data=pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
ddd=some_district_information(ct,rl,lk,timd,timm)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
df=zhuge_out(ddd)
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
@@ -0,0 +1,486 @@
|
|||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
"""
|
||||||
|
Created on Tue Nov 28 13:15:49 2017
|
||||||
|
|
||||||
|
@author: Administrator
|
||||||
|
"""
|
||||||
|
import pymongo
|
||||||
|
import pandas
|
||||||
|
from collections import Counter
|
||||||
|
import numpy
|
||||||
|
import collections
|
||||||
|
import re
|
||||||
|
|
||||||
|
def url_lable(dmi1):
|
||||||
|
|
||||||
|
company_list=['lianjia','zhuge','5i5j','iwjw','fangdd','centanet',
|
||||||
|
'cityhouse','esf','baixing','ganji','anjuke','58']
|
||||||
|
|
||||||
|
for p in company_list:
|
||||||
|
#print('p=',p)
|
||||||
|
for k in dmi1.index:
|
||||||
|
#print('k=',k)
|
||||||
|
#print(dmi1['url'][k])
|
||||||
|
ff=dmi1['url'][k]
|
||||||
|
if type(ff)==str:
|
||||||
|
|
||||||
|
if p in dmi1['url'][k]:
|
||||||
|
dmi1.loc[k,'url']=p
|
||||||
|
return dmi1
|
||||||
|
|
||||||
|
|
||||||
|
def drop_rubbish(dd1):
|
||||||
|
|
||||||
|
for i in dd1.index:
|
||||||
|
pp=dd1['url'][i]
|
||||||
|
|
||||||
|
# print(pp)
|
||||||
|
|
||||||
|
if type(pp)==str:
|
||||||
|
|
||||||
|
if len(pp)>12 :
|
||||||
|
dd1=dd1.drop(i)
|
||||||
|
return dd1
|
||||||
|
|
||||||
|
|
||||||
|
#dd=drop_rubbish(dd1)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def zhuge_out(ddd):
|
||||||
|
|
||||||
|
#print('我在诸葛文件内',ddd)
|
||||||
|
|
||||||
|
'''
|
||||||
|
def url_lable(company_list,dmi1):
|
||||||
|
|
||||||
|
for p in company_list:
|
||||||
|
#print('p=',p)
|
||||||
|
for k in dmi1.index:
|
||||||
|
#print('k=',k)
|
||||||
|
#print(dmi1['url'][k])
|
||||||
|
ff=dmi1['url'][k]
|
||||||
|
if type(ff)==str:
|
||||||
|
|
||||||
|
if p in dmi1['url'][k]:
|
||||||
|
dmi1['url'][k]=p
|
||||||
|
return dmi1
|
||||||
|
|
||||||
|
def drop_rubbish(dd1):
|
||||||
|
|
||||||
|
for i in dd1.index:
|
||||||
|
pp=dd1['url'][i]
|
||||||
|
|
||||||
|
# print(pp)
|
||||||
|
|
||||||
|
if type(pp)==str:
|
||||||
|
|
||||||
|
if len(pp)>12 :
|
||||||
|
dd1=dd1.drop(i)
|
||||||
|
return dd1
|
||||||
|
'''
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def k_means(pp,clus):
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
pv=list(pp)
|
||||||
|
if len(set(pv))>clus:
|
||||||
|
gf=numpy.array([pv]).T
|
||||||
|
estimator = KMeans(n_clusters=clus)#构造聚类器
|
||||||
|
estimator.fit(gf)#聚类
|
||||||
|
label_pred = estimator.labels_ #获取聚类标签
|
||||||
|
|
||||||
|
aa=collections.Counter(label_pred)
|
||||||
|
|
||||||
|
#print('aa=',aa)
|
||||||
|
v=pandas.Series(aa)
|
||||||
|
gg=list(v)
|
||||||
|
index_max=gg.index(max(gg))
|
||||||
|
|
||||||
|
centroids = estimator.cluster_centers_ #获取聚类中心
|
||||||
|
#inertia = estimator.inertia_ # 获取聚类准则的总和
|
||||||
|
center=centroids[index_max][0]
|
||||||
|
return int(center)
|
||||||
|
else:
|
||||||
|
return int(pp.mean())
|
||||||
|
|
||||||
|
def spilit_number_from_string(dd):
|
||||||
|
|
||||||
|
for pl in dd.index:
|
||||||
|
bte=dd['build_date'][pl]
|
||||||
|
if bte!=None:
|
||||||
|
dd['build_date'][pl]=re.sub("\D", "", str(bte))
|
||||||
|
|
||||||
|
most_build=Counter(dd['build_date']).most_common(1)
|
||||||
|
dd['build_date']=dd['build_date'].fillna(most_build[0][0])
|
||||||
|
|
||||||
|
return dd[dd['build_date']==most_build[0][0]]
|
||||||
|
|
||||||
|
def lower_dimention(dd):
|
||||||
|
|
||||||
|
url_set=list( set(dd['url']) )
|
||||||
|
|
||||||
|
url_price=pandas.Series()
|
||||||
|
|
||||||
|
index_list=[]
|
||||||
|
for i in url_set:
|
||||||
|
dd1=dd[dd['url']==i]
|
||||||
|
if dd1.shape[0]<=2:
|
||||||
|
index_list.extend(list(dd1.index))
|
||||||
|
else:
|
||||||
|
most_price=k_means(dd1['total_price'],3)*1.0
|
||||||
|
|
||||||
|
url_price[i]=round(most_price,2)
|
||||||
|
|
||||||
|
for j in index_list:
|
||||||
|
url_price[dd['url'][j]]=dd['total_price'][j]
|
||||||
|
|
||||||
|
return url_price
|
||||||
|
|
||||||
|
|
||||||
|
def k_means_ratio(pp,clus):
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
pv=list(pp)
|
||||||
|
if len(set(pv))>3:
|
||||||
|
gf=numpy.array([pv]).T
|
||||||
|
estimator = KMeans(n_clusters=clus)#构造聚类器
|
||||||
|
estimator.fit(gf)#聚类
|
||||||
|
label_pred = estimator.labels_ #获取聚类标签
|
||||||
|
|
||||||
|
aa=collections.Counter(label_pred)
|
||||||
|
|
||||||
|
#print('aa=',aa)
|
||||||
|
v=pandas.Series(aa)
|
||||||
|
v=v.sort_values(ascending=False)
|
||||||
|
|
||||||
|
ratio=v.iloc[0]/v.iloc[1]
|
||||||
|
|
||||||
|
return round(ratio,2)
|
||||||
|
else:
|
||||||
|
return 1
|
||||||
|
|
||||||
|
|
||||||
|
def popo(dmi,columns):
|
||||||
|
|
||||||
|
most=Counter(dmi[columns]).most_common(1)
|
||||||
|
#print(dmi)
|
||||||
|
dmi2=dmi[dmi[columns]==most[0][0]]
|
||||||
|
#print('dmi2=',dmi2)
|
||||||
|
|
||||||
|
dmiy=lower_dimention(dmi2)
|
||||||
|
#print(dmiy)
|
||||||
|
ratio2=(dmiy.max()-dmiy.min())/dmiy.mean()
|
||||||
|
ww1=round(k_means( dmiy ,3 ),2)
|
||||||
|
ww2=round(k_means(dmi2['area'].dropna(),3),2)
|
||||||
|
ww3=round(k_means(dmi2['room'].dropna(),3),2)
|
||||||
|
ww4=list(dmiy.index)
|
||||||
|
|
||||||
|
#ww5=round(k_means_ratio(dmi['total_price'].dropna(),3),2)
|
||||||
|
ww5=round(k_means_ratio(dmiy,3),2)
|
||||||
|
#print('dmi2=',dmi2)
|
||||||
|
|
||||||
|
if (ratio2<0.15 and len(dmiy)>1) or (ratio2>1.2 and len(dmiy)>1) :
|
||||||
|
|
||||||
|
return [round(ww1,2),round(ww2,2),round(ww3,2),round(100,2),ww4,ww5]
|
||||||
|
|
||||||
|
#print('area_filter',dd)
|
||||||
|
"""
|
||||||
|
else:
|
||||||
|
return [round(ww1,2),round(ww2,2),round(ww3,2),round(len(dmiy),2),ww4,ww5]
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def room_define(dd,j):
|
||||||
|
|
||||||
|
pdd=numpy.array([[None,None,None,None,None,None],
|
||||||
|
[None,None,None,None,None,None],
|
||||||
|
[None,None,None,None,None,None]])
|
||||||
|
|
||||||
|
|
||||||
|
d4=dd[dd['room']==j]
|
||||||
|
|
||||||
|
#print('room=',j,'的样本个数为',d4.shape[0])
|
||||||
|
|
||||||
|
pdd[0]=popo(d4,'room')
|
||||||
|
|
||||||
|
most_area=Counter(d4['area']).most_common(1)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
if most_area[0][1]>=2:
|
||||||
|
|
||||||
|
d4area=d4[d4['area']==most_area[0][0]]
|
||||||
|
|
||||||
|
pdd[1]=popo(d4area,'area')
|
||||||
|
|
||||||
|
most_floor=Counter(d4area['floor']).most_common(1)
|
||||||
|
|
||||||
|
if most_floor[0][1]>=2:
|
||||||
|
d4floor=d4area[d4area['floor']==most_floor[0][0]]
|
||||||
|
#print('d4floor=',d4floor)
|
||||||
|
pdd[2]=popo(d4floor,'floor')
|
||||||
|
|
||||||
|
return ( pdd )
|
||||||
|
|
||||||
|
|
||||||
|
def dout(room_pair,dd):
|
||||||
|
|
||||||
|
bbb=[]
|
||||||
|
#print('room_pair=',room_pair)
|
||||||
|
#print('dd=',dd)
|
||||||
|
for j in room_pair.index:
|
||||||
|
|
||||||
|
kgg=pandas.DataFrame(room_define(dd,j),
|
||||||
|
columns=['total_price','area','room','credit','url_list','choose_index'])
|
||||||
|
kgg['avg_price']=kgg['total_price']/kgg['area']
|
||||||
|
|
||||||
|
#print('kgg=',kgg)
|
||||||
|
|
||||||
|
bbb.append(kgg)
|
||||||
|
return bbb
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def dsf_average_price(ct,rl,lk,timd,timm):
|
||||||
|
|
||||||
|
client = pymongo.MongoClient('192.168.0.136',27017) #'192.168.0.65',27777
|
||||||
|
db = client.fangjia
|
||||||
|
seawater = db.average_statistics
|
||||||
|
|
||||||
|
timd1=timd//100
|
||||||
|
timm1=timm//100
|
||||||
|
|
||||||
|
query = {"city":ct,"region":rl,
|
||||||
|
"name":{"$in":lk},
|
||||||
|
"s_date":{"$gt":timd1,"$lt":timm1}}
|
||||||
|
#lt= seawater.count(query)
|
||||||
|
#print(lt)
|
||||||
|
pos = list(seawater.find(query).limit(3000))
|
||||||
|
|
||||||
|
data=pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
|
||||||
|
dsf_name_list={'soufang_new_price','soufang_esf_price',
|
||||||
|
'anjuke_new_price','anjuke_esf_price',
|
||||||
|
'sina_new_price','sina_esf_price',
|
||||||
|
'ganji_esf_price','cric_new_price',
|
||||||
|
'cric_esf_price',
|
||||||
|
'lianjia_esf_price','zhugezhaofang_esf_price'
|
||||||
|
|
||||||
|
'fanggugu_esf_price','yungujia_esf_price'
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
company_list=['lianjia','zhuge','5i5j','iwjw','fangdd','centanet',
|
||||||
|
'cityhouse','esf','baixing','ganji','anjuke','58']
|
||||||
|
|
||||||
|
company_name=['链家','诸葛找房','我爱我家','爱屋吉屋','房多多','中原',
|
||||||
|
'城市房产','二手房','百姓','赶集','安居客','58同城']
|
||||||
|
company_values=[10, 10, 5, 5, 3, 2,
|
||||||
|
1 , 1, 1, 1, 1, 1]
|
||||||
|
|
||||||
|
#companypp=[]
|
||||||
|
import numpy as np
|
||||||
|
|
||||||
|
a=np.array([company_name,company_values])
|
||||||
|
|
||||||
|
company_pandas=pandas.DataFrame(a.T,columns=['name','values'],index=company_list)
|
||||||
|
name_pair=pandas.Series(company_list,index=company_name)
|
||||||
|
|
||||||
|
|
||||||
|
def add_floor(ppd):
|
||||||
|
if 'floor' not in ppd.columns:
|
||||||
|
ppd['floor']= 6
|
||||||
|
return ppd
|
||||||
|
|
||||||
|
#ddd=url_lable(company_list,ddd)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def opfm(ddo,fm):
|
||||||
|
|
||||||
|
floor_column=ddo[fm].dropna()
|
||||||
|
if len(floor_column)>0:
|
||||||
|
|
||||||
|
#print('floor_column=',floor_column)
|
||||||
|
most_floor=Counter(floor_column).most_common(1)
|
||||||
|
#print('floor=',ddo['floor'])
|
||||||
|
ddo[fm]=ddo[fm].fillna(most_floor[0][0])
|
||||||
|
return ddo
|
||||||
|
else:
|
||||||
|
ddo[fm]=ddo[fm].fillna(2)
|
||||||
|
return ddo
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def export_pp(ddd):
|
||||||
|
|
||||||
|
ddo=ddd
|
||||||
|
#ddo=ddo.drop(0)
|
||||||
|
#print('ddo=',ddo)
|
||||||
|
ddo=add_floor(ddo)
|
||||||
|
#print('ddo=',ddo)
|
||||||
|
|
||||||
|
if ddo.shape[0]>1:
|
||||||
|
|
||||||
|
|
||||||
|
ddo=opfm(ddo,'floor')
|
||||||
|
ddo=opfm(ddo,'room')
|
||||||
|
|
||||||
|
"""
|
||||||
|
floor_column=ddo['floor'].dropna()
|
||||||
|
print('floor_column=',floor_column)
|
||||||
|
most_floor=Counter(floor_column).most_common(1)
|
||||||
|
print('floor=',ddo['floor'])
|
||||||
|
ddo['floor']=ddo['floor'].fillna(most_floor[0][0])
|
||||||
|
|
||||||
|
room_column=ddo['room'].dropna()
|
||||||
|
most_room=Counter(room_column).most_common(1)
|
||||||
|
ddo['room']=ddo['room'].fillna(most_room[0][0])
|
||||||
|
"""
|
||||||
|
|
||||||
|
ddo['area']=(ddo['area']//2)*2+1
|
||||||
|
|
||||||
|
#dd1=url_lable(company_list,ddo)
|
||||||
|
|
||||||
|
#dd=drop_rubbish(dd1)
|
||||||
|
|
||||||
|
#print(Counter(dd['url']))
|
||||||
|
dd=ddo
|
||||||
|
mr=Counter(dd['room'])
|
||||||
|
room_pair=pandas.Series(mr)
|
||||||
|
room_pair1=room_pair.sort_values(ascending=False)
|
||||||
|
room_pair=room_pair1.iloc[:3]
|
||||||
|
opt=dout(room_pair,dd)
|
||||||
|
return opt
|
||||||
|
else:
|
||||||
|
return pandas.DataFrame()
|
||||||
|
|
||||||
|
opt=export_pp(ddd)
|
||||||
|
|
||||||
|
#print('opt=',opt)
|
||||||
|
|
||||||
|
def k_means22(pp,clus):
|
||||||
|
from sklearn.cluster import KMeans
|
||||||
|
pv=list(pp)
|
||||||
|
if len(set(pv))>1:
|
||||||
|
gf=numpy.array([pv]).T
|
||||||
|
estimator = KMeans(n_clusters=clus)#构造聚类器
|
||||||
|
estimator.fit(gf)#聚类
|
||||||
|
label_pred = estimator.labels_ #获取聚类标签
|
||||||
|
|
||||||
|
aa=collections.Counter(label_pred)
|
||||||
|
|
||||||
|
#print('aa=',aa)
|
||||||
|
v=pandas.Series(aa)
|
||||||
|
gg=list(v)
|
||||||
|
index_max=gg.index(max(gg))
|
||||||
|
|
||||||
|
centroids = estimator.cluster_centers_ #获取聚类中心
|
||||||
|
#inertia = estimator.inertia_ # 获取聚类准则的总和
|
||||||
|
center=centroids[index_max][0]
|
||||||
|
return round(center,2)
|
||||||
|
else:
|
||||||
|
return pp.mean()
|
||||||
|
|
||||||
|
|
||||||
|
def out_put_price(opt):
|
||||||
|
|
||||||
|
re = pandas.concat(opt)
|
||||||
|
|
||||||
|
#print(re)
|
||||||
|
|
||||||
|
oo=re[re['credit']==100]
|
||||||
|
oo1=re.dropna()
|
||||||
|
|
||||||
|
#print(oo)
|
||||||
|
if oo.shape[0]>1:
|
||||||
|
return round(k_means22( oo['avg_price'] ,2 ),2)
|
||||||
|
elif oo1.shape[0]>0:
|
||||||
|
|
||||||
|
re1=re.sort_values(by='credit',ascending=False)
|
||||||
|
re2=re1.sort_values(by='choose_index',ascending=False)
|
||||||
|
#print(re2)
|
||||||
|
#print('#'*20)
|
||||||
|
return (re2['avg_price'].iloc[0])
|
||||||
|
else:
|
||||||
|
#print(ddd['avg'].dropna())
|
||||||
|
kkm=k_means(ddd['avg'].dropna(),2)
|
||||||
|
return kkm
|
||||||
|
|
||||||
|
return int(out_put_price(opt))
|
||||||
|
|
||||||
|
|
||||||
|
"""
|
||||||
|
ct='上海'
|
||||||
|
rl='崇明'
|
||||||
|
lk=['风伟四村']
|
||||||
|
|
||||||
|
|
||||||
|
timd=20170301
|
||||||
|
timm=20171205
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
def some_district_information(ct,rl,lk,timd,timm):
|
||||||
|
client = pymongo.MongoClient('192.168.0.105',27777) #'192.168.0.65',27777
|
||||||
|
db = client.fangjia
|
||||||
|
seawater = db.seawater
|
||||||
|
seawater.find_one()
|
||||||
|
query = {"city":ct,"cat":"sell","region":rl,
|
||||||
|
"district_name":{"$in":lk},
|
||||||
|
"p_date":{"$gt":timd,"$lt":timm}}
|
||||||
|
lt= seawater.count(query)
|
||||||
|
#print(lt)
|
||||||
|
pos = list(seawater.find(query).limit(lt))
|
||||||
|
|
||||||
|
data=pandas.DataFrame(pos)
|
||||||
|
del pos
|
||||||
|
return data
|
||||||
|
|
||||||
|
ddd=some_district_information(ct,rl,lk,timd,timm)
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
df=zhuge_out(ddd)
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user